Enhancing Scene Transition Awareness in Video Generation via Post-Training

कल्पना कीजिए कि आप एक रोबोट को केवल चित्रों का उपयोग करके कहानी सुनाना सिखा रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "टेक्स्ट-टू-वीडियो" जनरेशन कहा जाता है। कुछ समय से, ये डिजिटल कलाकार एकल, स्थिर क्षणों या बहुत छोटी क्लिप्स—जैसे कि सोफे से कूदती हुई बिल्ली या खिलता हुआ फूल—को चित्रित करने में अविश्वसनीय रहे हैं। वे कुशल फोटोग्राफर की तरह हैं जो एक आदर्श स्नैपशॉट कैप्चर कर सकते हैं। हालाँकि, जब आप उनसे एक लंबी कहानी सुनाने के लिए कहते हैं जिसमें स्थान बदलने की आवश्यकता हो—जैसे कि एक नायक शहर से छत पर लड़ने के लिए उड़कर जाता है—तो रोबट भ्रमित हो जाते हैं। वे सब कुछ एक धुंधले, निरंतर दृश्य में मिला देते हैं, क्योंकि वे यह नहीं समझ पाते कि कैमरा कब "कट" करे और नए परिवेश में कैसे बदले। ऐसा इसलिए होता है क्योंकि उन्होंने जो फिल्में सीखीं, उनमें ज्यादातर एकल दृश्य थे, इसलिए उन्होंने कभी "दृश्य परिवर्तन" (सीन ट्रांजिशन) की कला का अभ्यास नहीं किया।

यह शोध पत्र, जिसका शीर्षक "एन्हांसिंग सीन ट्रांजिशन अवेयरनेस इन वीडियो जनरेशन वाया पोस्ट-ट्रेनिंग" है, इसी विशिष्ट भ्रम को संबोधित करता है। लेखकों ने, जो स्टीवंस इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ता हैं, महसूस किया कि एआई को बेहतर कहानियाँ सुनाने के लिए, हमें उसे यह पहचानना और निष्पादित करना सिखाना होगा कि "दृश्य परिवर्तन" क्या है। उन्होंने केवल यह उम्मीद नहीं की कि एआई इसे खुद समझ लेगा; उन्होंने इसके लिए एक विशेष प्रशिक्षण शिविर बनाया। एक नया डेटासेट जिसे TAV (ट्रांजिशन-अवेयर वीडियो) कहा जाता है, बनाकर और एआई को इस पर एक छोटा, केंद्रित पाठ देकर, उन्होंने पाया कि मॉडल अचानक यह समझने में सक्षम हो गया कि कब एक कहानी को नए स्थान पर जाने की आवश्यकता होती है। परिणाम हर वीडियो समस्या का जादुई समाधान नहीं है, लेकिन यह सुझाव देता है कि सही प्रकार के अभ्यास के साथ, एआई बिल्कुल उसी तरह दृश्य बदल सकता है जैसे एक मानव निर्देशक करता है।

समस्या: वह रोबोट जो चैनल नहीं बदल सकता

वर्तमान एआई वीडियो जनरेटरों को एक बहुत ही प्रतिभाशाली लेकिन थोड़े जिद्दी चित्रकार के रूप में सोचें। यदि आप उनसे कहें, "एक दौड़ते हुए कुत्ते की पेंटिंग बनाओ," तो वे शानदार काम करते हैं। लेकिन यदि आप उनसे कहें, "एक दौड़ते हुए कुत्ते की पेंटिंग बनाओ, और फिर अचानक चंद्रमा पर लैंड होते हुए एक स्पेसशिप दिखाओ," तो चित्रकार अटक जाता है। वे कुत्ते को स्पेसशिप में बदलने की कोशिश कर सकते हैं, या वे बस कुत्ते को दौड़ते रहने की पेंटिंग करते रह सकते हैं, आपके दूसरे अनुरोध को अनदेखा करते हुए।

शोधकर्ताओं ने पाया कि जब उन्होंने लोकप्रिय ओपन-सोर्स मॉडल्स को दो अलग-अलग दृश्यों वाले वीडियो बनाने के लिए कहा, तो मॉडल्स आमतौर पर केवल एक ही बनाते थे। औसतन, दो दृश्यों के 50 अनुरोधों में से, मॉडल्स ने केवल लगभग 1.12 से 1.48 दृश्य ही उत्पन्न किए। यह ऐसा है जैसे रोबोट "दो दृश्य" सुनता है लेकिन उसके पास केवल एक दृश्य पेंट करने की मांसपेशियों की स्मृति (मसल मेमोरी) है। अपराधी? प्रशिक्षण डेटा। वे वीडियो जिनसे एआई ने सीखा था, ज्यादातर एकल घटनाओं की छोटी क्लिप्स थे, जैसे कि कार के चलने की 10 सेकंड की क्लिप। एआई ने कभी वह "कट" नहीं देखा जहाँ कार का दृश्य समाप्त हुआ और रसोई का दृश्य शुरू हुआ, इसलिए वह नहीं जानता था कि ऐसी कोई चीज़ संभव भी है।

समाधान: एक विशेष प्रशिक्षण शिविर (TAV डेटासेट)

इसे ठीक करने के लिए, लेखकों ने एआई को कहानी सुनाने का एक क्रैश कोर्स देने का निर्णय लिया। उन्होंने TAV (ट्रांजिशन-अवेयर वीडियो) नामक एक नया डेटासेट बनाया।

उन्होंने इसे इस प्रकार बनाया:

1. कट्स को खोजना: उन्होंने Panda-70M नामक एक बड़े सार्वजनिक संग्रह से 500 वीडियो लिए। उन्होंने एक कंप्यूटर प्रोग्राम का उपयोग करके इन वीडियो को स्कैन किया और सटीक क्षण खोजा जहाँ दृश्य बदला था (एक "कट")।
2. 10-सेकंड की क्लिप: प्रत्येक वीडियो के लिए, उन्होंने उस कट के केंद्र में एक 10-सेकंड का हिस्सा लिया—बदलाव से 5 सेकंड पहले और 5 सेकंड बाद। इसने यह सुनिश्चित किया कि क्लिप में हमेशा एक स्पष्ट "पहले" और "बाद" हो।
3. कहानी सुनाना: उन्होंने प्रत्येक क्लिप के लिए एक विशेष कैप्शन लिखने के लिए दूसरे एआई (एक लार्ज लैंग्वेज मॉडल) का उपयोग किया। केवल "एक वीडियो" कहने के बजाय, कैप्शन ने स्पष्ट रूप से दो दृश्यों का वर्णन किया। उदाहरण के लिए: "पिछला दृश्य: सुपरमैन शहर के पार उड़ रहा है; अगला दृश्य: वह छत पर बैटमैन को जोकर के साथ लड़ते हुए देखता है।"

यह डेटासेट एआई के लिए "पाठ्यपुस्तक" बन गया। इसने मॉडल को सिखाया कि एक प्रॉम्प्ट में दो अलग-अलग निर्देश शामिल हो सकते हैं जो एक ट्रांजिशन द्वारा अलग किए गए हों।

प्रयोग: नए कौशल का परीक्षण

शोधकर्ताओं ने OpenSora नामक एक मौजूदा वीडियो मॉडल लिया और उसे एक "पोस्ट-ट्रेनिंग" सत्र दिया। पोस्ट-ट्रेनिंग को एक विशेष बूट कैंप की तरह समझें। मॉडल ने पहले से ही पेंट करना सीख लिया था, लेकिन अब वह विशेष रूप रूप से दृश्य बदलने के बारे में सीख रहा था। उन्होंने नए TAV डेटासेट पर मॉडल को थोड़े समय के लिए प्रशिक्षित किया (लगभग 16 से 36 "एपॉक्स", जो पाठ्यपुस्तक के पूर्ण चक्कर की तरह हैं)।

यह देखने के लिए कि क्या यह काम करता है, उन्होंने मॉडल का तीन प्रकार के प्रॉम्प्ट के साथ परीक्षण किया:

• ग्रुप A: बिना किसी दृश्य परिवर्तन वाला एक सरल प्रॉम्प्ट (जैसे, "सुपरमैन उड़ रहा है")।
• ग्रुप B: एक प्रॉम्प्ट जिसमें बदलाव का संकेत था लेकिन स्पष्ट रूप से नहीं कहा गया था (जैसे, "सुपरमैन उड़ता है, फिर बैटमैन को देखता है")।
• ग्रुप C: एक प्रॉम्प्ट जिसने स्पष्ट रूप से बदलाव की मांग की (जैसे, "पिछला दृश्य: सुपरमैन; अगला दृश्य: बैटमैन")।

परिणाम: रोबोट ने कट करना सीख लिया

परिणाम उत्साहजनक थे। प्रशिक्षण से पहले, मॉडल "एक दृश्य" की आदत में फंसा हुआ था। दो दृश्यों के लिए पूछे जाने पर भी, यह औसतन लगभग 1.1 दृश्य ही बनाता था।

TAV डेटासेट पर पोस्ट-ट्रेनिंग के बाद, मॉडल ने कई दृश्यों की संभावना को पहचान लिया:

• जिस समूह में प्रॉम्प्ट ने स्पष्ट रूप से दो दृश्यों के लिए पूछा था (ग्रुप C), वहां उत्पन्न किए गए दृश्यों की औसत संख्या लगभग 1.1 से बढ़कर 2.9 हो गई।
• जिस समूह में बदलाव का केवल संकेत दिया गया था (ग्रुप B), वहां औसत 1.06 से बढ़कर 2.7 हो गया।
• यहाँ तक कि जब केवल एक दृश्य के लिए पूछा गया (ग्रुप A), तब भी मॉडल ने अच्छा प्रदर्शन किया, जिससे पता चला कि उसने सरल कार्यों को करना नहीं छोड़ा है।

शोधकर्ताओं ने VBench नामक टूल का उपयोग करके वीडियो की गुणवत्ता की भी जांच की। उन्होंने पाया कि जबकि मॉडल दृश्यों की गिनती करने में बेहतर हुआ, दृश्य गुणवत्ता (चित्र कितने सुंदर दिखते हैं) और गति की सहजता (स्मूथनेस) खराब नहीं हुई। वास्तव में, "एस्थेटिक क्वालिटी" जैसी श्रेणियों में, नया मॉडल ModelScope और LaVie जैसे अन्य लोकप्रिय मॉडलों की तुलना में उच्च स्कोर करता है।

इसका क्या अर्थ है (और क्या नहीं है)

यह अध्ययन बताता है कि बेहतर कहानी सुनाने वाले एआई की कुंजी केवल मॉडल को बड़ा या अधिक जटिल बनाना नहीं है; बल्कि उसे सही प्रकार का डेटा देना है। एआई को स्पष्ट रूप से यह सिखाकर कि "दृश्य परिवर्तन" कैसा दिखता है और उसका वर्णन कैसे किया जाता है, मॉडल ने निर्देशों का पालन करना बेहतर तरीके से सीख लिया।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह एक प्रारंभिक प्रयोग है। उन्होंने केवल 500 वीडियो का एक छोटा उपसमुच्चय (subset) उपयोग किया और एक अपेक्षाकृत हल्का मॉडल (OpenSora-Plan) उपयोग किया। वे स्वीकार करते हैं कि हालांकि परिणाम उत्साहजनक हैं, लेकिन हमें अभी तक यह नहीं पता कि यह तरीका हर प्रकार के वीडियो के लिए पूरी तरह से काम करता है या दृश्य कट का पता लगाने के बेहतर तरीके हैं। वे यह भी बताते हैं कि उनका प्रशिक्षण डेटा एक विशिष्ट स्रोत (Panda-70M) से आया था, इसलिए उनके द्वारा सीखे गए "नियम" उस प्रकार के वीडियो के लिए विशिष्ट हो सकते हैं।

संक्षेप में, यह शोध पत्र दिखाता है कि एआई वीडियो जनरेटर को दृश्य बदलना सिखाया जा सकता है, लेकिन यह एक ऐसा कौशल है जिसे उन्हें स्पष्ट रूप से सिखाने की आवश्यकता है, न कि कुछ ऐसा जिसे वे अपने आप सीख लें। सही "पाठ्यपुस्तक" के साथ, रोबोट निर्देशक आखिरकार "कट!" कहना और कहानी को आगे बढ़ाना सीख सकता है।