Compositional Video Generation via Inference-Time Guidance
यह शोध पत्र CVG का प्रस्ताव करता है, जो एक इन्फरेंस-टाइम गाइडेंस विधि है जो फ्रोजन टेक्स्ट-टू-वीडियो मॉडल्स की डिनोइजिंग प्रक्रिया को निर्देशित करने के लिए क्रॉस-अटेंशन मैप्स पर प्रशिक्षित एक लाइटवेट कंपोजिशनल क्लासिफायर का लाभ उठाता है, जिससे बिना रिट्रेनिंग, आर्किटेक्चरल बदलावों या उपयोगकर्ता द्वारा दिए गए कंट्रोल्स के कंपोजिशनल फेथफुलनेस में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, लेकिन थोड़ी ज़िद्दी, वीडियो बनाने वाला रोबोट है। आप उसे एक स्क्रिप्ट देते हैं, जैसे "एक खरगोश कछुए के ऊपर कूदता है," और वह बेहतरीन वीडियो बनाने की पूरी कोशिश करता है। आमतौर पर, परिणाम अद्भुत दिखता है—खरगोश और कछुआ वास्तविक दिखते हैं, और हलचल सुचारू होती है। लेकिन कभी-कभी, रोबोट कहानी गलत कर देता है। वह खरगोश को कछुए के बगल में या उसके नीचे बना सकता है, भले ही आपने विशेष रूप से "ऊपर" के लिए कहा हो।
ऐसा इसलिए होता है क्योंकि रोबोट सुंदर चित्र बनाने में तो माहिर है, लेकिन वह इस बात की बारीक बारीकियों को समझने में संघर्ष करता है कि चीजें स्थान और समय के संदर्भ में एक-दूसरे से कैसे संबंधित हैं।
यह पेपर एक चतुर तकनीक पेश करता है जिसे CVG (कंपोजिशनल वीडियो गाइडेंस) कहा जाता है, ताकि रोबोट को बिना फिर से प्रशिक्षित किए या उसे नए कौशल सिखाए इसे ठीक किया जा सके। यह कैसे काम करता है, इसके लिए रोजमर्रा के उदाहरणों का उपयोग यहाँ दिया गया है:
1. "आंतरिक जीपीएस" (क्रॉस-अटेंशन मैप्स)
वीडियो बनाने वाले रोबोट के भीतर, डेटा की एक छिपी हुई परत होती है जिसे क्रॉस-अटेंशन मैप्स कहा जाता है। इन्हें रोबोट का आंतरिक "जीपीएस" या "स्पॉटलाइट" समझें। हर बार जब रोबोट "खरगोश" शब्द के बारे में सोचता है, तो यह स्पॉटलाइट वीडियो के उस हिस्से पर चमकती है जहाँ खरगोश को होना चाहिए। जब वह "कछुए" के बारे में सोचता है, तो स्पॉटलाइट कछुए की ओर मुड़ जाती है।
लेखकों ने महसूस किया कि इन स्पॉटलाइट्स में पहले से ही वह सारी जानकारी मौजूद है जिससे यह पता चल सके कि क्या खरगोश वास्तव में कछुए के ऊपर है। रोबोट संबंध को जानता है; बस वह अंतिम वीडियो बनाते समय हमेशा निर्देशों का पालन पूरी तरह से नहीं कर पाता है।
2. "स्मार्ट कोच" (द लाइटवेट क्लासिफायर)
रोबोट के दिमाग को ठीक करने के बजाय (जो महंगा और धीमा होगा), लेखकों ने एक स्मार्ट कोच बनाया।
- यह कैसे सीखता है: उन्होंने कोच को हजारों वीडियो और उनके "स्पॉटलाइट" मैप दिखाए। कोच ने स्पॉटलाइट्स को देखना सीखा और कहना सीखा, "आह, मैं देख सकता हूँ कि खरगोश की स्पॉटलाइट कछुए की स्पॉटलाइट के ऊपर है। इसका मतलब है कि वीडियो 'खरगोश कछुए के ऊपर है' वाली स्क्रिप्ट से मेल खाता है।"
- सीक्रेट सॉस: कोच एक प्री-ट्रेंड "विज़न-लैंग्वेज मॉडल" (एक सुपर-स्मार्ट एआई जो पहले से ही दुनिया को समझता है) पर आधारित है। इसका मतलब है कि कोच केवल विशिष्ट वाक्यांशों को रटता नहीं है; यह "ऊपर", "पीछे", या "बाईं ओर घूमना" जैसे अवधारणाओं को समझता है, भले ही उसने वह सटीक वाक्य पहले न देखा हो।
3. "स्टीयरिंग व्हील" (इन्फरेंस-टाइम गाइडेंस)
अब, जादू वाला हिस्सा यहाँ है। जब आप रोबोट को एक नया वीडियो बनाने के लिए कहते हैं, तो स्मार्ट कोच बगल वाली सीट पर बैठता है।
- जैसे-जैसे रोबमा रोबोट वीडियो बनाना शुरू करता है (एक प्रक्रिया जिसे "डिनोइजिंग" कहा जाता है, जो मूर्ति को कोहरे से तराशने जैसा है), कोच रोबोट की आंतरिक स्पॉटलाइट्स को देखता है।
- यदि रोबोट भटकने लगता है और खरगोश को कछुए के ऊपर रखने के बजाय उसके बगल में रखने लगता है, तो कोच धीरे से रोबोट को वापस सही रास्ते पर लाता है।
- यह एक छोटा सा "सुधार" (ग्रेडिएंट) और वीडियो के छिपे हुए डेटा को सही दिशा में धकेलकर ऐसा करता है।
महत्वपूर्ण बात यह है कि यह केवल वीडियो निर्माण के बिल्कुल शुरुआत में होता है। कार चलाने की तरह सोचें: आपको सही सड़क पर आने के लिए शुरुआत में ज़ोर से स्टीयरिंग घुमाना पड़ता है। एक बार जब कार चलने लगती है (वीडियो का ढांचा बन जाता है), तो आप बार-बार स्टीयरिंग नहीं झटकना चाहते, अन्यथा सवारी का तालमेल बिगड़ जाएगा। लेखकों ने पाया कि शुरुआती कुछ चरणों के दौरान स्टीयरिंग करने से दृश्य गुणवत्ता को खराब किए बिना संबंध ठीक हो जाता है।
4. "डुअल इन्वर्जन" ट्रिक (चीटिंग रोकने के लिए)
एक जोखिम था कि कोच शायद धोखाधड़ी कर सकता है। वह रोबोट के मन में मौजूद टेक्स्ट प्रॉम्प्ट को देख सकता है और बस अंदाज़ा लगा सकता है, "ओह, टेक्स्ट में 'पीछे' शब्द है, इसलिए मैं कह दूँगा कि वीडियो 'पीछे' है।" यह सीखना नहीं, बल्कि नकल करना होता।
इसे रोकने के लिए, लेखकों ने डुअल इन्वर्जन नामक एक ट्रिक का उपयोग किया। उन्होंने एक वास्तविक वीडियो लिया और रोबोट को उसे दो बार फिर से बनाने के लिए कहा:
- सही विवरण के साथ (जैसे, "खरगोश कछुए के पीछे है")।
- गलत विवरण के साथ (जैसे, "खरगोश कछुए के सामने है")।
फिर उन्होंने कोच को दोनों प्रयासों के विजुअल स्पॉटलाइट्स को देखना और यह समझना सिखाया: "भले ही टेक्स्ट में 'सामने' कहा गया था, लेकिन स्पॉटलाइट स्पष्ट रूप से दिखाती है कि खरगोश पीछे है।" इसने कोच को मजबूर किया कि वह केवल टेक्स्ट से नहीं, बल्कि वास्तविक विजुअल मूवमेंट से सीखे।
परिणाम
जब उन्होंने लोकप्रिय वीडियो जनरेटरों (जैसे Wan2.2 और CogVideoX) पर इसका परीक्षण किया:
- बेहतर कहानियाँ: वीडियो ने निर्देशों का बहुत बेहतर पालन किया। यदि आपने एक केकड़े के लकड़ी के लट्ठे के नीचे से रेंगने के लिए कहा, तो रोबोट ने वास्तव में ऐसा किया, बजाय इसके कि केकड़े को ऊपर रख दे।
- कोई गुणवत्ता हानि नहीं: वीडियो पहले की तरह ही सुंदर और वास्तविक दिखे। कोच ने कला को खराब नहीं किया; उसने बस कहानी को ठीक किया।
- कोई री-ट्रेनिंग नहीं: उन्हें रोबोट को नई चीजें सिखाने के लिए महीनों खर्च करने की आवश्यकता नहीं पड़ी। उन्होंने बस यह "कोच" जोड़ा जो काम करते समय उसका मार्गदर्शन करता है।
संक्षेप में, CVG एक प्रतिभाशाली लेकिन कभी-कभी भ्रमित होने वाले कलाकार को एक सहायक मार्गदर्शक देने जैसा है जो काम शुरू करते ही धीरे से फुसफुसाता है, "हे, याद रखो, खरगोश को ऊपर होना चाहिए," जिससे यह सुनिश्चित होता है कि अंतिम कृति सही कहानी कहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।