Spatially-Grounded Text-to-Video Generation via Inference-Time Gradient-Free Optimization

कल्पना कीजिए कि आपके पास एक जादुई मूवी कैमरा है जो आपकी आवाज़ सुनकर पूरी दुनिया के सपने बुन सकता है। यदि आप कहते हैं, "एक ड्रैगन महल के ऊपर उड़ रहा है," तो कैमरा तुरंत उसका वीडियो बना देता है। यह टेक्स्ट-टू-वीडियो (Text-to-Video) जनरेशन की दुनिया है, जो एक तेजी से बढ़ता हुआ क्षेत्र है जहाँ आर्टिफिशियल इंटेलिजेंस साधारण वाक्यों को चलते-फिरते चित्रों में बदल देता है। लेकिन एक पेंच है: ये AI कैमरे उत्साही लेकिन अनाड़ी कलाकारों की तरह हैं। वे ड्रैगन के विचार को पकड़ने में तो माहिर हैं, लेकिन उसे ठीक वहीं रखने में बहुत खराब हैं जहाँ आप चाहते हैं। यदि आप ऊपर-बाएँ कोने में एक ड्रैगन मांगते हैं, तो AI उसे बीच में रख सकता है, या उसे स्क्रीन से बाहर ले जा सकता है।

इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर दो चीजें करने की कोशिश करते हैं। पहली है ट्रेनिंग (Training), जो AI को नए करतब सिखाने के लिए एक ट्यूटर रखने जैसा है, लेकिन इसमें वर्षों की पढ़ाई और भारी मात्रा में कंप्यूटर पावर लगती है। दूसरी है ग्रेडिएंट-बेस्ड ऑप्टिमिज़ेशन (Gradient-based optimization), एक विधि जो मूवी बनाने की प्रक्रिया के दौरान एक अत्यंत सटीक GPS की तरह काम करती है। यह लगातार वीडियो की जांच करती है, यह गणना करती है कि ड्रैगन को सही जगह पर लाने के लिए पिक्सेल को कैसे थोड़ा सा बदला जाए, और फिर दोबारा प्रयास करने के लिए पीछे मुड़ जाती है। समस्या क्या है? यह "GPS" इतना भारी और धीमा है कि यह अधिकांश कंप्यूटरों को क्रैश कर देता है, विशेष रूपकर आज के आधुनिक, विशाल कंप्यूटरों को। यह एक अंतरिक्ष यान को चलाने के लिए इंजन चलते समय हर एक बोल्ट के प्रक्षेपवक्र (trajectory) की मैन्युअल गणना करने जैसा है।

यह शोध पत्र इन AI कैमरों को नियंत्रित करने का एक चतुर नया तरीका पेश करता है, जिसमें न तो भारी GPS की आवश्यकता है और न ही वर्षों की ट्रेनिंग की। शोधकर्ता, गिल्लौम जेनेरेट (Guillaume Jeanneret) और उनकी टीम, एक विधि प्रस्तावित करते हैं जिसे GATO-Vid कहा जाता है। भारी ग्रेडिएंट गणना (वह "पीछे मुड़ना और फिर से कोशिश करना" वाला लूप) करने के बजाय, उन्होंने एक गणितीय शॉर्टकट खोज निकाला है। इसे ऐसे समझें: एक भारी पत्थर को पहाड़ पर ऊपर धकेलने के लिए यह अंदाज़ा लगाने के बजाय कि किस दिशा में धकेलना है, उन्होंने महसूस किया कि वे बस ढलान के सटीक कोण की गणना कर सकते हैं और पत्थर को तुरंत सही जगह पर खिसका सकते हैं। उनकी विधि, जिसका अर्थ है ग्रेडिएंट-फ्री एनालिटिकल ट्रैजेक्टरी ऑप्टिमाइज़ेशन वीडियो जनरेशन (Gradient-free Analytical Trajectory Optimization Video Generation), AI को वस्तुओं को ठीक वहीं रखने की अनुमति देती है जहाँ आप उन्हें चाहते हैं—जैसे कि एक विशिष्ट पात्र को स्क्रीन के एक विशिष्ट कोने में—बिना किसी सुपरकंप्यूटर या AI के मस्तिष्क को बदले। उन्होंने इसे आधुनिक वीडियो जनरेटरों पर परखा और पाया कि यह पिछले "फ्री" तरीकों की तुलना में वस्तुओं को बहुत अधिक सटीकता से रखता है, हालांकि कभी-कभी यह बैकग्राउंड को थोड़ा कम गतिशील बना देता है।

समस्या: अनाड़ी AI कलाकार

कहानी उस हताशा के साथ शुरू होती है जो AI वीडियो जनरेटरों के साथ खेलने वाले कई लोगों द्वारा साझा की जाती है। आप "एक बिल्ली बाड़ के ऊपर से कूदती है" जैसा प्रॉम्प्ट टाइप करते हैं, और AI एक वीडियो बनाता है। लेकिन यदि आप स्क्रीन पर एक बॉक्स जोड़ते हैं और कहते कि "बिल्ली को इस बॉक्स के अंदर रखें," तो AI अक्सर आपकी बात अनसुनी कर देता है। वह बिल्ली को एक सेकंड के लिए बॉक्स में रख सकता है और फिर बाहर निकल सकता है, या वह बाड़ को बॉक्स में और बिल्ली को बाहर रख सकता है।

शोधकर्ता बताते हैं कि इसे ठीक करने के लिए, वर्तमान विधियों में से अधिकांश ग्रेडिएंट-बेस्ड ऑप्टिमाइज़ेशन नामक तकनीक पर निर्भर करती हैं। कल्पना कीजिए कि आप एक डार्ट (dart) से लक्ष्य भेदने की कोशिश कर रहे हैं, लेकिन आप आंखों पर पट्टी बांधे हुए हैं। पुराना तरीका यह है कि आप एक डार्ट फेंकें, महसूस करें कि वह कहाँ गिरा, फिर सटीक कोण और बल की गणना करें जिससे उसे लक्ष्य के करीब लाया जा सके, और फिर से फेंकें। AI की दुनिया में, इसका मतलब है कि कंप्यूटर एक वीडियो बनाता है, जांचता है कि वस्तु कहाँ है, एक "लॉस" (loss) की गणना करता है (कि वह लक्ष्य से कितनी दूर है), और फिर यह पता लगाने के लिए एक विशाल गणना चलाता है जिसे "बैकप्रोपैगेशन" (backpropagation) कहा जाता है कि वीडियो को कैसे बदला जाए ताकि वह लक्ष्य के करीब पहुँच सके।

पेपर बताता है कि यह विधि एक बाधा (bottleneck) है। आधुनिक AI मॉडल बहुत बड़े होते हैं, जिनमें अरबों पैरामीटर्स होते हैं। इस "बैकप्रोपैगेशन" गणना को चलाने के लिए इतनी मेमोरी (VRAM) की आवश्यकता होती है कि यह अक्सर उपभोक्ता कंप्यूटरों को क्रैश कर देता है। उदाहरण के लिए, शोधकर्ता नोट करते हैं कि Wan2.2 जैसे बड़े मॉडल के लिए, इस 'बैकवर्ड पास' की गणना करने के लिए एक अकेले 80GB GPU से भी अधिक मेमोरी की आवश्यकता होती है, जो एक सामान्य उपयोगकर्ता के पास होने की संभावना से बहुत परे है। यह एक रूबिक क्यूब को हल करने के लिए हर बार चाल चलने पर उसे खोलने, हर टुकड़े को मापने और फिर से जोड़ने जैसा है।

समाधान: गणितीय शॉर्टकट

यहाँ आता है GATO-Vid। टीम ने पूछा: "क्या हम अंधे आंखों से डार्ट फेंकने के बजाय एक ही बार में एकदम सटीक थ्रो की गणना कर सकते हैं?"

उन्होंने महसूस किया कि AI यह तय करने के लिए क्रॉस-अटेंशन (cross-attention) नामक एक तंत्र का उपयोग करता है कि वस्तुएं कहाँ जाएँगी। यह एक स्पॉटलाइट की तरह है जिसे AI वीडियो के विभिन्न हिस्सों (जैसे "बिल्ली" शब्द) पर चमकाता है ताकि यह तय किया जा सके कि वीडियो के कौन से पिक्सेल बिल्ली बन जाने चाहिए। शोधकर्ताओं ने देखा कि स्पॉटलाइट की जटिल, गैर-रैखिक गणित (जिसमें "Softmax" नामक फ़ंक्शन शामिल है) की गणना करने के बजाय, वे इसके एक सरल, रैखिक संस्करण (जिसे "logits" कहा जाता है) का उपयोग कर सकते हैं जो एक आदर्श विकल्प के रूप में कार्य करता है।

यहाँ जादू का नुस्खा है:

1. सरोगेट स्कोर (The Surrogate Score): उन्होंने एक नया, सरल स्कोर फंक्शन बनाया। अंदाज़ा लगाने और जाँचने के बजाय, उन्होंने सीधे एक ऐसा फॉर्मूला लिखा जो यह मापता है कि "स्पॉटलाइट" लक्ष्य पर कितनी अच्छी तरह से लग रही है।
2. एनालिटिकल सॉल्यूशन (The Analytical Solution): क्योंकि यह नया फॉर्मूला सरल है, इसलिए वे इसे कागज पर गणित के माध्यम से हल कर सकते थे (एक "एनालिटिकल सॉल्यूशन")। उन्होंने ठीक उस दिशा को खोज लिया जिसमें AI को वीडियो को धकेलने की आवश्यकता है ताकि वस्तु सही स्थान पर आ सके। यह ऐसा है जैसे यह महसूस करना कि बिल्ली को बॉक्स में लाने के लिए आपको अंदाज़ा लगाने की ज़रूरत नहीं है; आपको बस वीडियो टोकन को बॉक्स की सटीक दिशा में धकेलने की आवश्यकता है।
3. इंजेक्शन मैकेनिज्म (The Injection Mechanism): इसके बाद उन्होंने इस "धक्के" (push) को AI के मस्तिष्क में वीडियो बनाते समय सीधे डालने का एक तरीका बनाया। वे इसे ऑन-द-फ्लाई इंजेक्शन (on-the-fly injection) कहते हैं। वे AI के आंतरिक विचारों (query vectors) को लेते हैं, उनके द्वारा गणना किए गए "धक्के" (bias) को जोड़ते हैं, और फिर उन्हें सावधानीपूर्वक पुनर्गठित करते हैं ताकि वे AI के सामान्य तरीके में फिट हो सकें।

महत्वपूर्ण रूप से, उन्हें AI को तोड़ने से सावधान रहना था। AI के आंतरिक नंबर एक विशिष्ट आकार (हाइपर-एलिप्सॉइड/hyper-ellipsoid) पर रहते हैं क्योंकि यह RMSNorm नामक एक नॉर्मलाइजेशन प्रक्रिया के कारण होता है। यदि आप केवल नंबर जोड़ते हैं, तो आप उस आकार को तोड़ देते हैं। इसलिए, GATO-Vid एक विशेष प्रोजेक्शन का उपयोग करता है ताकि यह सुनिश्चित हो सके कि "धक्का" सही गणितीय सतह पर बना रहे, जिससे वीडियो जनरेशन स्थिर रहे।

परिणाम: सटीकता के साथ एक समझौता

टीम ने Wan2.2 मॉडल पर GATO-Vid का परीक्षण किया, जो उपलब्ध सबसे शक्तिशाली ओपन-सोर्स वीडियो जनरेटरों में से एक है। उन्होंने इसकी तुलना अन्य "ट्रेनिंग-फ्री" तरीकों जैसे Peekaboo, VideoTetris, और SwitchCraft, साथ ही मूल (अनमॉडिफाइड) मॉडल से की।

परिणाम चौंकाने वाले थे।

• लोकलाइजेशन (Localization): GATO-Vid स्पष्ट विजेता था। अपने परीक्षणों में, इसने एक डेटासेट पर 0.363 का IoU (Intersection over Union) और एक कठिन डेटासेट पर 0.324 प्राप्त किया। इसका मतलब है कि अन्य तरीकों की तुलना में, जो 0.15 से 0.17 के आसपास थे, इसमें वस्तु के लक्ष्य बॉक्स के अंदर होने की संभावना बहुत अधिक थी।
• गति (Speed): यह विधि अविश्वसनीय रूप से तेज़ थी। इसने वीडियो जनरेट करने में लगने वाले कुल समय में केवल 0.4% की वृद्धि की। इसके विपरीत, अन्य तरीकों ने 6% से लेकर 92% तक अधिक समय जोड़ा।
• समझौता (The Catch): पेपर सुझाव देता है कि यह सटीकता एक छोटी कीमत के साथ आती है। जबकि वस्तु सही जगह पर थी, वीडियो की समग्र "वाइब" (vibe) कभी-कभी प्रभावित हुई। एस्थेटिक क्वालिटी (Aesthetic Quality - AQ) स्कोर थोड़ा गिर गया, और डायनामिक डिग्री (Dynamic Degree - DD) (वीडियो में कितनी हलचल है) कम हो गई। शोधकर्ता समझाते हैं कि वस्तु को एक विशिष्ट बॉक्स में रखने के लिए मजबूर करने से, AI बैकग्राउंड को थोड़ा अधिक स्थिर या कम जीवंत बना सकता है। यह एक ट्रेड-ऑफ है: आपको एक सही जगह पर रखी बिल्ली मिलती है, लेकिन दृश्य थोड़ा कम रोमांचक हो सकता है।

यह क्यों महत्वपूर्ण है

पेपर यह निष्कर्ष निकालता है कि GATO-Vid यह सिद्ध करता है कि सटीक वीडियो नियंत्रण पाने के लिए आपको विशाल AI मॉडल को फिर से प्रशिक्षित करने या सुपरकंप्यूटर की आवश्यकता नहीं है। एक चतुर गणितीय शॉर्टकट का उपयोग करके, उन्होंने एक ऐसी समस्या को हल कर दिया जिसके लिए "बैकप्रोपैगेशन" (भारी, धीमी गणना) की आवश्यकता थी, इसे एक सरल, त्वरित गणना में बदल दिया।

लेखक इस बात पर जोर देते हैं कि यह एक ट्रेनिंग-फ्री और ग्रेडिएंट-फ्री दृष्टिकोण है। इसका अर्थ है कि कोई भी अपने मानक कंप्यूटर के साथ बेहतर वीडियो बनाने के लिए इसका उपयोग कर सकता है, बिना नया डेटा एकत्र किए या AI के नए कौशल सीखने की प्रतीक्षा किए। हालांकि यह विधि बताती है कि पूर्ण स्थानिक नियंत्रण (spatial control) दृश्य की कलात्मक गतिशीलता को थोड़ा कम कर सकता है, लेकिन यह नियंत्रित वीडियो जनरेशन के एक नए युग के द्वार खोलता है जहाँ उपयोगकर्ता अंततः कह सकते हैं, "ड्रैगन को यहाँ रखें," और AI उनकी बात सुन सकता है।

शोधकर्ताओं ने "एब्लेशन स्टडीज" (ऐसे परीक्षण जहाँ उन्होंने अपने तरीके के हिस्सों को हटा दिया) भी चलाईं ताकि यह दिखाया जा सके कि उनके पहेली का हर हिस्सा आवश्यक था। यदि वे "प्रोजेक्शन" चरण को हटा देते, तो वीडियो अजीब दिखने लगता। यदि वे "नेगेटिव बायस" (वह हिस्सा जो वस्तु को गलत जगहों से दूर धकेलता है) को हटा देते, तो वस्तु बॉक्स में नहीं रहती। इससे पुष्टि हुई कि उनका विशिष्ट गणित और ज्यामिति का संयोजन ही सफलता की कुंजी थी।

संक्षेप में, GATO-Vid एक AI को रास्ता खोजने के लिए अंदाज़ा लगाने के बजाय एक मानचित्र और एक दिशा-सूचक यंत्र (compass) देने जैसा है। यह एक छोटा, सुंदर गणितीय चमत्कार है जो एक बड़ी समस्या को हल करता है, जिससे एक फिल्म क्रू की लागत के बिना, एक निर्देशक की सटीकता के साथ AI फिल्में बनाना संभव हो जाता है।