VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System
VideoCoCo एक एजेंटिक डुअल-इंजन फ्रेमवर्क पेश करता है जो भौतिक रूप से सुसंगत वीडियो बनाने के लिए एक नियतात्मक स्थानिक-कालिक ड्राफ्ट (deterministic spatiotemporal draft) बनाने और फिर उसे एक फोटोयलिस्टिक आउटपुट में परिष्कृत करने के लिए निष्पादन योग्य ब्लेंडर कोड को प्रोसेस-लेवल चेन ऑफ थॉट के रूप में उपयोग करता है, जो भौतिक सुसंगतता बेंचमार्क पर मौजूदा बेसलाइन से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को केवल यह फुसफुसाकर सिखाने की कोशिश कर रहे हैं कि केक कैसे बनाया जाए, "इसे स्वादिष्ट बनाओ।" रोबोट "स्वादिष्ट" शब्द को समझ सकता है, लेकिन बिना किसी रेसिपी के, उसे यह नहीं पता कि आटे से पहले अंडे मिलाने हैं या नहीं, इसे कितनी देर तक पकाना है, या क्यों केक एक ईंट में नहीं बदलना चाहिए। यह आर्टिफिशियल इंटेलिजेंस वीडियो जनरेशन की दुनिया में वर्तमान संघर्ष है। वैज्ञानिक ऐसे मॉडल बना रहे हैं जो टेक्स्ट विवरणों को चलते-फिरते चित्रों में बदल सकते हैं, लेकिन ये AI "सपनों वाले" अक्सर भौतिकी के नियमों (laws of physics) के साथ संघर्ष करते हैं। वे शायद एक गेंद को नीचे गिरने के बजाय ऊपर तैरते हुए दिखा सकते हैं, या एक गिलास को जमीन से टकराने से पहले ही टूटते हुए दिखा सकते हैं, क्योंकि AI वास्तविकता को समझने के बजाय घटनाओं के क्रम का केवल अनुमान लगा रहा है।
इसे ठीक करने के लिए, शोधकर्ता एक ऐसा तरीका खोज रहे हैं जिससे AI कार्य करने से पहले "सोच" सके, जिसे चेन-ऑफ-थॉट (Chain-of-Thought) के रूप में जाना जाता है। सीधे अंतिम चित्र बनाने के बजाय, AI को एक मध्यवर्ती योजना (intermediate plan) बनाने के लिए प्रोत्साहित किया जाता है। इसे एक वास्तुकार द्वारा घर बनाने से पहले ब्लूप्रिंट बनाने, या एक शेफ द्वारा खाना पकाने से पहले रेसिपी लिखने जैसा समझें। बड़ा सवाल यह है कि: किस तरह का ब्लूप्रिंट सबसे अच्छा है? क्या यह शब्दों की एक सूची है? कुछ रफ स्केच हैं? या कुछ अधिक सटीक? यही वह पहेली है जिसे VideoCoCo पेपर हल करने का प्रयास करता है, जिसका लक्ष्य AI-जनरेटेड वीडियो को न केवल सुंदर बनाना है, बल्कि वास्तव में वास्तविकता के नियमों का पालन करना भी है।
"कोड-एज़-सीओटी" (Code-as-CoT) का जादू: एक दो-इंजन वाली ड्रीम टीम
VideoCoCo से मिलिए, एक नया सिस्टम जो एक सुपर-स्मार्ट निर्देशक और एक प्रतिभाशाली कलाकार की तरह मिलकर काम करता है ताकि ऐसे वीडियो बनाए जा सकें जो भौतिकी के नियमों को न तोड़ें। शोधकर्ताओं ने महसूस किया कि जब AI केवल एक टेक्स्ट प्रॉम्प्ट से यह अनुमान लगाने की कोशिश करता है कि एक दृश्य कैसे विकसित होता है, तो वह अक्सर "कहानी" गलत कर देता है। इसलिए, उन्होंने AI को एक नया टूल दिया: एग्जीक्यूटेबल कोड (executable code)।
इस प्रक्रिया को इस प्रकार समझें:
- निर्देशक (द कोडिंग एजेंट): जब आप AI को "एक गर्म पैन में मक्खन पिघलना" जैसा प्रॉम्प्ट देते हैं, तो निर्देशक केवल दृश्य की कल्पना नहीं करता है। इसके बजाय, वह एक ब्लेंडर प्रोग्राम (कंप्यूटर निर्देशों का एक सेट) लिखता है। यह कोड एक सख्त, अटूट रेसिपी की तरह है। यह स्पष्ट रूप से कंप्यूटर को बताता है: "यहाँ मक्खन का एक टुकड़ा रखें। गर्मी चालू करें। मक्खन को ठीक 5 सेकंड में नरम होने, ढलने और फैलने के लिए कहें।" क्योंकि यह कोड है, इसलिए इसे बिल्कुल वैसे ही चलना होगा जैसा लिखा गया है। यह कोई अनुमान नहीं है; यह एक सिमुलेशन है।
- सैंडबॉक्स (द सिमुलेशन इंजन): कंप्यूटर इस कोड को "सैंडबॉक्स" नामक एक सुरक्षित, अलग प्लेग्राउंड में चलाता है। इसका परिणाम अभी एक सुंदर मूवी नहीं है; यह एक डिटरमिनिस्टिक ड्राफ्ट (deterministic draft) है। कल्पना कीजिए कि यह मिट्टी (play-dough) से बना एक रफ स्केच है। यह दिखने में कम गुणवत्ता वाला, सफेद-मिट्टी का एनीमेशन जैसा है, लेकिन यह अपनी गति में पूरी तरह से सटीक है। मक्खन ठीक वैसे ही पिघलता है जैसे भौतिकी कहती है, क्योंकि कोड ने इसे होने के लिए मजबूर किया है।
- कलाकार (द जेनेरेटिव वीडियो इंजन): अब, दूसरा इंजन कदम रखता है। यह वह कलाकार है जो उस रफ, सफेद-मिट्टी के स्केच को लेता है और उसे एक वास्तविक, हाई-डेफिनिशन मूवी बनाने के लिए उस पर पेंट करता है। क्योंकि कलाकार के पास पहले से ही कॉपी करने के लिए एकदम सही "प्ले-डोह" वाला संस्करण मौजूद है, उन्हें यह अनुमान लगाने की ज़रूरत नहीं है कि मक्खन को कैसे हिलना चाहिए। उन्हें बस इसे चमकदार, सुनहरा और स्वादिष्ट दिखाने पर ध्यान केंद्रित करना है।
क्यों यह दृष्टिकोण एक गेम-चेंजर है
पेपर का तर्क है कि पिछले तरीकों ने एक साथ बहुत कुछ करने की कोशिश की। कुछ AI मॉडल ने टेक्स्ट प्लान (जैसे "मक्खन पिघलता है") लिखने की कोशिश की, लेकिन टेक्स्ट अस्पष्ट होता है। अन्य ने वीडियो के अगले फ्रेम का अनुमान लगाने की कोशिश की, लेकिन यह पिछले धुंधले फोटो को देखकर मास्टरपीस बनाने की कोशिश करने जैसा है।
VideoCoCo कहता है: "भौतिकी का अनुमान लगाना बंद करो। बस इसे सिम्युलेट करो।"
कोड को "चेन-ऑफ-थॉट" के रूप में उपयोग करके, सिस्टम गति के तर्क (logic) को छवि की सुंदरता से अलग करता है। कोड संभालता है कि "क्या होता है और कब होता है," जबकि वीडियो एडिटर संभालता है कि "यह कैसा दिखता है।" यह एक बहुत बड़ा बदलाव है क्योंकि यह अनुमान लगाने वाले खेल को एक दो-चरणीय प्रक्रिया में बदल देता है जहाँ पहला चरण 100% विश्वसनीय है।
प्रमाण पुडिंग (और भौतिकी) में है
शोधकर्ताओं ने अपने सिस्टम का परीक्षण दो प्रमुख चुनौतियों पर किया: PhyGenBench और VBench-2.0। ये AI के लिए परीक्षाओं की तरह हैं, जो विशेष रूप से यह परीक्षण करती हैं कि क्या वीडियो गुरुत्वाकर्षण, गर्मी और सामग्रियां कैसे व्यवहार करती हैं जैसे वास्तविक दुनिया के नियमों का पालन करते हैं।
- परिणाम: VideoCoCo से पहले, बेसलाइन AI (जिसे OmniWeaving कहा जाता है) ने भौतिकी परीक्षण पर औसतन 0.475 स्कोर किया। "कोड-एज़-सीओटी" सिस्टम जोड़ने के बाद, स्कोर बढ़कर 0.558 हो गया। दूसरे टेस्ट (VBench-2.0) पर, स्कोर 52.18% से उछलकर 77.88% हो गया।
- "अहा!" मोमेंट: सबसे बड़े सुधार उन क्षेत्रों में हुए जहाँ AI आमतौर पर सबसे अधिक विफल होता है: थर्मल डायनेमिक्स (जैसे गर्मी और पिघलना) और मटेरियल डायनेमिक्स (चीजें कैसे टूटती हैं या बहती हैं)। यह साबित करता है कि कोड ड्राफ्ट वास्तव में AI को सिखा रहा था कि भौतिकी कैसे काम करती है, न कि केवल वीडियो को सुंदर बना रहा था।
क्या पेपर खारिज करता है
यह ध्यान रखना महत्वपूर्ण है कि VideoCoCo क्या नहीं है। पेपर स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि हम केवल लाखों वीडियो से भौतिकी को "सीखने" के लिए एक बड़ा AI प्रशिक्षित कर सकते हैं। उन्होंने पाया कि एक स्पष्ट, निष्पादित योजना (कोड) के बिना, AI अभी भी घटनाओं के क्रम को सही ढंग से करने में संघर्ष करता है। वे यह भी दिखाते हैं कि केवल एक रफ टेक्स्ट प्लान या कुछ कीफ्रेम्स होना पर्याप्त नहीं है; योजना को एग्जीक्यूटेबल कोड होना चाहिए जिसे कंप्यूटर वास्तव में एक ड्राफ्ट बनाने के लिए चला सके।
कमी और भविष्य
हालांकि परिणाम प्रभावशाली हैं, पेपर उनकी सीमाओं के बारे में ईमानदार है। सिस्टम वर्तमान में थोड़ा धीमा है क्योंकि इसे कोड लिखना पड़ता है, सिमुलेशन चलाना पड़ता है, और फिर वीडियो पेंट करना पड़ता है। यह एक प्रतिभाशाली वास्तुकार और एक चित्रकार को रखने जैसा है, लेकिन इसमें केवल एक फोटो खींचने की तुलना में थोड़ा अधिक समय लगता है। साथ ही, सिस्टम ब्लेंडर सिम्युलेटर की जटिलता तक सीमित है; अत्यधिक जटिल चीजें जैसे घूमता हुआ, अराजक पानी अभी भी पूरी तरह से सिम्युलेट करने में कठिन हो सकती है।
हालाने, लेखक सुझाव देते हैं कि यह "कोड-एज़-सीओटी" दृष्टिकोण सोचने का एक शक्तिशाली नया तरीका है। AI से दुनिया को जादुई रूप से समझने की उम्मीद करने के बजाय, हम इसे दुनिया का एक मॉडल बनाने के लिए एक टूल दे सकते हैं, और फिर उस ठोस आधार के आधार पर कला बनाने के लिए छोड़ सकते हैं। यह एक याद दिलाता है कि कभी-कभी, कुछ सुंदर बनाने का सबसे अच्छा तरीका पहले कुछ ऐसा बनाना है जो काम करता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।