Agentic Video Generation: From Text to Executable Event Graphs via Tool-Constrained LLM Planning
यह शोध पत्र एक एजेंटिक वीडियो जनरेशन सिस्टम प्रस्तुत करता है जो प्रत्यक्ष पिक्सेल संश्लेषण के स्थान पर एक नियतात्मक, टूल-प्रतिबंधित LLM पाइपलाइन का उपयोग करता है जो एक 3D गेम इंजन में औपचारिक "स्पेस और टाइम में इवेंट्स के ग्राफ" (GEST) का निर्माण और निष्पादन करता है, जिससे मौजूदा न्यूरल वीडियो जनरेटरों की तुलना में काफी उच्च भौतिक वैधता और सिमेंटिक संरेखण प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म बनाना चाहते हैं।
पुराना तरीका (न्यूरल जनरेटर्स):
वर्तमान में, अधिकांश AI वीडियो टूल्स एक जादुई लेकिन थोड़े भ्रमित इम्प्रोवाज़ेशनल थिएटर ग्रुप की तरह काम करते हैं। आप उन्हें एक स्क्रिप्ट देते हैं ("दो दोस्त कॉफी के लिए मिलते हैं"), और वे तुरंत उसे निभाने की कोशिश करते हैं। वे दिखने में बहुत वास्तविक होते हैं—लाइटिंग एकदम सही होती है, चेहरे इंसानों जैसे लगते हैं। लेकिन वे अक्सर भौतिकी (physics) या तर्क के नियमों को भूल जाते हैं। एक पल में एक पात्र कॉफी का कप पकड़े होता है; अगले ही पल, वह कप हवा में तैर रहा होता है, या पात्र के अचानक तीन हाथ हो जाते हैं। वे कहानी को चलते-चलते "हैलुसिनेट" (hallucinate) कर रहे होते हैं, जिसका अर्थ है कि अंतिम फिल्म देखने में सुंदर तो हो सकती है लेकिन तार्किक रूप से उसका कोई अर्थ नहीं होगा।
नया तरीका (इस पेपर का "एजेंटिक" सिस्टम):
शोधकर्ताओं ने इस स्क्रिप्ट को बदलने का फैसला किया। AI से फ्रेम-दर-फ्रेम वीडियो "पेंट" करने के बजाय, उन्होंने AI से पहले एक सख्त, गणितीय ब्लूप्रिंट लिखने को कहा।
इसे इस तरह समझें:
- निर्देशक (The Director - LLM): यह रचनात्मक कहानीकार है। यह कथानक, पात्र और संवाद तैयार करता है। "पहले, जॉन अंदर आता है, फिर वह बैठता है, फिर वह मैरी से बात करता है।"
- स्टेज मैनेजर (The Stage Manager - Tool-Backend): यह नियमों को लागू करने वाला सख्त अधिकारी है। इसे कहानी की परवाह नहीं है; इसे केवल "खेल के मैदान" (एक 3D वीडियो गेम इंजन) के नियमों की परवाह है। यह जानता है कि एक पात्र तब तक नहीं बैठ सकता जब तक वह पहले खड़ा न हो, और वह एक साथ दो भारी चीजें नहीं उठा सकता।
यह कैसे काम करता है: "ब्लूप्रिंट" दृष्टिकोण
- योजना (The Plan): "निर्देशक" AI एक विस्तृत योजना लिखता है जिसे GEST (Graph of Events in Space and Time) कहा जाता है। यह कोई वीडियो नहीं है; यह निर्देशों की एक संरचित सूची है: अभिनेता A स्थान B की ओर बढ़ता है, वस्तु C को उठाता है, फिर अभिनेता B का इंतजार करता है।
- सुरक्षा जांच (The Safety Check): योजना को वीडियो बनने की अनुमति देने से पहले, यह "स्टेज मैनेजर" से होकर गुजरती है। स्टेज मैनेजर हर कदम की जाँच 3D गेम इंजन के नियमों के विरुद्ध करता है।
- क्या जॉन वास्तव में वहां बैठ सकता है? हाँ।
- क्या कुर्सी खाली है? नहीं।
- क्या उसने पीने से पहले कप उठाया था? हाँ।
- यदि योजना किसी नियम को तोड़ती है, तो स्टेज मैनेजर कहता है, "नहीं, यह असंभव है," और निर्देशक को तुरंत इसे ठीक करने के लिए मजबूर करता है।
- निष्पादन (The Execution): एक बार जब ब्लूप्रिंट त्रुटिहीन और त्रुटि-मुक्त हो जाता है, तो एक कंप्यूटर गेम इंजन (जैसे कि Grand Theft Auto का हाई-टेक संस्करण) सिमुलेशन चलाता है। क्योंकि ब्लूप्रिंट एकदम सही था, इसलिए परिणामी वीडियो गारंटी के साथ तार्किक रूप से सही होगा। कोई तैरता हुआ कप नहीं, कोई गायब होते लोग नहीं।
यह एक बड़ी बात क्यों है
यह पेपर इस नए सिस्टम की कुछ प्रमुख "सुपरपावर्स" को उजागर करता है:
- "ग्राउंड ट्रुथ" बोनस: चूंकि वीडियो एक सख्त ब्लूप्रिंट से उत्पन्न होता है, इसलिए सिस्टम स्वचालित रूप से जानता है कि हर फ्रेम में वास्तव में क्या हो रहा है। यह आपको बता सकता है, "सेकंड 4.2 पर, लाल कार नीली कार से 3 मीटर बाईं ओर है।" वर्तमान AI वीडियो जनरेटर (जैसे Sora या Runway) ऐसा नहीं कर सकते; वे बस अनुमान लगाते हैं कि पिक्सेल कैसे दिखने चाहिए।
- "दो-चरणीय" परीक्षण: शोधकर्ताओं ने इसे दो तरीकों से परखा:
- स्वायत्त मोड (Autonomous Mode): AI ने खुद से कहानी बनाई। यह लगभग 50% समय सफल रहा (यह लूप में फंस गया या विचार खत्म हो गए)।
- सीडेड मोड (Seeded Mode): उन्होंने AI को एक विशिष्ट कहानी सुनाई। यह 80% समय सफल रहा।
- "मैजिक" AI को मात देना: जब उन्होंने अपने इंजन-जनरेटेड वीडियो की तुलना समान कहानी प्रॉम्प्ट का उपयोग करके शीर्ष-स्तरीय न्यूरल जनरेटर्स (VEO 3.1 और WAN 2.2) से की, तो इंजन ने तर्क के मामले में स्पष्ट जीत हासिल की।
- इंजन वीडियो: 58% भौतिक रूप से वैध (चीजें भौतिकी के नियम नहीं तोड़तीं)।
- न्यूरल वीडियो: केवल 20-25% वैध (बहुत सारी अजीब गड़बड़ियाँ)।
- समझौता (The Trade-off): इंजन के वीडियो थोड़े वीडियो गेम जैसे दिखते हैं (कम फोटोरियलिस्टिक), लेकिन वे एक सुसंगत कहानी बताते हैं। न्यूरल वीडियो वास्तविक जीवन जैसे दिखते हैं लेकिन कहानी बिखर जाती है।
"स्टेज्ड" विफलता (The "Staged" Failure)
शोधकर्ताओं ने पहले एक अलग दृष्टिकोण आजमाया था: उन्होंने एक पाइपलाइन बनाई जहाँ एक AI कहानी लिखता है, दूसरा AI पात्रों की जांच करता है, तीसरा AI समय की जांच करता है, और इसी तरह। यह पूरी तरह से विफल रहा (0% सफलता)।
क्यों? यह एक घर बनाने जैसा है जहाँ एक व्यक्ति ब्लूप्रिंट बनाता है, दूसरा दीवारें बनाता है, और तीसरा छत लगाता है, बिना एक-दूसरे से बात किए। जब तक छत लगती है, तब तक दीवारें गलत जगह पर होती हैं।
समाधान: उनका नया सिस्टम निर्देशक और स्टेज मैनेजर के बीच एक एकल, निरंतर संवाद का उपयोग करता है। निर्देशक प्रस्ताव रखता है, स्टेज मैनेजर तुरंत वीटो या अनुमोदन देता है। यह "स्टेट" (कौन क्या पकड़े हुए है, कहाँ सब लोग हैं) को पूरी तरह से सटीक रखता है।
निष्कर्ष
यह पेपर एक ऐसा सिस्टम पेश करता है जो वीडियो जनरेशन को एक तस्वीर पेंट करने के बजाय एक सिमुलेशन को प्रोग्राम करने की तरह मानता है।
- पुराना तरीका: "इसे वास्तविक दिखाओ, भले ही इसका कोई अर्थ न निकले।"
- नया तरीका: "इसे पूरी तरह से तार्किक बनाओ, और हम बाद में इसके लुक को ठीक कर लेंगे।"
जहाँ तर्क, भौतिकी और जटिल मल्टी-कैरेक्टर इंटरैक्शन की आवश्यकता होती है, वहाँ वीडियो बनाने के लिए यह एक बड़ा कदम है। यह वीडियो जनरेशन को एक "जादुई ट्रिक" से बदलकर एक विश्वसनीय इंजीनियरिंग प्रक्रिया में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।