The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation
यह शोध पत्र एक एजेंटिक फ्रेमवर्क पेश करता है जिसमें एक ScripterAgent और DirectorAgent शामिल हैं, जो एक नए बेंचमार्क और मूल्यांकन मेट्रिक्स द्वारा समर्थित है, ताकि उच्च-स्तरीय अवधारणाओं को निष्पादन योग्य स्क्रिप्ट में अनुवादित करके संवाद और दीर्घ-अवधि वाले सिनेमाई वीडियो निर्माण के बीच के अर्थ संबंधी अंतर को पाटा जा सके, जिससे कथात्मक सुसंगतता और स्क्रिप्ट की सत्यनिष्ठा सुनिश्चित हो सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म बनाना चाहते हैं, लेकिन आपके पास केवल दो लोगों के बीच की एक कच्ची बातचीत है। आपके पास कोई स्क्रिप्ट नहीं है, कोई कैमरा निर्देश नहीं है, और आपको यह भी नहीं पता कि प्रत्येक दृश्य कितनी देर तक चलेगा। यदि आप बस वर्तमान AI वीडियो जनरेटर से "इस चैट से एक फिल्म बनाओ" कहेंगे, तो वह आमतौर पर विफल हो जाता है। वह एक सुंदर 5-सेकंड का क्लिप तो बना सकता है, लेकिन वह मिनटों तक चलने वाली कहानी नहीं बना सकता, और पात्र हर शॉट में अलग दिखते हैं।
यह शोध पत्र एक नया "एजेंटिक फ्रेमवर्क" (AI विशेषज्ञों की एक टीम) पेश करता है जो इस समस्या को हल करता है। इसे एक डिजिटल फिल्म प्रोडक्शन क्रू के रूप में सोचें जो एक साधारण चैट को एक पूर्ण सिनेमाई फिल्म में बदल देता है।
यहाँ उनका यह टीम कैसे काम करती है, इसे तीन मुख्य पात्रों में विभाजित किया गया है:
1. द स्क्रिपटर एजेंट (The ScripterAgent): "पटकथा लेखक"
समस्या: कच्चा संवाद अव्यवस्थित होता है। यह यह नहीं बताता कि कैमरा कहाँ है, अभिनेता को कैसे हिलना चाहिए, या लाइटिंग कैसी होनी चाहिए।
समाधान: स्क्रिपटर एजेंट एक पेशेवर पटकथा लेखक की तरह काम करता है जिसे विवरण पसंद हैं।
- यह क्या करता है: यह कच्ची चैट लेता है और एक विस्तृत, शॉट-दर-शॉट स्क्रिप्ट लिखता है। यह तय करता है, "ठीक है, इस लाइन के लिए, हमें अभिनेता के चेहरे का क्लोज-अप चाहिए, फिर पार्क का एक वाइड शॉट, और कैमरे को धीरे से बाईं ओर पैन करना चाहिए।"
- इसने कैसे सीखा: शोधकर्ताओं ने इसे ScriptBench नामक एक विशेष डेटासेट का उपयोग करके सिखाया। उन्होंने इसे केवल रैंडम डेटा नहीं दिया; उन्होंने एक सख्त "विशेषज्ञ-निर्देशित" प्रक्रिया का उपयोग किया जहाँ मानव-समान नियमों ने स्क्रिप्ट की त्रुटियों (जैसे यह सुनिश्चित करना कि कोई पात्र अचानक टेलीपोर्ट न हो जाए या कपड़े न बदल ले) की जाँच की।
- सीक्रेट सॉस: उन्होंने इसे दो चरणों में प्रशिक्षित किया। पहले, उन्होंने इसे स्क्रिप्ट की व्याकरण सिखाई (सुपरवाइज्ड फाइन-ट्यूनिंग)। फिर, उन्होंने एक "कोचिंग" पद्धति (रीइन्फोर्समेंट लर्निंग) का उपयोग किया जहाँ AI को उन विकल्पों के लिए पुरस्कृत किया गया जो केवल तार्किक रूप से सही नहीं, बल्कि कलात्मक और नाटकीय भी महसूस होते थे।
2. द डायरेक्टर एजेंट (The DirectorAgent): "फिल्म निर्देशक"
समस्या: एक आदर्श स्क्रिप्ट होने के बावजूद, वर्तमान वीडियो AI केवल छोटे क्लिप (जैसे 8-12 सेकंड) ही बना सकते हैं। यदि आप 2 मिनट की फिल्म बनाने की कोशिश करते हैं, तो AI भ्रमित हो जाता है, और पात्र हर नए क्लिप में अलग लोग दिखने लगते हैं।
समाधान: डायरेक्टर एजेंट एक निर्देशक की तरह काम करता है जो एक लंबे शूट को प्रबंधनीय टुकड़ों में तोड़कर प्रबंधित करता है।
- रणनीति: AI से एक साथ पूरी फिल्म बनाने के लिए कहने के बजाय, डायरेक्टर एजेंट स्क्रिप्ट को छोटे "दृश्यों" (scenes) में काट देता है जो AI की सीमाओं में फिट बैठते हैं।
- "फ्रेम-एंकरिंग" ट्रिक: यह उनका सबसे चतुर कदम है। जब AI सीन 1 पूरा कर लेता है, तो डायरेक्टर एजेंट उस सीन के सबसे अंतिम फ्रेम को लेता है और उसे सीन 2 के लिए शुरुआती फोटो के रूप में उपयोग करता है।
- उपमा: कल्पना कीजिए कि आप रिले रेस में बैटन (baton) पास कर रहे हैं। दौड़ने वाला (सीन 2) शून्य से शुरू नहीं करता; वे ठीक वहीं से शुरू करते हैं जहाँ पिछला धावक (सीन 1) रुका था। यह सुनिश्चित करता है कि पात्र का चेहरा, कपड़े और बैकग्राउंड बिल्कुल वैसा ही दिखे, जिससे एक सहज, लंबी फिल्म बनती है।
3. द क्रिटिक एजेंट (The CriticAgent): "फिल्म समीक्षक"
समस्या: आप कैसे जानेंगे कि फिल्म वास्तव में अच्छी है या नहीं?
समाधान: क्रिटिक एजेंट एक AI जज है जो अंतिम फिल्म को देखता है और देखता है कि क्या वे स्क्रिप्ट से मेल खाते हैं।
- यह क्या जाँचता है: यह देखता है कि "क्या कैमरा उसी तरह से चला जैसा स्क्रिप्ट में कहा गया था?" "क्या अभिनेता की भावना संवाद से मेल खाती थी?" और "क्या कहानी तार्किक रूप से आगे बढ़ी?"
- नया मेट्रिक: उन्होंने VSA (विजुअल-स्क्रिप्ट एलाइनमेंट) नामक एक नया स्कोर बनाया। इसे एक "टाइमिंग चेक" के रूप में समझें। यह केवल यह नहीं पूछता कि "क्या वीडियो में कुत्ता है?" बल्कि यह पूछता है कि "क्या कुत्ता वीडियो में ठीक उसी सेकंड मौजूद है जब स्क्रिप्ट में कुत्ते के आने की बात कही गई थी?"
उन्होंने क्या पाया?
टीम ने अपने सिस्टम का परीक्षण दुनिया के सर्वश्रेष्ठ वीडियो AI (जैसे Sora, Veo और अन्य) पर किया।
- परिणाम: जब उन्होंने अपने "स्क्रिपटर" और "डायरेक्टर" टीम का उपयोग किया, तो वीडियो AI ने बहुत बेहतर फिल्में बनाईं। पात्र सुसंगत रहे, कहानी समझ में आई, और वीडियो स्क्रिप्ट का बहुत बारीकी से पालन करते हैं।
- ट्रेड-ऑफ (समझौता): उन्होंने वर्तमान AI में एक मजेदार नियम खोजा: कुछ मॉडल चीज़ों को यथार्थवादी और सुंदर बनाने में माहिर हैं (विजुअल स्पेक्टेकल), लेकिन वे स्क्रिप्ट का सटीक पालन करने में संघर्ष करते हैं। अन्य स्क्रिप्ट का पालन करने में माहिर हैं लेकिन वे थोड़े कम "सिनेमैटिक" दिख सकते हैं। उनका फ्रेमवर्क इस संतुलन को बनाने में मदद करता है, जिससे AI विजुअल क्वालिटी को खोए बिना कहानी का बेहतर पालन करता है।
संक्षेप में
यह शोध पत्र कहता है: "द स्क्रिप्ट इज ऑल यू नीड" (स्क्रिप्ट ही सब कुछ है)।
यदि आप एक साधारण बातचीत को फिल्म में बदलना चाहते हैं, तो आप केवल AI से "इसे करने" के लिए नहीं कह सकते। आपको एक AI पटकथा लेखक चाहिए जो विस्तृत योजना लिखे, एक AI निर्देशक चाहिए जो क्लिप्स को इस तरह जोड़ सके कि पात्रओं के चेहरे न बदलें, और एक AI समीक्षक चाहिए जो यह सुनिश्चित करे कि अंतिम उत्पाद वास्तव में योजना से मेल खाता है। यह टीम दृष्टिकोण एक सरल विचार और एक पूर्ण-लंबाई की सिनेमाई कहानी के बीच के अंतर को पाटता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।