← नवीनतम पेपर
💻 computer science

Co-Director: Agentic Generative Video Storytelling

यह शोध पत्र Co-Director प्रस्तुत करता है, जो एक पदानुक्रमित बहु-एजेंट ढांचा (hierarchical multi-agent framework) है जो वीडियो कहानी कहने (video storytelling) को मल्टी-आर्म्ड बैंडिट्स और स्थानीय स्व-परिष्करण (local self-refinement) का उपयोग करके एक वैश्विक अनुकूलन समस्या के रूप में औपचारिक रूप देता है ताकि सिमेंटिक ड्रिफ्ट (semantic drift) और कैस्केडिंग विफलताओं (cascading failures) को दूर किया जा सके, जिससे सुसंगत, उच्च-निष्ठा वाली आख्यानों को उत्पन्न करने में अत्याधुनिक बेसलाइनों से काफी बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy
प्रकाशित 2026-04-29
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy, Tomas Pfister

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए उत्पाद का विज्ञापन करने के लिए एक छोटी फिल्म बनाना चाहते हैं। अतीत में, आपको लेखकों, निर्देशकों, कैमरा ऑपरेटर्स और संपादकों की एक टीम के साथ हफ्तों तक काम करना पड़ता था। आज, AI वीडियो क्लिप तो बना सकता है, लेकिन उन्हें एक सुसंगत कहानी (coherent story) सुनाना ऐसा है जैसे किसी रोबोट से ईंटें लगवाने के लिए कहना, फिर दूसरे रोबोट से दीवारें पेंट करवाने के लिए कहना, और फिर तीसरे रोबोट से छत लगवाने के लिए कहना, बिना किसी को यह बताए कि अंतिम घर कैसा दिखना चाहिए। परिणाम अक्सर ईंटों का एक बिखरा हुआ ढेर होता है जो किसी घर जैसा बिल्कुल नहीं दिखता।

यह शोध पत्र Co-Director पेश करता है, जो एक नया AI सिस्टम है जिसे इस समस्या को हल करने के लिए डिज़ाइन किया गया है। Co-Director को एक एकल रोबोट के रूप में नहीं, बल्कि एक पदानुक्रमित फिल्म उत्पादन कंपनी (hierarchical film production company) के रूप में सोचें, जिसे एक एकीकृत दृष्टिकोण के तहत काम करने वाले विशेषज्ञ AI एजेंटों की एक टीम द्वारा चलाया जाता है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "टूटी हुई कड़ी" (The "Broken Chain")

वर्तमान AI वीडियो टूल "वॉटरफॉल" की तरह काम करते हैं। आप एक प्रॉम्प्ट देते हैं, यह एक स्क्रिप्ट लिखता है, फिर दूसरा AI उस स्क्रिप्ट को छवियों में बदल देता है, फिर एक अन्य छवियों को वीडियो में बदल देता है।

  • समस्या: यदि पहला चरण एक छोटी सी गलती करता है (जैसे कि नीली कार के बजाय लाल कार का वर्णन करना), तो अगले चरण उस त्रुटि को बढ़ा देते हैं। अंत तक, कार हरी, उड़ती हुई और पनीर की बनी हुई हो सकती है। इसे "सिमेंटिक ड्रिफ्ट" (semantic way) कहा जाता है।
  • उपमा: यह "टेलीफोन" गेम खेलने जैसा है। संदेश एक व्यक्ति से दूसरे व्यक्ति तक पहुँचते समय बिगड़ जाता है।

2. समाधान: "ऑर्केस्ट्रेटर" और "क्रिएटिव कंपास"

Co-Director एक कंडक्टर (ऑर्केस्ट्रेटर) और एक क्रिएटिव कंपास (मल्टी-आर्म्ड बैंडिट) को जोड़कर इसे ठीक करता है।

  • ऑर्केस्ट्रेटर (Orchestrator): यह "निर्देशक" (Director) एजेंट है। AI एजेंटों को एक सीधी रेखा में काम करने देने के बजाय, ऑर्केस्ट्रेटर किसी के भी काम शुरू करने से पहले पूरे प्रोजेक्ट के लिए एक वैश्विक "वाइब" या रणनीति निर्धारित करता है। यह सुनिश्चित करता है कि लेखक, कलाकार और वीडियो निर्माता सभी एक ही धुन पर गा रहे हों।
  • क्रिएटिव कंपास (Multi-Armed Bandit): यह इस शोध पत्र का सबसे अनूना विचार है। कल्पना कीजिए कि एक स्लॉट मशीन है जिसमें तीन लीवर हैं, लेकिन पैसे के बजाय, आप क्रिएटिव स्ट्रैटेजी (जैसे, "क्या यह विज्ञापन तथ्यों के बारे में है या भावनाओं के बारे में?"), स्टोरी मोड (जैसे, "क्या यह एक ड्रामा है या जीवन का एक हिस्सा?"), और विजुअल स्टाइल (जैसे, "क्या यह उज्ज्वल और ऊर्जावान है या गहरा और गंभीर?") के लिए लीवर खींच रहे हैं।
    • सिस्टम इन लीवरों के विभिन्न संयोजनों को आज़माता है।
    • यह देखता है कि कौन सा संयोजन सबसे अच्छा वीडियो बनाता है।
    • यह जल्दी से सीख जाता है कि किसी विशिष्ट उत्पाद के लिए कौन सी "सेटिंग्स" सबसे अच्छी होती हैं, जो नए विचारों को आज़माने (exploration) और सिद्ध सफल शैलियों का उपयोग करने (exploitation) के बीच संतुलन बनाता है।

3. सुरक्षा जाल: "स्व-सुधार" (Self-Correction)

एक महान निर्देशक के होने के बावजूद, गलतियाँ होती हैं। Co-Director में एक अंतर्निहित सेल्फ-करेक्शन लूप है।

  • उपमा: एक फिल्म संपादक के बारे में सोचें जो 'डेलीज़' (कच्चा फुटेज) देखता है और कहता है, "रुको, सीन 1 और सीन 2 के बीच अभिनेता के बालों का रंग बदल गया है। आइए उस विशिष्ट भाग को फिर से शूट करें।"
  • Co-Director यह काम स्वचालित रूप से करता है। अंतिम वीडियो बनने से पहले, यह स्क्रिप्ट और मुख्य छवियों की जाँच करता है। यदि यह किसी पात्र का चेहरा बदलते हुए या उत्पाद गायब होते हुए देखता है, तो यह त्रुटि को ठीक करने के लिए केवल उस विशिष्ट भाग के लिए प्रॉम्प्ट को फिर से लिख देता है, जिससे अंतिम फिल्म सुसंगत बनी रहती है।

4. परीक्षण: "GenAd-Bench"

यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने GenAd-Bench नामक एक नया परीक्षण बनाया।

  • सेटअप: उन्होंने 200 नकली ब्रांड और 400 अलग-अलग विज्ञापन परिदृश्य (जैसे, "टोक्यो में 25 वर्षीय व्यक्ति को एक भविष्यवादी छाता बेचें") बनाए।
  • नकली क्यों? उन्होंने नकली उत्पादों का उपयोग किया ताकि AI अपने प्रशिक्षण डेटा से वास्तविक दुनिया की छवियों को याद करके "चीटिंग" न कर सके। इसे वास्तव में कहानी को शून्य से बनाना था।
  • जज: उन्होंने वीडियो को चार चीजों पर ग्रेड देने के लिए एक परिष्कृत AI "जज" (और मानव परीक्षकों) का उपयोग किया:
    1. फिडेलिटी (Fidelity): क्या नकली उत्पाद असली नकली उत्पाद जैसा दिख रहा था?
    2. टारगेटिंग (Targeting): क्या वीडियो ऐसा महसूस हुआ जैसे यह विशेष व्यक्ति (जैसे, एक किशोर बनाम एक वरिष्ठ) के लिए बनाया गया था?
    3. अपील (Appeal): क्या विज्ञापन प्रभावशाली था?
    4. गुणवत्ता (Quality): क्या वीडियो सहज और पेशेवर लग रहा था?

5. परिणाम

Co-Director ने सभी वर्तमान AI वीडियो सिस्टम को पीछे छोड़ दिया।

  • इसने केवल "ठीक-ठाक" वीडियो ही नहीं बनाए; इसने ऐसे वीडियो बनाए जो ऐसा महसूस हुए जैसे उन्हें एक मानव टीम द्वारा निर्देशित किया गया हो।
  • इसने उत्पाद की पहचान को सुरक्षित रखा (लोगो पिघला या बदला नहीं)।
  • इसने पिछले तरीकों की तुलना में लक्षित दर्शकों की "वाइब" को बहुत बेहतर ढंग से समझा।

सारांश

संक्षेप में, Co-Director एक ऐसा सिस्टम है जो वीडियो निर्माण को एक रैखिक असेंबली लाइन के रूप में नहीं, बल्कि एक ग्लोबल ऑप्टिमाइजेशन प्रॉब्लम के रूप में मानता है। यह सर्वोत्तम कलात्मक दिशा खोजने के लिए "क्रिएटिव कंपास" का उपयोग करता है, सभी AI एजेंटों को संरेखित रखने के लिए एक "डायरेक्टर" का उपयोग करता है, और गलतियों को तुरंत ठीक करने के लिए एक "सेल्फ-करेक्शन" लूप का उपयोग करता है। परिणाम एक ऐसा सिस्टम है जो एक साधारण विचार को एक सुसंगत, उच्च-गुणवत्ता वाली वीडियो कहानी में बदल सकता है, ठीक वैसे ही जैसे एक पेशेवर फिल्म निर्देशक करता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →