← नवीनतम पेपर
🤖 AI

A2^2RD: Agentic Autoregressive Diffusion for Long Video Consistency

यह शोध पत्र A2^2RD को पेश करता है, जो एक एजेंटिक ऑटोरेग्रेसिव डिफ्यूजन फ्रेमवर्क है जो क्लोज्ड-लूप रिट्रीव-सिंथेसाइज़-रिफाइन-अपडेट चक्र और मल्टीमॉडल मेमोरी के माध्यम से लॉन्ग-वीडियो निरंतरता सुनिश्चित करता है, और निरंतरता में 30% तक और नैरेटिव कोहेरेंस में 20% तक अत्याधुनिक तरीकों से बेहतर प्रदर्शन करता है।

मूल लेखक: Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le

प्रकाशित 2026-05-11
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जादुई कैमरे का उपयोग करके एक बहुत लंबी, जटिल कहानी सुनाने की कोशिश कर रहे हैं जो एक-एक करके वीडियो फ्रेम बनाता है। वर्तमान "जादुई कैमरों" के साथ सबसे बड़ी समस्या यह है कि वे भूलने की बीमारी (amnesia) और भटकाव (drift) से ग्रस्त होते हैं। यदि आप उनसे 10 मिनट की फिल्म बनाने के लिए कहते हैं, तो 5 मिनट तक आते-आते, मुख्य पात्र के बालों का रंग बदल सकता है, बैकग्राउंड किसी दूसरे शहर में बदल सकता है, या कहानी बिना किसी तर्क के खुद को दोहरा सकती है। वे पहले कुछ सेकंड तो सही बनाते हैं, लेकिन जैसे-जैसे कहानी लंबी होती जाती है, वे सूत्र खो देते हैं।

यह पेपर A2RD (एजेंटिक ऑटोरिग्रेसिव डिफ्यूजन) पेश करता है, जो उस जादुई कैमरे को एक सुपर-इंटेलिजेंट डायरेक्टर, एक मेमोरी बैंक और एक सख्त एडिटर के साथ काम करने जैसा है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "भटकता हुआ" कैमरा

वर्तमान वीडियो जनरेटरों को एक लंबे एग्जाम देने वाले छात्र के रूप में सोचें। वे पहले प्रश्न का उत्तर बिल्कुल सही देते हैं। लेकिन दूसरे प्रश्न के लिए, उन्हें केवल पहले प्रश्न का उत्तर याद रहता है, पूरे एग्जाम के निर्देश नहीं। जब तक वे 50वें प्रश्न पर पहुँचते हैं, वे भूल चुके होते हैं कि मुख्य पात्र कौन था, सेटिंग कैसी दिखती थी, या वास्तव में प्लॉट क्या था। इसे "सेमेंटिक ड्रिफ्ट" (semantic drift) कहा जाता है। कहानी बिखर जाती है।

2. समाधान: "एजेंटिक" डायरेक्टर

A2RD केवल वीडियो जनरेट नहीं करता; यह एक एजेंट (एक स्मार्ट असिस्टेंट) की तरह काम करता है जो पूरी प्रक्रिया को प्रबंधित करता है। यह लंबी फिल्म को छोटे टुकड़ों (सेगमेंट) में तोड़ता है और इसे एक लूप में प्रबंधित करता है: रिट्रीव (प्राप्त करना), सिंथेसाइज (संश्लेषित करना), रिफाइन (परिष्कृत करना), अपडेट (अपडेट करना)।

यहाँ इस "डायरेक्टर" के तीन मुख्य उपकरण दिए गए हैं:

A. "मल्टीमॉडल वीडियो मेमोरी" (डायरेक्टर की स्क्रिप्ट और फोटो एल्बम)

केवल अगले दृश्य का अनुमान लगाने के लिए पिछले फ्रेम को देखने के बजाय, A2D एक विस्तृत मेमोरी बैंक रखता है।

  • उपमा: एक निर्देशक की कल्पना करें जो एक विशाल बाइंडर रखता है। इसके अंदर उनके पास है:
    • टेक्स्ट नोट्स: "क्लारा ने लाल ड्रेस पहनी है और उसके बाएं गाल पर एक निशान है।"
    • फोटो: पात्र और कमरे के उच्च-गुणवत्ता वाले संदर्भ चित्र।
    • वीडियो क्लिप्स: पात्र के हिलने-डुलने के तरीके के छोटे क्लिप।
  • यह कैसे मदद करता है: एक नया दृश्य बनाने से पहले, AI इस बाइंडर की जांच करता है। वह केवल अनुमान नहीं लगाता; वह क्लारा कौन है और उसे कहाँ होना चाहिए, इसके सटीक विवरणों को रिट्रीव (प्राप्त) करता है। यह पात्र को गलती से किसी दूसरे व्यक्ति में बदलने या कमरे के रंगों के बदलने से रोकता है।

B. "एडेप्टिव सेगमेंट जनरेशन" (स्मार्ट स्विच)

AI को यह तय करना होता है कि एक दृश्य को दूसरे से कैसे जोड़ना है। इसके पास दो मोड हैं:

  • एक्सट्रपलेशन (आगे का अनुमान लगाना): "पात्र दरवाजे से बाहर निकल रहा है; चलिए देखते हैं आगे क्या होता है।" यह प्राकृतिक गति के लिए अच्छा है लेकिन जोखिम भरा है क्योंकि AI कुछ भी मनगढ़ंत बना सकता है (hallucinate)।
  • इंटरपोलेशन (बिंदुओं को जोड़ना): "पात्र दरवाजे पर शुरू होता है और कार के पास समाप्त होता है; आइए बीच के हिस्से को भरें।" यह बहुत सुरक्षित और सुसंगत है लेकिन थोड़ा जड़ (stiff) महसूस हो सकता है।
  • A2RD की ट्रिक: AI एक स्मार्ट एडिटर की तरह काम करता है। यह कहानी को देखता है और इन दोनों मोड के बीच स्वचालित रूप से स्विच करता है। यदि दृश्य एक साधारण पैदल यात्रा है, तो यह आगे का अनुमान लगाता है। यदि दृश्य किसी नई जगह पर कूदता है, तो यह सुनिश्चित करने के लिए कि ट्रांज़िशन सही हो, बिंदुओं को सख्ती से जोड़ता है।

C. "हायरार्किकल सेल्फ-इम्प्रूवमेंट" (सख्त एडिटर)

यह सबसे अनूठा हिस्सा है। वीडियो फाइनल होने से पहले, AI अपने ही काम की समीक्षा करता है और उसे ठीक करता है।

  • उपमा: कल्पना करें कि आपने एक पैराग्राफ लिखा, फिर आपने एक सख्त एडिटर को उसे जोर से पढ़ते हुए सुनाया। एडिटर कहता है, "रुको, तुमने कहा था कि कार लाल थी, लेकिन तस्वीर में यह नीली है। साथ ही, पात्र गलत दिशा में देख रहा है।"
  • प्रक्रिया:
    1. जेनरेट: AI एक वीडियो क्लिप बनाता है।
    2. चेक: एक AI "जज" उस क्लिप को देखता है और उसकी तुलना मेमोरी बैंक और कहानी से करता है। वह "क्या पात्र का चेहरा वही है?" और "क्या भौतिकी (physics) वास्तविक है?" जैसी चीजों पर स्कोर देता है।
    3. फिक्स: यदि स्कोर कम है, तो AI अपने स्वयं के निर्देशों (प्रॉम्प्ट्स) को फिर से लिखता है और दोबारा प्रयास करता है। वह हर एक क्लिप के लिए यह कार्य दो बार करता है।
    4. लर्न: वह अपनी गलतियों को याद रखता है ताकि वह फिल्म में बाद में वैसी गलतियाँ न करे।

3. नया टेस्ट: LVbench-C

यह साबित करने के लिए कि यह काम करता है, लेखकों ने LVbench-C नामक एक नया, बहुत कठिन टेस्ट बनाया है।

  • उपमा: अधिकांश वीडियो टेस्ट किसी को बिल्ली का चित्र बनाने के लिए कहने जैसे हैं। आसान। यह नया टेस्ट किसी को बिल्ली, फिर कुत्ता, फिर बिल्ली (लेकिन अब बिल्ली ने टोपी पहनी है और वह गीली है), फिर कुत्ता (लेकिन अब कुत्ता बूढ़ा और थका हुआ है) बनाने के लिए कहने जैसा है, जबकि बैकग्राउंड को सुसंगत रखना है।
  • यह "चक्रीय" (cyclical) निरंतरता का परीक्षण करता है: क्या AI याद रख सकता है कि पात्र 10 मिनट पहले आया था, कुछ समय के लिए गायब हो गया था, और अब उसे विशिष्ट परिवर्तनों के साथ फिर से प्रकट होना है?

परिणाम

जब उन्होंने टेस्ट चलाए:

  • निरंतरता (Consistency): A2RD मौजूदा सर्वोत्तम तरीकों की तुलना में पात्रों और वातावरण को पूरे वीडियो में समान रखने में 30% तक बेहतर था।
  • कहटों (Storytelling): यह कहानी को तार्किक बनाए रखने और खुद को न दोहराने में 20% बेहतर था।
  • मानवीय फीडबैक: जब इंसानों ने वीडियो देखे, तो उन्होंने स्मूथ ट्रांज़िशन और पात्र की निरंतरता के लिए A2RD को बहुत अधिक रेटिंग दी।

सारांश

संक्षेप में, A2RD एक ऐसा सिस्टम है जो वीडियो AI को कहानी के बीच में "भूलने" से रोकता है। यह AI को एक विस्तृत मेमोरी, दृश्यों को जोड़ने का सबसे अच्छा तरीका चुनने की क्षमता, और अंतिम परिणाम दिखाने से पहले अपनी गलतियों की समीक्षा करने और उन्हें ठीक करने की शक्ति देकर ऐसा करता है। यह एक अराजक, भटकते हुए वीडियो जनरेटर को एक अनुशासित, लंबी कहानी सुनाने वाले में बदल देता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →