💻 computer science

DCDM: Divide-and-Conquer Diffusion Models for Consistency-Preserving Video Generation

यह शोध पत्र DCDM का प्रस्ताव करता है, जो एक डिवाइड-एंड-कॉन्कर डिफ्यूजन फ्रेमवर्क है जो इंट्रा-क्लिप कोहेरेंस के लिए LLM-संचालित सिमेंटिक पार्सिंग, इंटर-क्लिप नियंत्रण के लिए नॉइज़-स्पेस टेम्पोरल कैमरा रिप्रेजेंटेशन, और इंटर-शॉट नैरेटिव निरंतरता के लिए स्पार्स अटेंशन के साथ एक समग्र सीन जनरेशन प्रतिमान को एकीकृत करके वीडियो जनरेशन की निरंतरता को बढ़ाता है।

मूल लेखक: Haoyu Zhao, Yuang Zhang, Junqi Cheng, Jiaxi Gu, Zenghui Lu, Peng Shu, Zuxuan Wu, Yu-Gang Jiang

प्रकाशित 2026-02-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoyu Zhao, Yuang Zhang, Junqi Cheng, Jiaxi Gu, Zenghui Lu, Peng Shu, Zuxuan Wu, Yu-Gang Jiang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक निर्देशक हैं जो एक जादुई, AI-संचालित कैमरे के साथ एक फिल्म बनाने की कोशिश कर रहे हैं। आप चाहते हैं कि फिल्म शानदार दिखे, लेकिन आप तीन विशिष्ट डरावनी समस्याओं का सामना कर रहे हैं जो AI से वीडियो बनाने पर आती हैं:

"भुलक्कड़ अभिनेता" की समस्या (The "Forgetful Actor" Problem): एक ही दृश्य में, AI किसी पात्र के अचानक तीन आँखें बना सकता है, या बिना किसी कारण के कॉफी का कप उल्टा तैरता हुआ दिखा सकता है। यह दुनिया के बुनियादी नियमों को भूल जाता है।
"डगमगाते हाथ" की समस्या (The "Wobbly Hand" Problem): आप कैमरे को "सुचारू रूप से ज़ूम इन करने" के लिए कहते हैं, लेकिन AI कैमरे को हिला देता है, झटके देता है, या इस तरह से चलता है जैसे उसे किसी नशे में धुत व्यक्ति ने पकड़ा हो।
"अल्जाइमर/स्मृति लोप" की समस्या (The "Amnesia" Problem): आप 10 मिनट की कहानी मांगते हैं। पहले मिनट में, नायक के पास लाल टोपी है। पांचवें मिनट तक, टोपी नीली हो जाती है। दसवें मिनट तक, वह पूरी तरह से एक अलग व्यक्ति बन जाता है। AI उस कहानी को भूल जाता है जो उसने अभी शुरू की थी।

जिस शोध पत्र को आपने साझा किया है, वह DCDM (Divide-and-Conquer Diffusion Model) नामक एक नई प्रणाली पेश करता है। एक विशाल, भ्रमित मस्तिष्क के माध्यम से इन सभी समस्याओं को ठीक करने के बजाय, लेखकों ने काम को तीन विशिष्ट टीमों में विभाजित करने का निर्णय लिया, जो एक ही छत के नीचे काम करती हैं।

यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. स्क्रिप्ट डॉक्टर (इंट्रा-क्लिप कंसिस्टेंसी - Intra-clip Consistency)

समस्या: जब आप "एक बिल्ली चूहे का पीछा कर रही है" जैसा सरल प्रॉम्प्ट देते हैं, तो AI को बहुत से विवरणों का अनुमान लगाना पड़ता है। क्या चूहा भाग रहा है? क्या बिल्ली गुस्से में है? वे कहाँ हैं? यदि AI गलत अनुमान लगाता है, तो दृश्य अजीब दिखता है।
समाधान: AI वीडियो बनाना शुरू करने से पहले, वे एक स्मार्ट स्क्रिप्ट डॉक्टर (एक लार्ज लैंग्वेज मॉडल) का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आप एक चित्रकार को कहते हैं, "एक कुत्ता बनाओ।" चित्रकार पंखों वाला कुत्ता बना सकता है। लेकिन यदि आप कहते हैं, "एक सुनहरे रिट्रीवर को धूप वाले पार्क में खुशी से दौड़ते हुए, एक लाल गेंद का पीछा करते हुए चित्रित करें," तो चित्रकार को ठीक पता होता है कि क्या करना है।
यह कैसे काम करता है: सिस्टम आपके छोटे प्रॉम्प्ट को लेता है और "स्क्रिप्ट डॉक्टर" से इसे एक अत्यंत विस्तृत विवरण में विस्तारित करने के लिए कहता है। यह गायब तर्क (logic) को भर देता है ताकि AI को वीडियो बनाना शुरू करने से पहले पता हो कि दुनिया कैसी दिखती है। यह "तीन आँखों वाली बिल्ली" की समस्या को रोकता है।

2. स्टेडीकैम ऑपरेटर (इंटर-क्लिप कैमरा कंसिस्टेंसी - Inter-clip Camera Consistency)

समस्या: AI को "कैमरा बाईं ओर ले जाओ" कहना अक्सर एक अस्थिर, अप्रत्याशित गड़बड़ी का परिणाम देता है क्योंकि AI वास्तव में ज्यामिति या भौतिकी (physics) को नहीं समझता है।
समाधान: उन्होंने एक विशेषज्ञ कैमरा ऑपरेटर बनाया जो गति के एक "ब्लूप्रिंट" के साथ काम करता है।

उपमा: एक अराजक भीड़ को बस "बाएं जाओ!" चिल्लाने के बजाय, आप एक पेशेवर कैमरामैन को फर्श पर एक विशिष्ट ट्रैक और एक रिमोट कंट्रोल देते हैं। आप उन्हें बताते हैं, "ठीक 2 मीटर बाईं ओर, सुचारू रूप से बढ़ें।"
यह कैसे काम करता है: सिस्टम आपके टेक्स्ट (जैसे, "ज़ूम इन") को एक गणितीय "नॉइज़ पैटर्न" में अनुवादित करता है जो कैमरे के लिए एक कठोर ट्रैक के रूप में कार्य करता है। यह एक पूर्ण संदर्भ छवि (जैसे स्टोरीबोर्ड स्केच) से भी शुरू होता है ताकि यह सुनिश्चित हो सके कि कैमरा बिल्कुल योजना के अनुसार चले, बिना हिले या डगमगाए।

3. मेमोरी कीपर (इंटर-शॉट एलिमेंट कंसिस्टेंसी - Inter-shot Element Consistency)

समस्या: कई शॉट्स के साथ लंबा वीडियो बनाते समय, AI आमतौर पर अंतिम शॉट तक पहुँचते-पहुँचते भूल जाता है कि पात्र पहले शॉट में कैसे दिखते थे।
समाधान: उन्होंने एक मेमोरी कीपर बनाया जो पूरी फिल्म को एक साथ देखता है, लेकिन केवल महत्वपूर्ण हिस्सों पर ध्यान देता है।

उपमा: कल्पना कीजिए कि आप एक उपन्यास लिख रहे हैं। यदि आप हर अध्याय के हर शब्द को एक विशाल ब्लॉक के रूप में लिखते हैं, तो आपका मस्तिष्क थक जाता है और आप मुख्य पात्र का नाम भूल जाते हैं। इसके बजाय, आप अध्याय दर अध्याय लिखते हैं, लेकिन अपने डेस्क पर एक "चरित्र शीट" (Character Sheet) रखते हैं जिसे आप हर बार नया अध्याय शुरू करते समय देखते हैं।
यह कैसे काम करता है: AI वीडियो को "शॉट्स" (दृश्यों) में उत्पन्न करता है। यह स्पार्स अटेंशन (Sparse Attention) नामक एक विशेष तकनीक का उपयोग करता है। यह एक एकल शॉट के भीतर प्रत्येक फ्रेम को बारीकी से देखता है (ताकि क्रिया सुचारू रहे), लेकिन जब यह अगले शॉट पर जाता है, तो यह पिछले शॉट्स से केवल कुछ "सारांश नोट्स" की जांच करता है। यह पात्र के चेहरे, शैली और कहानी को सुसंगत बनाए रखता है बिना हर बार पूरे वीडियो की पुन: गणना किए, जिससे भारी मात्रा में कंप्यूटर शक्ति बचती है।

बड़ी तस्वीर: "विभाजित करो और जीतो" (Divide and Conquer)

इस पेपर की प्रतिभा इसके नाम में है: डिवाइड एंड कॉन्कर (Divide and Conquer)।

एक विशाल, अति-जटिल रोबोट बनाने के बजाय जो एक साथ स्क्रिप्ट राइटर, कैमरामैन और मेमोरी बैंक बनने की कोशिश करता है (जो आमतौर पर हर चीज़ में विफल रहता है), उन्होंने एक केंद्रीय इंजन (वीडियो जनरेटर) बनाया और उसे तीन विशेषज्ञ सहायक दिए:

एक दृश्य के तर्क (logic) को ठीक करने के लिए।
एक कैमरा मूवमेंट को ठीक करने के लिए।
एक दीर्घकालिक स्मृति (long-term memory) को ठीक करने के लिए।

परिणाम

टीम ने एक प्रमुख प्रतियोगिता (AAAI'26) में इस सिस्टम का परीक्षण किया और जीत हासिल की। उनके वीडियो हैं:

तार्किक (Logical): वस्तुएं वास्तविक वस्तुओं की तरह व्यवहार करती हैं।
स्थिर (Stable): कैमरा एक पेशेवर फिल्म क्रू की तरह सुचारू रूप से चलता है।
सुसंगत (Consistent): पात्र पहले सेकंड से लेकर आखिरी सेकंड तक एक जैसे दिखते हैं।

संक्षेप में, उन्होंने AI को एक साथ सब कुछ करने के लिए मजबूर करना बंद कर दिया और इसके बजाय इसे एक स्पष्ट, व्यवस्थित कार्यप्रवाह (workflow) दिया, जिसके परिणामस्वरूप बहुत बेहतर, अधिक विश्वसनीय फिल्में मिलीं।

यहाँ शोध पत्र "DCDM: Divide-and-Conquer Diffusion Models for Consistency-Preserving Video Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

हाल के वीडियो जनरेटिव मॉडल उच्च दृश्य निष्ठा (visual fidelity) और अल्पकालिक टेम्पोरल सुसंगतता (short-term temporal coherence) प्राप्त करने में सफल रहे हैं, लेकिन वे तीन विशिष्ट आयामों में दीर्घकालिक सुसंगतता (long-term consistency) के लिए संघर्ष करते हैं:

इंट्रा-क्लिप वर्ल्ड नॉलेज कंसिस्टेंसी (Intra-clip World Knowledge Consistency): एक ही वीडियो क्लिप के भीतर वस्तुओं, गुणों और भौतिक अंतःक्रियाओं को अर्थपूर्ण और भौतिक रूप से तर्कसंगत सुनिश्चित करना (जैसे, वस्तुओं के व्यवहार में विरोधाभासों से बचना)।
इंटर-क्लिप कैमरा कंसिस्टेंसी (Inter-clip Camera Consistency): विभिन्न क्लिप्स के बीच सटीक, स्थिर और ज्यामितीय रूप से सही कैमरा मोशन और व्यू ट्रांज़िशन को बनाए रखना।
इंटर-शॉट एलीमेंट कंसिस्टेंसी (Inter-shot Element Consistency): लंबे नैरेटिव्स में कई शॉट्स के माध्यम से पात्रों, दृश्यों और शैलियों की पहचान को संरक्षित करना (दीर्घ-रेंज सुसंगतता)।

मुख्य चुनौती: एक ही मोनोलिथिक डिफ्यूजन मॉडल के भीतर तीनों प्रकार की सुसंगतता को लागू करना कठिन है। इससे 'रिप्रजेंटेशनल एंटैंगलमेंट' (representational entanglement) होता है, जहाँ मॉडल को एक साथ अर्थशास्त्र (semantics), ज्यामिति (geometry) और दीर्घ-रेंज टेम्पोरल डिपेंडेंसी पर तर्क करना पड़ता है, जिसके परिणामस्वरूप अक्सर कंट्रोलेबिलिटी, सुसंगतता और कम्प्यूटेशनल दक्षता के बीच उप-इष्टतम समझौता (suboptimal trade-offs) होता है।

2. कार्यप्रणाली: डिवाइड-एंड-कॉन्कर डिफ्यूजन मॉडल (DCDM)

लेखक DCDM का प्रस्ताव करते हैं, जो एक सिस्टम-लेवल फ्रेमवर्क है जो वीडियो कंसिस्टेंसी मॉडलिंग को तीन समर्पित घटकों में विभाजित करता है जबकि एक एकीकृत डिफ्यूजन ट्रांसफॉर्मर (DiT) बैकबोन को साझा करता है।

A. इंट्रा-क्लिप वर्ल्ड नॉलेज कंसिस्टेंसी (सिमेंटिक रीजनिंग)

लक्ष्य: एक एकल क्लिप के भीतर अर्थपूर्ण और भौतिक सुसंगतता सुनिश्चित करना।
तंत्र: LLM-आधारित प्रॉम्प्ट एक्सटेंशन (PE)।
- यूजर प्रॉम्प्ट अक्सर अपर्याप्त होते हैं। DCDM एक लार्ज लैंग्वेज मॉडल (LLM, जैसे Qwen3) का उपयोग इनपुट प्रॉम्प्ट को पार्स करने और स्पष्ट रूप से निहित विवरणों (इकाइयों, गुणों, स्थानिक संबंधों, क्रियाओं) को निष्कर्ष निकालने के लिए करता है।
- LLM एक परिष्कृत प्रॉम्प्ट ( $\tilde{p}$ ) उत्पन्न करता है जिसे फिर एम्बेड किया जाता है और DiT बैकबोन में टेक्स्टुअल कंडीशनिंग ( $c_{text}$ ) के रूप में फीड किया जाता है।
- लाभ: यह सिमेंटिक रीजनिंग को विजुअल जनरेशन से अलग करता है, जिससे वीडियो को स्पष्ट विश्व ज्ञान (world knowledge) के आधार पर स्थापित किया जाता है ताकि विरोधाभासों को कम किया जा सके।

B. इंटर-क्लिप कैमरा कंसिस्टेंसी (ज्यामितीय नियंत्रण)

लक्ष्य: सटीक और स्थिर कैमरा मोशन नियंत्रण प्राप्त करना।
तंत्र: नॉइज़ स्पेस में टेम्पोरल कैमरा रिप्रेजेंटेशन।
- वर्गीकरण: LLM प्रॉम्प्ट के कैमरा मोशन को पूर्व-निर्धारित श्रेणियों (जैसे, पैन लेफ्ट, ज़ूम इन, स्टैटिक) में वर्गीकृत करता है।
- नॉइज़ वार्पिंग (Noise Warping): केवल टेक्स्ट स्तर पर कंडीशनिंग करने के बजाय, DCDM नॉइज़ स्पेस में एक कैमरा रिप्रेजेंटेशन बनाता है। यह मानक गॉसियन नॉइज़ ( $z_1$ ) से शुरू होता है और कैमरा इंट्रिंसिक्स/एक्सट्रिंसिक्स से प्राप्त रिप्रोजेक्शन ऑपरेटर ( $W_{t \leftarrow t-1}$ ) का उपयोग करके समय के माध्यम से इसे प्रसारित करता है।
- ब्लेंडिंग (Blending): स्टोकैस्टिसिटी (stochasticity) को बनाए रखने के लिए वार्प्ड नॉइज़ को स्वतंत्र गॉसियन नॉइज़ के साथ ब्लेंड किया जाता है: $z_t = \sqrt{\lambda}\tilde{z}_t + \sqrt{1-\lambda}\epsilon_t$ ।
- इनिशियलाइजेशन इंजेक्शन: यह स्ट्रक्चर्ड नॉइज़ डिफ्यूजन प्रक्रिया के प्रारंभिक नॉइज़ इनपुट ( $x_T$ ) को बदल देता है, जिससे पूरी डिनोइजिंग ट्रेजेक्टरी वांछित कैमरा मोशन के प्रति एंकर हो जाती है।
- संवर्द्धन: एक टेक्स्ट-टू-इमेज इनिशियलाइजेशन रणनीति का उपयोग किया जाता है, जहाँ DiT को इमेज और कैमरा रिप्रेजेंटेशन दोनों पर कंडीशन करने से पहले अपीयरेंस एंबिग्युटी को कम करने के लिए पहले एक संदर्भ छवि (reference image) उत्पन्न की जाती है।

C. इंटर-शॉट एलीमेंट कंसिस्टेंसी (नैरेटिव कोहेरेंस)

लक्ष्य: अत्यधिक कम्प्यूटेशनल लागत के बिना लंबे अनुक्रमों (मिनटों) में कैरेक्टर आइडेंटिटी और स्टाइल को बनाए रखना।
तंत्र: स्पार्स इंटर-शॉट सेल्फ-अटेंशन।
- समस्या: एक लंबे वीडियो में सभी फ्रेम्स के बीच फुल अटेंशन कम्प्यूटेशनल रूप से निषेधात्मक ( $O(N^2)$ ) है।
- समाधान: मॉडल विशिष्ट शॉट्स तक प्रॉम्प्ट्स को स्थानीयकृत करने के लिए एक विंडोड क्रॉस-अटेंशन तंत्र का उपयोग करता है। इंटर-शॉट कंसिस्टेंसी के लिए, यह एक स्पार्स सेल्फ-अटेंशन पैटर्न का उपयोग करता है:
  - इंट्रा-शॉट: सुचारू गति सुनिश्चित करने के लिए एक शॉट के भीतर डेंस बायडायरेक्शनल अटेंशन।
  - इंटर-शॉट: प्रत्येक शॉट से की-वैल्यू टोकन (जैसे, पहले फ्रेम से) के एक छोटे उपसमुच्चय को चुनकर एक ग्लोबल कॉन्टेक्स्ट सारांश बनाया जाता है। ये सारांश एक ग्लोबल कैश ( $KV_{global}$ ) बनाते हैं।
  - अटेंशन लॉजिक: वर्तमान शॉट के क्वेरीज (Queries) लोकल टोकन और ग्लोबल सारांश टोकन दोनों पर अटेंड करती हैं।
- जटिलता: जटिलता को $O((N_s L_{shot})^2)$ से घटाकर लगभग $O(N_s \cdot L_{shot} \cdot S)$ कर देता है, जहाँ $S$ सारांश टोकन की संख्या है ( $S \ll L_{shot}$ )।

3. मुख्य योगदान

एकीकृत ढांचा (Unified Framework): DCDM का प्रस्ताव करता है, जो एक सिस्टम-लेवल आर्किटेक्चर है जो वीडियो कंसिस्टेंसी को एक मोनोलिथिक मॉडल में मजबूर करने के बजाय तीन पूरक आयामों (इंट्रा-क्लिप, इंटर-क्लिप, इंटर-शॉट) में विभाजित करता है।
सिमेंटिक ग्राउंडिंग (Semantic Grounding): निहित अर्थों को समृद्ध करने के लिए LLM-आधारित प्रॉम्प्ट एक्सटेंशन मैकेनिज्म पेश करता है, जो इंट्रा-क्लिप वर्ल्ड नॉलेज कंसिस्टेंसी में महत्वपूर्ण सुधार करता है।
ज्यामितीय नियंत्रण (Geometric Control): एक नवीन नॉइज़ स्पेस में इंजेक्टेड टेम्पोरल कैमरा रिप्रेजेंटेशन विकसित करता है, जो सटीक और स्थिर कैमरा मोशन नियंत्रण सक्षम बनाता है जिसे केवल टेक्स्ट-ओनली कंडीशनिंग प्राप्त नहीं कर सकती।
कुशल दीर्घ-रेंज मॉडलिंग (Efficient Long-Range Modeling): स्पार्स इंटर-शॉट सेल्फ-अटेंशन पेश करता है, जो कम्प्यूटेशनल दक्षता बनाए रखते हुए मजबूत नैरेटिव कोहेरेंस और पात्रों/दृश्यों की निरंतर स्मृति के साथ मिनट-स्केल वीडियो जनरेशन को सक्षम बनाता है।

4. परिणाम

बेंचमार्क: AAAI'26 कंसिस्टेंसी इन वीडियो जनरेटिव मॉडल्स (CVM) प्रतियोगिता के टेस्ट सेट पर मान्य किया गया।
प्रदर्शन: फ्रेमवर्क ने प्रतियोगिता में टॉप टीम का दर्जा प्राप्त किया।
गुणात्मक साक्ष्य (Qualitative Evidence):
- इंट्रा-क्लिप: उत्पन्न वीडियो में तर्कसंगत भौतिकी और सुसंगत ऑब्जेक्ट एट्रिब्यूट्स दिखाई दिए (जैसे, एक आदमी द्वारा किसी विशिष्ट जानवर की सवारी करना बिना उसके स्वरूप बदले)।
- इंटर-क्लिप: स्थिर ज्यामिति के साथ जटिल कैमरा मूव्स (जैसे, डॉली इन, ट्रक राइट) के सटीक निष्पादन का प्रदर्शन किया।
- इंटर-शॉट: लंबे नैरेटिव्स (जैसे, साइबरपंक सेटिंग में एक "ट्रैकर" के बारे में मल्टी-शॉट कहानी) में कई शॉट्स के दौरान कैरेक्टर आइडेंटिटी और सीन स्टाइल को सफलतापूर्वक बनाए रखा।

5. महत्व

यह शोध पत्र प्रदर्शित करता है कि जटिल वीडियो जनरेशन कार्यों के लिए सिस्टम-लेवल मॉडलिंग, मोनोलिथिक दृष्टिकोणों की तुलना में बेहतर है। समस्या को "विभाजित और जीतने" (divide and conquer) के माध्यम से:

यह सिमेंटिक रीजनिंग (LLMs द्वारा संचालित), ज्यामितीय नियंत्रण (नॉइज़-स्पेस वार्पिंग द्वारा संचालित), और नैरेटिव कोहेरेंस (स्पार्स अटेंशन द्वारा संचालित) को अलग करता है।
यह नियंत्रण योग्य, सुसंगत और दीर्घ-रूप वीडियो सामग्री उत्पन्न करने के लिए एक स्केलेबल पथ प्रदान करता है जो सिनेमाई संरचनाओं का पालन करती है, जो वर्तमान जनरेटिव AI वीडियो अनुसंधान में एक महत्वपूर्ण बाधा को संबोधित करती है।
यह दृष्टिकोण भविष्य के वीडियो मॉडलों के लिए एक ब्लूप्रिंट प्रदान करता है ताकि वे दक्षता या गुणवत्ता से समझौता किए बिना बहु-आयामी बाधाओं को संभाल सकें।