तकनीकी सारांश: AdaState – स्ट्रीमिंग वीडियो जनरेशन के लिए स्व-विकसित एंकर्स (Self-Evolving Anchors)

1. समस्या विवरण (Problem Statement)

ऑटोरेग्रेसिव वीडियो डिफ्यूजन मॉडल (Autoregressive video diffusion models) प्रत्येक नए चंक (chunk) को पिछले जनरेट किए गए कंटेंट पर आधारित करके, अनुक्रमिक रूप से फ्रेम उत्पन्न करके स्ट्रीमिंग वीडियो जनरेट करते हैं। इन मॉडलों में एक मौलिक संरचनात्मक सीमा है जो उनके स्थिर एंकर (static anchor) पर निर्भरता है: पहले फ्रेम का की-वैल्यू (KV) प्रतिनिधित्व अटेंशन कैश में एक विशेषाधिकार प्राप्त स्थिति (स्थिति 0) पर कब्जा करता है।

"अटेंशन-सिंक" (attention-sink) घटना के कारण, जहाँ कॉज़ल सॉफ्टमैक्स (causal softmax) प्रारंभिक स्थितियों पर द्रव्यमान केंद्रित करता है, यह स्थिर एंकर पूरी जनरेशन प्रक्रिया के दौरान अत्यधिक ध्यान आकर्षित करता है। जबकि यह स्थिर निरंतरता (static consistency) सुनिश्चित करता है, यह वीडियो की गतिशीलता (dynamics) को दबा देता है। मॉडल प्रभावी रूप से शुरुआती दृश्य (viewpoint) से बंधा हुआ है, जो प्राकृतिक दृश्य विकास, कैमरा मूवमेंट और विषय के विकास को रोकता है। जैसे-जैसे जनरेशन आगे बढ़ता है, मॉडल विकसित होते दृश्य और जमे हुए संदर्भ (frozen reference) के बीच सामंजस्य बिठाने में संघर्ष करता है, जिससे या तो:

1. टेम्पोरल शैलोनेस (Temporal Shallowness): पहले फ्रेम के साथ निरंतरता बनाए रखने के लिए मोशन और दृश्य प्रगति को धीमा कर दिया जाता है।
2. ड्रिफ्ट और आर्टिफैक्ट्स (Drift and Artifacts): यदि एंकर को हटाया या ह्यूरिस्टिक तरीके से अपडेट किया जाता है, तो त्रुटियां संचित होती हैं, जिससे विजुअल कोलैप्स या विषय की पहचान खो सकती है।

मौजूदा समाधान इस मूल कारण को संबोधित करने में विफल रहते हैं। वे तरीके जो स्थिर एंकर बनाए रखते हैं (जैसे, LongLive, Infinity-RoPE), दृश्य को फ्रीज कर देते हैं। जो तरीके कंटेंट-अज्ञेय (content-agnostic) अपडेट का उपयोग करते हैं (जैसे, Reward Forcing जैसे EMA-आधारित दृष्टिकोण, MemRoPE), वे एक धुंधले औसत (blurry mean) की ओर अभिसरित होते हैं जो विशिष्ट दृश्य परिवर्तनों के अनुकूल नहीं हो पाते। ह्यूरिस्टिक प्रतिस्थापन (जैसे, Rolling Sink) नवीन निरंतरता के बजाय पिछले फ्रेम को पुनरुत्पादित करने की ओर पक्षपाती होते हैं।

2. कार्यप्रणाली: AdaState

लेखक AdaState का प्रस्ताव करते हैं, जो स्थिर पहले फ्रेम के एंकर को एक अनुकूली अवस्था (adaptive state) से बदल देता है—एक छिपा हुआ लेटेंट वेरिएबल (hidden latent variable) जो कंटेंट के साथ विकसित होता है।

मुख्य तंत्र (Core Mechanism)

• छिपे हुए लेटेंट के रूप में अनुकूली अवस्था (Adaptive State as a Hidden Latent): स्थिर पहले फ्रेम के बजाय, मॉडल KV कैश में स्थिति 0 पर एक अवस्था $s$ बनाए रखता है। यह अवस्था एक छिपा हुआ लेटेंट है जिसे हर चंक पर वीडियो कंटेंट के साथ डीनोइज़ (denoise) किया जाता है, लेकिन इसे अंतिम वीडियो आउटपुट में कभी भी रेंडर नहीं किया जाता।
• संयुक्त डीनोइजिंग और रिकरेंस (Joint Denoising and Recurrence): प्रत्येक जनरेशन स्टेप $n$ पर, जनरेटर $G_\theta$ KV कैश $h_n$ पर आधारित होकर, वर्तमान कंटेंट फ्रेम्स $x^{(n)}_c$ और स्टेट फ्रेम्स $s_n$ को स्वतंत्र गौसियन नॉइज़ (Gaussian noise) से संयुक्त रूप से डीनोइज़ करता है।
  • क्लीन कंटेंट KV शॉर्ट-टर्म कॉन्टेक्स्ट के लिए स्लाइडिंग विंडो में प्रवेश करता है।
  • क्लीन स्टेट KV कैश में स्थिति 0 को ओवरराइट करता है, जो अगले चंक के लिए दृश्य संदर्भ (scene reference) के रूप में कार्य करता है।
• सापेक्ष समय फॉर्मूलेशन (Relative Time Formulation): मानक जनरेशन के विपरीत, जो पूर्ण समय (absolute time) को एनकोड करता है, AdaState समय को सापेक्ष (relative) मानता है। प्रत्येक जनरेशन स्टेप रोलआउट की लंबाई के बावजूद समान पोजीशनल स्ट्रक्चर देखता है। स्टेट ट्रांज़िशन हर चंक पर समान होता है, जो अनुक्रमिक ऑटोरेग्रेसिव प्रक्रिया को एक रिकरेंट प्रक्रिया में बदल देता है जहाँ:
  • डीनोइजिंग (Denoising) ट्रांज़िशन फंक्शन के रूप में कार्य करती है।
  • KV कैश हिडन स्टेट के वाहक (carrier) के रूप में कार्य करता है।
  • किसी भी बाहरी मॉड्यूल, गेटिंग मैकेनिज्म, या अलग मेमोरी यूनिट की आवश्यकता नहीं होती है।

होराइजन-वेटेड ट्रेनिंग (Horizon-Weighted Training)

यह सुनिश्चित करने के लिए कि मॉडल प्रभावी ढंग से अनुकूली अवस्था का उपयोग करना सीख ले, लेखक होराइजन-वेटेड डिस्ट्रीब्यूशन मैचिंग डिस्टिलेशन (DMD) का परिचय देते हैं।

• समस्या: ऑटोरेग्रेसिव रोलआउट में, बाद के फ्रेम्स में त्रुटियां संचित होती हैं। मानक यूनिफॉर्म लॉस वेटिंग ऑप्टिमाइज़र को शुरुआती क्लीन फ्रेम्स पर ध्यान केंद्रित करने देती है, जिससे महत्वपूर्ण बाद के फ्रेम्स की उपेक्षा होती है जहाँ अनुकूली अवस्था को मूल दृश्य सामग्री की अनुपस्थिति की भरपाई करनी होती है।
• समाधान: DMD लॉस पर एक लीनियर रैंप वेटिंग $w_i$ लागू की जाती है, जो फ्रेम इंडेक्स $i$ के साथ बढ़ती है। यह ऑप्टिमाइज़र को उन बाद के फ्रेम्स पर क्षमता केंद्रित करने के लिए मजबूर करती है जहाँ स्टेट-मीडिएटेड कोहेरेंस (state-mediated coherence) सबसे महत्वपूर्ण है।
  $$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$$

3. मुख्य योगदान

1. संरचनात्मक पूर्वाग्रह की पहचान (Identification of Structural Bias): पेपर पहचान करता है कि ऑटोरेग्रेसिव वीडियो डिफ्यूजन में स्थिर एंकर एक संरचनात्मक अटेंशन बायस बनाता है जो डायनेमिक्स को दबा देता है, जिससे दृश्य संरचना शुरुआती व्यूपॉइंट तक सीमित हो जाती है।
2. अनुकूली अवस्था आर्किटेक्चर (Adaptive State Architecture): लेखक एक स्थिर एंकर के स्थान पर होराइजन-वेटेड DMD के माध्यम से प्रशिक्षित एक छिपी हुई अनुकूली अवस्था का प्रस्ताव करते हैं। यह अवस्था कंटेंट के साथ विकसित होती है, जिससे मॉडल प्रत्येक स्टेप पर अपना स्वयं का दृश्य संदर्भ जनरेट कर सकता है।
3. बिना बाहरी मॉड्यूल के रिकरेंट फॉर्मूलेशन: यह कार्य प्रदर्शित करता है कि डीनोइजिंग स्वयं एक रिकरेंस के रूप में कार्य कर सकती है। अनुकूली अवस्था एक छिपा हुआ वेरिएबल है जिसे मॉडल के अपने इटरेटिव रिफाइनमेंट द्वारा अपडेट किया जाता है और KV कैश के माध्यम से ले जाया जाता है, जिसके लिए किसी बाहरी मेमोरी या गेटिंग मैकेनिज्म की आवश्यकता नहीं होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन Wan2.1-T2V-1.3B से सेल्फ-फोर्सिंग (Self-Forcing) का उपयोग करके डिस्टिल्ड मॉडल पर किया गया, जिसे 21-फ्रेम रोलआउट पर प्रशिक्षित किया गया और 5 सेकंड (होराइजन के भीतर) और 30 सेकंड (6× ट्रेनिंग होराइजन) पर परीक्षण किया गया।

• गुणात्मक प्रदर्शन (Qualitative Performance):
  • स्थिर एंकर (जैसे, Infinity-RoPE, Rolling Forcing): पहचान बनाए रखते हैं लेकिन दृश्य को फ्रीज कर देते हैं, जिससे कोई कैमरा मूवमेंट या दृश्य प्रगति नहीं दिखती।
  • कोई संदर्भ नहीं (जैसे, Self-Forcing, Causal Forcing): शुरुआत में उच्च डायनेमिक्स दिखाते हैं लेकिन जैसे-जैसे रोलआउट ट्रेनिंग होराइजन से आगे बढ़ता है, कलर ड्रिफ्ट और विजुअल आर्टिफैक्ट्स का शिकार होते हैं।
  • AdaState: एक अनूठा संतुलन प्राप्त करता है, विषय की पहचान बनाए रखते हुए प्राकृतिक दृश्य विकास, कैमरा ग्लाइडिंग और निरंतर गति को सक्षम करता है, यहाँ तक कि 30 सेकंड तक भी।
• मात्रात्मक प्रदर्शन (Quantitative Performance):
  • होराइजन के भीतर (5s): AdaState उच्चतम कुल VBench स्कोर और विजन रिवॉर्ड (VisionReward) प्राप्त करता है, जिसमें डायनेमिक डिग्री स्टैटिक-एंकर विधियों की तुलना में काफी अधिक है।
  • होराइजन के परे (30s): AdaState एकमात्र ऐसा तरीका है जो डायनेमिक डिग्री में गिरावट नहीं दिखाता है। यह कंसिस्टेंसी-डायनेमिक्स ट्रेड-ऑफ कर्व के "ऊपरी-दाएं" क्षेत्र में स्थित है, उच्च निरंतरता बनाए रखते हुए सभी बेसलाइन के बीच उच्चतम डायनेमिक डिग्री प्राप्त करता है।
  • यूजर स्टडी: 40 रेटर्स के अध्ययन में, AdaState को "कोहेरेंट प्रोग्रेशन" और "प्रॉम्ट एडहेरेंस" दोनों के लिए उच्चतम अंक मिले, जिसने नो-रेफरेंस, स्टैटिक-रेफरेंस और EMA-रेफरेंस बेसलाइन्स को पीछे छोड़ दिया।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि AdaState उस कंसिस्टेंसी-डायनेमिक्स ट्रेड-ऑफ को मौलिक रूप से तोड़ देता है जो वर्तमान स्ट्रीमिंग वीडियो जनरेशन को प्रभावित करता है। एक ऐसी रिकरेंस के रूप में जनरेशन प्रक्रिया को मानकर जहाँ मॉडल का अपना डीनोइजिंग एक छिपे हुए दृश्य संदर्भ को अपडेट करता है, AdaState सक्षम बनाता है:

• समृद्ध मोशन (Richer Motion): प्राकृतिक कैमरा मूवमेंट और विषय की क्रिया जो समय के साथ विकसित होती है।
• लॉन्ग-होराइजन स्टेबिलिटी (Long-Horizon Stability): ट्रेनिंग होराइजन से बहुत आगे तक सुसंगत वीडियो जनरेट करने की क्षमता, बिना ड्रिफ्ट जमा किए या दृश्य को फ्रीज किए।
• आर्किटेक्चरल सादगी (Architectural Simplicity): इसके लिए बैकबोन DiT में किसी भी आर्किटेक्चरल बदलाव, सहायक लॉस, या बाहरी मेमोरी मॉड्यूल की आवश्यकता नहीं है, यह केवल मौजूदा KV कैश और अटेंशन मैकेनिज्म पर निर्भर है।

लेखक इसे 'एडेप्टिव रिकरेंट स्टेट' की ओर एक कदम मानते हैं, यह सुझाव देते हुए कि यह फॉर्मूलेशन अन्य डोमेन में भी लागू हो सकता है जहाँ अटेंशन फिक्स्ड पास्ट पोजीशंस पर केंद्रित होता है। हालाँकि, वे सीमाओं को भी विनम्रतापूर्वक नोट करते हैं, जैसे कि स्टेट कैपेसिटी (वर्तमान में एक फ्रेम) की ह्यूरिस्टिक सेटिंग, और अत्यधिक जटिल, मल्टी-एक्टर दृश्यों के लिए स्ट्रक्चर्ड एक्सटर्नल मेमोरी पर भविष्य के कार्य की आवश्यकता।