🤖 AI

TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation

TokenTrim एक इन्फरेंस-टाइम विधि पेश करके ऑटोरेग्रेसिव लॉन्ग वीडियो जनरेशन में टेम्पोरल ड्रिफ्ट (temporal drift) को संबोधित करता है, जो अस्थिर लेटेंट टोकन (latent tokens) की पहचान करता है और उन्हें दोबारा कंडीशनिंग के लिए उपयोग करने से पहले हटा देता है, जिससे मॉडल आर्किटेक्चर या ट्रेनिंग प्रक्रिया में बदलाव किए बिना लॉन्ग-होरिज़न कंसिस्टेंसी (long-horizon consistency) में सुधार होता है।

मूल लेखक: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ariel Shaulov, Eitan Shaar, Amit Edenzon, Lior Wolf

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक दोस्त को एक बहुत लंबी कहानी सुनाने की कोशिश कर रहे हैं, लेकिन आप एक बार में केवल एक ही वाक्य बोल सकते हैं। कहानी को आगे बढ़ाने के लिए, आपको यह याद रखना होगा कि आपने अभी क्या कहा है ताकि अगला वाक्य समझ में आने योग्य हो।

समस्या: "खराब याददाश्त" का प्रभाव (The "Bad Memory" Effect)
AI वीडियो जनरेशन की दुनिया में, कंप्यूटर कुछ ऐसा ही करता है। यह छोटे क्लिप्स (जैसे वाक्यों) में वीडियो बनाता है और फिर अगला क्लिप बनाने के लिए उसी का उपयोग करता है जो उसने अभी बनाया है। इसे "ऑटोरिग्र्रेसिव" (autoregressive) जनरेशन कहा जाता है।

यह शोध पत्र इस प्रक्रिया में एक बड़ी खामी की पहचान करता है जिसे टेम्पोरल ड्रिफ्ट (temporal drift) कहा जाता है। कल्पना कीजिए कि आप एक सफेद ट्रक के बारे में कहानी सुना रहे हैं।

आप कहते हैं, "एक सफेद ट्रक चल रहा है।"
AI दूसरे क्लिप में एक छोटी सी गलती करता है, शायद ट्रक थोड़ा ग्रे (धूसर) दिखने लगता है।
तीसरे क्लिप में, AI उस "ग्रे ट्रक" को संदर्भ (reference) के रूप में उपयोग करता है, इसलिए वह ट्रक को और भी गहरा बना देता है।
दसवें क्लिप तक, ट्रक काला हो जाता है। बीसवें क्लिप तक, वह शायद एक गाय में बदल सकता है।

AI अपनी सोचने की शक्ति नहीं खो रहा है; यह बस अपनी गलतियों का पुन: उपयोग कर रहा है। हर बार जब AI एक नया क्लिप बनाता है, तो वह पिछले क्लिप्स से संदर्भ लेने के लिए पीछे देखता है। यदि उन पिछले क्लिप्स में "भ्रष्ट" (corrupted) जानकारी है (जैसे ग्रे ट्रक), तो AI उस भ्रष्टाचार को सत्य मान लेता है और उसे आगे बढ़ाता रहता है, जिससे त्रुटि और भी खराब होती जाती है और अंततः वीडियो बिखर जाता है।

समाधान: टोकनट्रिम (TokenTrim - "द एडिटर")
लेखक एक नया तरीका प्रस्तावित करते हैं जिसे TokenTrim कहा जाता है। AI द्वारा उपयोग किए जाने वाले वीडियो डेटा को स्टिकी नोट्स (जिन्हें "टोकन" कहा जाता है) के ढेर के रूप में समझें। कुछ नोट्स में अच्छी जानकारी है, और कुछ में "भ्रष्ट" या अस्थिर जानकारी है।

TokenTrim एक स्मार्ट संपादक (editor) की तरह काम करता है जो अगले चरण के लिए AI द्वारा उपयोग किए जाने से पहले इन स्टिकी नोट्स की जांच करता है। यह सरल शब्दों में इस प्रकार काम करता है:

जांच (The Check): AI अगला क्लिप बनाना शुरू करने से पहले, TokenTrim उस नए क्लिप के "सारांश" (summary) की तुलना उस क्लिप के सारांश से करता है जिसे उसने अभी पूरा किया है।
अलार्म (The Alarm): यदि वीडियो का कोई विशिष्ट हिस्सा (एक विशिष्ट "टोकन" या स्टिकी नोट) पिछले हिस्से की तुलना में बहुत अलग या अस्थिर दिखता है, तो सिस्टम उसे फ्लैग (चिह्नित) कर देता है। यह ऐसा ही है जैसे यह नोटिस करना कि "सफेद ट्रक" वाला नोट अचानक "बैंगनी हाथी" बन गया है।
छंटाई (The Pruning): उस खराब नोट का उपयोग करने के बजाय, TokenTrim उसे फेंक देता है (प्रूनिंग)। यह AI की मेमोरी बैंक से भ्रष्ट जानकारी को हटा देता है।
पुनः प्रयास (The Retry): AI को फिर से उस खराब नोट के बिना नया क्लिप बनाने के लिए मजबूर किया जाता है। उसे आगे क्या करना है, यह समझने के लिए शेष, स्थिर नोट्स पर निर्भर रहना पड़ता है।

परिणाम
अगले चरण को जहरीला बनाने से पहले सक्रिय रूप से "खराब यादों" (अस्थिर टोकन) को हटाकर, वीडियो सुसंगत बना रहता है। ट्रक सफेद ही रहता है, व्यक्ति का चेहरा पिघलता नहीं है, और बैकग्राउंड बिगड़ता नहीं है, भले ही वीडियो लंबे समय तक चल रहा हो।

शोध पत्र के मुख्य बिंदु (Key Takeaways):

पुनः प्रशिक्षण की आवश्यकता नहीं (No Retraining Needed): यह AI को नया तरीका सिखाने के बारे में नहीं है। यह एक "प्लग-एंड-प्ले" टूल है जो AI के चलते समय ही काम करता है। आपको मॉडल को फिर से प्रशिक्षित करने या उसका कोड बदलने की आवश्यकता नहीं है।
यह तेज़ है (It's Fast): यह वीडियो बनाने में लगभग कोई अतिरिक्त समय नहीं जोड़ता है। यह एक त्वरित जांच और एक त्वरित डिलीट प्रक्रिया है।
यह मौजूदा तकनीक के साथ काम करता है (It Works with Existing Tech): शोध पत्र ने इसका परीक्षण दो लोकप्रिय वीडियो जनरेशन विधियों (Rolling Forcing और Self Forcing) पर किया और दिखाया कि TokenTrim जोड़ने से वीडियो बहुत बेहतर दिखते हैं और बिना बिगड़े लंबे समय तक चलते हैं।
"पहला क्लिप" ट्रिक (The "First Clip" Trick): लेखकों ने यह भी पाया कि केवल पहले क्लिप के लिए एक विशेष तकनीक का उपयोग करने से एक स्थिर आधार तैयार करने में मदद मिलती है, जिससे पूरी प्रक्रिया और भी सुचारू हो जाती है।

संक्षेप में
लंबे वीडियो जनरेशन आमतौर पर इसलिए विफल होते हैं क्योंकि AI अपनी गलतियों को बार-बार दोहराता रहता है। TokenTrim इसे एक क्वालिटी कंट्रोल फिल्टर के रूप में काम करके ठीक करता है: यह AI की मेमोरी में त्रुटियों को पहचानता है, उन्हें हटा देता है, और AI को साफ डेटा के साथ नए सिरे से शुरू करने के लिए मजबूर करता है। यह गलतियों के "स्नोबॉल प्रभाव" (बढ़ती हुई गलतियों के प्रभाव) को रोकता है और वीडियो को लंबे समय तक वास्तविक और सुसंगत बनाए रखता है।

तकनीकी सारांश: TokenTrim

समस्या विवरण (Problem Statement)

ऑटोरेग्रेसिव वीडियो जनरेशन (Autoregressive video generation), लंबे वीडियो को सिंथेसाइज करने के लिए एक प्रमुख प्रतिमान (paradigm) के रूप में उभरा है, जहाँ नए फ्रेम के बैचों को पहले से उत्पन्न सामग्री पर बार-बार कंडीशन किया जाता है। हालाँकि, यह दृष्टिकोण टेम्पोरल ड्रिफ्ट (temporal drift) से ग्रस्त है, जो एक ऐसी घटना है जहाँ शुरुआती फ्रेमों में होने वाली छोटी त्रुटियाँ और विसंगतियाँ लंबे क्षितिज (horizons) पर संचित और प्रवर्धित होती हैं। यह संचय पहचान परिवर्तन (identity changes), संरचनात्मक गिरावट, वैश्विक सुसंगतता की हानि और सिमेंटिक पतन (semantic collapse) की ओर ले जाता है।

ड्रिफ्ट को कम करने के हालिया प्रयासों ने दीर्घ-रेंज कंडीशनिंग (जैसे, टेम्पोरल की-वैल्यू कैशिंग, एंकर टोकन) को मजबूत करने या प्रशिक्षण प्रक्रियाओं (जैसे, स्टोकेस्टिक ग्रेडिएंट ट्रंकेशन के साथ सेल्फ-फोर्सिंग) को संशोधित करने पर ध्यान केंद्रित किया है। लेखक परिकल्पना करते हैं कि ये विधियाँ भंगुर (brittle) बनी रहती हैं क्योंकि वे इन्फरेंस-टाइम एरर प्रोपेगेशन के मूल कारण को संबोधित करने में विफल रहती हैं: भ्रष्ट लेटेंट कंडीशनिंग टोकन का अनियंत्रित पुन: उपयोग। एक बार जब लेटेंट स्टेट का कोई क्षेत्र भ्रष्ट हो जाता है, तो उसे बाद के ऑटोरेग्रेसिव स्टेप्स में बार-बार उपयोग किया जाता है, जो अटेंशन पर हावी हो जाता है और त्रुटियों को आगे बढ़ाता है। वर्तमान प्रणाली में यह आकलन करने के तंत्र का अभाव है कि कौन से कैश किए गए लेटेंट टोकन विश्वसनीय हैं।

कार्यप्रणाली (Methodology): TokenTrim

लेखक TokenTrim का प्रस्ताव करते हैं, जो एक पूर्णतः इन्फरेंस-टाइम विधि है जिसे भविष्य के उपयोग के लिए अस्थिर लेटेंट टोकन की पहचान करने और उन्हें हटाने के लिए डिज़ाइन किया गया है। TokenTrim पूरी तरह से लेटेंट स्पेस में संचालित होता है, इसके लिए किसी आर्किटेक्चरल बदलाव, रिट्रेनिंग की आवश्यकता नहीं है, और यह नगण्य कम्प्यूटेशनल ओवरहेड पेश करता है।

यह विधि निम्नलिखित मुख्य घटकों से मिलकर बनी है:

1. मोशन-स्टेबलाइज्ड इनिशियलाइजेशन (Motion-Stabilized Initialization)

शुरुआती चरण के भ्रष्टाचार को कम करने के लिए, पहले बैच के फ्रेमों को FlowMo का उपयोग करके उत्पन्न किया जाता है, जो एक इन्फरेंस-टाइम रेगुलाइजेशन तकनीक है जो मोशन-अवेयर वेरिएंस गाइडेंस पेश करती है। यह एक स्थिर लेटेंट एंकर (stable latent anchor) बनाता है। आगामी बैचों को बेस ऑटोरेग्रेसिव मॉडल का उपयोग करके बनाया जाता है।

2. लेटेंट समरी कंस्ट्रक्शन (Latent Summary Construction)

प्रत्येक ऑटोरेग्रेसिव स्टेप $t$ पर, विधि पिछले जेनरेटेड बैच ( $X_{t-1}$ ) और संभावित वर्तमान बैच ( $X_t$ ) को लेटेंट टोकन में एनकोड करती है। प्रत्यक्ष तुलना सक्षम करने के लिए, यह प्रत्येक बैच के टेम्पोरल डायमेंशन (फ्रेम्स) के माध्यम से स्पेशियल लेटेंट टोकन का औसत निकालकर एक लेटेंट समरी ( $Z_{t-1}$ और $Z_t$ ) का निर्माण करती है।

3. पर-टोकन ड्रिफ्ट एस्टीमेशन (Per-Token Drift Estimation)

विधि प्रत्येक स्पेशियल टोकन इंडेक्स $i$ के लिए एक ड्रिफ्ट स्कोर ( $d_i$ ) की गणना करती है, जो वर्तमान और पिछले सारांशों के बीच लेटेंट रिप्रेजेंटेशन के यूक्लिडियन डिस्टेंस (Euclidean distance) को मापता है:
$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$
उच्च ड्रिफ्ट स्कोर विशिष्ट टोकन स्थानों पर संभावित भ्रष्टाचार या सिमेंटिक विचलन का संकेत देते हैं।

4. एडेप्टिव ट्रिगर और सेवेरिटी असेसमेंट (Adaptive Trigger and Severity Assessment)

बिना शर्त प्रूनिंग करने के बजाय, TokenTrim यह आकलन करता है कि क्या वर्तमान बैच असामान्य ड्रिफ्ट प्रदर्शित कर रहा है।

यह उच्चतम ड्रिफ्ट स्कोर वाले शीर्ष $p \cdot N$ टोकनों की पहचान करता है (जहाँ $p$ प्रूनिंग फ्रैक्शन है और $N$ कुल टोकन की संख्या है)।
यह इन शीर्ष टोकनों के औसत ड्रिफ्ट के रूप में एक ड्रिफ्ट सेवेरिटी स्कोर ( $D_t$ ) की गणना करता है।
यह पहले से स्वीकृत बैचों से ड्रिफ्ट सेवेरिटी के रनिंग स्टैटिस्टिक्स (मीन $\mu_t$ और स्टैंडर्ड डेविएशन $\sigma_t$ ) को बनाए रखता है।
एक प्रूनिंग हस्तक्षेप (intervention) केवल तभी ट्रिगर किया जाता है जब $D_t > \mu_t + \lambda\sigma_t$ हो, जहाँ $\lambda$ एक सेंसिटिविटी हाइपरपैरामीटर है। विश्वसनीय आंकड़े एकत्र करने के लिए शुरुआत में एक वॉर्म-अप अवधि ( $T_{warm}$ ) का उपयोग किया जाता है।

5. हार्ड प्रूनिंग और रीजनरेशन (Hard Pruning and Regeneration)

जब ड्रिफ्ट मानदंड (criterion) पार हो जाता है:

एक स्पेशियल प्रूनिंग मास्क को टेम्पोरल की-वैल्यू (KV) कैश पर लागू किया जाता है, जिससे अस्थिर टोकन स्थितियों से संबंधित कीज़ (keys) और वैल्यूज को हटा दिया जाता है।
वर्तमान बैच को इस प्रून्ड कैश के आधार पर एक बार रीजेनरेट किया जाता है।
यदि पुनर्जीवित बैच अभी भी ड्रिफ्ट मानदंड का उल्लंघन करता है, तो अनबाउंड लूप्स को रोकने के लिए इसे यथावत स्वीकार कर लिया जाता है।
यदि ड्रिफ्ट मानदंड का उल्लंघन नहीं होता है, तो बैच को बिना किसी संशोधन के स्वीकार कर लिया जाता है।

TokenTrim उन ऑटोरेग्रेसिव फ्रेमवर्क के साथ संगत है जो सेल्फ-अटेंशन के साथ KV कैशिंग का उपयोग करते हैं, जिसे विशेष रूप से Self Forcing और Rolling Forcing पर प्रदर्शित किया गया है।

मुख्य योगदान (Key Contributions)

इन्फरेंस-टाइम ड्रिफ्ट डिटेक्शन: पेपर इन्फरेंस के दौरान अस्थिर लेटेंट टोकन का पता लगाने के लिए एक तंत्र पेश करता है, जो ध्यान को मॉडल क्षमता से हटाकर सूचना प्रसार नियंत्रण (information propagation control) पर केंद्रित करता है।
लेटेंट टोकन की हार्ड प्रूनिंग: संपूर्ण स्थानिक क्षेत्रों या मॉडल पैरामीटर्स को संशोधित करने वाली विधियों के विपरीत, TokenTrim ऑटोरेग्रेसिव कॉन्टेक्स्ट से विशिष्ट भ्रष्ट टोकन को चुनिंदा रूप से हटा देता है, जिससे भविष्य के स्टेप्स को अविश्वसनीय जानकारी प्रभावित करने से रोका जा सके।
ट्रेनिंग-फ्री इंटीग्रेशन: यह विधि मॉडल वेट, प्रशिक्षण प्रक्रियाओं को बदले बिना और लेटेंट स्पेस को छोड़े बिना संचालित होती है, जिससे यह मौजूदा अत्याधुनिक वीडियो जनरेशन फ्रेमवर्क के साथ संगत है।
मोशन-स्टेबलाइज्ड इनिशियलाइजेशन: प्रारंभिक बैच के लिए FlowMo का एकीकरण एक स्थिर एंकर प्रदान करता है, जो प्रूनिंग तंत्र के पूरक के रूप में कार्य करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Rolling Forcing और Self Forcing रणनीतियों का उपयोग करके Wan2.1-1.3B टेक्स्ट-टू-वीडियो मॉडल पर TokenTrim का मूल्यांकन किया।

मात्रात्मक प्रदर्शन (VBench):
- Rolling Forcing पर, TokenTrim ने फाइनल स्कोर को 75.12% से बढ़ाकर 79.67% (+4.55%) कर दिया, जिसमें क्वालिटी (+5.58%) और सिमेंटिक (+3.53%) स्कोर में महत्वपूर्ण लाभ हुआ।
- Self Forcing पर, फाइनल स्कोर 75.93% से बढ़कर 81.84% (+5.91%) हो गया।
- TokenTrim ने सभी एग्रीगेटेड मेट्रिक्स में FlowMo (एक इन्फरेंस-टाइम मोशन गाइडेंस विधि) और बेसलाइन ऑटोरेग्रेसिव विधियों को लगातार पछाड़ दिया।
ह्यूमन प्रेफरेंस स्टडी (VideoJAM-Bench):
- हेड-टू-हेड तुलना में, TokenTrim को टेम्पोरल ड्रिफ्ट को कम करने में बेसलाइन और FlowMo की तुलना में काफी बेहतर माना गया (Rolling Forcing बेसलाइन के लिए 41.7% बनाम 15.2%; और 49.7% बनाम 10.2% बनाम FlowMo)।
- इसने टेक्स्ट-वीडियो एलाइनमेंट को बनाए रखते हुए मोशन कोहेरेंस और सौंदर्य गुणवत्ता में भी बेहतर प्रदर्शन दिखाया।
दक्षता (Efficiency): TokenTrim ने बेसलाइन की तुलना में केवल 1.08x वॉल-क्लॉक रनटाइम बढ़ाया, जबकि FlowMo-अनुकूलित सेटअप में 2.18x की धीमी गति देखी गई।
एब्लेशन स्टडीज (Ablation Studies):
- आक्रामक प्रूनिंग (20%) ने प्रदर्शन को गंभीर रूप से खराब कर दिया, जबकि मध्यम प्रूनिंग (10%) ने इष्टतम परिणाम दिए।
- FlowMo इनिशियलाइजेशन को हटाने से प्रदर्शन कम हो गया, जो एक स्थिर शुरुआत के पूरक लाभ की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि टेम्पोरल ड्रिफ्ट केवल एक मॉडलिंग या डेटा संबंधी मुद्दा नहीं है, बल्कि एक इन्फरेंस-टाइम इंफॉर्मेशन प्रोपेगेशन समस्या है। KV कैश को एक निष्क्रिय इतिहास लॉग के बजाय एक सक्रिय, स्व-सुधार तंत्र (self-correcting mechanism) के रूप में मानकर, TokenTrim यह प्रदर्शित करता है कि केवल इन्फरेंस के समय कंडीशनिंग कॉन्टेक्स्ट को नियंत्रित करने से टेम्पोरल ड्रिफ्ट को काफी हद तक कम किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि भविष्य की अनंत वीडियो सिंथेसिस (infinite video synthesis) की प्रगति केवल इस पर निर्भर नहीं करेगी कि एक मॉडल कितना संदर्भ याद रख सकता है, बल्कि इस पर भी कि वह उस शोर (noise) को चुनिंदा रूप से हटाने में कितना सक्षम है जो वास्तविकता को विकृत करने का खतरा पैदा करता है। वे TokenTrim को एक विशिष्ट, अल्प-अन्वेषित तंत्र के रूप में देखते हैं जो रिट्रेनिंग या आर्किटेक्चरल संशोधन की कम्प्यूटेशनल लागत के बिना दीर्घ-क्षित टेम्पोरल निरंतरता (long-horizon temporal consistency) में सुधार करता है।