💻 computer science

Token Radius Attention for Efficient Video Generation

टोकन रेडियस अटेंशन (TRA) एक प्रशिक्षण-मुक्त फ्रेमवर्क है जो क्वेरी एंट्रॉपी को टोकन-निर्भर अटेंशन रेडियस में गतिशील रूप से मैप करके वीडियो डिफ्यूजन ट्रांसफॉर्मर्स को कुशलतापूर्वक त्वरित करता है, जिससे केवल 9-19% अटेंशन इंटरैक्शन को बनाए रखते हुए न्यूनतम गुणवत्ता हानि के साथ महत्वपूर्ण गति प्राप्त होती है।

मूल लेखक: Jiayu Chen, Zhikun Jiang, Maoliang Li, Jiayi Luo, Jiawei Yang, Zihao Zheng, Hengyi Zhang, Guojie Luo, Xiang Chen

प्रकाशित 2026-08-04

📖 3 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Jiayu Chen, Zhikun Jiang, Maoliang Li, Jiayi Luo, Jiawei Yang, Zihao Zheng, Hengyi Zhang, Guojie Luo, Xiang Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मील तक फैली हुई दीवार पर एक विशाल, चलती-फिरती भित्ति चित्र (म्यूरल) पेंट करने की कोशिश कर रहे हैं। चित्र को वास्तविक दिखाने के लिए, आपको अब तक लगाए गए हर एक ब्रशस्ट्रोक को देखना होगा और यह तय करना होगा कि वह अभी जो आप पेंट कर रहे हैं, उससे कैसे जुड़ता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, वीडियो डिफ्यूजन ट्रांसफॉर्मर्स (Video Diffusion Transformers) बिल्कुल यही करते हैं। वे शून्य से शानदार वीडियो बनाने वाले डिजिटल कलाकार हैं, लेकिन वीडियो को स्मूथ और वास्तविक बनाने के लिए, कंप्यूटर को पूरे वीडियो के हर एक पिक्सेल की तुलना दूसरे हर पिक्सेल से करनी पड़ती है। यह एक स्टेडियम में मौजूद हर व्यक्ति से हाथ मिलाने की कोशिश करने जैसा है जबकि आप एक ही जगह खड़े हैं; यह अविश्वसनीय रूप से गहन है, लेकिन इसमें बहुत अधिक समय और ऊर्जा लगती है। वैज्ञानिक इसे "डेंस अटेंशन" (dense attention) कहते हैं, और यही कारण है कि उच्च गुणवत्ता वाले AI वीडियो बनाना वर्तमान में धीमा और महंगा है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम AI को इस बारेට स्मार्ट बना सकते हैं कि वह किसके साथ हाथ मिलाए, ताकि वह उबाऊ हिस्सों को छोड़ सके और केवल महत्वपूर्ण कनेक्शनों पर ध्यान केंद्रित कर सके, बिना चित्र को खराब किए?

यह पेपर इस समस्या को हल करने के लिए टोकन रेडियस अटेंशन (Token Radius Attention - TRA) नामक एक चतुर नई रणनीति पेश करता है। वीडियो के हर हिस्से के साथ एक जैसा व्यवहार करने के बजाय, लेखकों ने पाया कि वीडियो के अलग-अलग हिस्सों को वास्तव में ध्यान (अटेंशन) की अलग-अलग मात्रा की आवश्यकता होती है। इसे एक पार्टी की तरह समझें: कुछ मेहमान एक गंभीर बातचीत में डूबे हुए हैं और उन्हें केवल अपने ठीक बगल वाले लोगों को सुनने की आवश्यकता है (कम अटेंशन), जबकि अन्य लोग बेतहाशा नाच रहे हैं और उन्हें पूरे कमरे पर नज़र रखने की आवश्यकता है (उच्च अटेंशन)। शोधकर्ताओं ने पाया कि वे "एन्ट्रॉपी" (entropy) नामक माप का उपयोग करके यह सटीक भविष्यवाणी कर सकते हैं कि वीडियो के प्रत्येक हिस्से को कितने "अटेंशन" की आवश्यकता है, जिससे पता चलता है कि उनका वर्तमान फोकस कितना "भ्रमित" या "फैला हुआ" है।

इस अंतर्दृष्टि का उपयोग करते हुए, टीम ने एक प्रणाली बनाई है जो एक स्मार्ट रेडियस गार्ड (radius guard) की तरह काम करती है। वीडियो के प्रत्येक छोटे टुकड़े (जिसे "टोकन" कहा जाता है) के लिए, सिस्टम उसके चारों ओर एक कस्टम-साइज़ का घेरा (circle) बनाता है। यदि टुकड़ा केंद्रित और शांत है, तो घेरा छोटा होता है, और AI केवल उसके आस-पास के पड़ोसियों को देखता है। यदि टुकड़ा अराजक या जटिल है, तो घेरा बड़ा हो जाता है ताकि अधिक पड़ोसियों को शामिल किया जा सके। यह स्वचालित रूप से होता है बिना AI को रुककर हर एक संभावना को रैंक करने की आवश्यकता के, जो बहुत सारा समय बचाता है। परिणाम स्वरूप, एक ऐसा वीडियो जनरेटर मिलता है जो मूल कनेक्शनों का केवल 9% से 19% हिस्सा रखता है लेकिन 1.56 से 2.05 गुना तेज़ चलता है, और ऐसे वीडियो बनाता है जो धीमे और भारी संस्करणों जितने ही अच्छे दिखते हैं। लेखकों ने कई अलग-अलग वीडियो बनाने वाले मॉडलों पर इसका परीक्षण किया और पाया कि यह लगातार अच्छा काम करता है, जो यह साबित करता है कि एक शानदार परिणाम पाने के लिए आपको सब कुछ चेक करने की आवश्यकता नहीं है—आपको बस सही चीजों को चेक करने की आवश्यकता है।

तकनीकी सारांश: कुशल वीडियो जनरेशन के लिए टोकन रेडियस अटेंशन (Token Radius Attention)

1. समस्या विवरण (Problem Statement)

वीडियो डिफ्यूजन ट्रांसफॉर्मर (VDiTs) उच्च-गुणवत्ता वाले वीडियो जनरेशन के लिए प्रमुख आर्किटेक्चर बन गए हैं, जो जटिल स्थानिक (spatial) और सामयिक (temporal) निर्भरताओं को पकड़ने के लिए सघन (dense) 3D सेल्फ-अटेंशन पर निर्भर करते हैं। हालांकि, डेंस अटेंशन वीडियो टोकन $N$ की संख्या के सापेक्ष एक द्विघातीय (quadratic) कम्प्यूटेशनल लागत ( $O(N^2)$ ) उत्पन्न करता है, जो स्केलिंग और परिनियोजन (deployment) के लिए एक महत्वपूर्ण बाधा बन जाता है।

इस लागत को कम करने के लिए मौजूदा दृष्टिकोण स्पार्स अटेंशन मैकेनिज्म का उपयोग करते हैं, जिन्हें मुख्य रूप से हेड-लेवल (head-level) और ब्लॉक-लेवल (block-level) विधियों में वर्गीकृत किया गया है।

हेड-लेवल विधियाँ व्यक्तिगत अटेंशन हेड्स को संरचित स्थानिक या सामयिक पैटर्न असाइन करती हैं।
ब्लॉक-लेवल विधियाँ महत्वपूर्ण क्वेरी-की (query–key) ब्लॉक जोड़ों का चयन करती हैं।

मुख्य सीमा (The Core Limitation): दोनों प्रतिमान आमतौर पर एक ही हेड या ब्लॉक के भीतर सभी क्वेरी टोकन के लिए एक साझा कम्प्यूटेशनल बजट (जैसे, एक निश्चित रिटेंशन डेंसिटी या रेडियस) साझा करते हैं। यह "साझा-आवंटन" (shared-allocation) धारणा सेल्फ-अटेंशन की अंतर्निहित प्रकृति के साथ संघर्ष करती है, जहाँ सॉफ्टमैक्स (Softmax) नॉर्मलाइजेशन प्रत्येक क्वेरी के लिए स्वतंत्र रूप से किया जाता है। फलस्वरूप, वे क्वेरी जिनका अटेंशन वितरण केंद्रित (low entropy) है, वे बहुत अधिक कीज़ (keys) पर ध्यान केंद्रित करने के कारण कम्प्यूटेशन बर्बाद करते हैं, जबकि वे क्वेरी जिनका वितरण विसरित (high entropy) है, वे महत्वपूर्ण इंटरैक्शन खो सकती हैं यदि साझा बजट बहुत छोटा हो। यह बेमेल (mismatch) जनरेशन की गुणवत्ता को कम करता है या इष्टतम दक्षता प्राप्त करने में विफल रहता है।

2. कार्यप्रणाली: टोकन रेडियस अटेंशन (TRA)

लेखक टोकन रेडियस अटेंशन (TRA) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो स्पष्ट प्रति-क्वेरी की रैंकिंग के बिना टोकन-विशिष्ट संरचित स्पर्सिटी (structured sparsity) को साकार करता है। TRA दो प्रमुख अनुभवजन्य अंतर्दृष्टि (empirical insights) पर कार्य करता है जो VDiT अटेंशन पैटर्न के विश्लेषण से प्राप्त हुई हैं।

अंतर्दृष्टि I: टोकन-विशिष्ट अटेंशन स्पर्सिटी (Token-Specific Attention Sparsity)

लेखक देखते हैं कि एक ही लेयर और हेड के भीतर क्वेरीज के बीच "रिटेन्ड डेंसिटी" (लक्ष्य अटेंशन मास को बनाए रखने के लिए शीर्ष-रैंक वाली कीज़ का अंश) कई गुना भिन्न होती है। महत्वपूर्ण रूप से, वे इस रिटेन्ड डेंसिटी और अटेंशन एंट्रॉपी (attention entropy) के बीच एक मजबूत लॉग-लीनियर संबंध (log-linear relationship) पाते हैं।

तंत्र (Mechanism): उच्च एंट्रॉपी एक विसरित अटेंशन वितरण को दर्शाती है जिसके लिए बड़े टोकन बजट की आवश्यकता होती है, जबकि निम्न एंट्रॉपी एक केंद्रित वितरण को दर्शाती है जिसे कम टोकन की आवश्यकता होती है।
कार्यान्वयन (Implementation): TRA एक एनालिटिक एप्रोक्सिमेशन का उपयोग करके क्वेरी एंट्रॉपी को सीधे एक टोकन-विशिष्ट बजट ( $\hat{B} \approx \tau \exp(H_i) / N$ ) में मैप करता है, जिससे महंगे प्रति-क्वेरी सॉर्टिंग या रैंकिंग की आवश्यकता समाप्त हो जाती है।

अंतर्दृष्टि II: टोकन रेडियस अटेंशन पैटर्न (Token Radius Attention Pattern)

लेखक देखते हैं कि एक क्वेरी के लिए प्रमुख इंटरैक्शन स्थानिक डोमेन (spatial domain) में क्वेरी-केंद्रित गोलाकार पड़ोस (query-centered circular neighborhoods) बनाते हैं। सामान्यीकृत अटेंशन प्रोबेबिलिटी 2D स्थानिक दूरी के साथ लगभग घातीय (exponentially) रूप से घटती है।

तंत्र (Mechanism): मनमाने शीर्ष- $k$ कीज़ का चयन करने के बजाय, TRA टोकन बजट को एक स्थानिक त्रिज्या (spatial radius) में परिवर्तित करता है।
सामयिक क्षय (Temporal Decay): वीडियो अनुक्रमों को संभालने के लिए, स्थानिक त्रिज्या को एक सामयिक दूरी क्षय नियम ( $\phi(\delta) = \exp(-\gamma \delta)$ ) द्वारा मॉड्युलेट किया जाता है, जो एक नियमित स्पैटियो-टेम्पोरल सपोर्ट स्ट्रक्चर बनाता है।

TRA पाइपलाइन

एंट्रॉपी-टू-बजट (Entropy-to-Budget): एक प्रारंभिक डेंस "वॉर्म-अप" चरण के दौरान, TRA प्रत्येक क्वेरी के लिए अटेंशन एंट्रॉपी की गणना करता है। इस एंट्रॉपी को एक विशिष्ट टोकन बजट में मैप किया जाता है।
बजट-टू-रेडियस (Budget-to-Radius): बजट को एक क्वेरी-विशिष्ट बेस रेडियस में परिवर्तित किया जाता है। इस रेडियस को फिर 2D डिस्क मास्क बनाने के लिए सामयिक दूरी के आधार पर प्रत्येक फ्रेम के लिए समायोजित किया जाता है।
कुशल निष्पादन (Efficient Execution):
- टाइल-मेजर लेआउट (Tile-Major Layout): वीडियो टोकन को टाइल-मेजर क्रम में पुनर्व्यवस्थित किया जाता है ताकि यह सुनिश्चित हो सके कि स्थानिक रूप से पड़ोसी टोकन (जो रेडियस के भीतर आते हैं) अनुक्रम में निरंतर (contiguous) हों।
- फ्यूज्ड CUDA कर्नेल (Fused CUDA Kernels): एक कस्टम कर्नेल दूरी गणना, रेडियस तुलना, ब्लॉक प्रूनिंग और टोकन वोटिंग को फ्यूज करता है ताकि अनियमित टोकन-लेवल रेडियस मास्क को FlashInfer के अनुकूल नियमित ब्लॉक-स्पार्स मास्क में बदला जा सके।
- क्रॉस-स्टेप रीयूज (Cross-Step Reuse): एंट्रॉपी केवल वॉर्म-अप चरण के दौरान कंप्यूट की जाती है और डेंसिंग स्टेप्स के दौरान एंट्रॉपी पैटर्न की स्थिरता का लाभ उठाते हुए बाद के स्पार्स स्टेप्स के लिए पुनः उपयोग की जाती है।

3. प्रमुख योगदान (Key Contributions)

टोकन-विशिष्ट स्पर्सिटी की खोज: यह पेपर उजागर करता है कि रिटेन्ड डेंसिटी क्वेरीज के बीच नाटकीय रूप से भिन्न होती है लेकिन एंट्रॉपी के साथ एक अनुमानित लॉग-लीनियर संबंध का पालन करती है, और प्रमुख इंटरैक्शन एक क्वेरी-केंद्रित रेडियस पैटर्न का पालन करते हैं।
टोकन रेडियस अटेंशन (TRA): एक ट्रेनिंग-फ्री फ्रेमवर्क जो स्पष्ट की-रैंकिंग के बिना, एंट्रॉपी-टू-बजट-टू-रेडियस पाइपलाइन के माध्यम से क्वेरी-विशिष्ट कम्प्यूटेशनल मांगों को नियमित स्पैटियो-टेम्पोरल सपोर्ट में बदल देता है।
सिस्टम को-डिज़ाइन (System Co-Design): लेखकों ने ओवरहेड को कम करने के लिए एक रेडियस-मास्क कर्नेल और एक फ्यूज्ड एंट्रॉपी कर्नेल को को-डिज़ाइन किया है, जिससे मौजूदा ब्लॉक-स्पार्स बैकएंड पर कुशल निष्पादन संभव हुआ है।
व्यापक सत्यापन (Comprehensive Validation): TRA को Wan2.1, Wan2.2, और HunyuanVideo (1.3B से 14B पैरामीटर्स तक) के सात कॉन्फ़िगरेशन में टेक्स्ट-टू-वीडियो (T2V) और इमेज-टू-वीडियो (I2V) कार्यों के लिए VBench बेंचमार्क सूट पर सत्यापित किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

TRA का मूल्यांकन डेंस अटेंशन और तीन ट्रेनिंग-फ्री स्पार्स बेसलाइन्स (SVG, SVG2, और Radial) के विरुद्ध VBench बेंचमार्क सूट पर किया गया।

दक्षता (Efficiency): TRA केवल 9%–19% अटेंशन इंटरैक्शन को बनाए रखता है। यह सभी परीक्षण किए गए कॉन्फ़िगरेशन में डेंस मॉडल की तुलना में 1.56× से 2.05× की गति वृद्धि (speedup) प्राप्त करता है। उदाहरण के लिए, HunyuanVideo-13B पर, यह T2V के लिए 2.05× और I2V के लिए 2.02× की स्पीडअप प्राप्त करता है।
गुणवत्ता (Quality): TRA प्रतिस्पर्धी जनरेशन गुणवत्ता बनाए रखता है, और अक्सर स्पार्स विधियों के बीच सर्वश्रेष्ठ VBench ओवरऑल स्कोर प्राप्त करता है। Wan2.1-14B T2V पर, यह डेंस अटेंशन स्कोर के लगभग बराबर पहुँच जाता है जबकि 1.75× की स्पीडअप प्रदान करता है।
विश्वसनीयता (Fidelity): गुणात्मक परिणाम दिखाते हैं कि TRA अन्य स्पार्स विधियों की तुलना में विषय की पहचान (subject identity), संरचनात्मक अखंडता और सामयिक निरंतरता (temporal consistency) को बेहतर ढंग से संरक्षित करता है, जिसमें फ्लिकरिंग या विरूपण जैसे आर्टिफैक्ट्स कम होते हैं।
एब्लेशन अध्ययन (Ablation Studies): एंट्रॉपी-गाइडेड बजट मैपिंग या रेडियस मास्किंग (1D दूरी से बदलना) को हटाने से प्रदर्शन काफी गिर जाता है, जो टोकन-विशिष्ट अनुकूलनशीलता और संरचित स्थानिक समर्थन दोनों की आवश्यकता की पुष्टि करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि टोकन रेडियस अटेंशन वर्तमान स्पार्स अटेंशन प्रतिमानों की एक मौलिक अक्षमता को संबोधित करता है: साझा आवंटन बजट और टोकन-विशिष्ट अटेंशन मांगों के बीच का बेमेल। एंट्रॉपी और अटेंशन स्पर्सिटी के बीच अंतर्निहित संबंध का लाभ उठाकर, TRA बिना किसी अतिरिक्त प्रशिक्षण या जटिल ऑनलाइन रैंकिंग तंत्र के एक अनुकूल गुणवत्ता-दक्षता ट्रेड-ऑफ प्राप्त करता है।

लेखक TRA को अन्य त्वरण विधियों (जैसे कैशिंग या क्वांटाइजेशन) के पूरक तकनीक के रूप में देखते हैं, जो विशेष रूप रूप से निष्पादित अटेंशन लेयर्स के भीतर द्विघातीय क्वेरी-की इंटरैक्शन लागत को कम करने पर केंद्रित है। यह कार्य प्रदर्शित करता है कि टोकन-स्तरीय अनुकूलनशीलता को संरचित, रेडियस-आधारित मास्किंग के माध्यम से कुशलतापूर्वक प्राप्त किया जा सकता है, जो उच्च-गुणवत्ता वाले वीडियो जनरेशन मॉडल को तैनात करने के लिए एक स्केलेबल मार्ग प्रदान करता है।