🤖 AI

SLA2: Sparse-Linear Attention with Learnable Routing and QAT

यह शोध पत्र SLA2 का प्रस्ताव करता है, जो एक उन्नत स्पार्स-लीनियर अटेंशन (Sparse-Linear Attention) फ्रेमवर्क है जो वीडियो डिफ्यूजन मॉडल्स के लिए, एक सीखने योग्य रूटिंग तंत्र (learnable routing mechanism), एक अधिक सटीक अटेंशन फॉर्मूलेशन और क्वांटाइजेशन-अवेयर फाइन-ट्यूनिंग को पेश करके मूल SLA में सुधार करता है ताकि जनरेशन की गुणवत्ता को बनाए रखते हुए महत्वपूर्ण गति और स्पर्सिटी प्राप्त की जा सके।

मूल लेखक: Jintao Zhang, Haoxu Wang, Kai Jiang, Kaiwen Zheng, Youhe Jiang, Ion Stoica, Jianfei Chen, Jun Zhu, Joseph E. Gonzalez

प्रकाशित 2026-02-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jintao Zhang, Haoxu Wang, Kai Jiang, Kaiwen Zheng, Youhe Jiang, Ion Stoica, Jianfei Chen, Jun Zhu, Joseph E. Gonzalez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अराजक फिल्म दृश्य का निर्देशन करने की कोशिश कर रहे हैं जिसमें हजारों अभिनेता (डेटा) एक साथ चिल्ला रहे हैं। AI वीडियो जनरेशन की दुनिया में, इस "चिल्लाने" को अटेंशन (Attention) कहा जाता है। AI को यह समझने की आवश्यकता है कि अभी किन अभिनेताओं पर ध्यान देना महत्वपूर्ण है और किन्हें अनदेखा किया जा सकता है।

यह करने का पुराना तरीका (फुल अटेंशन - Full Attention) ऐसा है जैसे एक निर्देशक जो कोई भी निर्णय लेने से पहले कमरे में मौजूद हर एक अभिनेता को सुनने के लिए रुक जाता है। यह सटीक तो है, लेकिन यह अविश्वसनीय रूप से धीमा और थका देने वाला है, खासकर लंबी फिल्मों (वीडियो) के लिए।

इसे ठीक करने के लिए, शोधकर्ताओं ने SLA (स्पार्स-लीनियर अटेंशन - Sparse-Linear Attention) का आविष्कार किया। SLA को एक स्मार्ट सहायक के रूप में सोचें जो कमरे को दो भागों में विभाजित करता है:

"स्टार" ग्रुप: वे अभिनेता जिनकी आवाज सबसे तेज है (हाई अटेंशन)। सहायक उन्हें करीब से सुनता है।
"बैकग्राउंड" ग्रुप: वे अभिनेता जो फुसफुसा रहे हैं। सहायक उन्हें केवल एक शॉर्टकट (लीनियर अटेंशन) के माध्यम से जल्दी से देखता है।

पुराने सहायक (SLA) के साथ समस्या:
पेपर तर्क देता है कि पुराना सहायक थोड़ा अनाड़ी था।

हेयुरिस्टिक मिस्टेक (Heuristic Mistake): इसने तय किया कि कौन "स्टार" है, जो कि एक कठोर नियम पर आधारित था (जैसे "यदि आप 50 डेसिबल से अधिक तेज हैं, तो आप स्टार हैं")। कभी-कभी, एक शांत अभिनेता वास्तव में कथानक के लिए महत्वपूर्ण होता है, लेकिन नियम ने उन्हें अनदेखा कर दिया।
मैथ ग्लिच (Math Glitch): जब इसने "स्टार" सूची और "बैकग्राउंड" सूची को मिलाने की कोशिश की, तो गणित पूरी तरह से मेल नहीं खाया। यह एक कप कॉफी और एक कप दूध को मिलाने जैसा था, लेकिन अंतिम पेय का स्वाद अजीब था क्योंकि अनुपात सही नहीं था। सहायक को इसे सही करने के लिए एक "फिक्स-इट" लेयर (प्रोजेक्शन) जोड़नी पड़ी, जो अक्षम था।

SLA2 में प्रवेश: सुपर-इंटेलिजेंट डायरेक्टर
लेखक SLA2 का प्रस्ताव करते हैं, जो एक नया सिस्टम है जो इन समस्याओं को तीन मुख्य अपग्रेड के साथ ठीक करता है:

1. "स्मार्ट राउटर" (लर्नबल रूटिंग - Learnable Routing)

एक कठोर नियम पुस्तिका के बजाय, SLA2 के पास एक स्मार्ट राउटर है। एक ऐसे ट्रैफिक पुलिसकर्मी की कल्पना करें जो केवल गति सीमा को नहीं देखता बल्कि वास्तव में यातायात के प्रवाह को सीखता है।

यह कैसे काम करता है: राउटर अभिनेताओं (डेटा) को देखता है और गतिशील रूप से निर्णय लेता है, "ठीक है, इस अभिनेता को पूर्ण स्पॉटलाइट की आवश्यकता है, लेकिन उस अभिनेता को केवल एक बैकग्राउंड एक्स्ट्रा होना चाहिए।"
उपमा: यह एक डीजे (DJ) की तरह है जो केवल टॉप 10 हिट्स नहीं बजाता; वे भीड़ को सुनते हैं और उस क्षण के लिए एकदम सही गाना मिक्स करते हैं। यह विस्तृत भाग और शॉर्टकट भाग के बीच काम को पूरी तरह से विभाजित करने के लिए सीखता है।

2. "परफेक्ट मिक्स" (फेथफुल फॉर्मूलेशन - Faithful Formulation)

लेखकों ने महसूस किया कि "स्टार" और "बैकग्राउंड" समूहों को मिलाने का पुराना तरीका गणितीय रूप से अव्यवस्थित था।

समाधान: SLA2 एक लर्नबल रेश्यो (Learnable Ratio) का उपयोग करता है। कल्पना कीजिए कि आप एक स्मूदी बना रहे हैं। फल और दही में से कितना डालना है, इसका अनुमान लगाने के बजाय, आपके पास एक डायल है जिसे आप हर बार बिल्कुल सही मिश्रण प्राप्त करने के लिए घुमा सकते हैं।
परिणाम: AI को अब अनुमान लगाने या "फिक्स-इट" लेयर्स जोड़ने की आवश्यकता नहीं है। यह विस्तृत अटेंशन और शॉर्टकट अटेंशन को इस तरह से स्वाभाविक रूप से जोड़ता है जो गणितीय रूप से एकदम सही है, जिससे वीडियो की गुणवत्ता बनी रहती है।

3. "लो-बिट" शॉर्टकट (क्वांटाइजेशन-अवेयर ट्रेनिंग - Quantization-Aware Training)

यह स्पीड बूस्टर है।

अवधारणा: कल्पना कीजिए कि आप एक उपन्यास लिख रहे हैं। आप इसे एक फैंसी फाउंटेन पेन (उच्च सटीकता, धीमा) या एक त्वरित पेंसिल स्केच (कम सटीकता, तेज़) के साथ लिख सकते हैं। आमतौर पर, स्केच अव्यवस्थित दिखता है।
ट्रिक: SLA2 क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT) का उपयोग करता है। यह कहानी सीखते समय पेंसिल से लिखने का अभ्यास करने जैसा है। AI प्रशिक्षण के दौरान ही "पेंसिल स्केच" शैली का आदी हो जाता है ताकि जब यह वास्तव में अंतिम वीडियो लिखे, तो स्केच फाउंटेन पेन वाले संस्करण जितना ही अच्छा दिखे, लेकिन यह बहुत तेजी से किया जाता है।

परिणाम: मूवी मैजिक ट्रिक

पेपर का परीक्षण वीडियो जनरेशन मॉडल (जैसे टेक्स्ट विवरण से AI वीडियो बनाना) पर किया गया।

गति: SLA2 पुराने, धीमे तरीके की तुलना में 18.6 गुना तेज़ है। यह 10 घंटे के मूवी प्रोडक्शन को 30 मिनट के प्रोडक्शन में बदलने जैसा है।
दक्षता: यह अनावश्यक डेटा के 97% हिस्से को अनदेखा कर देता है (स्पैरसिटी - Sparsity)।
गुणवत्ता: आश्चर्यजनक रूप से, वीडियो बेहतर या कम से कम पुराने धीमे, परफेक्ट तरीके के समान ही दिखते हैं। वास्तव में, 97% की गति पर, इसने अन्य "फास्ट" तरीकों को मात दी जो केवल 90% तेज़ थे।

सारांश में:
SLA2 एक मूवी डायरेक्टर को अपग्रेड करने जैसा है, जो स्क्रिप्ट की हर लाइन को लाइन दर लाइन पढ़ने के बजाय एक ऐसे जीनियस डायरेक्टर में बदल देता है जो जानता है कि कौन सी लाइनें मायने रखती हैं, उन्हें पूरी तरह से मिक्स करता है, और इतनी तेज़ी से अंतिम सीन फिल्माने के लिए एक सस्ते पेंसिल के साथ अभ्यास कर सकता है कि गुणवत्ता में कोई कमी न आए।

यहाँ शोध पत्र "SLA2: Sparse-Linear Attention with Learnable Routing and QAT" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र डिफ्यूजन मॉडल्स (Diffusion Models) की कम्प्यूटेशनल अक्षमता को संबोधित करता है, विशेष रूप से वीडियो जनरेशन में, जहाँ सेल्फ-अटेंशन मैकेनिज्म अनुक्रम लंबाई (sequence length) के साथ द्विघातीय (quadratically) रूप से बढ़ता है ( $O(N^2)$ )। हालाँकि स्पार्स-लीनियर अटेंशन (SLA) को स्पार्स अटेंशन (उच्च-परिमाण वाले वेट्स के लिए) और लीनियर अटेंशन (कम-परिमाण वाले वेट्स के लिए) को संयोजित करके एक समाधान के रूप में प्रस्तावित किया गया था, लेखकों ने मूल SLA फॉर्मूलेशन में दो महत्वपूर्ण सीमाओं की पहचान की है:

फॉर्मूलेशन मिसमैच (Formulation Mismatch): मूल SLA का आउटपुट गणितीय रूप से अटेंशन के स्पार्स ( $P_1$ ) और लीनियर ( $P_2$ ) घटकों के सैद्धांतिक अपघटन (theoretical decomposition) के साथ संरेखित नहीं होता है। विशेष रूप से, स्पार्स ब्रांच प्रायिकता (probabilities) को पुन: सामान्य (renormalize) करती है, जिससे एक रो-वाइज स्केलिंग फैक्टर ( $\alpha$ ) उत्पन्न होता है जो मिसमैच पैदा करता है। SLA इस कमी को एक सीखने योग्य प्रोजेक्शन (learnable projection) के माध्यम से क्षतिपूर्ति करने का प्रयास करता है, जो उप-इष्टतम (suboptimal) है और जिसे प्रशिक्षित करना कठिन है।
ह्यूरिस्टिक रूटिंग (Heuristic Routing): मूल SLA पूल्ड क्वेरीज़ और कीज़ से प्राप्त अटेंशन वेट्स के परिमाण पर आधारित एक ह्यूरिस्टिक "Top-k" स्प्लिट का उपयोग करता है। यह स्थिर, गैर-सीखने योग्य विभाजन इष्टतम नहीं है; यह गणनाओं को गलत ब्रांच में भेज सकता है (उदाहरण के लिए, उन वेट्स को स्पार्स ब्रांच में ले जाना जो लो-रैंक हो सकते हैं), जिससे गुणवत्ता में गिरावट दिए बिना स्पर्सिटी को अधिकतम करने में विफलता होती है।
क्वांटाइजेशन सीमाएँ (Quantization Limits): मौजूदा तरीके महत्वपूर्ण सटीकता गिरावट के बिना आगे की गति बढ़ाने के लिए लो-बिट क्वांटाइजेशन का पूरी तरह से लाभ नहीं उठाते हैं।

2. कार्यप्रणाली: SLA2 (Methodology: SLA2)

लेखक SLA2 प्रस्तावित करते हैं, जो एक परिष्कृत स्पार्स-लीनियर अटेंशन आर्किटेक्चर है जो तीन मुख्य नवाचारों को पेश करता है:

A. निष्ठावान स्पार्स-लीनियर फॉर्मूलेशन (Faithful Sparse-Linear Formulation)

मूल SLA के एडिटिव प्रोजेक्शन के बजाय, SLA2 अटेंशन आउटपुट को सीधे सैद्धांतिक अपघटन $P \approx P_1 + P_2$ से मेल खाने के लिए पुनर्गठित करता है।

लर्नेबल रेशियो ( $\alpha$ ): मॉडल स्पार्स और लीनियर ब्रांच के योगदान को गतिशील रूप से भारित करने के लिए एक वेक्टर $\alpha$ (0 और 1 के बीच मान) सीखता है।
समीकरण: आउटपुट की गणना इस प्रकार की जाती है:
$O = \alpha \odot O_s + (1 - \alpha) \odot O_l$
जहाँ $O_s$ स्पार्स अटेंशन आउटपुट है और $O_l$ लीनियर अटेंशन आउटपुट है। यह फॉर्मूलेशन क्षतिपूर्ति करने वाले प्रोजेक्शन लेयर की आवश्यकता को समाप्त करता है और सुनिश्चित करता है कि आउटपुट रो-नॉर्मलाइज्ड रहे, जिससे मैग्नीट्यूड ड्रिफ्ट (magnitude drift) से बचाव होता है।

B. लर्नबल राउटर ( $R$ ) (Learnable Router)

ह्यूरिस्टिक वेट-आधारित स्प्लिट को बदलने के लिए, SLA2 एक लर्नेबल राउटर पेश करता है जो गतिशील रूप से यह निर्णय लेता है कि किन टोकन को स्पार्स ब्रांच द्वारा प्रोसेस किया जाना चाहिए।

इनपुट: राउटर पूल्ड क्वेरी ( $\bar{Q}$ ) और की ( $\bar{K}$ ) मैट्रिसेस को इनपुट के रूप में लेता है। यह वैल्यू ( $V$ ) का उपयोग नहीं करता क्योंकि अटेंशन वेट्स केवल $Q$ और $K$ द्वारा निर्धारित होते हैं।
तंत्र: यह पूल्ड इनपुट्स पर सीखने योग्य लीनियर प्रोजेक्शन ( $proj_q, proj_k$ ) लागू करता है, एक कंप्रेस्ड अटेंशन स्कोर कंप्यूट करता है, और एक डिफरेंशिएबल मास्क $M$ उत्पन्न करने के लिए प्रशिक्षण के दौरान SoftTop-k ऑपरेटर का उपयोग करता है।
दक्षता: आसन्न टोकन को पूल करने और कंप्रेस्ड मास्क का उपयोग करने से, राउटर $O(N^2)$ जटिलता से बचता है, जिससे यह लंबे वीडियो अनुक्रमों के लिए स्केलेबल बनता है।

C. क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT) (Quantization-Aware Training)

अधिक त्वरण प्राप्त करने के लिए, SLA2 विशेष रूप से स्पार्स ब्रांच में लो-बिट अटेंशन (जैसे, INT8/FP8) को एकीकृत करता है।

रणनीति: फॉरवर्ड पास के दौरान, $Q, K, P,$ और $V$ पर क्वांटाइजेशन लागू किया जाता है। हालाँकि, बैकवर्ड पास मूल फुल-प्रिसिजन इनपुट्स और आउटपुट्स का उपयोग करके FP16 में रहता है।
लाभ: यह मॉडल मापदंडों को प्रशिक्षण के दौरान क्वांटाइजेशन शोर (noise) के अनुकूल होने की अनुमति देता है, जिससे सटीकता के नुकसान को न्यूनतम करते हुए महत्वपूर्ण अनुमान गति (inference speedups) संभव होती है।

D. दो-चरणीय प्रशिक्षण रणनीति (Two-Stage Training Strategy)

प्रशिक्षण और अनुमान के बीच स्थिरता और निरंतरता सुनिश्चित करने के लिए:

चरण 1 (आरंभीकरण): राउटर ( $R$ ) और मिक्सिंग रेशियो ( $\alpha$ ) को फुल अटेंशन आउटपुट्स के विरुद्ध मीन स्क्वेर्ड एरर (MSE) लॉस का उपयोग करके प्रशिक्षित किया जाता है। यहाँ ग्रेडिएंट फ्लो की अनुमति देने के लिए एक डिफरेंशिएबल SoftTop-k का उपयोग किया जाता है।
चरण 2 (फाइन-ट्यूनिंग): पूरे डिफ्यूजन मॉडल को मानक डिफ्यूजन लॉस का उपयोग करके एंड-टू-एंड फाइन-ट्यून किया जाता है। राउटर hard Top-k (जो अनुमान तर्क से मेल खाता है) पर स्विच हो जाता है जबकि $\alpha$ का अनुकूलन जारी रहता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक सुधार: मूल SLA में गणितीय मिसमैच की पहचान की और उसे ठीक किया, एक ऐसा फॉर्मूलेशन प्रस्तावित किया जो डिकंपोजिशन-कंसिस्टेंट है और त्रुटि-क्षतिपूर्ति प्रोजेक्शन की आवश्यकता को हटाता है।
लर्नेबल रूटिंग: वेट-आधारित स्प्लिटिंग के स्थान पर एक सीखने योग्य राउटर को प्रतिस्थापित किया जो एक स्पष्ट एरर मिनिमाइजेशन ऑब्जेक्टिव के आधार पर स्पार्स/लीनियर स्प्लिट को अनुकूलित करता है।
QAT एकीकरण: QAT के माध्यम से स्पार्स अटेंशन में लो-बिट क्वांटाइजेशन को सफलतापूर्वक एकीकृत किया, जिससे गुणवत्ता में गिरावट के बिना उच्च स्पर्सिटी प्राप्त हुई।
दक्षता: यह प्रदर्शित किया कि लर्नबल रूटिंग, निष्ठावान फॉर्मूलेशन और क्वांटाइजेशन को संयोजित करने से गुणवत्ता बनाए रखते हुए भारी गति प्राप्त की जा सकती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन एक निजी वीडियो डेटासेट का उपयोग करके Wan2.1 वीडियो डिफ्यूजन मॉडल्स (1.3B और 14B पैरामीटर्स) पर किया गया।

स्पर्सिटी और गति:
- 97% अटेंशन स्पर्सिटी प्राप्त की।
- फुल अटेंशन (FlashAttention) की तुलना में अटेंशन रनटाइम में 18.6× की गति प्रदान की।
- 14B मॉडल पर, एंड-टू-एंड वीडियो जनरेशन लेटेंसी में 4.35× की कमी आई।
गुणवत्ता:
- 97% स्पर्सिटी पर, SLA2 ने कई गुणवत्ता मेट्रिक्स (इमेजिंग क्वालिटी, एस्थेटिक क्वालिटी, मोशन स्मूथनेस) पर बेसलाइन विधियों (फुल अटेंशन सहित) को 1.3B मॉडल पर पछाड़ दिया।
- 14B मॉडल पर, SLA2 ने फुल अटेंशन के समान गुणवत्ता बनाए रखी, जो कम स्पर्सिटी स्तरों (90-95%) पर अन्य स्पार्स विधियों (SLA, VSA, VMoBA) से काफी बेहतर प्रदर्शन करती है।
एब्लेशन अध्ययन (Ablation Studies):
- QAT को हटाने से वीडियो की गुणवत्ता में उल्लेखनीय गिरावट आई, जो इसकी आवश्यकता की पुष्टि करता है।
- लर्नबल राउटर ने मूल SLA में उपयोग किए गए स्टेटिक Top-k राउटर की तुलना में काफी बेहतर प्रदर्शन किया।

5. महत्व (Significance)

SLA2 कुशल वीडियो जनरेशन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। ह्यूरिस्टिक, स्टेटिक अटेंशन स्प्लिटिंग से लर्नेबल, गणितीय रूप से सुदृढ़ और क्वांटाइजेशन-अवेयर दृष्टिकोण की ओर बढ़कर, यह सैद्धांतिक दक्षता और व्यावहारिक प्रदर्शन के बीच के अंतर को पाटता है। यह दर्शाता है कि डिफ्यूजन मॉडल्स पेशेवर वीडियो जनरेशन के लिए आवश्यक उच्च फिडेलिटी (fidelity) से समझौता किए बिना, अत्यधिक स्पर्सिटी (97%) पर भारी कम्प्यूटेशनल बचत (18.6×) के साथ काम कर सकते हैं। यह उच्च-रिज़ॉल्यूशन वीडियो जनरेशन को उपभोक्ता-ग्रेड हार्डवेयर पर अधिक सुलभ बनाता है।