🤖 machine learning

MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference

यह शोध पत्र MISA का प्रस्ताव करता है, जो एक मिक्सचर-ऑफ-एक्सपर्ट्स दृष्टिकोण है जो DeepSeek Sparse Attention में गणनात्मक रूप से महंगे मल्टी-हेड इंडेक्सर को एक हल्के राउटर से बदल देता है ताकि प्रति क्वेरी केवल कुछ ही हेड्स को सक्रिय किया जा सके, जिससे लंबी-संदर्भ (long-context) वाली कार्यों पर मूल पद्धति के तुलनीय सटीकता प्राप्त करते हुए इन्फरेंस लेटेंसी और मेमोरी लागत को काफी कम किया जा सके।

मूल लेखक: Ruijie Zhou, Fanxu Meng, Yufei Xu, Tongxuan Liu, Guangming Lu, Muhan Zhang, Wenjie Pei

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruijie Zhou, Fanxu Meng, Yufei Xu, Tongxuan Liu, Guangming Lu, Muhan Zhang, Wenjie Pei

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "घास के ढेर में सुई" वाली लाइब्रेरी

कल्पना कीजिए कि एक विशाल लाइब्रेरी (AI मॉडल) है जो इतनी बड़ी हो गई है कि अब इसमें लाखों किताबें (टेक्स्ट के टोकन) मौजूद हैं। जब आप लाइब्रेरियन (AI) से कोई सवाल पूछते हैं, तो उन्हें उन किताबों के विशिष्ट पन्नों को ढूँढना होता है जिनमें उत्तर छिपा है।

अतीत में, उत्तर खोजने के लिए, लाइब्रेरियन को हर एक किताब का हर एक पन्ना पढ़ना पड़ता था ताकि यह देखा जा सके कि वह प्रासंगिक है या नहीं। इसे "डेंस अटेंशन" (dense attention) कहा जाता है। यह पूरी तरह से काम करता है, लेकिन यह अविश्वसनीय रूप से धीमा और थका देने वाला है, खासकर जब लाइब्रेरी बहुत बड़ी हो।

चीजों को तेज़ करने के लिए, DSA (DeepSeek Sparse Attention) नामक एक नई विधि खोजी गई। हर पन्ना पढ़ने के बजाय, DSA एक स्मार्ट "इंडेक्सर" (एक विशेष सहायक) का उपयोग करता है जो सभी किताबों के शीर्षकों और सारांशों को जल्दी से स्कैन करता है ताकि उन कुछ पन्नों को चुन सके जो आशाजनक दिखते हैं। मुख्य लाइब्रेरियन फिर केवल उन्हीं विशिष्ट पन्नों को पढ़ता है।

चुनौती: भले ही इंडेक्सर स्मार्ट है, लेकिन उसे एक समस्या का सामना करना पड़ता है। यह स्कैनिंग करने के लिए 64 अलग-अलग विशेषज्ञों (जिन्हें "हेड्स" कहा जाता है) की एक टीम का उपयोग करता है। हर बार जब कोई सवाल पूछा जाता है, तो सभी 64 विशेषज्ञों को अपनी राय देने के लिए लाइब्रेरी की हर एक किताब को देखना पड़ता है। हालांकि यह सुनिश्चित करता है कि कोई भी महत्वपूर्ण पन्ना छूट न जाए, फिर भी यह बहुत महंगा और धीमा है क्योंकि 64 लोग हर एक प्रश्न के लिए वही भारी काम कर रहे हैं।

समाधान: MISA (द "मिक्सचर ऑफ एक्सपर्ट्स" स्विच)

लेखकों ने MISA नामक एक नई प्रणाली प्रस्तावित की है। उन्होंने महसूस किया कि हालांकि आपको सभी प्रकार के सवालों को कवर करने के लिए 64 विशेषज्ञों की टीम की आवश्यकता है, लेकिन आपको एक विशिष्ट प्रश्न का उत्तर देने के लिए सभी 64 विशेषज्ञों की आवश्यकता नहीं है।

इसे एक रेस्टोरेंट की रसोई की तरह समझें:

पुराना तरीका (DSA): हर बार जब कोई ग्राहक बर्गर ऑर्डर करता है, तो हेड शेफ, सू शेफ, ग्रिल मास्टर, सलाद विशेषज्ञ, पेस्ट्री शेफ और अन्य 59 विशेषज्ञ सभी बर्गर पैटी का निरीक्षण करने के लिए ग्रिल की ओर दौड़ पड़ते हैं। यह ज़रूरत से ज़्यादा और अराजक है।
नया तरीका (MISA): एक स्मार्ट रूटर (एक त्वरित मैनेजर) ऑर्डर को देखता है। यदि ग्राहक बर्गर चाहता है, तो मैनेजर कहता है, "ठीक है, आज हमें केवल ग्रिल मास्टर और सॉस विशेषज्ञ की आवश्यकता है।" अन्य 62 विशेषज्ञ ब्रेक रूम में ही रहते हैं। केवल 2 आवश्यक विशेषज्ञ भारी काम करने के लिए ग्रिल की ओर जाते हैं।

MISA कैसे काम करता है (चरण-दर-चरण)

त्वरित स्कैन (द रूटर):
भारी काम शुरू करने से पहले, MISA एक हल्के वजन वाले "रूटर" का उपयोग करता है। यह रूटर किताबों को पन्ना-दर-पन्ना देखने के बजाय बड़े हिस्सों (किताबों के ब्लॉक्स) में देखता है। यह पूछता है: "इस विशिष्ट प्रश्न के लिए कौन से कुछ विशेषज्ञ सबसे अधिक उपयोगी होने की संभावना रखते हैं?"
- उपमा: यह एक लाइब्रेरियन की तरह है जो अभी किताबें पढ़े बिना ही "हाल ही में आई" (Recent Arrivals) और "बेस्टसेलर्स" (Bestsellers) सेक्शन पर एक नज़र डालता है ताकि यह अंदाजा लगा सके कि ग्राहक किस विभाग (इतिहास, साइंस-फिक्शन, कुकिंग) में रुचि रख रहा है।
टीम का चयन:
उस त्वरित नज़र के आधार पर, रूटर वास्तविक काम करने के लिए 8 विशेषज्ञों (मूल 64 में से) की एक छोटी टीम चुनता है। अन्य 56 विशेषज्ञों को इस विशिष्ट प्रश्न के लिए अनदेखा कर दिया जाता है।
भारी काम (The Heavy Lifting):
केवल वे 8 चयनित विशेषज्ञ ही किताबों के व्यक्तिगत पन्नों को स्कैन करते हैं ताकि सबसे अच्छे मिलान ढूंढे जा सकें। क्योंकि 8 लोग 64 लोगों की तुलना में बहुत तेज़ होते हैं, इसलिए यह प्रक्रिया काफी तेज़ हो जाती है।
"डबल-चेक" विकल्प (MISA†):
पेपर में एक "हाइरार्किकल" (hierarchical) संस्करण भी पेश किया गया है जिसे MISA† कहा जाता है। यह एक दो-चरणीय प्रक्रिया की तरह है:
- चरण 1: रूटर संभावित पन्नों की एक बड़ी सूची (एक "कैंडिडेट सेट") खोजने के लिए 8 विशेषज्ञों की एक छोटी टीम चुनता है।
- चरण 2: मूल, पूर्ण 64 विशेषज्ञों की टीम केवल उस छोटे से हिस्से पर एक अंतिम त्वरित जांच करती है ताकि यह सुनिश्चित किया जा सके कि सबसे अच्छे पन्ने ही चुने गए हैं।
- परिणाम: यह आपको 8-सदस्यीय टीम की गति के साथ, पूर्ण 64-सदस्यीय टीम की सटीकता प्रदान करता है।

पेपर क्या दावा करता है (परिणाम)

लेखकों ने दो शक्तिशाली AI मॉडलों (DeepSeek-V3.2 और GLM-5) पर इसका परीक्षण किया और पाया:

गति: केवल 8 विशेषज्ञों का उपयोग करके, उन्होंने उच्च-स्तरीय कंप्यूटर चिप्स (NVIDIA H200) पर इंडेक्सिंग प्रक्रिया को 3.82 गुना तेज़ बना दिया।
सटीकता: कम विशेषज्ञों का उपयोग करने के बावजूद, सिस्टम ने मूल सिस्टम की तरह ही "घास के ढेर में सुई" को सफलतापूर्वक खोजा। उन परीक्षणों में जहाँ AI को 128,000 शब्दों के टेक्स्ट में छिपे एक विशिष्ट वाक्य को खोजना था, MISA ने धीमी, पूर्ण-टीम वाले संस्करण की तरह ही बिल्कुल सटीक (100% सटीकता) प्रदर्शन किया।
कोई रीट्रेनिंग (Retraining) की आवश्यकता नहीं: यह नया सिस्टम एक "ड्रॉप-इन" रिप्लेसमेंट के रूप में काम करता है। आपको AI को फिर से यह सिखाने की ज़रूरत नहीं है कि कैसे सोचना है; आप बस पुराने इंडेक्सर को नए MISA इंडेक्सर से बदल देते हैं, और यह तुरंत काम करने लगता है।

सारांश

MISA एक कुशल AI ट्रिक है। यह महसूस करता है कि आपको हर एक सवाल का जवाब देने के लिए अपने 64 विशेषज्ञों की पूरी टीम की आवश्यकता नहीं है। एक त्वरित मैनेजर का उपयोग करके सही 8 विशेषज्ञों को काम के लिए चुनने से, AI बिना किसी सटीकता को खोए बहुत अधिक मात्रा में टेक्स्ट को बहुत तेज़ी से पढ़ सकता है। यह एक एकल मिशन के लिए पूरी सेना को बुलाने के बजाय एक विशेष कार्य बल (specialized task force) को काम पर रखने जैसा है।

तकनीकी सारांश: MISA (Mixture of Indexer Sparse Attention)

समस्या विवरण
जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) सैकड़ों हज़ार से लाखों टोकन के संदर्भों (contexts) को प्रोसेस करने के लिए स्केल हो रहे हैं, डेंस अटेंशन मैकेनिज्म्स गणनात्मक रूप से अत्यधिक खर्चीले होते जा रहे हैं। हालांकि इस कमी को कम करने के लिए स्पार्स अटेंशन तकनीकों का उदय हुआ है, लेकिन डीपसीक स्पार्स अटेंशन (DSA) वर्तमान में फाइन-ग्रेंड इन्फरेंस-टाइम स्पार्स अटेंशन के लिए स्टेट-ऑफ-द-आर्ट का प्रतिनिधित्व करता है। DSA एक सीखे हुए "इंडेक्सर" (indexer) का उपयोग करता है जो मुख्य अटेंशन मैकेनिज्म के लिए टॉप- $k$ टोकन्स को चुनने के लिए $H_I$ हेड्स (जैसे, DeepSeek-V3.2 में 64) के एक बड़े पूल का उपयोग करके प्रत्येक प्रीफ़िक्स टोकन को स्कोर करता है।

यद्यपि DSA इंडेक्सर का मल्टी-हेड डिज़ाइन इसकी अभिव्यंजना शक्ति (expressiveness) के लिए महत्वपूर्ण है—जो विभिन्न हेड्स को विशिष्ट प्रासंगिकता पैटर्न (हालियापन, सिंटैक्स, अर्थ विज्ञान) में विशेषज्ञता हासिल करने की अनुमति देता है—यह एक महत्वपूर्ण बाधा उत्पन्न करता है। प्रत्येक टोकन को सभी $H_I$ हेड्स के साथ स्कोर करने की कम्प्यूटेशनल लागत $O(H_I L)$ के रूप में स्केल करती है, जिससे इंडेक्सर लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के दौरान प्रमुख लागत बन जाता है। मौजूदा सुधार जैसे HISA (hierarchical block-to-token search) और IndexCache (cross-layer index reuse) टोकन एक्सिस या लेयर एक्सिस पर काम करके लागत को कम करते हैं, लेकिन वे अभी भी यह आवश्यक करते हैं कि सभी $H_I$ हेड्स कर्नेल के भीतर सक्रिय रहें, जिससे वे हेड-एक्सिस बाधा को सीधे संबोधित करने में विफल रहते हैं।

कार्यप्रणाली: MISA
लेखक MISA (Mixture of Indexer Sparse Attention) का प्रस्ताव करते हैं, जो DSA इंडेक्सर के लिए एक ड्रॉप-इन रिप्लेसमेंट है जो $H_I$ इंडेक्सर हेड्स को Mixture-of-Experts (MoE) के एक पूल के रूप में मानता है। प्रत्येक क्वेरी के लिए सभी हेड्स को सक्रिय करने के बजाय, MISA एक क्वेरी-डिपेंडेंट $h \ll H_I$ सक्रिय हेड्स को रूट करता है।

मुख्य तंत्र दो चरणों में शामिल है:

लाइटवेट ब्लॉक-पूलड राउटर (Lightweight Block-Pooled Router): प्रीफ़िक्स को $M = \lceil L/B \rceil$ ब्लॉक्स में विभाजित किया जाता है। राउटर व्यक्तिगत टोकन के बजाय पूल्ड ब्लॉक-लेवल सांख्यिकी (मीन-पूलड इंडेक्सिंग कीज़) का उपयोग करके प्रति-हेड एफिनिटी (affinities) की गणना करता है। यह वर्तमान क्वेरी के लिए प्रत्येक हेड के महत्व का अनुमान लगाने के लिए इन स्कोर्स को एकत्रित करता है और टॉप- $h$ हेड्स का चयन करता है। यह चरण $M \ll L$ कीज़ पर कार्य करता है, जिसके परिणामस्वरूप $O(H_I M)$ का नगण्य ओवरहेड होता है।
स्पार्स टोकन स्कोरिंग (Sparse Token Scoring): केवल चयनित $h$ सक्रिय हेड्स ही पूर्ण प्रीफ़िक्स पर भारी टोकन-लेवल स्कोरिंग करते हैं। अंतिम टॉप- $k$ टोकन्स इन कम किए गए स्कोर्स के आधार पर चुने जाते हैं।

यह दृष्टिकोण प्रति-क्वेरी इंडेक्सर जटिलता को $O(H_I L)$ से घटाकर $O(hL + H_I M)$ कर देता है। चूंकि $M \ll L$ और $h \ll H_I$ है, इसलिए कम्प्यूटेशनल बचत पर्याप्त है जबकि इंडेक्सर पूल की पूर्ण विविधता बनी रहती है (सभी हेड्स उपलब्ध रहते हैं; राउटर बस यह चुनता है कि किससे परामर्श करना है)।

हाइरार्किकल वेरिएंट (MISA†)
दक्षता और डेंस DSA इंडेक्सर के सटीक चयन के बीच के अंतर को और अधिक पाटने के लिए, लेखक MISA† पेश करते हैं, जो एक कोर्स-टू-फाइन (coarse-to-fine) पाइपलाइन है:

कोर्स स्टेज (Coarse Stage): MoE-रूटेड पास एक विस्तारित कैंडिडेट सेट $k'$ टोकन्स (जैसे, $k'=8192$ ) का चयन करता है।
फाइन स्टेज (Fine Stage): मूल DSA इंडेक्सर (सभी $H_I$ हेड्स का उपयोग करते हुए) केवल इस कैंडिडेट सेट को फिर से स्कोर करता है ताकि अंतिम टॉप- $k$ टोकन्स प्राप्त किए जा सकें।
यह MISA† को कम किए गए कंप्यूट का लाभ उठाते हुए भी डेंस इंडेक्सर के चयन को लगभग पूरी तरह से रिकवर करने की अनुमति देता है।

प्रमुख योगदान

हेड-एक्सिस रूटिंग (Head-Axis Routing): पेपर ने पहचान की है कि प्रति-टोकन हेड-प्रोडक्ट्स DSA में डोमिनेंट कॉस्ट हैं और मौजूदा टोकन-एक्सिस पदानुक्रमों के पूरक दक्षता एक्सिस के रूप में हेड-एक्सिस रूटिंग पेश की है।
MISA आर्किटेक्चर: एक ड्रॉप-इन MoE-रूटेड इंडेक्सर जो एक लाइटवेट ब्लॉक-पूलड राउटर के माध्यम से प्रति क्वेरी केवल $h$ हेड्स को सक्रिय करता है, जिससे हेड पूल की विविधता से समझौता किए बिना जटिलता कम हो जाती है।
MISA† एक्सटेंशन: एक हाइरार्किकल वेरिएंट जो सर्च स्पेस को कम करने के लिए रूटेड पास का उपयोग करता है, जिसके बाद फुल DSA री-रैंकिंग होती है, जो डेंस इंडेक्सर के चयन के लगभग पूर्ण रिकवरी को प्राप्त करता है।
दक्षता और प्रदर्शन: यह विधि बिना किसी अतिरिक्त प्रशिक्षण के महत्वपूर्ण गति वृद्धि (speedups) प्राप्त करती है।

प्रायोगिक परिणाम
बिना किसी अतिरिक्त प्रशिक्षण के DeepSeek-V3.2 ( $H_I=64$ ) और GLM-5 ( $H_I=32$ ) पर मूल्यांकन किया गया:

LongBench: MISA (के साथ $h=8$ ) DeepSeek-V3.2 पर डेंस DSA इंडेक्सर के 0.20 औसत पॉइंट्स के भीतर मेल खाता है और GLM-5 पर इससे बेहतर प्रदर्शन करता है। MISA† DeepSeek-V3.2 पर 0.1 पॉइंट्स के भीतर के अंतर को और कम कर देता है। दोनों ही औसतन Block-Sparse और HISA बेसलाइन्स से बेहतर प्रदर्शन करते हैं।
नीडल-इन-अ-हेस्टैक (NIAH): MISA और MISA† 128K कॉन्टेक्स्ट तक पूर्ण ग्रीन रिट्रीवल हीटमैप्स बनाए रखते हैं, जो डेंस DSA इंडेक्सर के प्रदर्शन से मेल खाते हैं। इसके विपरीत, Block-Sparse में एक्यूरेसी होल्स दिखाई देते हैं, और HISA अत्यधिक गहराई पर मामूली गिरावट दिखाता है।
टोकन रिकवरी: MISA† प्रति लेयर फुल DSA इंडेक्सर द्वारा चयनित टोकन्स के 92% से अधिक को रिकवर करता है (IoU द्वारा मापा गया)।
स्पीडअप: एक TileLang कर्नेल कार्यान्वयन सिंगल NVIDIA H200 GPU पर लॉन्ग कॉन्टेक्स्ट के लिए मूल DSA इंडेक्सर कर्नेल की तुलना में लगभग 3.82× स्पीडअप प्राप्त करता है।

महत्व और दावे
पेपर का दावा है कि इंडेक्सर-हेड-एक्सिस रूटिंग फाइन-ग्राइंड स्पार्स अटेंशन के लिए एक व्यावहारिक और पूरक दक्षता एक्सिस है। रूटिंग निर्णय (किन हेड्स का उपयोग करना है) को टोकन चयन (किन टोकन्स पर ध्यान देना है) से अलग करके, MISA यह प्रदर्शित करता है कि एक पूर्ण डेंस इंडेक्सर की रिट्रीवल क्वालिटी और अभिव्यंजना शक्ति को बनाए रखते हुए, इंडेक्सर की कम्प्यूटेशनल लागत (DeepSeek-V3.2 पर 8× और GLM-5 पर 4×) को नाटकीय रूप से कम किया जा सकता है। लेखक इसे एक मौलिक सुधार के रूप में देखते हैं जिसे किसी भी मौजूदा टोकन-लेवल स्पार्स अटेंशन स्कीम के साथ ऑर्थोगोनली जोड़ा जा सकता है।

सीमाएं
लेखक स्वीकार करते हैं कि उनके स्पीड प्रयोग एंड-टू-एंड मॉडल लेटेंसी के बजाय कर्नेल लेटेंसी को मापते हैं, और यह विधि KV कैश के मेमोरी एक्सेस वॉल्यूम को कम नहीं करती है। इसके अतिरिक्त, परिणाम राउटर के जॉइंट फाइन-ट्यूनिंग के बिना प्री-ट्रेन्ड मॉडल्स में MISA को डालने से प्राप्त किए गए हैं, जो आगे के लाभों के लिए संभावित अवसर का सुझाव देते हैं।