💻 computer science

Uncertainty-gated selection for block-sparse attention

यह शोध पत्र ब्लॉक-स्पार्स अटेंशन के लिए एक अनसर्टेन्टी-गेटेड राउटर पेश करता है जो अस्पष्ट टॉप-के (top-k) स्कोर वाले क्वेरीज़ के लिए चयनित की-ब्लॉक्स (key blocks) को गतिशील रूप से विस्तारित करता है, जिससे कई मॉडल आर्किटेक्चर में लगभग-डेंस (near-dense) दक्षता बनाए रखते हुए लॉन्ग-कॉन्टेक्स्ट रिट्रीवल सटीकता और रिकॉल में महत्वपूर्ण सुधार होता है।

मूल लेखक: Thomas Rossi

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Rossi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप घास के एक विशाल ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक छोटी सी टॉर्च है और एक बहुत ही सख्त नियम है: आप एक बार में केवल घास के कुछ छोटे हिस्सों पर ही अपनी रोशनी डाल सकते हैं। यह बिल्कुल उसी समस्या के समान है जिसका सामना आधुनिक AI को तब करना पड़ता है जब वह बहुत लंबे दस्तावेज़ों (जैसे कि एक पूरा उपन्यास) को एक साथ पढ़ने की कोशिश करता है।

समस्या: "मायोपिक" (निकटदर्शी) टॉर्च

अधिकांश AI मॉडल समय बचाने के लिए ब्लॉक-स्पार्स अटेंशन (block-sparse attention) नामक एक ट्रिक का उपयोग करते हैं। 1,00,000 शब्दों की कहानी के हर एक शब्द को पढ़ने के बजाय, वे कहानी को टुकड़ों (ब्लॉक्स) में काट देते हैं और फिर सबसे दिलचस्प k टुकड़ों को चुनने के लिए एक "सेलेक्टर" का उपयोग करते हैं।

लेकिन यहाँ एक पेंच है: यह सेलेक्टर मायोपिक (निकटदर्शी) है। कल्पना कीजिए कि सेलेक्टर घास के दो टुकड़ों को देख रहा है। टुकड़े A का स्कोर 9.9 है, और टुकड़े B का स्कोर 9.8 है। नियम कहता है, "शीर्ष 1 को चुनें।" सेलेक्टर तुरंत टुकड़े A को चुन लेता है और टुकड़े B को फेंक देता है।

लेख का तर्क है कि यह एक गलत कदम है। क्या होगा यदि टुकड़े B में वास्तव में प्रश्न का उत्तर छिपा हो, और स्कोर में मामूली अंतर केवल एक इत्तेफाक था? एक बार जब टुकड़े B को छोड़ दिया जाता है, तो AI उसे कभी वापस नहीं पा सकता। यह एक जासूस की तरह है जो एक सुराग को इसलिए फेंक देता है क्योंकि वह दूसरे सुराग जितना ही अच्छा था, केवल यह महसूस करने के लिए कि बाद में उसे केस सुलझाने के लिए उसी सुराग की आवश्यकता थी।

समाधान: "अनसर्टेन्टी-गेटेड" (अनिश्चितता-गेटेड) स्मार्ट स्विच

लेखकों ने अनसर्टेन्टी-गेटेड सिलेक्शन (Uncertainty-Gated Selection) नामक एक चतुर समाधान प्रस्तावित किया है। इसे एक "कॉन्फिडेंस मीटर" जोड़ने के रूप में सोचें।

इससे पहले कि AI अपना अंतिम निर्णय ले, वह पूछता है: "मैं कितना आश्वस्त हूँ कि मैं सही टुकड़ा चुन रहा हूँ?"

कॉन्फिडेंस चेक: AI शीर्ष टुकड़ों के स्कोर को देखता है। यदि शीर्ष टुकड़ा दूसरे की तुलना में बहुत बेहतर है (एक बड़ा अंतर), तो AI आश्वस्त होता है। वह नियम का पालन करता है और केवल शीर्ष k टुकड़ों को चुनता है।
"शायद?" वाला क्षण: यदि शीर्ष टुकड़ा और दूसरा सबसे अच्छा टुकड़ा लगभग समान स्कोर रखते हैं (एक बहुत छोटा अंतर), तो AI को एहसास होता है, "ओह, मैं सुनिश्चित नहीं हूँ! मैं सही उत्तर को छोड़ सकता हूँ।"
सेफ्टी नेट: जब AI अनिश्चित होता है, तो वह एक विशेष नियम को सक्रिय करता है: "बजट दोगुना करें!" केवल k टुकड़े चुनने के बजाय, वह उस विशिष्ट भाग के लिए 2k टुकड़े उठा लेता है। वह सुरक्षित रहने के लिए थोड़ी अतिरिक्त ऊर्जा खर्च करता है।

यह कोई जादू की छड़ी नहीं है जो पूरे AI को बदल देती है। यह एक छोटा, स्मार्ट लेयर है जो उस किसी भी चयन पद्धति के ऊपर बैठता है जिसका AI पहले से ही उपयोग कर रहा है। यह एक को-पायलट की तरह है जो केवल तभी स्टीयरिंग संभालता है जब पायलट भ्रमित दिखता है।

शोध पत्र ने वास्तव में क्या पाया (प्रमाण)

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने चार अलग-अलग AI मॉडलों (Qwen और Mistral सहित) और दो प्रमुख टेस्ट सेट्स पर इसका परीक्षण किया। यहाँ आंकड़े क्या कहते हैं:

बड़ी जीत: LongBench-v2 नामक एक कठिन टेस्ट पर, मानक विधि (केवल शीर्ष k चुनना) का "पेयर्ड रिकॉल" (paired recall) स्कोर 0.47 था। इसका मतलब है कि इसने सही सुराग आधे से भी कम समय में खोजे। नया "अनसर्टेन्टी-गेटेड" तरीका उस स्कोर को बढ़ाकर 0.75 कर देता है। यह 28 प्रतिशत अंकों की एक बड़ी छलांग है।
गति: आप सोच सकते हैं कि अनिश्चितता की जांच करने से काम धीमा हो जाएगा। आश्चर्यजनक रूप से, ऐसा नहीं है। बहुत लंबी लंबाई (128K टोकन) पर, नया तरीका पूर्ण, धीमे "डेंस" (dense) तरीके (जो सब कुछ पढ़ता है) के 0.62× समय में चला। यह मानक शॉर्टकट तरीकों की तुलना में वास्तव में तेज़ था जबकि यह बहुत अधिक स्मार्ट भी था।
"नीडल इन अ हेस्टैक" (घास में सुई) टेस्ट: RULER NIAH नामक एक सिंथेटिक टेस्ट पर, जहाँ AI को छिपे हुए विशिष्ट तथ्यों को खोजना होता है, नए तरीके ने AI को उन उत्तरों में से 0.81 से 0.89 तक खोजने में मदद की जो परफेक्ट (लेकिन धीमे) तरीके ने खोजे थे, जबकि यह बहुत तेज़ी से काम करता रहा।

शोध पत्र ने क्या खारिज किया (सीमाएँ)

यह जानना महत्वपूर्ण है कि यह विधि क्या नहीं करती है, क्योंकि लेखक इसके बारे में बहुत स्पष्ट थे:

यह छोटी कहानियों के लिए कोई जादुई समाधान नहीं है: लेखकों ने इसका परीक्षण LongBench-v1 पर किया, जहाँ कहानियाँ इतनी छोटी थीं कि AI आसानी से सब कुछ देख सकता था। उन मामलों में, नया तरीका मदद नहीं कर सका। "लिफ्ट" (सुधार) केवल तब होता है जब कहानी इतनी लंबी होती है कि AI को चयनात्मक होने के लिए मजबूर किया जाता है। यदि आपके पास पर्याप्त जगह है, तो अतिरिक्त जांच अनावश्यक है।
यह "स्कोरिंग" सिस्टम का विकल्प नहीं है: पेपर ने टुकड़ों को स्कोर करने के दो अलग-अलग तरीकों (एक जिसे "K-mean" और दूसरा "Quest" कहा जाता है) का परीक्षण किया। नया तरीका दोनों पर काम करता है। इससे कोई फर्क नहीं पड़ता कि आप किस स्कोरिंग सिस्टम का उपयोग कर रहे हैं; "अनसर्टेन्टी चेक" आपके पास जो भी है उसे बेहतर बना देता है।
यह हर चीज़ के लिए पूर्ण समाधान नहीं है: लेखक स्वीकार करते हैं कि कुछ बहुत ही विशिष्ट, कठिन रीजनिंग कार्यों (जैसे 3-हॉप वाला "वेरिएबल ट्रैकिंग") पर, सबसे अच्छे मॉडल भी संघर्ष करते रहे, और नया तरीका इसे पूरी तरह से ठीक नहीं कर सका। उनका सुझाव है कि यह इसलिए है क्योंकि मॉडलों को खुद अधिक स्मार्ट होने की आवश्यकता है, न कि केवल सेलेक्टर को।

निष्कर्ष

पेपर यह सुझाव देता है कि AI की निर्णय लेने की प्रक्रिया में एक सरल "कॉन्फिडेंस चेक" जोड़कर, हम इसे महत्वपूर्ण सुरागों को केवल इसलिए फेंकने से रोक सकते हैं क्योंकि उनके स्कोर करीब थे।

परिणाम बताते हैं कि यह दृष्टिकोण AI मॉडलों को बिना धीमा किए लंबे टेक्स्ट को पढ़ने की क्षमता में मापने योग्य सुधार करता है। यह एक "अंधा अनुमान" को "सावधान दोहरी जाँच" में बदल देता है, ठीक उसी समय जब इसकी सबसे अधिक आवश्यकता होती है। लेखकों ने पाया कि यह विभिन्न प्रकार के AI मॉडलों और टेक्स्ट की विभिन्न लंबाईओं में काम करता है, जो साबित करता है कि कभी-कभी, तेज़ होने का सबसे अच्छा तरीका यह है कि आप कब धीमा होना है, इसके बारे में स्मार्ट बनें।

तकनीकी सारांश: ब्लॉक-स्पार्स अटेंशन के लिए अनसर्टेन्टी-गेटेड सिलेक्शन (Uncertainty-Gated Selection)

समस्या विवरण (Problem Statement)

ब्लॉक-स्पार्स अटेंशन मैकेनिज्म (जैसे SSA, Quest, H2O, SnapKV) की-ब्लॉक्स पर प्रति-क्वेरी टॉप- $k$ चयन (per-query top- $k$ selection) के माध्यम से लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडल्स को स्केल करते हैं। हालांकि यह कुशल है, लेकिन यह चयन प्रक्रिया मायोपिक (myopic/अल्पदृष्टि वाली) है। जब $k$ -वें और $(k+1)$ -वें ब्लॉक के स्कोर लगभग समान होते हैं, तो सेलेक्टर बिना किसी अतिरिक्त बजट के निर्णय ले लेता है। यदि छोड़ा गया ब्लॉक महत्वपूर्ण साक्ष्य (evidence) रखता है (जैसे मल्टी-हॉप रीजनिंग या नीडल-इन-ए-हेस्टैक रिट्रीवल में), तो वह जानकारी अपूरणीय रूप से खो जाती है, क्योंकि डाउनस्ट्रीम लेयर्स इसे पुनः प्राप्त नहीं कर सकतीं। यह विफलता केवल शोर (noise) के कारण नहीं, बल्कि संरचनात्मक (structural) है, और यह विशेष रूप से उन परिदृश्यों में प्रदर्शन को कम करती है जहाँ प्रासंगिकता सतह के क्वेरी-की मैच के बजाय लेटेंट कॉन्टेक्स्ट (latent context) पर निर्भर करती है।

मौजूदा विधियाँ कटऑफ को एक निश्चित निर्णय नियम मानती हैं। वे उस निर्णय की अनिश्चितता (uncertainty) या उस सूचना के मूल्य (Value of Information - VoI) पर विचार नहीं करती हैं जो कटऑफ अस्पष्ट होने पर अटेंशन सेट को विस्तारित करके प्राप्त किया जा सकता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक अनसर्टेन्टी-गेटेड राउटर (uncertainty-gated router) प्रस्तावित करता है जो मौजूदा ब्लॉक-स्कोरिंग बैकबोन (जैसे SSA-शैली का मीन-पूलिंग या Quest का K-min/K-max अपर बाउंड) के ऊपर स्थित है, जिसके लिए किसी रीट्रेनिंग या अतिरिक्त पैरामीटर्स की आवश्यकता नहीं है। यह विधि पाँच चरणों में कार्य करती है:

ब्लॉक स्कोरिंग (बैकबोन एग्नॉस्टिक): कीज़ (Keys) को ब्लॉक्स में समूहीकृत किया जाता है। स्कोर मौजूदा बैकबोन (जैसे मीन-पुल्ड इनर प्रोडक्ट या कोऑर्डिनेट-वाइज अपर बाउंड्स) का उपयोग करके कंप्यूट किए जाते हैं।
पर-टाइल चयन (Per-Tile Selection): कंप्यूटेशनल ओवरहेड को कम करने के लिए, चयन प्रति-रो (row) के बजाय प्रति क्वेरी टाइल (Query Tile - निरंतर क्वेरी पंक्तियों का एक समूह) के आधार पर किया जाता है। टाइल स्कोर टाइल की पंक्तियों में अधिकतम स्कोर होता है। एक टॉप- $k$ चयन प्रारंभिक सेट ( $kv\_idx$ ) निर्धारित करता है।
अनसर्टेन्टी मेजरमेंट (VoI सिग्नल): विधि प्रत्येक टाइल और हेड के लिए एक नॉर्मलाइज्ड कटऑफ मार्जिन ( $\sigma$ $σ$ ) की गणना करती है:
$\sigma = \frac{s_{(k-1)} - s_{(k)}}{s_{(0)} - s_{(k)}}$
जहाँ $s_{(i)}$ $s_{(i)}$ सॉर्ट किए गए ब्लॉक स्कोर हैं।
- $\sigma \to 1$ : कटऑफ निर्णायक है (चुना गया सेट टेल/पूंछ से काफी ऊपर है)।
- $\sigma \to 0$ : कटऑफ अस्पष्ट है (अर्थात $k$ -वाँ और $(k+1)$ -वाँ ब्लॉक समान हैं)।
  यह $\sigma$ टॉप- $k$ निर्णय के अपेक्षित नुकसान के प्रॉक्सी के रूप में कार्य करता है; कम $\sigma$ अधिक सूचना प्राप्त करने की उच्च आवश्यकता (high value in acquiring more information) को दर्शाता है।
एग्रीगेशन और ट्रिगरिंग: प्रति-हेड $\sigma$ मानों को प्रति-टाइल सिग्नल ( $\bar{\sigma}$ ) के लिए औसत किया जाता है। एक ट्रिगर तब सक्रिय होता है जब $\bar{\sigma}$ एक लेयर-विशिष्ट एम्पेरिकल क्वांटाइल थ्रेशोल्ड ( $q$ ) से नीचे गिर जाता है। यह उन "जोखिम भरे" टाइल्स की पहचान करता है जहाँ निर्णय संदिग्ध था।
नियंत्रित विस्तार (Controlled Expansion): ट्रिगर की गई टाइल्स अपने अटेंशन सेट को एक कारक $\rho$ (जैसे $\rho=2$ ) से विस्तारित करती हैं, यानी टॉप- $k$ के बजाय टॉप- $\rho k$ ब्लॉक्स पर ध्यान देती हैं। नॉन-ट्रिगर की गई टाइल्स बेसलाइन बजट बनाए रखती हैं। कार्यान्वयन एक फ्यूज्ड कर्नेल का उपयोग करता है जो यूनिफॉर्म डिस्पैच शेप बनाए रखने के लिए नॉन-ट्रिगर की गई टाइल्स को सेंटिनल्स (sentinels) के साथ पैड करता है, जिससे यह सुनिश्चित होता है कि लागत विस्तार के साथ सब-लीनियर रूप से स्केल होती है।

मुख्य योगदान (Key Contributions)

VoI फॉर्मूलेशन: अनिश्चितता के तहत निर्णय के रूप में सेलेक्टर कटऑफ का एक नया, बैकबोन-एग्नोस्टिक फॉर्मूलेशन। यह केवल एक स्केलर ( $\sigma$ ) प्रति टाइल और एक क्वांटाइल थ्रेशोल्ड प्रति लेयर जोड़ता है, जिसके लिए कोई रीट्रेनिंग या अतिरिक्त पैरामीटर आवश्यक नहीं है।
कंपोजेबिलिटी (Composability): एक प्रमाणिक प्रदर्शन कि यह राउटर विभिन्न स्कोरिंग बैकबोन (जैसे SSA-शैली K-mean और Quest का K-max) के साथ कंपोज़ होता है। राउटर लगातार उस बैकबोन के प्रदर्शन को बढ़ाता है जो किसी विशिष्ट मॉडल के लिए बेहतर है, जो यह सिद्ध करता है कि "बेहतर स्कोरिंग" और "बेहतर बजट आवंटन" एक दूसरे के पूरक (orthogonal) सुधार हैं।
फ्यूज्ड इम्प्लीमेंटेशन: एक कस्टम ट्रिटन (Triton) कर्नेल जो चयन और विस्तार को एक ही कोड पाथ में संभालता है, जिससे शेप-यूनिफॉर्म डिस्पैच बना रहता है। यह सिस्टम को 128K कॉन्टेक्स्ट पर डेंस अटेंशन के $0.62\times$ से $0.80\times$ वॉल टाइम (wall time) पर चलाने में सक्षम बनाता है।
डायग्नोस्टिक बेंचमार्किंग: सेलेक्टर की गुणवत्ता को मॉडल की क्षमता से अलग करने के लिए पॉइंटर-चेज़ हेयस्टैक (Pointer-Chase Haystack - PCH) बेंचमार्क का परिचय, और यह दिखाने के लिए LongBench-v1 का उपयोग कि राउटर के लाभ evidencia घनत्व (evidence density) के सापेक्ष टाइट बजट पर निर्भर हैं।

परिणाम (Results)

इस पद्धति का मूल्यांकन चार मॉडल्स (Qwen2.5-14B, Qwen2.5-7B-1M, Mistral-Nemo, Qwen3.6-35B) पर 32K से 128K कॉन्टेक्स्ट के बीच किया गया।

प्रदर्शन लाभ (Performance Gains):
- LongBench-v2 medium (32K कॉन्टेक्स्ट) पर, राउटर-ऑन-क्वेस्ट कॉन्फ़िगरेशन ने टॉप- $k$ बेसलाइन के 0.47 की तुलना में 0.75 का पेयर्ड रिकॉल (paired recall) प्राप्त किया (+28 प्रतिशत अंक), जिसमें McNemar $p < 0.01$ है।
- RULER NIAH multi-key पर, राउटर-ऑन-क्वेस्ट ने Qwen2.5-14B पर 0.98 सटीकता (बनाम 0.93 टॉप-k) और Qwen2.5-7B-1M पर 1.00 प्राप्त किया।
- राउटर ने लगातार प्रत्येक मॉडल के लिए विजेता बैकबोन के प्रदर्शन को सुधारा। उल्लेखनीय रूप से, आर्किटेक्चर के आधार पर इष्टतम बैकबोन बदल गया: Qwen2.5/Mistral के लिए Quest का K-max जीता, जबकि Qwen3.6 के लिए SSA-शैली K-mean जीता (QK-Norm द्वारा मैग्नीट्यूड वेरिएंस को रेगुलेट करने के कारण)। राउटर ने दोनों को बेहतर बनाया।
दक्षता (Efficiency):
- 128K कॉन्टेक्स पर, राउटर ने Qwen2.5-7B-1M पर 0.81 और Qwen3.6 पर 0.89 डेंस सटीकता को संरक्षित किया, जबकि यह क्रमशः डेंस अटेंशन के $0.62\times$ और $0.80\times$ वॉल टाइम पर चला।
- "पारेटो विन" (तुलनीय गुणवत्ता पर बेहतर गति) लंबे कॉन्टेक्स्ट (64K–128K) पर उभरता है, क्योंकि जैसे-जैसे कुल कंप्यूट का अटेंशन शेयर बढ़ता है, यह एम्डाहल के नियम (Amdahl's law) के अनुरूप होता है।
बजट बनाम चयनात्मकता (Budget vs. Selectivity): एब्लेशन अध्ययन दिखाते हैं कि राउटर का लाभ बढ़े हुए बजट और चयनात्मक आवंटन दोनों से आता है। प्रदर्शन की सीमा के करीब वाले मॉडल्स (जैसे Qwen-14B) पर, लाभ मुख्य रूप से बजट-संचालित है; अधिक क्षमता वाले मॉडल्स (जैसे Mistral-Nemo) पर, चयनात्मकता (selectivity) (अस्पष्ट टाइल्स पर बजट खर्च करना) अधिकांश लाभ प्रदान करती है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि अनसर्टेन्िटी-गेटेड राउटर ब्लॉक-स्पार्स अटेंशन के लिए एक जेनेरिक, प्लग-एंड-प्ले लेयर प्रदान करता है जो मायोपिक टॉप- $k$ चयन की संरचनात्मक विफलता मोड को कम करता है। इसका महत्व निम्नलिखित में निहित है:

मजबूती (Robustness): यह विभिन्न मॉडल आर्किटेक्चर (जैसे Qwen3.6 में QK-Norm प्रभाव को संभालना) के विशिष्ट स्कोरिंग गुणों के अनुकूल होता है, जिसके लिए मैनुअल ट्यूनिंग की आवश्यकता नहीं होती है।
दक्षता (Efficiency): यह 128K कॉन्टेक्स्ट पर डेंस सटीकता के करीब पहुँचता है, जिससे लॉन्ग-कॉन्टेक्स्ट इन्फरेंस अधिक व्यावहारिक हो जाता है।
सैद्धांतिक आधार (Theoretical Grounding): यह चयन समस्या को 'वैल्यू-ऑफ-इन्फॉर्मेशन' के नजरिए से फ्रेम करता है, जो गॉसियन नॉइज़ धारणाओं के तहत एक सीमित-नमूना रिग्रेट बाउंड (finite-sample regret bound) प्रदान करता है (हालांकि पेपर नोट करता है कि यह बाउंड वर्तमान में उन शोर-प्रधान क्षेत्रों में कमजोर है जहाँ विधि कार्य करती है)।

लेखक स्पष्ट रूप से कहते हैं कि राउटर का लाभ सशर्त (conditional) है: यह केवल तभी सक्रिय होता है जब प्रति-क्वेरी बजट, उत्तर-प्रासंगिक साक्ष्य के स्थान के सापेक्ष कम होता है। उन परिदृश्यों में जहाँ बजट उदार है (जैसे नेटिव शॉर्ट प्रॉम्प्ट के साथ LongBench-v1), राउटर नगण्य लाभ प्रदान करता है, जो विधि की विशिष्टता (specificity) को प्रमाणित करने के लिए एक नेगेटिव कंट्रोल के रूप में कार्य करता है।