💬 NLP

BLASST: Dynamic BLocked Attention Sparsity via Softmax Thresholding

BLASST एक ट्रेनिंग-फ्री, डायनेमिक स्पार्स अटेंशन मैकेनिज्म है जो नगण्य अटेंशन ब्लॉक्स को छोड़ने के लिए एक फिक्स्ड स्केलर थ्रेशोल्ड का उपयोग करके विभिन्न आर्किटेक्चर पर LLM इन्फरेंस को तेज़ करता है, जिससे नगण्य सटीकता हानि के साथ 1.52x तक की स्पीडअप प्राप्त होती है।

मूल लेखक: Jiayi Yuan, Cameron Shinn, Kai Xu, Jingze Cui, George Klimiashvili, Guangxuan Xiao, Perkz Zheng, Bo Li, Yuxin Zhou, Zhouhai Ye, Weijie You, Tian Zheng, Dominic Brown, Pengbo Wang, Markus Hoehnerbach

प्रकाशित 2026-04-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiayi Yuan, Cameron Shinn, Kai Xu, Jingze Cui, George Klimiashvili, Guangxuan Xiao, Perkz Zheng, Bo Li, Yuxin Zhou, Zhouhai Ye, Weijie You, Tian Zheng, Dominic Brown, Pengbo Wang, Markus Hoehnerbach, Richard Cai, Julien Demouth, John D. Owens, Xia Hu, Song Han, Timmy Liu, Huizi Mao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ BLASST पेपर का विवरण दिया गया है, जिसे रोज़मर्रा की भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

समस्या: "ज़्यादा सोचने वाला" AI (The Over-Thinker AI)

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान सहायक (एक Large Language Model) है जो कहानियाँ लिखने या गणित की समस्याओं को हल करने में माहिर है। लेकिन एक समस्या है: इस सहायक की एक बुरी आदत है—यह ज़रूरत से ज़्यादा सोचता है।

जब आप उससे कोई सवाल पूछते हैं, तो वह केवल आपके प्रॉम्प्ट के महत्वपूर्ण हिस्सों को ही नहीं देखता। इसके बजाय, वह आपके द्वारा लिखे गए हर एक शब्द को पढ़ता है, उसकी तुलना हर दूसरे शब्द से करता है, और यह गणना करता है कि प्रत्येक शब्द दूसरे शब्द से कितना संबंधित है।

छोटी बातचीत: यह ठीक है। यह एक टेक्स्ट मैसेज पढ़ने जैसा है।
लंबी बातचीत (या पूरी किताब): यह एक बुरा सपना बन जाता है। यदि आप 100 पन्नों का उपन्यास पेस्ट करते हैं, तो सहायक हर वाक्य की तुलना हर दूसरे वाक्य से करने की कोशिश करता है। तुलनाओं की संख्या इतनी तेज़ी से बढ़ती है (क्वाड्रेटिकली) कि कंप्यूटर की मेमोरी खत्म हो जाती है और वह अविश्वसनीय रूप से धीमा हो जाता है। यह घास के ढेर में एक विशिष्ट सुई खोजने के लिए, घास के हर एक तिनके की दूरी को हर दूसरे तिनके से मापने जैसा है।

समाधान: BLASST (द "स्मार्ट फ़िल्टर")

लेखकों ने एक नई विधि बनाई जिसे BLASST (Dynamic Blocked Attention Sparsity via Softmax Thresholding) कहा जाता है। यह नाम थोड़ा कठिन है, तो चलिए इसे "द स्मार्ट फ़िल्टर" कहते हैं।

पूरी किताब को शब्द-दर-शब्द पढ़ने के बजाय, BLASST उन्हें एक सरल नियम देता है: "यदि टेक्स्ट का कोई हिस्सा उबाऊ या अप्रासंगिक लगता है, तो उसे पूरी तरह से छोड़ दें।"

लेकिन असली जादू यहाँ है: सहायक को यह नियम सीखने के लिए फिर से प्रशिक्षित (retrain) करने की आवश्यकता नहीं है, और उसे असली चीज़ पढ़ने से पहले "अभ्यास सत्र" (practice run) करने की भी ज़रूरत नहीं है। वह इसे चलते-फिरते (on the fly) खुद ही समझ लेता है।

यह कैसे काम करता है: "रनिंग स्कोर" की उपमा

कल्पना कीजिए कि आप एक टैलेंट शो के जज हैं, और आप एक के बाद एक प्रस्तुतियाँ (acts) देख रहे हैं। आप सबसे अच्छा एक्ट चुनना चाहते हैं, लेकिन आप खराब एक्ट देखने में समय बर्बाद नहीं करना चाहते यदि आपने पहले ही एक सुपरस्टार देख लिया है।

द रनिंग मैक्स (The Running Max): जैसे ही एक्ट #1 परफॉर्म करता है, आप उन्हें एक स्कोर देते हैं (मान लीजिए 8/10)। आप इसे अपने "रनिंग मैक्स" के रूप में रखते हैं।
द चेक (The Check): एक्ट #2 आता है। इससे पहले कि वे अपना गाना खत्म भी करें, आप उनके पहले कुछ सुरों पर नज़र डालते हैं। आपको एहसास होता है कि उनकी "पीक क्षमता" (peak potential) केवल 4/10 है।
द डिसीजन (The Decision): चूंकि 4 वर्तमान सर्वश्रेष्ठ (8) से बहुत कम है, इसलिए आप जानते हैं कि एक्ट #2 रिकॉर्ड तोड़ नहीं पाएगा। आप उन्हें देखना बंद कर देते हैं। आप उनका बाकी गाना नहीं सुनते, न ही उनका स्कोर लिखते हैं, और न ही उन्हें कोई पुरस्कार देते हैं। आप तुरंत एक्ट #3 पर चले जाते हैं।

BLASST कंप्यूटर कोड के साथ बिल्कुल यही करता है:

यह टेक्स्ट के एक छोटे "ब्लॉक" को देखता है।
यह उस ब्लॉक में उच्चतम "उत्साह स्कोर" (attention score) की जाँच करता है।
यदि वह स्कोर अब तक देखे गए सर्वश्रेष्ठ स्कोर की तुलना में बहुत कम है, तो यह पूरे ब्लॉक को छोड़ देता है।
यह कंप्यूटर को गणित करने, मेमोरी से डेटा लोड करने और परिणाम लिखने के काम से बचाता है।

यह इतनी बड़ी बात क्यों है?

पिछली विधियों ने इस समस्या को हल करने की कोशिश की थी, लेकिन उनमें कुछ बड़ी खामियां थीं:

"प्री-गेम" की समस्या: कुछ विधियों के लिए कंप्यूटर को शुरू करने से पहले पूरे टेक्स्ट को स्कैन करना पड़ता था ताकि यह पता चल सके कि क्या छोड़ना है। इससे समय बर्बाद होता था।
"स्कूली शिक्षा" की समस्या: अन्य विधियों के लिए AI को चीज़ों को अनदेखा करना सीखने के लिए फिर से स्कूल (retrain) जाने की आवश्यकता होती थी। यह महंगा और धीमा है।
"एकतरफा" समस्या: कुछ विधियाँ केवल तब काम करती थीं जब AI पढ़ रहा होता था (prefill), लेकिन लिखते समय (decode) नहीं।

BLASST इन सभी को ठीक करता है:

कोई प्री-गेम नहीं: यह पढ़ते समय ही तय कर लेता है कि क्या छोड़ना है, तुरंत।
कोई स्कूली शिक्षा नहीं: यह किसी भी मौजूदा AI मॉडल के साथ बिना किसी बदलाव के काम करता है।
दो-तरफा रास्ता: यह पढ़ने के चरण (prefill) और लिखने के चरण (decode) दोनों की गति बढ़ाता है।

"ऑटो-कैलिब्रेशन" का कमाल

आप पूछ सकते हैं, "जज को कैसे पता चलता है कि कौन सा स्कोर 'बहुत कम' है जिसे छोड़ने के लिए उपयोग किया जाए?" यदि थ्रेशोल्ड (सीमा) बहुत अधिक है, तो वे महत्वपूर्ण चीज़ों को छोड़ देंगे। यदि यह बहुत कम है, तो वे कुछ भी नहीं छोड़ पाएंगे।

लेखकों ने एक सरल गणितीय संबंध खोजा है: टेक्स्ट जितना लंबा होगा, थ्रेशोल्ड उतना ही कम होने की आवश्यकता होगी।

यदि आप एक छोटा ईमेल पढ़ रहे हैं, तो आप बहुत सख्त हो सकते हैं।
यदि आप 100 पन्नों का उपन्यास पढ़ रहे हैं, तो शब्दों का "औसत उत्साह" कम होता है, इसलिए आपको उबाऊ हिस्सों को छोड़ने के लिए अपना स्तर (bar) नीचे लाना होगा।

उन्होंने एक ऑटोमैटिक कैलिब्रेशन टूल बनाया है जो किसी भी लंबाई के टेक्स्ट के लिए इस थ्रेशोल्ड को सटीक रूप से सेट करता है, ताकि आपको अंदाज़ा लगाने की ज़रूरत न पड़े।

परिणाम: गति बनाम गुणवत्ता

पेपर का परीक्षण आधुनिक सुपरकंप्यूटरों (NVIDIA Blackwell और Hopper GPUs) पर किया गया।

गति: उन्होंने 1.5x की गति वृद्धि (speedup) हासिल की। इसका मतलब है कि AI कार्य 50% तेज़ी से पूरा करता है।
गुणवत्ता: AI ने लगभग 70% काम खत्म कर दिया (70% टेक्स्ट ब्लॉक्स को छोड़ दिया), लेकिन उत्तर लगभग वैसे ही थे जैसे कि उसने सब कुछ पढ़ा होता। कुछ मामलों में, "शोर" (अप्रासंगिक शब्दों) को अनदेखा करके, AI ने वास्तव में बेहतर उत्तर दिए!

सारांश

BLASST एक अत्यंत बुद्धिमान लेकिन धीमे पाठक को "स्मार्ट चश्मे" देने जैसा है। ये चश्मे उन्हें एक पन्ने पर नज़र डालने, यह समझने, कि एक पैराग्राफ उबाऊ है, और मुख्य बात खोए बिना तुरंत उस पर से आगे बढ़ने की अनुमति देते हैं।

यह विशाल दस्तावेज़ों (जैसे कि पूरे कोडबेस या कानूनी अनुबंधों) को पढ़ना तेज़ और सस्ता बनाता है, बिना AI को दोबारा बनाए या अतिरिक्त गणनाओं के साथ धीमा किए। यह एक "ड्रॉप-इन" अपग्रेड है जो लंबे-संदर्भ (long-context) वाले AI को वास्तविक दुनिया में वास्तव में उपयोगी बनाता है।

यहाँ शोध पत्र "BLASST: Dynamic Blocked Attention Sparsity via Softmax Thresholding" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को लंबे संदर्भ (long-context) के इन्फरेंस के दौरान एक गंभीर बाधा का सामना करना पड़ता है, जो सेल्फ-अटेंशन मैकेनिज्म की क्वाड्रेटिक कम्प्यूटेशनल कॉम्प्लेक्सिटी ( $O(n^2)$ ) के कारण उत्पन्न होती है। जैसे-जैसे कॉन्टेक्स्ट लेंथ 128K या यहाँ तक कि 1M टोकन तक बढ़ती है, लेटेंसी और मेमोरी खपत दोनों ही अत्यधिक कठिन हो जाते हैं।

जबकि मौजूदा समाधान जैसे FlashAttention, टाइलिंग (tiling) के माध्यम से मेमोरी बैंडविड्थ को अनुकूलित करते हैं, वे फिर भी पूर्ण अटेंशन मैट्रिक्स की गणना करते हैं। पिछले स्पार्स अटेंशन (sparse attention) विधियाँ टोकन या ब्लॉक्स को छोड़कर गणना कम करने का प्रयास करती हैं, लेकिन वे पाँच प्रमुख बाधाओं का सामना करती हैं:

प्री-कंप्यूटेशन ओवरहेड (Pre-computation Overhead): कई विधियों के लिए स्पैरसिटी पैटर्न निर्धारित करने हेतु महंगे प्री-कंप्यूटेशन की आवश्यकता होती है, जो गति में होने वाली वृद्धि को निष्प्रभावी कर देता है।
प्रशिक्षण की आवश्यकता (Training Requirements): कुछ के लिए फाइन-ट्यूनिंग या आर्किटेक्चरल बदलावों की आवश्यकता होती है।
फेज सीमा (Phase Limitation): अधिकांश केवल prefill या decode फेज पर ध्यान केंद्रित करते हैं, दोनों पर नहीं।
हार्डवेयर अनुकूलता (Hardware Compatibility): आधुनिक GPUs (जैसे Blackwell, Hopper) के लिए अनुकूलित कर्नेल्स (kernels) का अभाव।
एकीकरण घर्षण (Integration Friction): इनके लिए अक्सर मॉडल आर्किटेक्चर या API में दखल देने वाले संशोधनों की आवश्यकता होती है।

2. कार्यप्रणाली: BLASST (Methodology: BLASST)

BLASST (Blocked Attention Sparsity via Softmax Thresholding) एक ट्रेनिंग-फ्री, ड्रॉप-इन (drop-in) स्पार्स अटेंशन मैकेनिज्म है जो फॉरवर्ड पास के दौरान नगण्य अटेंशन ब्लॉक्स को गतिशील रूप से हटा (prune) देता है।

मुख्य अंतर्दृष्टि (Core Insight)

यह विधि FlashAttention में उपयोग किए जाने वाले ऑनलाइन सॉफ्टमैक्स (online softmax) गणना का लाभ उठाती है। ब्लॉक-वार प्रोसेसिंग के दौरान, एल्गोरिदम अटेंशन स्कोर के रनिंग मैक्सिमम ( $m_i$ ) को बनाए रखता है। प्रत्येक नए ब्लॉक $j$ के लिए, यह उस ब्लॉक के भीतर अटेंशन स्कोर ( $QK^\top$ ) के लोकल मैक्सिमम ( $\tilde{m}_i$ ) की गणना करता है।

यदि लोकल मैक्सिमम और रनिंग मैक्सिमम के बीच का अंतर थ्रेशोल्ड $\ln(\lambda)$ से कम है:
$\tilde{m}_i - m_i < \ln(\lambda) \implies \exp(\tilde{m}_i - m_i) \approx 0$
तो सॉफ्टमैक्स नॉर्मलाइजेशन के बाद अंतिम आउटपुट में उस ब्लॉक का योगदान नगण्य होगा। फलस्वरूप, सिस्टम उस ब्लॉक के लिए तीन महंगी क्रियाओं को छोड़ सकता है:

सॉफ्टमैक्स एक्सपोनेन्शिएशन (Softmax Exponentiation): exp() गणना को छोड़ना।
वैल्यू लोडिंग (Value Loading): हाई-बैंडविड्थ मेमोरी (HBM) से वैल्यू ब्लॉक ( $V_j$ ) को लोड करने से बचना।
मैट्रिक्स मल्टीप्लिकेशन (Matrix Multiplication): $P_{ij}V_j$ गुणा को छोड़ना।

एल्गोरिदम डिज़ाइन (Algorithm Design)

डायनेमिक प्रूनिंग (Dynamic Pruning): निर्णय मानक FlashAttention लूप के दौरान पहले से ही गणना किए गए सांख्यिकी (statistics) का उपयोग करके ऑन-द-फ्लाई लिया जाता है।
थ्रेशोल्ड कैलिब्रेशन (Threshold Calibration): शोध पत्र एक इष्टतम थ्रेशोल्ड $\lambda$ और कॉन्टेक्स्ट लेंथ $L$ के बीच एक व्युत्क्रम संबंध (inverse relationship) की पहचान करता है: $\lambda = a/L$ । एक स्वचालित कैलिब्रेशन प्रक्रिया स्केलिंग फैक्टर $a$ को निर्धारित करती है ताकि मैन्युअल ट्यूनिंग के बिना विभिन्न कॉन्टेक्स्ट लेंथ्स पर लक्षित स्पैरसिटी स्तर बनाए रखा जा सके।
स्पैरसिटी-अवेयर ट्रेनिंग (Sparsity-Aware Training - वैकल्पिक): हालांकि इसे इन्फरेंस के लिए डिज़ाइन किया गया है, लेखक मॉडल्स को BLASST सक्रिय रखते हुए फाइन-ट्यून करने का प्रस्ताव देते हैं। यह मॉडल को उच्च-स्कोरिंग ब्लॉक्स में सूचना केंद्रित करने के लिए प्रोत्साहित करता है, जिससे सटीकता-स्पैरसिटी ट्रेड-ऑफ में और सुधार होता है।

कर्नेल ऑप्टिमाइज़ेशन (Kernel Optimization)

लेखकों ने Blackwell (B200) और Hopper (H200) GPUs के लिए अनुकूलित CUDA कर्नेल्स लागू किए हैं, जो प्रत्येक फेज के विशिष्ट बॉटलनेक्स के अनुरूप हैं:

प्रीफिल (Prefill - Compute-Bound): कर्नेल सॉफ्टमैक्स गणना (CUDA cores) और मैट्रिक्स मल्टीप्लिकेशन (Tensor cores) दोनों को छोड़ देता है। मेमोरी एक्सेस पैटर्न को अनुमानित बनाए रखने के लिए वैल्यू ब्लॉक्स को अभी भी लोड किया जाता है, क्योंकि यहाँ मेमोरी बैंडविड्थ मुख्य बाधा नहीं है।
डिकोड (Decode - Memory-Bound): कर्नेल का मुख्य ध्यान HBM से वैल्यू ब्लॉक लोड करने को छोड़ने पर है, जो कि प्राथमिक बाधा है। कंडीशनल लोडिंग के कारण होने वाले पाइपलाइन बबल्स (pipeline bubbles) से बचने के लिए, कर्नेल बैच-ड लोडिंग शेड्यूलिंग (batched load scheduling) का उपयोग करता है, जो यह तय करने से पहले कि कौन से वैल्यू ब्लॉक्स को फेच करना है, कई क्वेरी-की (query-key) उत्पादों को प्रोसेस करता है।

3. मुख्य योगदान (Key Contributions)

BLASST एल्गोरिदम: एक ट्रेनिंग-फ्री, प्री-कंप्यूटेशन-फ्री विधि जो ऑनलाइन सॉफ्टमैक्स सांख्यिकी का उपयोग करके डायनेमिक रूप से अटेंशन ब्लॉक्स को छोड़ देती है। यह MHA, GQA, MQA और MLA (Multi-head Latent Attention) का समर्थन करती है।
स्वचालित कैलिब्रेशन (Automated Calibration): एक मजबूत प्रक्रिया जो थ्रेशोल्ड और कॉन्टेक्स्ट लेंथ के बीच एक सरल व्युत्क्रम संबंध ( $\lambda \propto 1/L$ ) स्थापित करती है, जिससे विभिन्न सीक्वेंस लेंथ्स पर सुसंगत स्पैरसिटी और अनुमानित स्पीडअप सुनिश्चित होता है।
अनुकूलित कर्नेल्स (Optimized Kernels): अत्यधिक अनुकूलित CUDA कर्नेल्स जो मौजूदा ऑपरेशंस के पीछे स्किप-चेक लॉजिक को छिपाकर ओवरहेड को कम करते हैं।
स्पैरसिटी-अवेयर ट्रेनिंग (Sparsity-Aware Training): एक सरल विस्तार जो दिखाता है कि स्पार्स अटेंशन पैटर्न के साथ प्रशिक्षित मॉडल आक्रामक प्रूनिंग के प्रति अधिक मजबूत होते हैं।
फ्रेमवर्क इंटीग्रेशन (Framework Integration): इन कर्नेल्स को TensorRT-LLM और FlashInfer में एकीकृत किया गया है, जिससे वे उत्पादन (production) में तुरंत उपयोग के योग्य बन जाते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Llama-3.1-8B और Qwen3-8B का विभिन्न बेंचमार्क (RULER, LongBench, MATH500, AIME 2024, GPQA) पर मूल्यांकन किया।

सटीकता (Accuracy): BLASST न्यूनतम गिरावट के साथ बेंचमार्क सटीकता को बनाए रखता है। ~70% स्पैरसिटी पर, सटीकता में गिरावट नगण्य है। कुछ मामलों में (जैसे MATH500 पर Qwen3-8B), BLASST ने डेंस बेसलाइन से भी बेहतर प्रदर्शन किया, जो संभवतः कम-अटेंशन टोकन्स को फ़िल्टर करके होने वाले निहित डीनोइजिंग (implicit denoising) के कारण है।
स्पीडअप (Prefill): Blackwell GPUs पर 71.9% स्पैरसिटी पर 1.52× स्पीडअप प्राप्त किया।
स्पीडअप (Decode): Blackwell GPUs पर 73.2% स्पैरसिटी पर 1.48× स्पीडअप प्राप्त किया।
तुलना (Comparison): BLASST ने सटीकता में अन्य स्पार्स विधियों (जैसे MInference, FlexPrefill, XAttention) को पछाड़ा, जबकि यह बिना ट्रेनिंग या प्री-कंप्यूटेशन के प्रीफिल और डिकोड दोनों को तेज करने वाली एकमात्र विधि थी।
लॉन्ग कॉन्टेक्स्ट (Long Context): अत्यंत लंबी अनुक्रमों (200K टोकन तक) पर प्रभावी है, जहाँ प्राकृतिक स्पैरसिटी बढ़ जाती है, जिससे यह विधि और भी अधिक प्रभावी हो जाती है।

5. महत्व (Significance)

BLASST व्यावहारिक, लॉन्ग-कॉन्टेक्स्ट LLM परिनियोजन (deployment) की दिशा में एक महत्वपूर्ण कदम है। ट्रेनिंग, प्री-कंप्यूटेशन और आर्किटेक्चरल संशोधन की बाधाओं को हटाकर, यह एक यूनिवर्सल ऑप्टिमाइज़ेशन प्रदान करता है जो मौजूदा मॉडल्स और फ्रेमवर्क्स के साथ काम करता है। सरल कैलिब्रेशन के माध्यम से कॉन्टेक्स्ट लेंथ के अनुकूल होने की इसकी क्षमता और नवीनतम GPU हार्डवेयर के लिए इसका अनुकूलन, इसे उन प्रोडक्शन इन्फरेंस सिस्टम के लिए एक व्यवहार्य समाधान बनाता है जिन्हें उच्च थ्रूपुट और लंबे कॉन्टेक्स्ट विंडो की आवश्यकता होती है। यह शोध पत्र सिद्ध करता है कि वास्तविक सॉफ्टमैक्स सांख्यिकी पर आधारित डायनेमिक स्पैरसिटी, प्रॉक्सी-आधारित या स्टैटिक स्पैरसिटी विधियों की तुलना में अधिक मजबूत और कुशल दृष्टिकोण है।