🤖 machine learning

Cascade Token Selection for Transformer Attention Acceleration

यह शोध पत्र एक कैस्केड टोकन चयन तंत्र (cascade token selection mechanism) प्रस्तुत करता है जो परतों के माध्यम से प्रतिनिधि टोकनों को विरासत में देकर और उन्हें वृद्धिशील रूप से अपडेट करके ट्रांसफॉर्मर अटेंशन को त्वरित करता है, जिससे उच्च सूचना प्रतिधारण (information retention) बनाए रखते हुए चयन जटिलता को $O(T^2 d)$ से घटाकर $O(T r d)$ कर दिया जाता है।

मूल लेखक: Stephen J. Thomas

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stephen J. Thomas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ट्रांसफॉर्मर मॉडल (जो आधुनिक AI के पीछे का मस्तिष्क है) की कल्पना एक विशाल, बहु-मंजिला पुस्तकालय के रूप में करें। हर बार जब AI एक वाक्य पढ़ता है, तो वह जानकारी को व्यवस्थित करने के लिए सीढ़ियों के ऊपर "लाइब्रेरियन" (परतों/layers) की एक टीम भेजता है।

एक मानक पुस्तकालय में, हर एक शेल्फ पर मौजूद हर एक किताब (टोकन) को दूसरे सभी किताबों के साथ तुलना करने की आवश्यकता होती है ताकि उनके बीच के संबंध खोजे जा सकें। यदि आपके पास 512 किताबें हैं, तो यह तय करने के लिए कि कौन सी महत्वपूर्ण हैं, 2,60,000 से अधिक तुलनाएं करनी होंगी। यह धीमा और महंगा है, खासकर लंबी कहानियों के लिए।

समस्या: "री-चेक" (पुनः जाँच) की बाधा

ADA नामक एक पिछली विधि ने इसे ठीक करने की कोशिश की। इसने महसूस किया कि अधिकांश किताबें वास्तव में कुछ "प्रमुख" किताबों की प्रतियां या बहुत समान होती हैं। सभी 512 किताबों की तुलना करने के बजाय, ADA "प्रतिनिधि" किताबों (मान लीजिए 200) का एक छोटा समूह चुनता है और बाकी को अनदेखा कर देता है, यह मानते हुए कि वे अनावश्यक हैं।

हालाँकि, ADA की एक छिपी हुई लागत थी: उन 200 प्रमुख किताबों को खोजने के लिए, उसे पुस्तकालय के प्रत्येक तल (floor) पर शुरू से ही हर एक किताब की हर दूसरी किताब के साथ पुनः जाँच करनी पड़ती थी। यह ऐसा था जैसे पुस्तकालय के हर तल पर एक नई टीम को नियुक्त करना ताकि पूरी लाइब्रेरी को फिर से व्यवस्थित किया जा सके, भले ही नीचे वाले तल से किताबें बहुत अधिक न बदली हों। प्रमुख किताबों को खोजने की लागत, उन्हें पढ़ने की लागत के लगभग बराबर ही थी।

समाधान: "कैस्केड" (Cascade) लिफ्ट

यह पेपर "कैस्केड टोकन सिलेक्शन" नामक एक चतुर शॉर्टकट पेश करता है।

पुस्तकालय के फर्शों को AI की परतों के रूप में सोचें। लेखकों ने एक आश्चर्यजनक तथ्य की खोज की: मंजिल 10 पर "प्रमुख किताबों" का समूह लगभग वही है जो मंजिल 11 पर है। जो किताबें एक मंजिल पर महत्वपूर्ण थीं, वे अगली मंजिल पर भी महत्वपूर्ण रहती हैं। AI अचानक यह निर्णय नहीं लेता कि कोई रैंडम किताब महत्वपूर्ण है क्योंकि वह एक मंजिल ऊपर चली गई है।

हर मंजिल पर पूरी लाइब्रेरी को दोबारा जाँचने के बजाय, कैस्केड विधि यह करती है:

विरासत (Inherit): यह नीचे वाले तल से "प्रमुख किताबों" की सूची लेती है।
सत्यापन (Verify): यह केवल यह जाँचती है कि क्या वे विशिष्ट प्रमुख किताबें अभी भी 'प्रमुख' हैं, और क्या कोई "अनदेखी" की गई किताबें अचानक महत्वपूर्ण हो गई हैं।
अपडेट (Update): यह शून्य से शुरू करने के बजाय, कुछ छोटी समायोजन (कुछ किताबें जोड़ने या हटाने) करती है।

उपमा: कॉन्सर्ट की भीड़

कल्पना कीजिए कि एक कॉन्सर्ट में भीड़ AI का डेटा है।

पुराना तरीका (स्वतंत्र चयन): हर गाने पर, एक सुरक्षा गार्ड 10,000 लोगों की पूरी भीड़ को स्कैन करता है ताकि 500 सबसे उत्साहित प्रशंसकों को खोजा जा सके। इसमें बहुत समय लगता है।
नया तरीका (कैस्केड): गार्ड पिछले गाने से उत्साहित प्रशंसकों की 500 लोगों की सूची देखता है। वह जानता है कि उनमें से अधिकांश अभी भी उत्साहित हैं। वह केवल यह जाँचता है कि क्या वे 500 अभी भी उत्साहित हैं और क्या पीछे के कुछ नए लोग अचानक उछल पड़े हैं। वह पूरी भीड़ को दोबारा स्कैन नहीं करता है।

परिणाम: पेपर ने क्या पाया

लेखकों ने शक्तिशाली कंप्यूटर चिप्स का उपयोग करके तीन अलग-अलग AI मॉडल (GPT-2, GPT-J, और OPT) पर इसका परीक्षण किया। यहाँ क्या हुआ:

भारी बचत: हर बार पूरी भीड़ को दोबारा स्कैन न करके, उन्होंने महत्वपूर्ण टोकन को खोजने के लिए आवश्यक कंप्यूटर कार्य में 22% से 63% तक की बचत की। मॉडल जितना गहरा (अधिक मंजिलें) होता, बचत उतनी ही अधिक होती।
स्थिरता: "प्रमुख किताबों" की सूची एक मंजिल से दूसरी मंजिल तक 83% से 94% समान रही। इसने साबित किया कि गहराई में जाने पर महत्वपूर्ण क्या है, इसकी AI की समझ बहुत स्थिर है।
सुरक्षा: यह विधि "रूढ़िवादी" (conservative) है। यह कभी भी वास्तव में महत्वपूर्ण किताब को गलती से नहीं हटाती है। यह कुछ अतिरिक्त "शायद" वाली किताबों को रख सकती है (जिससे सूची थोड़ी बड़ी हो जाती है), लेकिन यह गारंटी देती है कि यह कभी भी एक महत्वपूर्ण किताब को मिस नहीं करेगी। इसका मतलब है कि AI के उत्तर उतने ही सटीक रहते हैं।

यह क्यों मायने रखता है

पेपर निष्कर्ष निकालता है कि यह इसलिए काम करता है क्योंकि जैसे-जैसे AI गहराई में जाता है, उसका आंतरिक "विश्व दृष्टिकोण" सुचारू रूप से बदलता है। यह एक अराजक छलांग नहीं है; यह एक कोमल विकास है। इस सहजता का लाभ उठाकर, कैस्केड विधि एक भारी, धीमी प्रक्रिया को एक हल्की, तेज़ प्रक्रिया में बदल देती है।

संक्षेप में: हर कदम पर पहिए का पुन: आविष्कार न करें। बस यह जाँचें कि जो पहिया आप पहले से ही चला रहे हैं वह अभी भी गोल है या नहीं, और यदि नहीं, तो उसमें मामूली सुधार करें। यह बड़े AI मॉडल को चलाना काफी तेज़ और सस्ता बनाता है।

तकनीकी सारांश: ट्रांसफॉर्मर अटेंशन त्वरण के लिए कैस्केड टोकन चयन (Cascade Token Selection)

समस्या विवरण
ट्रांसफॉर्मर मॉडल सेल्फ-अटेंशन मैकेनिज्म में एक महत्वपूर्ण कम्प्यूटेशनल बाधा का सामना करते हैं, जहाँ $QK^\top$ उत्पाद और उसके बाद के सॉफ्टमैक्स-वेटेड सम (softmax-weighted sum) की गणना की लागत अनुक्रम लंबाई (sequence length) के साथ द्विघात रूप से ( $O(T^2 d_h)$ ) बढ़ती है। जबकि फ्लैश-अटेंशन (FlashAttention) जैसे हालिया तरीकों ने मेमोरी बैंडविड्थ को अनुकूलित किया है, एल्गोरिद्मिक जटिलता लंबी अनुक्रमों (sequences) के लिए एक बाधा बनी हुई है।

इसके साथी पेपर, एक्टिवेशन डिकोरिलेशन अटेंशन (ADA), ने इस जटिलता को $O(T^2)$ से घटाकर $O(r^2)$ करने के लिए एक समाधान प्रस्तावित किया है, जो प्रत्येक परत (layer) पर 'प्रतिनिधि' (representative) टोकनों के एक छोटे सेट $r \ll T$ का चयन करता है। ADA इन टोकनों की पहचान एक ग्राम थ्रेशोल्ड (Gram threshold) का उपयोग करके करता है: एक टोकन को प्रतिनिधि तब माना जाता है यदि उसका सभी पूर्ववर्ती टोकनों के साथ अधिकतम कोसाइन सहसंबंध (cosine correlation) $1 - \tau^2$ से कम हो। हालाँकि, चयन प्रक्रिया के लिए प्रत्येक परत पर एक पूर्ण $T \times T$ ग्राम मैट्रिक्स की गणना की आवश्यकता होती है, जिससे $O(T^2 d)$ की लागत आती है। मध्यम अनुक्रम लंबाई (जैसे, $T=2048$ ) के लिए, यह चयन ओवरहेड उस अटेंशन लागत के बराबर है जिसे यह कम करने का प्रयास कर रहा है। यह पेपर ADA में प्रतिनिधि टोकन चयन चरण की उच्च कम्प्यूटेशनल लागत के मूल समस्या को संबोधित करता है।

कार्यप्रणाली: कैस्केड तंत्र (The Cascade Mechanism)
यह पेपर एक "कैस्केड" तंत्र पेश करता है जो प्रतिनिधि टोकन सेट की डेप्थ कोहेरेंस (depth coherence) का लाभ उठाता है। लेखक देखते हैं कि परत $l$ पर सूचनात्मक टोकनों का सेट, परत $l+1$ पर सेट के लिए अत्यधिक भविष्य कहनेवाला (predictive) है। यह ट्रांसफॉर्मर ब्लॉक्स की लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) के माध्यम से सैद्धांतिक रूप से पुष्ट है: जो टोकन एक परत पर लगभग-डुप्लिकेट (redundant) या डिकोरिलेटेड (representative) होते हैं, वे संदर्भ संबंधी जानकारी (contextual information) जुड़ने के बाद भी अगले स्तर पर वही संबंध बनाए रखने की प्रवृत्ति रखते हैं।

प्रत्येक परत पर पूर्ण $T \times T$ ग्राम मैट्रिक्स को पुन: गणना करने के बजाय, कैस्केड तंत्र:

पिछले स्तर से प्रतिनिधि सेट $R^{(l)}$ को विरासत (Inherit) में लेता है।
विरासत में मिले सेट को दो छोटे ग्राम उत्पादों की गणना करके सत्यापित (Validate) करता है:
- विरासत में मिले प्रतिनिधियों के बीच एक $r \times r$ उत्पाद, यह जाँचने के लिए कि क्या उनमें से कोई रेडंडेंट (redundant) हो गया है।
- गैर-प्रतिनिधियों और वैध विरासत प्रतिनिधियों के बीच एक $(T-r) \times r$ क्रॉस-प्रोडक्ट, यह जाँचने के लिए कि क्या कोई गैर-प्रतिनिधि डिकोरिलेटेड (अर्थात, नए प्रतिनिधि) हो गया है।
इन जाँचों के आधार पर जोड़ और हटाव की एक छोटी संख्या के साथ सेट को अपडेट (Update) करता है।

यह दृष्टिकोण चयन की जटिलता को प्रति परत $O(T^2 d)$ से घटाकर $O(Trd) $कर देता है, जो$ T/r$ का स्पीडअप फैक्टर है।

प्रमुख योगदान

एल्गोरिद्मिक नवाचार: एक कैस्केड टोकन चयन एल्गोरिदम का प्रस्ताव जो पूर्ण ग्राम मैट्रिक्स गणना को वृद्धिशील सत्यापन (incremental validation) और अपडेट चरणों से बदल देता है।
सैद्धांतिक औचित्य: एक प्रमाण (प्रपोजिशन 3) जो यह दर्शाता है कि प्रतिनिधि सेट की डेप्थ कोहेरेंस, ट्रांसफॉर्मर ब्लॉक्स की लिप्सचिट्ज़ निरंतरता और रेसिडुअल कनेक्शन की योगात्मक प्रकृति का परिणाम है।
रूढ़िवादी गारंटी (Conservative Guarantee): एक प्रमाण (प्रपोजिशन 4) जो दिखाता है कि कैस्केड विधि रूढ़िवादी (conservative) है; यह स्वतंत्र प्रतिनिधि सेट का एक सुपरसेट (superset) बनाती है। यह कभी भी एक वास्तविक प्रतिनिधि को नहीं छोड़ती है, जिससे यह सुनिश्चित होता है कि अटेंशन की गुणवत्ता कम नहीं होती है, हालांकि यह प्रतिनिधियों की संख्या ( $r$ ) को थोड़ा बढ़ा सकती है।
ऑर्थोगोनल त्वरण: यह पेपर इस पद्धति को गेटेड सबस्पेस इन्फरेंस (GSI) के टोकन-डायमेंशन एनालॉग के रूप में स्थापित करता है, जो डेप्थ-कोहेरेंट बेसिस इनहेरिटेंस के माध्यम से लीनियर लेयर्स को त्वरित करता है। साथ मिलकर, वे पूर्ण ट्रांसफॉर्मर फॉरवर्ड पास (दोनों $d$ -अक्ष और $T$ -अक्ष) को कवर करते हैं।

प्रायोगिक परिणाम
इस पद्धति को AMD MI300X हार्डवेयर पर तीन मॉडल परिवारों (GPT-2 124M, GPT-J 6B, OPT 6.7B) पर अनुक्रम लंबाई $T=512$ और ग्राम थ्रेशोल्ड $\tau=0.30$ का उपयोग करके मान्य किया गया।

डेप्थ कोहेरेंस: क्रमिक परतों में प्रतिनिधि सेटों के बीच जैकार्ड इंडेक्स (Jaccard index) गहरा होने पर 0.83 से 0.94 तक उच्च रहता है, जो टोकन सेट की स्थिरता की पुष्टि करता है।
ग्राम ऑपरेशन बचत: कैस्केड तंत्र ने कुल ग्राम ऑपरेशंस को कम किया:
- GPT-2 (12 परतें) के लिए 22%
- GPT-J (28 परतें) के लिए 52%
- OPT (32 परतें) के लिए 63%
  बचत मॉडल की गहराई के साथ बढ़ती है क्योंकि परत 0 पर प्रारंभिक पूर्ण-ग्राम लागत को अधिक परतों में एमोर्टाइज (amortize) किया जाता है।
टर्नओवर दर (Turnover Rate): गहरी परतों में, टर्नओवर दर (सेट में संशोधित अंश) घटकर 3–18% हो जाती है, जो यह संकेत देती है कि विरासत में मिले सेट को न्यूनतम समायोजन की आवश्यकता होती है।
स्केलिंग भविष्यवाणियाँ: लेखक अनुमान लगाते हैं कि लंबे अनुक्रमों (जैसे, $T=8192$ ) के लिए, जहाँ $r$ उप-रैखिक (sublinearly) रूप से बढ़ता है, चयन स्पीडअप $18\times$ तक पहुँच सकता है, जिससे चयन लागत एक प्रमुख शब्द से बदलकर नगण्य हो जाएगी।

महत्व और दावे
यह पेपर दावा करता है कि कैस्केड तंत्र एक प्रशिक्षित ट्रांसफॉर्मर के संरचनात्मक गुण को प्रकट करता है: सूचनात्मक टोकनों का सेट एक सुसंगत संरचनात्मक गुण है जो नेटवर्क की गहराई के माध्यम से प्रसारित होता है। इस कोहेरेंस का लाभ उठाकर, यह विधि ADA के लिए चयन ओवरहेड को व्यावहारिक बनाती है, जिससे अटेंशन संपीड़न (compression) चयन चरण द्वारा बाधित हुए बिना अपने सैद्धांतिक स्पीडअप को प्राप्त कर पाता है।

लेखक इस बात पर जोर देते हैं कि यह फ्लैश-अटेंशन (जो मेमोरी बैंडविड्थ को अनुकूलित करता है) और स्पार्स अटेंशन (जो निश्चित पैटर्न का उपयोग करता है) जैसे मौजूदा तरीकों के पूरक त्वरण के रूप में है। टोकन प्रूनिंग या मर्जिंग विधियों के विपरीत जो रिप्रेजेंटेशन को स्थायी रूप से बदल देती हैं, कैस्केड ADA बिना किसी आर्किटेक्चरल बदलाव या रिट्रेनिंग के इनपुट संरचना के आधार पर गतिशील रूप से प्रतिनिधियों का चयन करता है। GSI और कैस्केड ADA का संयोजन इन्फरेंस लागत में एक गुणात्मक (multiplicative) कमी प्रदान करता है, जो फॉरवर्ड पास की जटिलता को नाममात्र मॉडल आकार के बजाय इनपुट की "प्रभावी जटिलता" (effective complexity) तक प्रभावी रूप से कम कर देता है।

समस्या: "री-चेक" (पुनः जाँच) की बाधा

समाधान: "कैस्केड" (Cascade) लिफ्ट

उपमा: कॉन्सर्ट की भीड़

परिणाम: पेपर ने क्या पाया

यह क्यों मायने रखता है

इसी तरह के और पेपर