🤖 machine learning

Interdomain Attention: Beyond Token-Level Key-Value Memory

यह शोध पत्र इंटरडोमेन अटेंशन (Interdomain Attention) का प्रस्ताव करता है, जो एक नवीन आर्किटेक्चर है जो कर्नेल विधियों के माध्यम से स्टेट स्पेस मॉडल्स (SSMs) को अटेंशन मैकेनिज्म में एकीकृत करके एक निश्चित आकार के स्टेट पर क्वेरी-कंडीशन्ड अटेंशन प्राप्त करता है, जिससे SSMs की स्केलेबिलिटी और लंबाई-रोबस्टनेस को कंटेंट-आधारित मिलान के प्रदर्शन लाभों के साथ जोड़ा जा सके।

मूल लेखक: Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li

प्रकाशित 2026-05-26

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "इंटरडोमेन अटेंशन" (Interdomain Attention) पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "बहुत अधिक सामग्री" की दुविधा (The "Too Much Stuff" Dilemma)

कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपकी याददाश्त बहुत खराब है।

पुराना तरीका (स्टैंडर्ड ट्रांसफॉर्मर): अगला वाक्य लिखने के लिए, आपको अब तक लिखे गए हर एक शब्द को पीछे मुड़कर देखना पड़ता है। यदि आप 100 पन्नों की किताब लिखते हैं, तो सही कनेक्शन खोजने के लिए आपके मस्तिष्क को उन सभी 100 पन्नों को एक साथ अपने दिमाग में रखना होगा। यह अविश्वसनीय रूप से धीमा है और इसके लिए भारी मानसिक ऊर्जा (कंप्यूटिंग पावर) की आवश्यकता होती है। जैसे-जैसे कहानी लंबी होती जाती है, आपका मस्तिष्क अभिभूत (overwhelmed) हो जाता है।
वैकल्पिक तरीका (स्टेट स्पेस मॉडल्स/SSMs): ऊर्जा बचाने के लिए, आप पूरी कहानी को एक छोटे से नोट कार्ड में सारांशित (summarize) कर देते हैं। अगला वाक्य लिखने के लिए आप केवल इस नोट कार्ड को देखते हैं। यह कितना भी लंबा हो, यह सुपर फास्ट और कुशल है। हालाँकि, क्योंकि आपके पास केवल एक छोटा सा नोट कार्ड है, आप अक्सर विशिष्ट विवरणों को चूक जाते हैं। आप तीन अध्याय पहले उल्लेखित किसी पात्र का नाम भूल सकते हैं।

लक्ष्य: लेखक एक ऐसा सिस्टम बनाना चाहते थे जिसमें छोटे नोट कार्ड की गति और दक्षता (speed and efficiency) भी हो और पूरी किताब को देखने जैसी याददाश्त और विवरण (memory and detail) भी हो।

समाधान: "इंटरडोमेन अटेंशन" (Interdomain Attention)

लेखकों ने एक नया तरीका बनाया जिसे इंटरडोमेन अटेंशन कहा जाता है। इसे एक स्मार्ट लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में समझें जो एक लाइब्रेरी को एक बहुत ही विशिष्ट तरीके से प्रबंधित करता है।

1. "संकुचित लाइब्रेरी" (The Compressed Library - SSM कोर)

हर एक किताब (टोकन) को शेल्फ पर रखने के बजाय, लाइब्रेरियन कहानी के पूरे इतिहास को संकुचित करने के लिए एक विशेष मशीन (एक SSM) का उपयोग करता है, जिससे "समरी कोएफिशिएंट्स" (summary coefficients) का एक निश्चित आकार का सेट बनता है।

उपमा: कल्पना कीजिए कि आपके पास 1,000 पन्नों का उपन्यास है। सभी 1,000 पन्ने रखने के बजाय, आप कहानी को कुछ विशिष्ट "थीम्स" या "वाइब्स" (जैसे "नायक की यात्रा," "खलनायक का मकसद," "सेटिंग का मूड") में सान (distill) देते हैं। ये 64 थीम्स आपकी "स्टेट" (state) हैं। चाहे कहानी 10 पन्नों की हो या 10,000 पन्नों की, आपको हमेशा केवल इन 64 थीम्स को ही अपने हाथ में रखने की आवश्यकता होगी।

2. "स्मार्ट क्वेरी" (The Smart Query - अटेंशन वाला हिस्सा)

जब आप अगला वाक्य लिखना चाहते हैं, तो आप केवल उन 64 थीम्स को अंधाधुंध नहीं देखते। आप एक विशिष्ट प्रश्न पूछते हैं (एक "क्वेरी")।

जादुई ट्रिक: सिस्टम आपके प्रश्न को लेता है और उसे उन्हीं 6स्यों "भाषा" में अनुवादित करता है जिसमें वे 64 थीम्स हैं। फिर यह जाँचता है: "इन 64 थीम्स में से कौन सी मेरी वर्तमान प्रश्न के लिए सबसे अधिक प्रासंगिक है?"
परिणाम: आपको दोनों दुनियाओं का सर्वश्रेष्ठ मिलता है। आप एक संकुचित सारांश देख रहे हैं (तेज़!), लेकिन आप वर्तमान में जो सोच रहे हैं उसके आधार पर उस सारांश के सही हिस्सों का चयन कर रहे हैं (स्मार्ट!)।

यह कैसे काम करता है ("किचन" की उपमा)

कल्पना कीजिए कि आप एक शेफ हैं जो सूप (आउटपुट) बना रहे हैं।

स्टैंडर्ड अटेंशन: आपके पास सामग्रियों का एक विशाल बर्तन (पूरा इतिहास) है। नमक डालने के लिए, आपको यह तय करने के लिए बर्तन में मौजूद हर एक सामग्री को चखना होगा कि कितना नमक डालना है। जैसे-जैसे बर्तन बड़ा होता जाता है, इसमें बहुत समय लगता है।
स्टैंडर्ड SSM: आपके पास केवल 64 जार वाला एक छोटा सा मसाला रैक है। आप बस एक जार उठाते हैं और डाल देते हैं। यह तेज़ है, लेकिन अब आप विशिष्ट सामग्रियों को चख नहीं सकते।
इंटरडोमन अटेंशन:
1. आपके पास एक मशीन है जो आपके द्वारा अब तक पकाए गए हर व्यंजन के आधार पर एक निश्चित आकार का मसाला रैक (64 थीम्स) को लगातार अपडेट करती रहती है।
2. जब आप नमक डालना चाहते हैं, तो आप पूरे बर्तन को नहीं चखते। इसके बजाय, आप एक विशेष टेस्टिंग स्पून (क्वेरी फीचर मैप) पकड़ते हैं जो तुरंत आपको बता देता है: "वर्तमान स्वाद के आधार पर, आपको 'टमाटर' के जार का 30% और 'हर्ब' के जार का 70% मिलाना चाहिए।"
3. आप अपने निश्चित मसाला रैक से उन विशिष्ट मात्राओं को मिलाते हैं। यह तेज़ है क्योंकि रैक छोटा है, लेकिन यह सटीक है क्योंकि आपका चम्मच जानता है कि वर्तमान क्षण के लिए उन्हें कैसे मिलाना है।

इस पेपर ने वास्तव में क्या पाया

लेखकों ने छोटे (125 मिलियन पैरामीटर्स) से लेकर बड़े (1.3 बिलियन पैरामीटर्स) तक के लैंग्वेज मॉडल्स पर इस नए "इंटरडोमेन अटेंशन" का परीक्षण किया। यहाँ उनके मुख्य दावे हैं:

यह "छोटे नोट कार्ड" (SSM) को मात देता है: हर परीक्षण में, इंटरडोमेन अटेंशन स्टैंडर्ड SSM पद्धति की तुलना में टेक्स्ट लिखने में बेहतर था। इसने तेज़ रहते हुए भी संदर्भ (context) को बेहतर ढंग से समझा।
यह स्केल पर "विशाल बर्तन" (स्टैंडंड अटेंशन) को भी पीछे छोड़ देता है: जिस सबसे बड़े आकार (1.3 बिलियन पैरामीटर्स) पर उन्होंने परीक्षण किया, उसमें इंटरडोमेन अटेंशन ने वास्तव में स्टैंडर्ड तरीके (जो हर शब्द को देखता है) की तुलना में बेहतर टेक्स्ट लिखा (कम "परप्लेक्सिटी" और बेहतर कॉमन सेंस स्कोर)।
यह लंबी कहानियों को नहीं भूलता: सबसे बड़ी जीत लंबाई (length) है। स्टैंडर्ड तरीके भ्रमित हो जाते हैं और गलतियाँ करने लगते हैं जब कहानी उनके प्रशिक्षण (training) से लंबी हो जाती है। इंटरडोमेन अटेंशन तब भी शांत और सुसंगत रहा जब कहानी अपनी ट्रेनिंग से 3.5 गुना लंबी थी। यह धीमा या भ्रमित नहीं हुआ; यह बस काम करता रहा।
सीक्रेट सॉस (Secret Sauce): उन्होंने एक "मैकेनिज्म डिकंपोजिशन" (मशीन को खोलकर यह देखने का एक तरीका कि किस हिस्से ने काम किया) किया। उन्होंने पाया कि क्वेरी-कंडीशन्ड प्रोजेक्शन (वह "स्मार्ट स्पून" जो आपके प्रश्न को सारांश की भाषा में अनुवादित करता है) ही सफलता का मुख्य कारण था। उस विशिष्ट चरण के बिना, सिस्टम केवल एक स्टैंडर्ड SSM की तरह काम करता और खराब प्रदर्शन करता।

ट्रेड-ऑफ (यह क्या नहीं कर सकता)

पेपर इसकी एक कमजोरी के बारे में ईमानदार है: सटीक रिकॉल (Exact Recall)।

उपमा: यदि आप सिस्टम से पूछते हैं, "पेज 4 पर उल्लेखित पात्र का सटीक फोन नंबर क्या था?" तो स्टैंडर्ड तरीका (पूरी किताब को देखना) इसे खोजने में बहुत अच्छा है। इंटरडोमेन अटेंशन, क्योंकि यह एक संकुचित सारांश पर निर्भर करता है, सटीक टेक्स्ट स्ट्रिंग्स (जैसे फोन नंबर या विशिष्ट नाम) को प्राप्त करने में उतना अच्छा नहीं है यदि वे मुख्य "थीम्स" का हिस्सा नहीं हैं।
हालाँकि, लेखकों ने नोट किया कि यह सूचना को संकुचित करने वाले किसी भी सिस्टम की एक सीमा है, न कि केवल उनके नए तरीके की।

सारांश

इंटरडोमेन अटेंशन AI के लिए चीजों को याद रखने का एक नया तरीका है। दुनिया को अपने दिमाग में रखने की कोशिश करने (धीमा) या केवल एक छोटे नोट (भुलक्कड़) के बजाय, यह दुनिया का एक स्मार्ट, संकुचित सारांश रखता है। जब इसे लिखने की आवश्यकता होती है, तो यह उस सारांश के बिल्कुल सही हिस्सों को चुनने के लिए एक विशेष ट्रांसलेटर का उपयोग करता है। यह इसे तेज़, कुशल और लंबी कहानों को बिना भ्रमित हुए संभालने में आश्चर्यजनक रूप से सक्षम बनाता है।

तकनीकी सारांश: इंटरडोमेन अटेंशन (Interdomain Attention)

समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर और डीप स्टेट स्पेस मॉडल्स (SSMs) अनुक्रम मॉडलिंग (sequence modeling) के लिए दो विपरीत डिज़ाइन प्रतिमानों का प्रतिनिधित्व करते हैं। मानक अटेंशन तंत्र (Vaswani et al., 2017) एक बढ़ते हुए की-वैल्यू (KV) कैश का उपयोग करते हैं, जो कंटेंट-आधारित मिलान के माध्यम से क्वेरीज़ को रूट करते हैं। जबकि यह सटीक रिकॉल (recall) प्रदान करता है, यह अनुक्रम लंबाई के संबंध में द्विघातीय (quadratic) कम्प्यूटेशनल लागत ( $O(N_q N)$ ) और रैखिक (linear) मेमोरी वृद्धि ( $O(N)$ ) का कारण बनता है। इसके विपरीत, डीप SSMs (जैसे S4, Mamba) संपूर्ण संदर्भ को एक निश्चित-आकार के रिकरेंट स्टेट में संकुचित करते हैं, जो प्रत्येक स्टेप पर $O(1)$ समय में अपडेट होता है। हालांकि, इस संपीड़न की कीमत विशिष्ट क्वेरीज़ द्वारा सीधे एड्रेस न किए जा सकने वाले फिक्स्ड स्टेट के रूप में चुकानी पड़ती है, जिससे अक्सर उन कार्यों में कमजोर प्रदर्शन होता है जिनमें सटीक रिट्रीवल या कंटेंट-आधारित अटेंशन की आवश्यकता होती है।

हाइब्रिड आर्किटेक्चर ने इन दृष्टिकोणों को आपस में जोड़ने का प्रयास किया है, और लीनियर अटेंशन वेरिएंट्स ने सीधे अटेंशन लागत को कम करने की कोशिश की है। यह पेपर एक अलग मार्ग प्रस्तावित करता है: एक SSM को सीधे अटेंशन मैकेनिज्म में एकीकृत करना ताकि एक निश्चित-आकार के स्टेट की दक्षता बनाए रखी जा सके और साथ ही प्रत्येक क्वेरी को संकुचित इतिहास (compressed history) पर ध्यान केंद्रित करने में सक्षम बनाया जा सके।

कार्यप्रणाली: इंटरडोमेन अटेंशन (Methodology: Interdomain Attention)

मुख्य योगदान इंटरडोमेन अटेंशन है, जो एक टोकन मिक्सर है जो कर्नेल अटेंशन और स्टेट स्पेस मॉडल्स को एकीकृत करता है। यह विधि अटेंशन के कर्नेल-रिग्रेशन दृष्टिकोण और एक HiPPO-शैली के बेसिस प्रोजेक्शन से व्युत्पन्न है।

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

कर्नेल फीचर मैप (Kernel Feature Map): अटेंशन कर्नेल $K(q, k)$ को एक परिमित फीचर मैप $\xi(q)^\top \xi(k)$ द्वारा अनुमानित किया जाता है।
बेसिस प्रोजेक्शन (Basis Projection): सभी कीज़ और वैल्यूज को स्टोर करने के बजाय, यह विधि की फीचर्स $\xi(k)$ और वैल्यू $v$ को एक साझा सेट के बेसिस फंक्शन्स पर प्रोजेक्ट करती है जिसे एक सिंगल SSM रिकरेंस (विशेष रूप से HiPPO-शैली) द्वारा बनाए रखा जाता है। इसके परिणामस्वरूप अनुक्रम लंबाई से स्वतंत्र एक निश्चित-आकार का स्टेट प्राप्त होता है।
संकुचित गुणांक (Compressed Coefficients): इन प्रोजेक्शन्स के इंटीग्रल्स तीन स्टेट कंपोनेंट्स उत्पन्न करते हैं:
- $U$ : कीज़ के लिए बेसिस-प्रोजेक्शन कोएफिशिएंट्स (इंड्यूसिंग वेरिएबल्स)।
- $\Gamma$ : वैल्यू प्रोजेक्शन्स।
- $\eta$ : नॉर्मलाइजिंग कांस्टेंट्स।
क्वेरी-कंडीशन्ड रीडआउट (Query-Conditioned Readout): प्रत्येक स्थिति पर, क्वेरी $q$ को फीचर स्पेस $\xi(q)$ में मैप किया जाता है। आउटपुट व्यक्तिगत टोकन के बजाय संकुचित कोएफिशिएंट्स पर ध्यान केंद्रित करके कंप्यूट किया जाता है:
$\tilde{o} = \frac{\sum_m (\xi(q)^\top u_m) \gamma_m}{\sum_m (\xi(q)^\top u_m) \eta_m}$
मैट्रिक्स रूप में: $\tilde{O} = \frac{F_q U^\top \Gamma}{F_q U^\top \eta}$ , जहाँ $F_q$ एक क्वेरी फीचर मैट्रिक्स है।

स्केलेबल कार्यान्वयन (Scalable Implementation)

व्यावहारिक कार्यान्वयन सैद्धांतिक व्युत्पत्ति का एक सीखा हुआ रिलैक्सेशन (learned relaxation) है, जिसे स्थिरता और दक्षता के लिए डिज़ाइन किया गया है:

फीचर मैप (Feature Map): एक DeltaNet-शैली के न्यूरल फीचर मैप $\xi(x) = \text{SiLU}(\text{SC}(x)) / \|\text{SiLU}(\text{SC}(x))\|^2$ का उपयोग करता है, जहाँ SC एक कॉज़ल डेप्थवाइज कन्वोल्यूशन है।
रिकरेंट कोर (Recurrent Core): एक कॉम्प्लेक्स-डायगोनल S4D रिकरेंस का उपयोग करके HiPPO प्रोजेक्शन का अनुमान लगाता है। SSM इनपुट की फीचर $\xi(k)$ और वैल्यू $v$ को संयोजित (concatenate) करता है।
नॉर्मलाइजेशन (Normalization): SSM में प्रवेश करने से पहले की और वैल्यू के आधे हिस्सों पर लर्नबल पर-हेड बायस के साथ इनपुट RMSNorm लागू करता है।
डेनॉमिनेटर-फ्री रीडआउट (Denominator-Free Readout): इनपुट री-स्केलिंग के कारण होने वाले असंगत स्केल के मिश्रण से बचने के लिए, नॉर्मलाइजिंग टर्म $\eta$ को हटा दिया जाता है, जिसके परिणामस्वरूप एक लीनियर अटेंशन रीडआउट मिलता है: $\tilde{O} = F_q U^\top \Gamma$ ।
आर्किटेक्चर (Architecture): इसे प्री-नॉर्मलाइजेशन, SwiGLU फीडफॉर्वड्स और रोटरी पोजीशन एम्बेडिंग्स (RoPE) के साथ एक Llama-शैली के डिकोडर में एम्बेडेड किया गया है।

मुख्य योगदान (Key Contributions)

निर्माण (Construction): कर्नेल रिग्रेशन और HiPPO बेसिस प्रोजेक्शन से व्युत्पन्न एक क्वेरी-कंडीशन्ड फिक्स्ड-स्टेट टोकन मिक्सर, जिसमें आदर्श सैद्धांतिक व्युत्पत्ति और स्केलेबल कार्यान्वयन के बीच स्पष्ट अंतर है।
मैकेनिज्म डिकंपोजिशन (Mechanism Decomposition): 125M पैरामीटर्स पर एक एब्लेशन स्टडी यह पहचानती है कि क्वेरी-कंडीशन्ड प्रोजेक्शन ही मानक S4D मिक्सर्स की तुलना में प्रदर्शन में सुधार लाने वाला प्रमुख कारक है। डुअल की/वैल्यू इनपुट एक छोटा, माध्यमिक लाभ प्रदान करता है।
स्केलिंग स्टडी (Scaling Study): एक मैचड रिकरेंट-स्टेट बजट के तहत 125M से 1.3B पैरामीटर्स तक FineWeb-Edu पर एक व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम (Experimental Results)

अध्ययन S4D-ओनली टोकन मिक्सर और एक मानक सॉफ्टमैक्स अटेंशन बेसलाइन के विरुद्ध इंटरडोमेन अटेंशन की तुलना करता है।

S4D बनाम प्रदर्शन: इंटरडोमेन अटेंशन हर स्केल (125M–1.3B) पर S4D टोकन मिक्सर में सुधार करता है, जो 13–16% कम वैलिडेशन पर्प्लेक्सिटी प्राप्त करता है।
सॉफ्टमैक्स बनाम प्रदर्शन: 1.3B पैरामीटर्स पर, इंटरडोमेन अटेंशन वैलिडेशन पर्प्लेक्सिटी (7.98 बनाम 8.63) और एक आठ-टास्क कॉमनसेन्स सूट पर (+3.03 प्रतिशत अंक औसत सटीकता) समान-रेसिपी सॉफ्टमैक्स बेसलाइन को पछाड़ देता है। 125M पर, यह सॉफ्टमैक्स के लगभग बराबर है।
लंबाई एक्सट्रपलेशन (Length Extrapolation): अपने फिक्स्ड-स्टेट कोर का लाभ उठाते हुए, इंटरडोमेन अटेंशन "लेंथ-फ्लैट" व्यवहार प्रदर्शित करता है। जबकि सॉफ्टमैक्स बेसलाइन की पर्प्लेक्सिटी ट्रेनिंग कॉन्टेक्स्ट (4K) के बाद काफी खराब हो जाती है, इंटरडोमेन 14K (ट्रेनिंग कॉन्टेक्स्ट का 3.5 गुना) तक स्थिर प्रदर्शन बनाए रखता है।
रिकॉल सीमाएं (Recall Limitations): पेपर नोट करता है कि इंटरडोमेन अटेंशन, अन्य फिक्स्ड-स्टेट मॉडल्स की तरह, सटीक-स्ट्रिंग एसोसिएटिव रिकॉल (जैसे नीडल-इन-ए-हेस्टैक टास्क) में सॉफ्टमैक्स अटेंशन की तुलना में संघर्ष करता है, जो इसे फिक्स्ड-स्टेट कंप्रेशन की एक संरचनात्मक सीमा के रूप में पहचानता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि इंटरडोमेन अटेंशन सफलतापूर्वक फिक्स्ड-स्टेट SSMs की दक्षता और अटेंशन की कंटेंट-आधारित रिट्रीवल क्षमताओं के बीच के अंतर को पाटता है। एक SSM बेसिस पर फीचर्स को प्रोजेक्ट करके, यह प्रत्येक क्वेरी को मानक अटेंशन की द्विघातीय लागत या रैखिक मेमोरी वृद्धि के बिना एक संकुचित इतिहास पर ध्यान केंद्रित करने की अनुमति देता है।

प्राथमिक महत्व इस बात को प्रदर्शित करने में है कि एक फिक्स्ड रिकरेंट स्टेट पर क्वेरी-कंडीशन्ड प्रोजेक्शन, शुद्ध SSMs और बड़े पैमाने पर मानक सॉफ्टमैक्स अटेंशन दोनों से बेहतर प्रदर्शन कर सकता है, जबकि SSM के वांछनीय लंबाई-एक्सट्रपलेशन गुणों को भी विरासत में प्राप्त करता है। लेखक सुझाव देते हैं कि यह दृष्टिकोण एक व्यवहार्य पथ प्रदान करता है जहाँ मेमोरी दक्षता और विभिन्न संदर्भ लंबाई के बीच निरंतर प्रदर्शन महत्वपूर्ण है। भविष्य के कार्य की दिशाओं में मजबूत फिक्स्ड-स्टेट कोर्स (जैसे Mamba-3) को एकीकृत करना या फास्ट-वेट अपडेट नियमों के साथ रीडआउट को जोड़ना शामिल है।