🤖 AI

Linearized 2-Simplicial Attention

यह शोध पत्र लीनियरलाइज़्ड 2-सिम्पलीशियल अटेंशन (Linearized 2-Simplicial Attention) प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो ग्लोबल कॉन्टेक्स्ट के लिए रैंडम फीचर एप्रोक्सिमेशन को स्पष्ट शॉर्ट-विंडो प्रोसेसिंग के साथ जोड़ता है ताकि बिना किसी सॉफ्टमैक्स अटेंशन के लीनियर कंप्यूटेशनल कॉस्ट और बेहतर डाउनस्ट्रीम परफॉरमेंस प्राप्त की जा सके।

मूल लेखक: Aritra Das, Dhruman Gupta, Debayan Gupta

प्रकाशित 2026-08-11

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aritra Das, Dhruman Gupta, Debayan Gupta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एआई मस्तिष्क में मेमोरी की समस्या

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। कहानी को अर्थपूर्ण बनाने के लिए, रोबोट को यह याद रखने की आवश्यकता है कि वाक्य का बिल्कुल अंत लिखते समय उसने शुरुआत में क्या लिखा था। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "अटेंशन" (attention) कहा जाता है। इसे करने का सबसे लोकप्रिय तरीका एक अत्यंत व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह है जो, हर बार जब रोबोट किसी शब्द के लिए पूछता है, तो सही मिलान खोजने के लिए अब तक लिखे गए पूरे पुस्तकालय को तुरंत स्कैन करता है। यह अविश्वसनीय रूप से अच्छा काम करता है, लेकिन इसमें एक बड़ी खामी है: जैसे-जैसे रोबोट अधिक शब्द लिखता है, लाइब्रेरियन को शेल्फ को स्कैन करने में उतना ही अधिक समय लगता है। यदि कहानी बहुत लंबी हो जाती है, तो लाइब्रेरियन अभिभूत हो जाता है, और रोबोट की मेमोरी या समय समाप्त हो जाता है।

वैज्ञानिक एक "तेज लाइब्रेरियन" बनाने की कोशिश कर रहे हैं जो हर किताब को स्कैन किए बिना पूरे पुस्तकालय को याद रख सके। कुछ लोगों ने पुस्तकालय को एक छोटे से सारांश नोट में संकुचित करने की कोशिश की, लेकिन इसका अक्सर यह परिणाम होता है कि रोबोट विशिष्ट विवरण भूल जाता है। अन्य लोगों ने केवल पिछले कुछ पन्नों को देखने की कोशिश की, लेकिन फिर रोबोट पहले अध्याय के प्लॉट ट्विस्ट (कहानी के मोड़) को याद नहीं रख पाता। कंप्यूटर विज्ञान के इस कोने में बड़ा सवाल यह है: क्या हम एक ऐसा मस्तिष्क बना सकते हैं जो शुरुआत से सब कुछ याद रखे, एक साथ तीन अलग-अलग विचारों के बीच जटिल संबंधों को समझ सके, और यह सब बिना कहानी लंबी होने के साथ धीमा हुए कर सके? यह शोध पत्र ठीक इसी पहेली पर आधारित है, जो रोबोट की याददाश्त को व्यवस्थित करने का एक नया तरीका प्रस्तावित करता है जो तेज़ भी है और आश्चर्यजनक रूप से गहरा भी।

पेपर का बड़ा विचार: स्मृति का एक नया प्रकार

शोधकर्ताओं—एरिट्रा दास, ध्रुमन गुप्ता और देबयान गुप्ता (ट्रुथ ऑडिट लैब्स से)—ने एक नए प्रकार का अटेंशन मैकेनिज्म बनाया है जिसे वे लिनियराइज्ड 2-सिम्पलिकल अटेंशन (Linearized 2-Simplicial Attention) या संक्षेप में "LinSimp" कहते हैं। यह समझने के लिए कि यह क्यों विशेष है, हमें पहले यह देखना होगा कि मानक एआई मस्तिष्क आमतौर पर कैसे काम करते हैं।

अधिकांश एआई मॉडल एक वर्तमान शब्द (query) को पिछले शब्द (key) से जोड़ने के लिए "अटेंशन" का उपयोग करते हैं। यह एक-से-एक संबंध है। लेकिन कभी-कभी, वाक्य को वास्तव में समझने के लिए, आपको एक साथ तीन चीजों को जोड़ने की आवश्यकता होती है। कल्पना कीजिए वाक्य की: "बिल्ली चटाई पर बैठी क्योंकि वह नरम थी।" यह समझने के लिए कि बिल्ली वहां क्यों बैठी, एआई को "बिल्ली", "चटाई" और "नरम" को एक साथ जोड़ना होगा। इसे "2-सिम्पलिकल" (2-simplicial) इंटरेक्शन कहा जाता है। पिछले प्रयास दस लाख लोगों की भीड़ में अपने दोस्तों के एक विशिष्ट त्रिक (trio) को खोजने के लिए हर संभव तीन लोगों के समूह की जांच करने के समान थे। यह सटीक तो था लेकिन अविश्वसनीय रूप से धीमा और महंगा था, और जैसे-जैसे भीड़ बढ़ती गई, यह धीमा होता गया।

लेखकों की सफलता एक चतुर गणितीय चाल है। उन्होंने महसूस किया कि वे इस जटिल तीन-तरफा संबंध को इस तरह से फिर से लिख सकते हैं कि खोज का एक हिस्सा वैश्विक (पूरे इतिहास को देखना) हो जाए जबकि दूसरा हिस्सा स्थानीय (केवल हाल के शब्दों को देखना) रहे।

यहाँ उपमा दी गई है: कल्पना कीजिए कि एआई की स्मृति एक विशाल, अनंत व्हाइटबोर्ड है।

पुराना तरीका: एक संबंध खोजने के लिए, एआई को व्हाइटबोर्ड पर पिछले प्रत्येक जोड़े के शब्द से एक रेखा खींचनी पड़ती थी। यदि व्हाइटबोर्ड में 1,000 शब्द होते, तो खींचने के लिए दस लाख रेखाएं होतीं।
नया तरीका (LinSimp): लेखक एक अलग रणनीति का सुझाव देते हैं। वे "वर्तमान शब्द" और एक "हालिया एंकर शब्द" (जैसे बोले गए पिछले कुछ शब्द) को लेते हैं और उन्हें एक विशेष "कम्पोजिट की" (composite key) बनाने के लिए मिला देते हैं। फिर वे इस की (key) को पूरे पिछले व्हाइटबोर्ड के सारांश पर प्रोजेक्ट करने के लिए एक जादुई "रैंडम फीचर" फिल्टर का उपयोग करते हैं। यह एआई को हर रेखा खींचे बिना पूरे इतिहास के साथ संबंध को तुरंत "महसूस" करने की अनुमति देता है।

इस पद्धति का उपयोग करके, कहानी को प्रोसेस करने की लागत रैखिक (linear) रूप से बढ़ती है। यदि कहानी की लंबाई दोगुनी हो जाती है, तो काम केवल दोगुना होता है, न कि पुराने तरीकों की तरह चार गुना। वे पूरे अतीत को एक निश्चित आकार के "स्टेट" (एक संक्षिप्त सारांश नोट की तरह) में संग्रहीत करते हैं और खोज को सूक्ष्मता से ट्यून करने के लिए सबसे हाल के 64 शब्दों को एक विस्तृत "एंकर विंडो" में रखते हैं।

उन्होंने क्या पाया और वे कितने आश्वस्त हैं

टीम ने इस नए LinSimp लेयर का उपयोग करके एक मॉडल बनाया और इसे "किमी डेल्टा अटेंशन" (Kimi Delta Attention - KDA) नामक एक अन्य उन्नत तकनीक के साथ जोड़ा। उन्होंने इस "नो-सॉफ्टमैक्स" (no-softmax) मॉडल (जिसका अर्थ है कि यह पारंपरिक, धीमे अटेंशन पद्धति का उपयोग ही नहीं करता है) का परीक्षण मानक मॉडलों और अन्य प्रयोगात्मक मॉडलों के विरुद्ध किया।

उनके परिणाम बताते हैं कि यह नया दृष्टिकोण अत्यधिक प्रभावी है। 16,000 शब्दों के संदर्भ (एक बहुत लंबी कहानी) वाले परीक्षणों में, उनके मॉडल ने विभिन्न रीजनिंग कार्यों पर एक हाइब्रिड मॉडल की तुलना में, जो अभी भी कुछ धीमे अटेंशन का उपयोग करता है, औसत सटीकता में 0.0079 का सुधार किया। इससे भी अधिक प्रभावशाली बात यह है कि इसने LAMBADA टेस्ट पर "परप्लेक्सिटी" (यह मापने का पैमाना कि मॉडल कितना भ्रमित है) को 715.6 से घटाकर 602.6 कर दिया। इसका अर्थ है कि मॉडल लंबे, जटिल वाक्यों में अगले शब्द की भविष्यवाणी करने में काफी बेहतर था।

हालाँकि, लेखक अपने दावों को लेकर सावधान हैं। वे नोट करते हैं कि उनका कस्टम कंप्यूटर कोड (जिसे "कर्नेल" कहा जाता है) अभी भी एक "फंक्शनल फर्स्ट इम्प्लीमेंटेशन" है। हालांकि यह तेज़ चलता है, लेकिन यह अभी तक परिपक्व, मानक अटेंशन कोड जितना तेज़ नहीं है। वे यह भी उल्लेख करते हैं कि उनके प्रयोगों में एक एकल "सीड" (रैंडमनेस का शुरुआती बिंदु) का उपयोग किया गया था, इसलिए वे अभी सांख्यिकीय विश्वास अंतराल (statistical confidence intervals) प्रदान नहीं कर सकते। वे सुझाव देते हैं कि हालांकि परिणाम उत्साहजनक हैं और उनका मॉडल उनके विशिष्ट परीक्षणों में तुलना की गई आर्किटेक्चर के बीच उच्चतम माध्य सटीकता प्राप्त करता है, लेकिन यह पूरी तरह से समझने के लिए कि यह बड़े आकार तक कैसे स्केल करता है, और अधिक काम की आवश्यकता है।

निर्णय

यह पेपर यह दावा नहीं करता है कि इसने मेमोरी की समस्या को हमेशा के लिए हल कर दिया है, लेकिन यह एक बहुत ही मजबूत नया उपकरण प्रदान करता है। यह सुझाव देता है कि अतीत के वैश्विक सारांश को वर्तमान के केंद्रित दृश्य के साथ मिलाकर, हम ऐसे एआई मॉडल बना सकते हैं जो तेज़ और गहरे, तीन-तरफा तर्क में सक्षम दोनों हों। लेखक दिखाते हैं कि आपको पूरी कहानी याद रखने और उसे तेज़ी से प्रोसेस करने के बीच चुनाव करने की आवश्यकता नहीं है; सही गणितीय चाल के साथ, आप दोनों पा सकते हैं। हालांकि उनके कस्टम कोड की गति में सुधार की गुंजाइश है, लेकिन सटीकता में वृद्धि बताती है कि यह लंबे-संदर्भ वाले एआई के भविष्य के लिए एक आशाजनक दिशा है।

तकनीकी सारांश: लीनियरलाइज्ड 2-सिम्पलीशियल अटेंशन (Linearized 2-Simplicial Attention)

समस्या विवरण (Problem Statement)
स्टैंडर्ड सॉफ्टमैक्स अटेंशन पिछले टोकन तक कंटेंट-आधारित एक्सेस प्रदान करता है, लेकिन यह क्वाड्रेटिक कम्प्यूटेशनल कॉम्प्लेक्सिटी ( $O(n^2)$ ) और बढ़ते KV कैश से ग्रस्त है, जो स्केलेबिलिटी को सीमित करता है। जबकि लीनियर अटेंशन मैकेनिज्म अतीत को एक निश्चित आकार के स्टेट में संकुचित करते हैं, वे अक्सर सटीक रिट्रीवल (exact retrieval) और चयनात्मक अपडेट (selective updates) में संघर्ष करते हैं। इसके विपरीत, 2-सिम्पलीशियल अटेंशन टोकन के जोड़ों (ट्रिपलेट्स) के विरुद्ध क्वेरी को स्कोर करके उच्च-क्रम की अंतःक्रियाओं (higher-order interactions) को पेश करता है, जो सैद्धांतिक रूप से ट्रिपल-डिपेंडेंट कार्यों पर प्रदर्शन में सुधार करता है। हालांकि, सटीक 2-सिम्पलीशियल अटेंशन अत्यधिक महंगा है, जिसके लिए $O(n^3)$ गणना की आवश्यकता होती है। इसे व्यावहारिक बनाने के हालिया प्रयास दोनों टोकन अक्षों (axes) को फिक्स्ड विंडोज़ तक सीमित करने पर निर्भर करते हैं, जिससे ग्लोबल रीच (global reach) का त्याग करना पड़ता है।

कार्यप्रणाली (Methodology)
लेखक LinSimp का प्रस्ताव करते हैं, जो 2-सिम्पलीशियल अटेंशन का एक लीनियर फॉर्म है जो एक अक्ष पर ग्लोबल रीच और दूसरे पर लोकल प्रिसिजन बनाए रखते हुए लीनियर कॉस्ट ( $O(n)$ ) प्राप्त करता है।

ट्रिलिनियर रीराइटिंग के माध्यम से लीनियराइजेशन (Linearization via Trilinear Rewriting):
मुख्य नवाचार ट्रिलिनियर स्कोर $\langle q_i, k_j, r_c \rangle$ को एक कंपोजिट क्वेरी और एक की (key) के बीच इनर प्रोडक्ट के रूप में फिर से लिखना है:
$\langle q_i, k_j, r_c \rangle = (q_i \odot r_c)^\top k_j$
यह पुनर्गठन टोकन इंडेक्स $j$ पर समेशन (summation) को एक साधारण एक्सपोनेंशियल डॉट-प्रोडक्ट कर्नेल के रूप में मानने की अनुमति देता है, जो स्टैंडर्ड लीनियर अटेंशन के समान है।
पॉजिटिव रैंडम फीचर्स (Positive Random Features):
एक्सपोनेंशियल कर्नेल $\exp((q_i \odot r_c)^\top k_ j)$ को अनुमानित करने के लिए, लेखक पॉजिटिव रैंडम फीचर्स (विशेष रूप से ऑर्थोगोनल रैंडम फीचर्स) का उपयोग करते हैं। यह ग्लोबल टोकन हिस्ट्री ( $j$ ) पर समेशन को एक निश्चित आकार के स्टेट ( $M_i$ और $a_i$ ) में संकुचित करने की अनुमति देता है, जो सीक्वेंस लेंथ से स्वतंत्र है।

ग्लोबल एक्सिस ( $j$ ): रैंडम फीचर स्टेट के माध्यम से संभाला जाता है, जो पूरे कॉज़ल प्रीफ़िक्स (causal prefix) तक पहुँच सक्षम बनाता है।
लोकल एक्सिस ( $c$ ): "एंकर" डायमेंशन को स्पष्ट रखा गया है लेकिन एक छोटे रोलिंग विंडो (जैसे, 64 टोकन) तक सीमित रखा गया है। यह एक हाइब्रिड मैकेनिज्म बनाता है जहाँ प्रत्येक हालिया एंकर एक अद्वितीय कंपोजिट क्वेरी उत्पन्न करता है जिसे ग्लोबल स्टेट में भेजा जाता है।

आर्किटेक्चर और कार्यान्वयन (Architecture and Implementation):

मॉडल संरचना: लेखक एक मॉडल आर्किटेक्चर में LinSimp लेयर्स को एकीकृत करते हैं जो Kimi Delta Attention (KDA) का भी उपयोग करता है, जो एक गेटेड डेल्टा-रूल फास्ट-वेट मॉडल है। वे एक "नो-सॉफ्टमैक्स" मॉडल का निर्माण करते हैं जिसमें 18 KDA लेयर्स और 6 LinSimp लेयर्स शामिल हैं।
कस्टम कर्नेल्स: इस विधि को कस्टम Triton कर्नेल्स का उपयोग करके लागू किया गया है। फॉरवर्ड पास (forward pass) क्वेरीज को चंक्स में प्रोसेस करता है, जो बाउंड्री कंडीशंस से प्रीफ़िक्स स्टेट्स को पुनर्गठित करता है ताकि पूर्ण टोकन पेयर्स को भौतिक रूप से बनाने (materialize) से बचा जा सके। बैकवर्ड पास (backward pass) बड़े इंटरमीडिएट टेंसरों ( $T \times m \times D_v$ ) को बचाने के बिना ग्रेडिएंट्स को संचित करने के लिए टू-स्वीप डिज़ाइन का उपयोग करता है।

मुख्य योगदान (Key Contributions)
पेपर चार विशिष्ट योगदानों को रेखांकित करता है:

डेरिवेशन (Derivation): 2-सिम्पलीशियल अटेंशन का वन-मोड कर्नेलाइजेशन, जो ट्रिलिनियर स्कोर को लीनियर अटेंशन एप्रोक्सिमेशन के अनुकूल रूप में बदल देता है।
कार्यान्वयन (Implementation): ग्लोबल मोड के लिए पॉजिटिव ऑर्थोगोनल रैंडम-फीचर बैंक और लोकल मोड के लिए एक शॉर्ट एक्सप्लिसिट एंकर विंडो का उपयोग करते हुए एक लीनियर-टाइम कार्यान्वयन।
कर्नेल इंजीनियरिंग (Kernel Engineering): कस्टम Triton फॉरवर्ड और बैकवर्ड कर्नेल्स, जिसमें FP32 रेफरेंस के विरुद्ध संख्यात्मक सत्यापन शामिल है।
अनुभवजन्य तुलना (Empirical Comparison): आइसो-टोकन (iso-token) और आइसो-एफएलओपी (iso-FLOP - समान कंप्यूट) सेटिंग्स के तहत स्टैंडर्ड अटेंशन, सटीक विंडो वाले 2-सिम्पलीशियल बेसलाइन और KDA हाइब्रिड के विरुद्ध एक व्यापक मूल्यांकन।

परिणाम (Results)
लेखकों ने 2k और 16k कॉन्टेक्स्ट लेंथ पर वेब डेटा (FineWeb-Edu) और गणितीय डेटा (FineMath-4+) पर अपने मॉडल्स का मूल्यांकन किया।

आइसो-एफएलओपी प्रदर्शन (Iso-FLOP Performance): मैच किए गए कंप्यूट बजट के तहत, "नो-सॉफ्टमैक्स" KDA + LinSimp मॉडल ने 3B-टोकन मैथ रन और 16k कॉन्टेक्स्ट सेटिंग में तुलना की गई आर्किटेक्चर के बीच उच्चतम मीन डाउनस्ट्रीम सटीकता प्राप्त की।
लॉन्ग कॉन्टेक्स्ट (16k): 16k कॉन्टेक्स्ट पर, LinSimp-आधारित मॉडल ने KDA हाइब्रिड (जो स्टैंडर्ड सॉफ्टमैक्स अटेंशन का उपयोग करता है) की तुलना में मीन सटीकता में 0.0079 का सुधार किया और LAMBADA परप्लेक्सिटी को 715.6 से 602.6 तक काफी कम कर दिया।
दक्षता (Efficiency): कस्टम कर्नेल्स ने सॉफ्टमैक्स अटेंशन के करीब थ्रूपुट (2k कॉन्टेक्ट पर एक सिंगल LinSimp लेयर के लिए सॉफ्टमैक्स लेयर के समय का 1.03x) प्राप्त किया, लेकिन अभी तक कच्चे वेग (raw speed) में परिपक्व सॉफ्टमैक्स कर्नेल्स को पछाड़ नहीं पाए हैं।
बेसलाइन तुलना: सटीक विंडो वाले 2-सिम्पलीशियल बेसलाइन (Roy et al., 2025) ने कंप्यूट मैच होने पर लीनियर एप्रोच की तुलना में उच्च वैलिडेशन लॉस और परप्लेक्सिटी दिखाई।

महत्व और दावे (Significance and Claims)
पेपर दावा करता है कि LinSimp सफलतापूर्वक उच्च-क्रम (trilinear) अंतःक्रियाओं के सैद्धांतिक लाभों और लीनियर-टाइम इन्फरेंस की व्यावहारिक बाधाओं के बीच के अंतर को पाटता है। ग्लोबल रैंडम-फीचर स्टेट और एक लोकल एक्सप्लिसिट विंडो में 2-सिम्पलीशियल इंटरेक्शन को डीकंपोज करके, लेखक प्रदर्शित करते हैं कि:

यह संभव है कि बिना किसी सॉफ्टमैक्स अटेंशन लेयर्स के एक उच्च-प्रदर्शन वाला लैंग्वेज मॉडल बनाया जाए।
यह आर्किटेक्चर समान कंप्यूट बजट के तहत लॉन्ग-कॉन्टेक्स्ट परिदृश्यों में KDA हाइब्रिड (जो कुछ लेयर्स के लिए स्टैंडर्ड अटेंशन पर निर्भर हैं) से बेहतर प्रदर्शन कर सकता है।
यह विधि वह "ग्लोबल रीच" प्रदान करती है जो विंडो वाले 2-सिम्पलीशियल अटेंशन में नहीं है, जबकि लीनियर कॉम्प्लेक्सिटी बनाए रखती है।

सीमाएं और विनम्रता (Limitations and Modesty)
लेखक स्पष्ट रूप से नोट करते हैं कि उनके प्रयोग प्रारंभिक हैं, जो एक सिंगल रैंडम सीड का उपयोग करते हैं, जिससे वेरिएंस या कॉन्फिडेंस इंटरवल का अनुमान लगाना कठिन है। वे स्वीकार करते हैं कि वर्तमान बैकवर्ड पास कर्नेल अत्यधिक अनुकूलित (optimized) नहीं है और आइसो-एफएलओपी बजट एक विश्लेषणात्मक अकाउंटिंग माप है न कि प्रत्यक्ष ऊर्जा या लेटेंसी माप। इसके अलावा, परीक्षण किए गए पैरामीटर काउंट (लगभग 330M) से परे मॉडल का स्केलिंग व्यवहार अज्ञात है।

एआई मस्तिष्क में मेमोरी की समस्या

पेपर का बड़ा विचार: स्मृति का एक नया प्रकार

उन्होंने क्या पाया और वे कितने आश्वस्त हैं

निर्णय

इसी तरह के और पेपर