💻 computer science

Gaussian Mixture Attention: Linear-Time Sequence Mixing via Probabilistic Latent Routing

यह शोध पत्र गॉसियन मिक्सचर अटेंशन (GMA) को प्रस्तुत करता है, जो एक संभाव्य अनुक्रम मिक्सर (probabilistic sequence mixer) है जो स्पष्ट युग्व pair-wise टोकन इंटरैक्शन को $K$ सीखे गए गॉसियन घटकों के माध्यम से रूटिंग द्वारा प्रतिस्थापित करके रैखिक-समय जटिलता (linear-time complexity) और स्थिर मेमोरी स्केलिंग प्राप्त करता है, जो लंबी-संदर्भ मॉडलिंग (long-context modeling) के लिए एक प्रतिस्पर्धी और व्याख्या योग्य विकल्प प्रदान करता है और अनुकूलित स्टेट-स्पेस मॉडलों के विरुद्ध वर्तमान सीमाओं को स्वीकार करता है।

मूल लेखक: Yongchao Huang, Hassan Raza

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yongchao Huang, Hassan Raza

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, उच्च-गति वाली लाइब्रेरी चला रहे हैं जहाँ लाखों किताबें (टोकन) एक कहानी को समझने के लिए एक-दूसरे से बात करने की जरूरत रखती हैं।

करने के मानक तरीके में (जिसे Standard Attention कहा जाता है), हर एक किताब को दूसरे हर एक किताब के पास जाकर फुसफुसाकर यह देखना होगा कि क्या वे आपस में संबंधित हैं। यदि आपके पास 1,000 किताबें हैं, तो 1,000,000 बातचीत होंगी। यदि आपके पास 10,000 किताबें हैं, तो 100,000,000 बातचीत होंगी। यह बहुत जल्दी अविश्वसनीय रूप से धीमा और महंगा हो जाता है, जैसे कि एक ऐसी पार्टी आयोजित करना जहाँ हर किसी को एक-दूसरे से हाथ मिलाना ही पड़े।

इस शोध पत्र के लेखक, Gaussian Mixture Attention (GMA), इस लाइब्रेरी को चलाने का एक स्मार्ट तरीका प्रस्तावित करते हैं। सभी को आपस में बात करने देने के बजाय, वे एक केंद्रीकृत "रूटिंग डेस्क" (Routing Desk) पेश करते हैं जिसमें कुछ विशेषज्ञ लाइब्रेरियन (पुस्तकालयाध्यक्ष) होते हैं।

GMA कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:

1. नई प्रणाली: रूटिंग डेस्क

किताबों के आपस में फुसफुसाने के बजाय, हर किताब पहले एक डेस्क पर जाती है जहाँ K अलग-अलग लाइब्रेरियन (मान लीजिए 128 लाइब्रेरियन) मौजूद हैं।

The Query (किताब का प्रश्न): एक किताब पूछती है, "मुझे किस लाइब्रेरियन से बात करनी चाहिए?"
The Key (किताब की पहचान): दूसरी किताब पूछती है, "मुझे अपनी जानकारी किस लाइब्रेरियन को भेजनी चाहिए?"

ये लाइब्रेरियन केवल रैंडम लोग नहीं हैं; वे अलग-अलग प्रकार की जानकारी के विशेषज्ञ के रूप में प्रशिक्षित हैं। सिस्टम एक Gaussian Mixture Model (एक फैंसी सांख्यिकीय तरीका जिसका अर्थ है "संभाव्यता आधारित विशेषज्ञ") का उपयोग यह तय करने के लिए करता है कि प्रत्येक किताब के लिए कौन सा लाइब्रेरियन सबसे उपयुक्त है।

2. "लिखने" का चरण (जानकारी फाइल करना)

जब एक किताब अपनी कहानी (Value) साझा करना चाहती है, तो वह पूरी दुनिया में चिल्लाती नहीं है। इसके बजाय, वह अपनी कहानी उस विशिष्ट लाइब्रेरियन को सौंप देती है जिसे उसे सौंपा गया था।

यदि 50 किताबें लाइब्रेरियन #1 को सौंपी गई हैं, तो वह लाइब्रेरियन उन सभी 50 कहानियों को इकट्ठा करता है, उन्हें एक साथ मिलाता है, और उन्हें एक एकल, संक्षिप्त फोल्डर में फाइल करता है।
यह सभी 128 लाइब्रेरियनों के लिए होता है। अब, लाखों बिखरी हुई कहानियों के बजाय, आपके पास केवल 128 व्यवस्थित फोल्डर हैं।

3. "पढ़ने" का चरण (जानकारी प्राप्त करना)

जब एक किताब को कहानी समझने की आवश्यकता होती है, तो वह हर दूसरी किताब के पास जाकर नहीं पूछती। वह रूटिंग डेस्क पर जाती है और पूछती है, "किन लाइब्रेरियन के पास वह जानकारी है जिसकी मुझे आवश्यकता है?"

किताब को संभावनाओं की एक सूची मिलती है (जैसे, "आपको 70% समय लाइब्रेरियन #1 से पूछना चाहिए, और 30% समय लाइब्रेरियन #5 से")।
किताब उन संभावनाओं के आधार पर 128 फोल्डरों को पढ़ती है।

यह बेहतर क्यों है?

रैखिक गति (Linear Speed): पुराने सिस्टम में, यदि आप किताबों की संख्या दोगुनी करते हैं, तो काम चार गुना बढ़ जाता है। इस नए सिस्टम में, यदि आप किताबों की संख्या दोगुनी करते हैं, तो काम केवल दोगुना होता है। लाइब्रेरियन की संख्या (128) स्थिर रहती है, इसलिए सिस्टम बिना अटके विशाल कहानियों के साथ आसानी से स्केल कर सकता है।
व्याख्यात्मकता (Interpretability - "क्यों" का कारक): क्योंकि सिस्टम विशिष्ट लाइब्रेरियन का उपयोग करता है, हम वास्तव में डेटा को देख सकते हैं और कह सकते हैं, "ओह, लाइब्रेरियन #3 शायद सभी विराम चिह्नों (punctuation marks) को संभालता है, और लाइब्रेरियन #7 संख्याओं को संभालता है।" यह AI के "ब्लैक बॉक्स" को थोड़ा अधिक पारदर्शी बनाता है। शोध पत्र इसे "रिस्पॉन्सिबिलिटी रूटिंग" कहता है।

शोध पत्र ने वास्तव में क्या पाया

लेखकों ने इस नए सिस्टम का परीक्षण कुछ तरीकों से किया:

मेमोरी और गति: उन्होंने पुष्टि की कि जैसे-जैसे कहानी लंबी होती है, मेमोरी का उपयोग एक सीधी रेखा (linear) में बढ़ता है, जैसा कि उन्होंने वादा किया था। हालाँकि, उन्होंने स्वीकार किया कि उनका वर्तमान संस्करण मौजूदा सबसे अनुकूलित (optimized) प्रणालियों की तुलना में कच्ची गति (raw speed) में थोड़ा धीमा है क्योंकि इन "लाइब्रेरियन असाइनमेंट" की गणना करने में कुछ अतिरिक्त गणित की आवश्यकता होती है।
सटीकता (Accuracy):
- लंबे संदर्भ वाले कार्यों (जैसे पूरे दस्तावेज़ को समझना) पर, GMA ने बहुत अच्छा प्रदर्शन किया, कई अन्य "कुशल" (efficient) तरीकों को पीछे छोड़ दिया और भारी-भरकम मानक तरीकों के करीब पहुँच गया।
- भाषा निर्माण (टेक्स्ट लिखना) पर, इसने कुछ पुराने "तेज" तरीकों से बेहतर प्रदर्शन किया लेकिन यह वर्तमान में उपलब्ध सबसे बेहतरीन, अत्यधिक अनुकूलित प्रणालियों जितना अच्छा नहीं था।
"लाइब्रेरियन" चेक: उन्होंने देखा कि लाइब्रेरियन ने वास्तव में क्या सीखा। उन्होंने पाया कि लाइब्रेरियन का उपयोग व्यापक रूप से किया गया (किसी को भी नजरअंदाज नहीं किया गया), और उन्होंने पाया कि वे विराम चिह्नों, संख्याओं या बड़े अक्षरों जैसी स्पष्ट चीजों में विशेषज्ञता हासिल करने लगे। वे "सिमेंटिक एक्सपर्ट" (जैसे "दुखद कहानियों के लिए लाइब्रेरियन") नहीं बने, लेकिन उन्होंने डेटा को एक तार्किक, सतही स्तर पर व्यवस्थित किया।

निष्कर्ष

यह शोध पत्र Gaussian Mixture Attention को एक जादुई समाधान के रूप में प्रस्तुत नहीं करता है जो तुरंत सब कुछ बदल देगा, बल्कि यह सूचना को व्यवस्थित करने का एक नया, संभाव्यता आधारित तरीका है। यह रैखिक रूप से स्केल होने वाले सिस्टम और सूचना को रूट करने के स्पष्ट, व्याख्या योग्य मानचित्र को प्राप्त करने के लिए थोड़ी सी कच्ची गति (raw speed) का त्याग करता है। यह शोर मचाने वाले लोगों से भरे एक अराजक कमरे को कुछ कुशल क्लर्कों वाले एक सुव्यवस्थित कार्यालय से बदलने जैसा है जो जानते हैं कि जानकारी को कहाँ फाइल करना है और कहाँ ढूँढना है।

तकनीकी सारांश: गॉसियन मिक्सचर अटेंशन (GMA)

समस्या विवरण

ट्रांसफॉर्मर आर्किटेक्चर में मानक डॉट-प्रोडक्ट मल्टी-हेड अटेंशन (MHA) स्पष्ट युग्म-से-युग्म (pairwise) टोकन-टू-टोकन इंटरैक्शन पर निर्भर करता है। $N$ लंबाई के अनुक्रम (sequence) के लिए, यह एक $N \times N$ एफिनिटी मैट्रिक्स (affinity matrix) की गणना और भंडारण को आवश्यक बनाता है, जिसके परिणामस्वरूप $O(N^2)$ मेमोरी और कम्प्यूटेशनल जटिलता होती है। यह द्विघाती स्केलिंग (quadratic scaling) लंबे संदर्भ वाले अनुप्रयोगों जैसे दस्तावेज़ प्रसंस्करण, उच्च-रिज़ॉल्यूशन विजन और ऑटो-रिग्रेसिव लैंग्वेज मॉडलिंग के लिए एक बाधा उत्पन्न करती है। जबकि स्पार्स अटेंशन, लो-रैंक प्रोजेक्शन, कर्नेल एप्रोक्सिमेशन और स्टेट-स्पेस मॉडल (जैसे मंबा) जैसे मौजूदा समाधान रैखिक या निकट-रैखिक विकल्प प्रदान करते हैं, वे अक्सर व्याख्यात्मकता (interpretability) से समझौता करते हैं, विशिष्ट इंडक्टिव बायस (inductive biases) पेश करते हैं, या ऐसे फिक्स्ड/रैंडम फीचर मैप्स पर निर्भर करते हैं जो सीखे गए अटेंशन की तरह कार्य-प्रासंगिक संरचना को प्रभावी ढंग से कैप्चर नहीं कर पाते हैं।

कार्यप्रणाली: गॉसियन मिक्सचर अटेंशन (GMA)

GMA अनुक्रम मिश्रण (sequence mixing) को प्रत्यक्ष युग्म-से-युग्म समानता गणना के बजाय प्रोबेबिलिस्टिक लेटेंट रूटिंग (probabilistic latent routing) के रूप में पुनर्कल्पित करता है। $QK^\top$ की गणना करने के बजाय, GMA एक साझा लेटेंट स्पेस पेश करता है जो $K$ सीखे गए गॉसियन मिक्सचर मॉडल (GMM) घटकों द्वारा परिभाषित होता है।

मुख्य तंत्र

प्रोबेबिलिस्टिक लेटेंट रूटिंग:
- क्वेरी ( $Q_X$ ) और की ( $K_X$ ) प्रोजेक्शन को $K$ सीखे गए गॉसियन घटकों पर पोस्टीरियर रिस्पॉन्सिबिलिटी वेक्टर्स (posterior responsibility vectors) में मैप किया जाता है।
- एक रूटिंग वेक्टर $x$ के लिए, घटक $k$ के लिए रिस्पॉन्सिबिलिटी $\gamma_{i,k}$ , सीखे गए माध्य $\mu_k$ , डायगोनल कोवेरिएंस $\Sigma_k$ , और मिक्सचर प्रायर्स $\pi_k$ को शामिल करते हुए मानक GMM पोस्टीरियर फॉर्मूला के माध्यम से गणना की जाने वाली पोस्टीरियर प्रोबेबिलिटी $p(z=k|x)$ है।
- यह दो गैर-ऋणात्मक रिस्पॉन्सिबिलिटी मैट्रिसेस देता है: $\Gamma_Q \in \mathbb{R}^{N \times K}$ और $\Gamma_K \in \mathbb{R}^{N \times K}$ ।
लेटेंट मेमोरी रूटिंग (लीनियर-टाइम इम्प्लीमेंटेशन):
- GMA अंतर्निहित $N \times N$ एफिनिटी मैट्रिक्स $\tilde{A} = \Gamma_Q (\Gamma_K)^\top$ को बनाने (materialize करने) से बचता है।
- राइट फेज (Write Phase): की रिस्पॉन्सिबिलिटी $\Gamma_K$ , वैल्यू वेक्टर्स ( $V_X$ ) को एक कॉम्पैक्ट $K$ -स्लॉट लेटेंट मेमोरी $\tilde{V} = (\Gamma_K)^\top V_X$ और एक घटक-वार नॉर्मलाइज़र $Z = (\Gamma_K)^\top \mathbf{1}_N$ में एकत्रित करती है।
- रीड फेज (Read Phase): क्वेरी रिस्पॉन्सिबिलिटी $\Gamma_Q$ , इस नॉर्मलाइज्ड लेटेंट मेमोरी से आउटपुट उत्पन्न करने के लिए पढ़ती है:
  $O = \frac{\Gamma_Q \tilde{V}}{\Gamma_Q Z + \epsilon}$
- मैट्रिक्स गुणन की एसोसिएटिविटी (associativity) का लाभ उठाते हुए, डोमिनेंट एक्टिवेशन स्टोरेज $N^2$ के बजाय एक निश्चित $K$ के लिए $O(NK)$ स्केल करता है।
वैरिएंट्स और ट्रेनिंग:
- बायडायरेक्शनल और कॉज़ल (Bidirectional & Causal): यह विधि बायडायरेक्शनल मिक्सिंग और कॉज़ल ऑटो-रिग्रेसिव मॉडलिंग दोनों का समर्थन करती है। कॉज़ल वेरिएंट लेटेंट मेमोरी और नॉर्मलाइज़र के लिए प्रिफिक्स-सम (prefix-sums) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि स्थिति $i$ पर $O$ केवल $j \le i$ पर निर्भर है।
- एंड-टू-एंड लर्निंग: पारंपरिक GMMs के विपरीत जो एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) के माध्यम से फिट किए जाते हैं, GMA पैरामीटर्स ( $\mu_k, \Sigma_k, \pi_k$ ) पूरी तरह से डिफरेंशिएबल हैं और बैकप्रोपेगेशन के माध्यम से नेटवर्क के बाकी हिस्सों के साथ संयुक्त रूप से अनुकूलित (optimize) किए जाते हैं। रीपैरामीट्रिज़ेशन (जैसे वेरिएंस के लिए सॉफ्टप्लस, प्रायर्स के लिए सॉफ्टमैक्स) ट्रेनिंग के दौरान वैध प्रोबेबिलिटी बाधाओं को सुनिश्चित करता है।

प्रमुख योगदान

GMA आर्किटेक्चर: एक नॉर्मलाइज्ड, रिस्पॉन्सिबिलिटी-आधारित सीक्वेंस मिक्सर का परिचय, जो स्पष्ट टोकन-टू-टोकन अटेंशन को सीखे गए गॉसियन मिक्सचर घटकों के माध्यम से रूटिंग से बदल देता है।
लीनियर स्केलिंग: दोनों बायडायरेक्शनल और कॉज़ल वेरिएंट्स का व्युत्पन्न जो $N \times N$ एफिनिटी मैट्रिक्स को बायपास करने के लिए एसोसिएटिव मैट्रिक्स मल्टीप्लिकेशन का उपयोग करके फिक्स्ड- $K$ लीनियर मेमोरी और कम्प्यूटेशनल स्केलिंग ($O(NK)$) प्राप्त करते हैं।
सैद्धांतिक विश्लेषण:
- ग्रेडिएंट स्ट्रक्चर: यह विश्लेषण कि ग्रेडिएंट्स रिस्पॉन्सिबिलिटी-मॉड्यूलेटेड और बाउंडेड हैं, जो स्थिर अनुकूलन सुनिश्चित करते हैं।
- एफिनिटी इंटरप्रिटेशन: प्रदर्शन कि GMA एक कंस्ट्रेंड, नॉन-नेगेटिव, लो-रैंक एफिनिटी स्ट्रक्चर ( $\text{rank} \le K$ ) को प्रेरित करता है जहाँ कारक पोस्टीरियर प्रोबेबिलिटी हैं, जो मनमाने लो-रैंक एप्रोक्सिमेशन के मुकाबले एक व्याख्यात्मक विकल्प प्रदान करता है।
- स्थिरता (Stability): बाउंडेड इनपुट्स और वेरिएंस लोअर बाउंड्स के तहत रिस्पॉन्सिबिलिटी मैप के लिए लोकल लिप्सचिट्ज़ निरंतरता (local Lipschitz continuity) का प्रमाण।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): चार सेटिंग्स में व्यापक परीक्षण:
- सिस्टम्स प्रोफाइलिंग: फिक्स्ड $K$ के लिए अनुक्रम लंबाई $N$ के साथ लीनियर मेमोरी स्केलिंग की पुष्टि की गई।
- लॉन्ग-रेंज एरिना (LRA): ListOps और Text कार्यों पर प्रतिस्पर्धी प्रदर्शन हासिल किया, जिसने औसत सटीकता में अन्य अटेंशन-स्टाइल बेसलाइन्स (Linformer, Linear Transformer, Performer) को पछाड़ दिया।
- WikiText-103: कॉज़ल GMA ने Linear Transformer और Performer की तुलना में बेहतर परप्लेक्सिटी हासिल की, लेकिन वर्तमान गैर-अनुकूलित कार्यान्वयन के तहत SDPA और Mamba से पीछे रहा।
- व्याख्यात्मकता (Interpretability): सीखे गए रिस्पॉन्सिबिलिटी विश्लेषण ने व्यापक घटक उपयोग (नॉन-कोलैप्स्ड) और टोकन सरफेस कैटेगरीज़ (जैसे विराम चिह्न, फंक्शन वर्ड्स) के साथ मध्यम संरेखण दिखाया, जो तंत्र को एक विश्लेषणात्मक लेटेंट रूटिंग ऑब्जेक्ट के रूप में मान्य करता है।

परिणाम और प्रदर्शन

स्केलेबिलिटी: नियंत्रित प्रोफाइलिंग में, GMA इच्छित लीनियर मेमोरी ग्रोथ ($O(NK)$) प्रदर्शित करता है, जो मानक MHA के द्विघाती विकास के विपरीत है। हालांकि, वर्तमान उच्च-स्तरीय PyTorch इम्प्लीमेंटेशन में SDPA, Linear Transformer, या Mamba द्वारा उपयोग किए जाने वाले ऑप्टिमाइज्ड कर्नेल्स की तुलना में बड़े कॉन्स्टेंट फैक्टर्स (Gaussian log-density और नॉर्मलाइजेशन गणनाओं के कारण) होते हैं।
सटीकता:
- LRA पर, GMA ने अटेंशन-स्टाइल बेसलाइन्स में सबसे मजबूत औसत प्रदर्शन हासिल किया।
- WikiText-103 पर, GMA (के साथ $K=256$ ) ने 41.72 की वैलिडेशन परप्लेक्सिटी प्राप्त की, जिसने Linear Transformer (44.81) और Performer (47.49) को पछाड़ दिया, लेकिन SDPA (35.40) और Mamba (35.44) से पीछे रह गया।
व्याख्यात्मकता: सीखे गए रिस्पॉन्सिबिलिटी ने 128 में से 104 घटकों का उपयोग किया (यूसेज एंट्रॉपी 0.933), जिसमें हार्ड असाइनमेंट्स ने टोकन सरफेस कैटेगरीज़ के साथ मापने योग्य संरेखण (NMI 0.244) दिखाया, हालांकि घटकों ने स्पष्ट सेमैटिक क्लासेस नहीं बनाईं।

महत्व और दावे

यह पेपर GMA को ऑप्टिमाइज्ड सॉफ्टमैक्स अटेंशन या स्टेट-स्पेस मॉडल्स के सार्वभौमिक प्रतिस्थापन के रूप में नहीं, बल्कि एक प्रोबेबिलिस्टिक, व्याख्यात्मक, फिक्स्ड- $K$ लीनियर-टाइम विकल्प के रूप में स्थापित करता है।

डिज़ाइन फिलॉसफी: GMA अटेंशन डिज़ाइन प्रतिमान को स्पर्सिटी पैटर्न या कर्नेल एप्रोक्सिमेशन को संशोधित करने से बदलकर कम्पैटिबिलिटी के स्पेस को बदलने की ओर ले जाता है। यह एफिनिटी को एक deined लेटेंट गॉसियन स्पेस में पोस्टीरियर रिस्पॉन्सिबिलिटी वेक्टर्स के ओवरलैप के माध्यम से परिभाषित करता है।
वैल्यू प्रपोजिशन: इसका प्राथमिक महत्व एक ऐसा तंत्र प्रदान करने में है जो निम्नलिखित प्रस्ताव देता है:
1. फिक्स्ड- $K$ लीनियर स्केलिंग: $O(N^2)$ बॉटलनेक से बचना।
2. व्याख्यात्मकता: रिस्पॉन्सिबिलिटी मैट्रिसेस डायग्नोस्टिक ऑब्जेक्ट के रूप में कार्य करते हैं जिन्हें विज़ुअलाइज़ किया जा सकता है और टोकन प्रॉपर्टीज के साथ सह-संबंधित किया जा सकता है, जो रैंडम-फीचर या स्टेट-स्पेस दृष्टिकोणों की तुलना में अधिक सीधा फीचर है।
3. टास्क-एडेप्टेड रूटिंग: रैंडम फीचर मैप्स के विपरीत, गॉसियन घटक विशिष्ट प्रेडिक्टिव ऑब्जेक्टिव के अनुरूप एंड-टू-एंड सीखे जाते हैं।

लेखक स्वीकार करते हैं कि वर्तमान सीमाओं में कर्नेल-लेवल ऑप्टिमाइजेशन की कमी (जिसके परिणामस्वरूप SDPA, Linear Transformer, या Mamba की तुलना में कम थ्रूपुट होता है), $K$ का मैनुअल चयन, और सेल्फ-अटेंशन सेटिंग्स पर ध्यान केंद्रित करना शामिल है। भविष्य के कार्य में हाइब्रिड आर्किटेक्चर, एडेप्टिव बायसियन कंपोनेंट सिलेक्शन और क्रॉस-अटेंशन अनुप्रयोगों की खोज करने का सुझाव दिया गया है।