💬 NLP

Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation

यह शोध पत्र बेयसियन अटेंशन मैकेनिज्म (BAM) प्रस्तुत करता है, जो एक संभाव्य ढांचा है जो मौजूदा पोजीशनल एनकोडिंग विधियों को एकीकृत करता है और अत्याधुनिक लॉन्ग-कॉन्टेक्स्ट जनरलाइजेशन प्राप्त करने के लिए एक जनरलाइज्ड गॉसियन प्रायोर (Generalized Gaussian prior) का प्रस्ताव करता है, जिससे न्यूनतम पैरामीटर ओवरहेड के साथ प्रशिक्षण संदर्भ लंबाई के 500 गुना पर सटीक सूचना पुनर्प्राप्ति सक्षम होती है।

मूल लेखक: Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ट्रांसफार्मर लैंग्वेज मॉडल (जो आधुनिक AI चैटबॉट्स के पीछे का मस्तिष्क है) की कल्पना एक अत्यंत बुद्धिमान लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में करें जो एक विशाल पुस्तक पढ़ रहा है। यह लाइब्रेरियन शब्दों के अर्थ को समझने में तो उत्कृष्ट है, लेकिन उनके पास एक अजीब समस्या है: उन्हें क्रम का कोई बोध नहीं है। यदि आप उन्हें "The cat sat on the mat" जैसा एक वाक्य देते हैं, तो वे यह नहीं बता सकते कि "cat" "sat" से पहले आया था या बाद में, क्योंकि उनके लिए शब्द एक समान ही दिखते हैं चाहे वे कहीं भी हों।

इसे ठीक करने के लिए, हम आमतौर पर लाइब्रेरियन को एक पोजीशनल एनकोडिंग (PE) देते हैं। इसे एक छोटे, अदृश्य नेम टैग या रंगीन स्टिकर की तरह समझें जो हर शब्द पर लगा होता है और कहता है, "मैं पहला शब्द हूँ," "मैं दूसरा शब्द हूँ," आदि। यह लाइब्रेरियन को कहानी के प्रवाह को समझने में मदद करता है।

हालाँकि, इन "स्टिकर सिस्टमों" में एक दोष है: वे छोटी कहानियों के लिए तो बहुत अच्छे से काम करते हैं, लेकिन जब किताब बहुत लंबी हो जाती है (जैसे कि 1,00,000 पन्नों का उपन्यास), तो वे विफल हो जाते हैं। लाइब्रेरियन किताब के शुरुआती हिस्से को अनदेखा करने लगते हैं क्योंकि स्टिकर बहुत भ्रमित करने वाले या धुंधले हो जाते हैं।

नया विचार: "बेयसियन अटेंशन मैकेनिज्म" (BAM)

लेखक इस पेपर में इन स्टिकर्स के बारे में सोचने का एक नया तरीका प्रस्तावित करते हैं, जिसे वे BAM कहते हैं। केवल एक शब्द पर एक निश्चित स्टिकर चिपकाने के बजाय, BAM शब्द की स्थिति को एक संभाव्यता अनुमान (probability guess) के रूप में मानता है।

यहाँ उपमा (analogy) दी गई है:
कल्पना करें कि लाइब्रेरियन एक लंबे दस्तावेज़ में कहीं छिपी हुई एक विशिष्ट जानकारी (एक "पासकी") को खोजने की कोशिश कर रहा है।

पुराना तरीका (जैसे ALiBi): लाइब्रेरियन यह मान लेता है कि उत्तर सबसे अधिक संभावना वर्तमान शब्द के ठीक बगल में है, और जैसे-जैसे आप दूर जाते हैं, उत्तर मिलने की संभावना कम होती जाती है। यह आपके घर में खोई हुई चाबी खोजने जैसा है; आप पहले अपनी जेबें देखते हैं, फिर मेज देखते हैं, और फिर आप गैरेज में ढूंढना बंद कर देते हैं क्योंकि वह "बहुत दूर" है।
BAM तरीका: लाइब्रेरियन एक "पूर्व धारणा" (प्रायिकता मानचित्र/probability map) का उपयोग करता है कि उत्तर कहाँ हो सकता है। यह मानचित्र स्थिर नहीं है; यह एक लचीला नियम है जिसे ट्यून किया जा सकता है।

गुप्त मंत्र: "जनरलाइज्ड गौसियन" मैप

पेपर में प्रायिकता मानचित्र का एक विशिष्ट प्रकार पेश किया गया है जिसे जनरलाइज्ड गौसियन प्रायर (Generalized Gaussian Prior) कहा जाता है। इस मानचित्र को एक ऐसे भूभाग (terrain) के रूप में समझें जिसमें पहाड़ और घाटियाँ हैं जो यह दर्शाती हैं कि लाइब्रेरियन किसी निश्चित शब्द को देखने की कितनी संभावना रखता है।

"लोकल" पहाड़ी: मानचित्र में वर्तमान शब्द के ठीक बगल में एक खड़ी पहाड़ी हो सकती है। यह लाइब्रेरियन को तत्काल संदर्भ (जैसे व्याकरण और वाक्य संरचना) को समझने में मदद करता है।
"लॉन्ग-डिस्टेंस" पूंछ (Tail): यहाँ जादू है। लेखकों ने पाया कि एक विशिष्ट नॉब (जिसे $\beta$ कहा जाता है) को बदलकर, वे मानचित्र के आकार को बदल सकते हैं।
- यदि वे नॉब को एक तरफ घुमाते हैं, तो लाइब्रेरियन किताब के दूर के हिस्सों को अनदेखा कर देता है (पुराने तरीकों की तरह)।
- यदि वे नॉब को दूसरी तरफ घुमाते हैं (विशेष रूप से, इसे एक ऋणात्मक संख्या पर सेट करते हैं), तो लाइब्रेरियन तत्काल पड़ोसियों को देखना बंद कर देता है और उन शब्दों पर तीव्रता से ध्यान केंद्रित करने लगता है जो बहुत दूर हैं।

उन्होंने वास्तव में क्या हासिल किया?

यह पेपर यह दावा नहीं करता कि यह बीमारियों का इलाज करेगा या आपके लिए उपन्यास लिखेगा। उन्होंने बहुत विशिष्ट, नियंत्रित कार्यों पर इनका परीक्षण किया:

"नीडल इन अ हेस्टैक" (भूसे में सुई) टेस्ट: उन्होंने हजारों शब्दों वाले टेक्स्ट के भीतर गहराई में एक विशिष्ट 5-अंकों की संख्या ("पासकी") को छिपा दिया।
- परिणाम: जबकि अन्य तरीके (जैसे RoPE या ALiBi) तब हार मान लेते थे और रैंडम अनुमान लगाने लगते थे जब टेक्स्ट बहुत लंबा हो जाता था, BAM मॉडल उस संख्या को पूरी तरह से खोज सकता था, तब भी जब टेक्स्ट उस लंबाई से 500 गुना अधिक था जिस पर मॉडल को प्रशिक्षित किया गया था।
"परप्लेक्सिटी" (Perplexity) टेस्ट: यह मॉडल कितनी अच्छी तरह से वाक्य में अगले शब्द की भविष्यवाणी करता है, इसे मापता है।
- परिणाम: BAM मौजूदा सर्वोत्तम तरीकों की तरह ही शब्दों की भविष्यवाणी करने में सक्षम था, जिसका अर्थ है कि इसने अपनी लंबी दूरी की सुपरपावर प्राप्त करने के लिए सामान्य भाषा कौशल का त्याग नहीं किया।

"अदृश्य" लागत

उनकी खोज का सबसे शानदार हिस्सा यह है कि इसे जोड़ना कितना सस्ता है।

उन्होंने एक ऐसे मॉडल में 1,000 से भी कम नए पैरामीटर्स (स्मृति के छोटे अंश) जोड़े, जिसमें पहले से ही 12 करोड़ (120 मिलियन) पैरामीटर्स थे।
यह एक समुद्र तट में रेत का एक अकेला कण जोड़ने जैसा है और अचानक पूरा समुद्र तट क्षितिज देख सकता है।
इसने मॉडल को धीमा नहीं किया या इसके कंप्यूटर पावर का अधिक उपयोग नहीं किया।

सरल अंग्रेजी में सारांश

लेखकों ने AI के लिए एक नया "पोजीशन स्टिकर" सिस्टम बनाया है। यह मानने के बजाय कि उत्तर हमेशा पास में ही होता है, उन्होंने AI को एक लचीला नियम दिया जो इसे तत्काल परिवेश को अनदेखा करने और अतीत में गहराई से दबी जानकारी पर ध्यान केंद्रित करने की अनुमति देता है।

उन्होंने गणितीय रूप से सिद्ध किया कि यह काम करता है और प्रयोगों में दिखाया कि उनका AI 5,00,000 शब्दों के ढेर में सुई ढूंढ सकता है, जबकि अन्य AI कुछ हज़ार शब्दों के बाद ही रास्ता भटक जाते हैं। उन्होंने इसका परीक्षण वास्तविक दुनिया के चिकित्सा या कानूनी दस्तावेजों पर नहीं किया, लेकिन उन्होंने दिखाया कि लंबी दूरी की जानकारी खोजने का तंत्र (mechanism) अब बहुत अधिक मजबूत और विश्वसनीय है।

तकनीकी सारांश: बेयसियन अटेंशन मैकेनिज्म (BAM)

समस्या विवरण

ट्रांसफॉर्मर-आधारित भाषा मॉडल टोकन क्रम को संभालने के लिए पोजीशनल एनकोडिंग (PE) पर निर्भर करते हैं, फिर भी मौजूदा विधियाँ संदर्भ लंबाई एक्सट्रपलेशन (प्रशिक्षण के दौरान देखी गई अनुक्रमों से अधिक लंबे अनुक्रमों तक सामान्यीकरण करने की क्षमता) के संबंध में दो महत्वपूर्ण सीमाओं का सामना करती हैं:

सैद्धांतिक अपारदर्शिता (Theoretical Opacity): कई PE तकनीकें (जैसे Sinusoidal, RoPE, ALiBi, NoPE) अनुभवजन्य रूप से प्रेरित हैं जिनका सैद्धांतिक आधार सीमित है, जिससे एक्सट्रपलेशन के दौरान उनका व्यवहार ठीक से समझ में नहीं आता है।
अपर्याप्त मूल्यांकन: मुख्य मीट्रिक के रूप में परप्लेक्सिटी (perplexity) पर निर्भरता अपर्याप्त है। मॉडल स्थानीयकृत अटेंशन पैटर्न (हाल के टोकनों पर ध्यान केंद्रित करना) के माध्यम से कम परप्लेक्सिटी प्राप्त कर सकते हैं, बिना वास्तव में दीर्घ-रेंज जानकारी को एकीकृत किए, जो कि स्लाइडिंग-विंडो मूल्यांकन द्वारा उजागर की गई एक खामी है।

कार्यप्रणाली: बेयसियन अटेंशन मैकेनिज्म (BAM)

लेखक बेयसियन अटेंशन मैकेनिज्म (BAM) का प्रस्ताव करते हैं, जो एक सैद्धांतिक ढांचा है जो सेल्फ-अटेंशन को टोकन सामग्री और स्थिति के संयुक्त संभावabilistic मॉडल के तहत गणना किए गए मानों के अपेक्षा (expectation) के रूप में पुनर्गठित करता है।

सैद्धांतिक ढांचा

संयुक्त संभाव्यता सूत्रीकरण (Joint Probability Formulation): BAM में, अटेंशन वेट $p_{ij}$ (टोकन $j$ के टोकन $i$ पर ध्यान देने की संभावना) एक संयुक्त संभाव्यता वितरण के रूप में परिभाषित है:
$p_{ij} = p(f_{cont}(q_i, k_j) | g_{pos}(i, j)) \times p(g_{pos}(i, j))$
यहाँ, $f_{cont}$ सामग्री समानता (content similarity) को दर्शाता है, और $g_{pos}$ पोजीशनल संबंध को दर्शाता है।
प्रायर्स के रूप में पोजीशनल एनकोडिंग (Positional Encoding as Priors): यह ढांचा यह प्रतिपादित करता है कि पोजीशनल एनकोडिंग रणनीतियाँ टोकन स्थितियों पर विशिष्ट प्रायर्स (prior distributions) $p(g_{pos}(i, j))$ $p (g_{p os} (i, j))$ के अनुरूप हैं।
- NoPE को एक यूनिफॉर्म प्रायर (Uniform prior) के रूप में व्युत्पन्न किया गया है (जो कॉज़ल मास्क द्वारा प्रतिबंधित है)।
- ALiBi को एक यूनिफॉर्म प्रायर और एक लाप्लास प्रायर (Laplace prior) (दूरी के आधार पर घातीय क्षय/exponential decay) के गुणनफल के रूप में व्युत्पन्न किया गया है।
नॉर्मलाइजिंग स्केलर ( $Z$ ): व्युत्पत्ति एक स्केलर $Z$ पेश करती है जो सामग्री और स्थिति की संभाव्यता के गुणनफल को नॉर्मलाइज़ करता है, जो सामग्री और स्थिति के बीच इंटरैक्शन फ्री-एनर्जी या सूचना युग्मन (information coupling) का प्रतिनिधित्व करता है।

प्रस्तावित समाधान: GGD-BAM

इस ढांचे का लाभ उठाते हुए, लेखक GGD-BAM पेश करते हैं, जो एक सामान्यीकृत गाऊसी वितरण (Generalized Gaussian Distribution - GGD) का उपयोग पोजीशनल प्रायर के रूप में करता है। अटेंशन स्कोर में जोड़ी जाने वाली बायस मैट्रिक्स $B$ को इस प्रकार परिभाषित किया गया है:
$b_{ij} = -\left| \frac{j - i - \mu}{\alpha} \right|^\beta$
जहाँ $\mu$ , $\alpha$ , और $\beta$ सीखने योग्य पैरामीटर हैं (या विशिष्ट व्यवहारों के लिए स्थिर हैं)।

$\beta \in (0, 1)$ : एक भारी-पूंछ वाला (heavy-tailed) वितरण उत्पन्न करता है जो लाप्लास प्रायर (ALiBi) की तुलना में धीरे क्षय होता है, जिससे अटेंशन ALiBi की तुलना में अधिक दूर तक जा सकता है लेकिन स्थानीयता (locality) बनाए रखता है।
$\beta < 0$ : मानक GGD परिभाषा का एक नवीन विश्राम (relaxation)। यह एक "उल्टा" (inverted) प्रायर बनाता है जहाँ क्वेरी टोकन के पास संभाव्यता द्रव्यमान (probability mass) को दबा दिया जाता है और संदर्भ विंडो के दूर के छोर पर केंद्रित किया जाता है। सैद्धांतिक रूप से, यह मॉडल को स्थानीय संदर्भ को अनदेखा करने और अनिश्चित रूप से लंबी दूरी की निर्भरताओं पर ध्यान केंद्रित करने की अनुमति देता है।
स्केलेबल सॉफ्टमैक्स (SSMax): लेखक नोट करते हैं कि BAM "अटेंशन फेडिंग" (संदर्भ बढ़ने के साथ यूनिफॉर्म वितरण) के प्रति संवेदनशील है। वे वितरण की तीक्ष्णता (sharpness) को बनाए रखने के लिए SSMax के साथ BAM को जोड़ते हैं, जो लॉजिट्स (logits) को गतिशील रूप से पुन: स्केल करता है।

मुख्य योगदान

एकीकृत सैद्धांतिक ढांचा: BAM मौजूदा PE विधियों के लिए एक संभाव्यतात्मक एकीकरण प्रदान करता है, जो स्पष्ट रूप से NoPE और ALiBi को क्रमशः यूनिफॉर्म और लाप्लास प्रायर्स के रूप में मैप करता है।
सामान्यीकृत गाऊसी प्रायर: GGD-BAM का प्रस्ताव फ्लेक्सिबल पोजीशनल प्रायर्स का एक परिवार पेश करता है। आकार पैरामीटर $\beta$ को सीखकर, मॉडल स्थानीय अटेंशन और लॉन्ग-रेंज रिट्रीवल मोड के बीच अनुकूल रूप से स्विच कर सकता है।
न्यूनतम ओवरहेड: यह विधि प्रत्येक अटेंशन हेड के लिए $\theta_\alpha$ और $\theta_\beta$ को सीखकर 1,000 से कम अतिरिक्त सीखने योग्य पैरामीटर (विशेष रूप से 120M पैरामीटर वाले मॉडल के लिए 384) पेश करती है, जबकि $\theta_\mu = 0$ को स्थिर रखा जाता है।
व्याख्यात्मकता (Interpretability): यह ढांचा अटेंशन पैटर्न को स्थितियों पर स्पष्ट संभाव्यता वितरण के रूप में विज़ुअलाइज़ करने और व्याख्या करने का एक सिद्धांतवादी तरीका प्रदान करता है।

अनुभवजन्य परिणाम (Empirical Results)

प्रयोग 120M से 1.1B पैरामीटर्स तक के मॉडलों पर किए गए, जिन्हें 512 टोकन की संदर्भ लंबाई के साथ FineWeb 10B पर प्रशिक्षित किया गया था।

पासकी रिट्रीवल (Passkey Retrieval): GGD-BAM (विशेष रूप से SSMax के साथ) ने 32,000 टोकन (प्रशिक्षण लंबाई का 64x) तक के अनुक्रमों से एक विशिष्ट टोकन को पुनः प्राप्त करने में पूर्ण सटीकता प्राप्त की और 512,000 टोकन (प्रशिक्षण लंबाई का 1000x) तक >80% सटीकता बनाए रखी। इसके विपरीत, RoPE, Sinusoidal और NoPE जैसे बेसलाइन अपने प्रशिक्षण क्षितिज के बाद लगभग रैंडम सटीकता तक गिर गए। ALiB ने बेहतर परप्लेक्सिटी एक्सट्रपलेशन दिखाया लेकिन अत्यधिक लंबाई पर रिट्रीवल कार्यों में काफी विफल रहा।
RULER बेंचमार्क (NIAH): GGD-BAM ने "नीडल इन अ हेस्टैक" (Needle In A Haystack) सबसेट में सभी बेसलाइन (RoPE और ALiBi सहित) को पछाड़ दिया, और 6,000 टोकन से परे Single 1 कार्य में उच्च सटीकता बनाए रखने वाला एकमात्र तरीका रहा।
परप्लेक्सिटी: GGD-BAM ने लंबे संदर्भों पर ALiBi और RoPE के समान परप्लेक्सिटी बनाए रखी, जो दर्शाता है कि बेहतर रिट्रीवल का अर्थ भाषा मॉडलिंग प्रवाह (fluency) की कीमत पर होना नहीं है।
डाउनस्ट्रीम टास्क: MMLU और ARC बेंचमार्क पर, BAM SSMax ने RoPE SSMax को पछाड़ दिया।
अटेंशन विज़ुअलाइज़ेशन: विज़ुअलाइज़ेशन ने पुष्टि की कि $\beta \le 0$ वाले हेड्स ने प्रभावी रूप से स्थानीय संदर्भ को दबा दिया और दूर के टोकन पर ध्यान केंद्रित किया (पासकी), जबकि $\beta \in (0, 1)$ वाले हेड्स ने लॉन्ग-टेल अटेंशन बनाए रखा।

महत्व और दावे

पेपर का दावा है कि BAM दोहरे उद्देश्य की पूर्ति करता है:

सैद्धांतिक: यह पोजीशनल एनकोडिंग के लिए एक कठोर संभाव्यता आधार प्रदान करता है, जो स्पष्ट करता है कि कुछ विधियाँ (जैसे ALiBi) परप्लेक्सिटी के लिए क्यों काम करती हैं लेकिन रिट्रीवल के लिए क्यों विफल हो जाती हैं (उनके स्थानीय स्वभाव के कारण)।
व्यावहारिक: यह संदर्भ लंबाई एक्सट्रपलेशन के लिए एक अत्यधिक कुशल तरीका प्रदान करता है। $\beta$ के नकारात्मक मानों को सीखने की अनुमति देकर, मॉडल स्थानीयता को दबा सकता है और बिना प्रत्यक्ष एक्सपोजर के अनिश्चित रूप से लंबे संदर्भों से जानकारी निकालने के लिए डिज़ाइन किया गया है।

लेखक इस बात पर जोर देते हैं कि जबकि परप्लेक्सिटी एक मानक मीट्रिक है, यह वास्तविक लॉन्ग-कॉन्टेक्स्ट क्षमताओं के मूल्यांकन के लिए पर्याप्त नहीं है; दूर की जानकारी पर ध्यान केंद्रित करने के बजाय केवल स्थानीय पैटर्न पर निर्भर करने के बजाय दूरस्थ जानकारी को रिट्रीव करने की पुष्टि करने के लिए रिट्रीवल-आधारित कार्य आवश्यक हैं। यह कार्य सुझाव देता है कि पोजीशनल प्रायर्स को स्पष्ट रूप से मॉडल करने की क्षमता अगली पीढ़ी के लॉन्ग-कॉन्टेक्स्ट ट्रांसफॉर्मर के लिए एक महत्वपूर्ण इंडक्टिव बायस (inductive bias) है।