🔢 mathematics

Understanding Transformers and Attention Mechanisms: An Introduction for Applied Mathematicians

यह शोध पत्र अनुप्रयुक्त गणितज्ञों (applied mathematicians) के लिए ट्रांसफॉर्मर आर्किटेक्चर और अटेंशन मैकेनिज्म का एक परिचय प्रदान करता है, जिसमें टेक्स्ट एनकोडिंग, मल्टी-हेडेड अटेंशन, आर्किटेक्चरल वेरिएंट्स और KV कैशिंग एवं ग्रुप्ड क्वेरी अटेंशन जैसी आधुनिक ऑप्टिमाइज़ेशन तकनीकों को शामिल किया गया है।

मूल लेखक: Michel Fabrice Serret (Center for Scientific Computing, Theory,Data, Paul Scherrer Institute, Switzerland)

प्रकाशित 2026-04-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michel Fabrice Serret (Center for Scientific Computing, Theory,Data, Paul Scherrer Institute, Switzerland)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मानव भाषा समझना सिखाने की कोशिश कर रहे हैं। यह शोध पत्र गणितज्ञों के लिए एक मार्गदर्शिका है जो बताता है कि आधुनिक एआई (जैसे कि वे चैटबॉट्स जिनका आप उपयोग करते हैं) वास्तव में कैसे "सोचते" हैं। यह जटिल गणित को तीन मुख्य कहानियों में तोड़ता है: रोबोट कैसे पढ़ता है, वह कैसे ध्यान देता है, और वह अपनी दिमागी शक्ति खत्म होने से कैसे बचता है।

यहाँ कहानी सरल, रोजमर्रा की भाषा में दी गई है:

1. अनुवादक: शब्दों को वेक्टर्स (Vectors) में बदलना

इससे पहले कि रोबोट "The quick brown fox" जैसे वाक्य को समझ सके, वह केवल अक्षरों को नहीं देख सकता। उसे उन्हें उस भाषा में अनुवाद करने की आवश्यकता है जिसे वह बोलता है: संख्याएँ।

टोकनाइज़ेशन (Lego ब्रिक्स): रोबोट वाक्य को "टोकन" नामक छोटे टुकड़ों में तोड़ देता है। ये हमेशा पूरे शब्द नहीं होते; कभी-कभी ये शब्दों के हिस्से भी हो सकते हैं (जैसे "qu" और "ick")। इन्हें लेगो ब्रिक्स (Lego bricks) की तरह समझें। किसी भी वाक्य को बनाने के लिए आपको सही सेट की आवश्यकता होती है।
एम्बेडिंग (ID कार्ड): एक बार जब रोबोट के पास ब्रिक्स आ जाते हैं, तो वह प्रत्येक को एक ID कार्ड देता है। यह ID कार्ड संख्याओं की एक लंबी सूची (एक वेक्टर) है जो इस बात का वर्णन करती है कि उस शब्द का अर्थ क्या है।
- उपमा: कल्पना कीजिए कि "Dog" और "Cat" को ऐसे ID कार्ड मिलते हैं जो बहुत समान हैं क्योंकि वे दोनों पालतू जानवर हैं। "Car" को बिल्कुल अलग कार्ड मिलता है। रोबोट सीख जाता है कि समान कार्ड वाले शब्दों का अर्थ आपस में संबंधित होता है।

2. लाइब्रेरियन: अटेंशन मैकेनिज्म (Attention Mechanism)

यही असली जादू है। पुराने दिनों में, रोबोट वाक्यों को एक टेप रिकॉर्डर की तरह पढ़ते थे, एक के बाद एक शब्द, और वाक्य के अंत तक पहुँचते-पहुँचते शुरुआत को भूल जाते थे। अटेंशन मैकेनिज्म एक सुपर-लाइब्रेरियन की तरह है जो एक ही समय में पूरी लाइब्रेरी को देख सकता है।

तीन भूमिकाएँ (Query, Key, Value): कल्पना कीजिए कि आप लाइब्रेरी में एक विशिष्ट पुस्तक ढूँढ रहे हैं।
- क्वेरी (Query - आप): आपके दिमाग में एक सवाल है ("मुझे अंतरिक्ष के बारे में एक किताब चाहिए")।
- की (Key - पुस्तक की रीढ़/Spine): लाइब्रेरी की हर किताब पर एक लेबल होता है। लाइब्रेरियन जाँचता है कि क्या आपका सवाल उन लेबल से मेल खाता है।
- वैल्यू (Value - पुस्तक की सामग्री): यदि लेबल मेल खाता है, तो लाइब्रेरियन आपको वास्तविक पुस्तक (जानकारी) थमा देता है।
यह कैसे काम करता है: जब रोबोट एक शब्द को प्रोसेस करता है, तो वह पूछता है, "इस वाक्य के अन्य कौन से शब्द मेरे लिए सबसे अधिक प्रासंगिक हैं?" वह वर्तमान शब्द (Query) और अन्य सभी शब्दों (Keys) के बीच "समानता स्कोर" की गणना करता है। फिर वह सबसे प्रासंगिक शब्दों से जानकारी (Values) लेता है और उन्हें आपस में मिला देता है।
- उदाहरण: वाक्य "The animal didn't cross the street because it was too tired" में, रोबोट यह पता लगाने के लिए अटेंशन का उपयोग करता है कि "it" का संदर्भ "animal" से है, न कि "street" से, क्योंकि "it" और "animal" के बीच अटेंशन स्कोर अधिक है।

3. फैक्ट्री: ट्रांसफार्मर आर्किटेक्चर (Transformer Architecture)

रोबोट इसे केवल एक बार नहीं करता; वह इसे परतों (layers) में करता है, जैसे कि एक फैक्ट्री असेंबली लाइन।

एनकोडर्स (Encoders): ये परतें इनपुट वाक्य को पढ़ती हैं और उसके अर्थ को समझती हैं।
डिकोडर्स (Decoders): ये परतें आउटपुट तैयार करती हैं, एक-एक शब्द करके।
मास्क (The Mask): जब डिकोडर एक कहानी लिख रहा होता है, तो वह भविष्य में झाँक नहीं सकता। उसे केवल वही लिखना होता है जो उसने अब तक लिखा है। "मास्क" एक आँखों की पट्टी की तरह है जो रोबмोट को नकल करने और आगे देखने से रोकती है।

4. मेमोरी संकट: रोबोट धीमे क्यों होते हैं

यहाँ समस्या यह है: जैसे-जैसे बातचीत लंबी होती जाती है, रोबोट को याद रखना पड़ता है कि सब कुछ क्या कहा गया था।

KV कैश (KV Cache): हर बार जब रोबोट बात करता है, तो वह अपने द्वारा प्रोसेस किए गए हर एक शब्द के लिए एक "Key" और "Value" सहेज लेता है। यदि आपकी 100 पन्नों की बातचीत है, तो रोबोट को हर बार बोलने के लिए अपनी जेब में 100 पन्नों के नोट्स लेकर चलने पड़ते हैं। इससे बहुत अधिक मेमोरी खर्च होती है और काम धीमा हो जाता है।

5. समाधान: बैकपैक को छोटा करने के तरीके

यह शोध पत्र रोबोट को तेज़ और हल्का बनाने के लिए तीन चतुर तरकीबें समझाता है:

स्ट्रीमिंग अटेंशन (Streaming Attention): पूरी बातचीत के लिए बार-बार नोट्स की पुनर्गणना करने के बजाय, रोबोट बस नोट्स (KV Cache) को मेमोरी में रखता है और उन्हें अपडेट करता रहता है। यह एक रनिंग टली (running tally) रखने जैसा है, न कि हर नया पन्ना जोड़ने पर पूरी किताब को फिर से पढ़ने जैसा।
ग्रुपड क्वेरी अटेंशन (Grouped Query Attention - GQA): कल्पना कीजिए कि 64 जासूसों (heads) की एक टीम एक केस सुलझाने की कोशिश कर रही है। पुराने तरीके में, प्रत्येक जासूस के पास अपना नोटबुक होता था। GQA में, वे कुछ नोटबुक्स साझा करते हैं। उनके पास 64 दिमाग तो हैं, लेकिन उन्हें केवल 8 नोटबुक्स ले जाने की आवश्यकता है। इससे बहुत अधिक स्थान बचता है।
लेटेंट अटेंशन (Latent Attention - DeepSeek की ट्रिक): यह सबसे उन्नत ट्रिक है। हर शब्द के लिए विस्तृत नोट्स ले जाने के बजाय, रोबोट नोट्स को एक "सारांश" (latent vector) में संकुचित (compress) कर देता है।
- उपमा: एक उपन्यास का पूरा टेक्स्ट ले जाने के बजाय, रोबोट उसका 1-पेज का सारांश ले जाता है। जब उसे किसी विवरण को याद करने की आवश्यकता होती है, तो वह उस सारांश को वापस पूर्ण संदर्भ में विस्तारित कर देता है। यह आवश्यक मेमोरी को भारी रूप से कम कर देता है, जिससे रोबोट बिना थके बहुत लंबी बातचीत को याद रख पाता है।

सारांश

यह शोध पत्र बताता है कि कैसे आधुनिक एआई टेक्स्ट को नंबरों में बदलता है, संबंधित विचारों को जोड़ने के लिए एक "लाइब्रेरियन" प्रणाली का उपयोग करता है, और सूचना की विशाल मात्रा को संभालने के लिए संपीड़न (compression) की चतुर तरकीबों (जैसे नोटबुक साझा करना और नोट्स का सारांश बनाना) का उपयोग करता है ताकि मेमोरी खत्म न हो। यह उस गणित के पीछे का विज्ञान है कि क्यों आपका चैटबॉट तीन घंटे पहले आपके नाम को याद रख सकता है लेकिन फिर भी आपके प्रश्न का तुरंत उत्तर दे सकता है।

मिशेल फैब्रिस सेरेट के प्रीप्रिंट "Understanding Transformers and Attention Mechanisms: An Introduction for Applied Mathematicians" के आधार पर, यहाँ एक विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ट्रांसफार्मर आर्किटेक्चर और अटेंशन मैकेनिज्म के लिए एक कठोर, गणितीय रूप से सुदृढ़ परिचय की आवश्यकता को संबोधित करता है, जो विशेष रूप से अनुप्रयुक्त गणितज्ञों (applied mathematicians) के लिए तैयार किया गया है। जबकि ट्रांसफॉर्मर्स ने नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में क्रांति ला दी है, उनके आंतरिक तंत्र—विशेष रूप से वेक्टरकरण (vectorization), अटेंशन स्कोरिंग और कम्प्यूटेशनल बाधाओं के संबंध में—अक्सर गणितीय साहित्य में औपचारिक विवरण की कमी रखते हैं।

पहचाने गए मुख्य प्रश्न निम्नलिखित हैं:

सिमेंटिक एनकोडिंग (Semantic Encoding): डिस्क्रीट टेक्स्ट (स्ट्रिंग्स) को निरंतर वेक्टर स्पेस में प्रभावी ढंग से कैसे परिवर्तित किया जाए जो अर्थपूर्णता (semantic meaning) को सुरक्षित रखे।
कम्प्यूटेशनल जटिलता (Computational Complexity): अनुक्रम लंबाई (sequence length) के संबंध में मानक अटेंशन मैकेनिज्म की द्विघातीय जटिलता $O(N^2)$ , जो लंबे संदर्भ वाले परिदृश्यों में मेमोरी और कंप्यूट बाधाएं (विशेष रूप से KV कैशिंग के माध्यम से) उत्पन्न करती है।
आर्किटेक्चरल वेरिएंट्स (Architectural Variants): एक एकीकृत गणितीय ढांचे का अभाव जो एनकोडर-डिकोडर, एनकोडर-ओनली, और डिकोडर-ओनली आर्किटेक्चर के बीच के अंतर को समझा सके, और यह भी कि आधुनिक अनुकूलन (जैसे Grouped Query Attention और Latent Attention) अंतर्निहित लीनियर अलजेब्रा को कैसे बदलते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र ट्रांसफार्मर आर्किटेक्चर का चरण-दर-चरण गणितीय व्युत्पन्न (derivation) प्रस्तुत करता है, इसे लीनियर अलजेब्रिक ऑपरेशंस और प्रायिकता वितरण (probability distributions) के एक अनुक्रम के रूप में मानता है।

टोकेनाइजेशन और एम्बेडिंग (Tokenization and Embedding):
- टेक्स्ट को टोकन (सब-स्ट्रिंग्स) में विभाजित किया जाता है जो एक शब्दावली $T$ बनाते हैं।
- टोकन को एक एम्बेडिंग मैट्रिक्स $E \in \mathbb{R}^{N_T \times d}$ के माध्यम से वेक्टर्स में मैप किया जाता है।
- अनुक्रम क्रम (sequence order) को एनकोड करने के लिए पोजीशनल और फीचर एम्बेडिंग को जोड़ा जाता है।
अटेंशन मैकेनिज्म का सूत्रीकरण (Attention Mechanism Formulation):
- मैकेनिज्म को एक डेटाबेस रिट्रीवल सिस्टम के रूप में मॉडल किया गया है जहाँ इनपुट को क्वेरी ( $Q$ ), की ( $K$ ), और वैल्यू ( $V$ ) मैट्रिसेस में विभाजित किया जाता है।
- समानता मीट्रिक (Similarity Metric): इसे एक कर्नेल फंक्शन $\kappa(v, w)$ के माध्यम से परिभाषित किया गया है। मानक स्केल्ड डॉट-प्रोडक्ट कर्नेल $\kappa(v, w) = \exp(\frac{\langle v, w \rangle}{\sqrt{d}})$ है।
- नॉर्मलाइजेशन (Normalization): अटेंशन स्कोर को वैल्यूज पर एक प्रायिकता वितरण बनाने के लिए सॉफ्टमैक्स फंक्शन (या रो-वाइज नॉर्मलाइजेशन $Z^{-1}A$ ) का उपयोग करके नॉर्मलाइज किया जाता है।
- आउटपुट: कीज़ (Keys) की क्वेरी (Query) के साथ समानता के आधार पर वैल्यू वेक्टर्स का भारित योग (weighted sum)।
मल्टी-हेडेड अटेंशन (MHA):
- विविध सिमेंटिक सबस्पेस कैप्चर करने के लिए समानांतर अटेंशन हेड्स का उपयोग किया जाता है।
- आउटपुट्स को संयोजित (concatenate) किया जाता है और एक लीनियर लेयर $W^O$ के माध्यम से प्रोजेक्ट किया जाता है।
आर्किटेक्चरल विश्लेषण (Architectural Analysis):
- एनकोडर (Encoder): सेल्फ-अटेंशन (क्वेरी, की, वैल्यू एक ही स्रोत से) का उपयोग करता है जिसमें रेसिडुअल कनेक्शन और लेयर नॉर्मलाइजेशन शामिल हैं।
- डिकोडर (Decoder): मास्क्ड सेल्फ-अटेंशन (भविष्य के पदों पर ध्यान देने से रोकना) और क्रॉस-अटेंशन (एनकोडर से की/वैल्यू) का उपयोग करता है।
अनुकूलन विश्लेषण (Optimization Analysis):
- शोध पत्र KV कैशिंग (पिछले टोकन के लिए $K$ और $V$ को स्टोर करना) की मेमोरी लागत का गणितीय रूप से व्युत्पन्न करता है।
- ग्रुपेड क्वेरी अटेंशन (GQA) और मल्टी-क्वेरी अटेंशन (MQA) को कई क्वेरी हेड्स के बीच की/वैल्यू हेड्स को साझा करने के रूप में औपचारिक रूप देता है ताकि कैश साइज को कम किया जा सके।
- यह लेटेंट अटेंशन (Latent Attention) का विस्तृत व्युत्पन्न प्रदान करता है, जो की/वैल्यू रिप्रेजेंटेशन को एक साझा लेटेंट स्पेस में कंप्रेस करने के लिए वेट मैट्रिसेस के लो-रैंक फैक्टराइजेशन को पेश करता है।

3. प्रमुख योगदान (Key Contributions)

गणितीय औपचारिकता (Mathematical Formalization): शोध पत्र प्रत्येक घटक के लिए सटीक मैट्रिक्स परिभाषाएँ प्रदान करता है, जिसमें अटेंशन स्कोर का स्पष्ट निर्माण, नॉर्मलाइजेशन मैट्रिसेस ( $Z$ ), और मल्टी-हेडेड अटेंशन में कॉनकैटिनेशन ऑपरेशंस शामिल हैं।
अटेंशन वेरिएंट्स का एकीकृत दृष्टिकोण: यह लीनियर अलजेब्रिक फैक्टराइजेशन के माध्यम से मानक MHA, GQA, MQA और लेटेंट अटेंशन के बीच के संबंधों को स्पष्ट करता है।
- विशेष रूप से, यह दर्शाता है कि कैसे लेटेंट अटेंशन (DeepSeek V2 में प्रयुक्त) वेट मैट्रिसेस $W^K$ और $W^V$ को एक साझा लेटेंट सबस्पेस $W^L$ और हेड-विशिष्ट प्रोजेक्शन में फैक्टराइज़ करता है, जिससे प्रति टोकन एक एकल साझा कैश वेक्टर संभव होता है।
जटिलता और मेमोरी विश्लेषण:
- KV कैशिंग की मेमोरी लागत को $2 N_L N_h N_{KV} d$ के रूप में व्युत्पन्न करता है (जहाँ $N_L$ लेयर्स है, $N_h$ हेड्स है, $N_{KV}$ अनुक्रम लंबाई है)।
- दिखाता है कि लेटेंट अटेंशन कैसे कैश डायमेंशन को $d_{head} \times N_{heads}$ से घटाकर एक एकल लेटेंट डायमेंशन $d_L$ कर देता है, जिससे लंबे संदर्भों के लिए मेमोरी फुटप्रिंट काफी कम हो जाता है।
पोजीशनल एम्बेडिंग्स का प्रबंधन: शोध पत्र एक महत्वपूर्ण गणितीय बारीकी को उजागर करता है: मानक लेटेंट अटेंशन, MHA के समकक्षता को खो देता है जब पोजीशनल एम्बेडिंग्स (जैसे RoPE) को की (Key) निर्माण के बाद लागू किया जाता है। यह समझाने के लिए आवश्यक आर्किटेक्चरल संशोधनों की व्याख्या करता है कि पोजीशनल जानकारी को बनाए रखते हुए कम्प्यूटेशनल दक्षता कैसे बनी रहे।

4. परिणाम और तुलनात्मक विश्लेषण (Results and Comparative Analysis)

शोध पत्र नए प्रयोगात्मक प्रशिक्षण परिणाम प्रस्तुत नहीं करता है, बल्कि व्युत्पन्न गणितीय ढांचों के आधार पर स्टेट-ऑफ-द-आर्ट मॉडल्स का तुलनात्मक विश्लेषण प्रदान करता है:

मॉडल स्पेसिफिकेशन: Llama 3 70B, Gemma 3 27B, और DeepSeek V2 का तुलनात्मक अध्ययन।
- Llama 3 और Gemma 3: Grouped Query Attention (GQA) का उपयोग करते हैं जहाँ कई क्वेरी हेड्स कम की/वैल्यू हेड्स को साझा करते हैं (उदाहरण के लिए, Llama 3 में 64 क्वेरी हेड्स 8 KV हेड्स को साझा करते हैं)।
- DeepSeek V2: Mixture-of-experts आर्किटेक्चर के साथ Multi-Headed Latent Attention (MLA) का उपयोग करता है। यह एक साझा लेटेंट डायमेंशन ( $d_L = 512$ ) का उपयोग करके KV कैश साइज में भारी कमी लाता है, जो मानक MHA के उच्च डायमेंशन की तुलना में 128 हेड्स के लिए बहुत कम है।
दक्षता लाभ (Efficiency Gains): विश्लेषण पुष्टि करता है कि लेटेंट अटेंशन पूर्ण $K$ और $V$ वेक्टर्स के बजाय केवल लेटेंट वेक्टर्स ( $L$ ) को स्टोर करने की अनुमति देता है, जिससे लंबे संदर्भ वाले इन्फरेंस के लिए आवश्यक मेमोरी नाटकीय रूप से कम हो जाती है।

5. महत्व (Significance)

सिद्धांत और व्यवहार के बीच सेतु: यह शोध पत्र अनुप्रयुक्त गणितज्ञों के लिए एक महत्वपूर्ण सेतु के रूप में कार्य करता है, आधुनिक LLMs के "ब्लैक बॉक्स" को स्पष्ट लीनियर अलजेब्रिक ऑपरेशंस में अनुवादित करता है, जिससे वे रैंडमाइज्ड न्यूमेरिकल लीनियर अल्जेब्रा (RNLA) तकनीकों के लिए सुलभ हो जाते हैं।
अनुकूलन का आधार: अटेंशन मैकेनिज्म और इसके वेरिएंट्स को औपचारिक रूप देकर, यह शोध पत्र बड़े पैमाने के मॉडल्स के लिए नए ऑप्टिमाइजेशन एल्गोरिदम (जैसे लो-रैंक एप्रोक्सिमेशन, रैंडमाइज्ड सैंपलिंग, और कुशल मैट्रिक्स मल्टीप्लिकेशन रणनीतियाँ) विकसित करने के लिए आधार तैयार करता है।
आधुनिक रुझानों का स्पष्टीकरण: यह मानक MHA से GQA और लेटेंट अटेंशन की ओर बदलाव को स्पष्ट करता है, और यह समझाता है कि आधुनिक, लंबे-संदर्भ वाले AI अनुप्रयोगों की मेमोरी बाधाओं को संभालने के लिए ये परिवर्तन गणितीय रूप से क्यों आवश्यक हैं।
शैक्षिक संसाधन: यह समुदाय के लिए एक मानकीकृत नोटेशन और कठोर परिभाषाएँ प्रदान करता है, जिससे ट्रांसफार्मर मॉडल्स के सैद्धांतिक सीमाओं और सुधारों पर आगे के शोध को सुविधा मिलती है।