🤖 AI

Geometric Analysis of Token Selection in Multi-Head Attention

यह शोध पत्र टोकन पृथक्करणीयता (token separability) को मापने के लिए प्रिसिजन, रिकॉल और एफ-स्कोर मेट्रिक्स को परिभाषित करके, छोटे-N रेजीम में इष्टतम प्रदर्शन की भविष्यवाणी करने वाले गैर-अनंतकालीन (non-asymptotic) बंधों को व्युत्पन्न करके, और विशिष्ट हेड विशेषज्ञता पैटर्न को प्रकट करने तथा ज्यामिति-जागरूक विरलीकरण (geometry-aware sparsification) को सूचित करने के लिए कई मॉडलों में अपने निष्कर्षों को अनुभवजन्य रूप से मान्य करते हुए, लार्ज लैंग्वेज मॉडल्स में मल्टी-हेड अटेंशन के विश्लेषण के लिए एक ज्यामितीय ढांचे को प्रस्तुत करता है।

मूल लेखक: Timur Mudarisov, Mikhal Burtsev, Tatiana Petrova, Radu State

प्रकाशित 2026-08-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Timur Mudarisov, Mikhal Burtsev, Tatiana Petrova, Radu State

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, डिजिटल लाइब्रेरी है जहाँ एक रोबोट लाइब्रेर आपके सवालों के जवाब देने की कोशिश कर रहा है। यह करने के लिए, लाइब्रेर एक साथ लाखों पन्नों को स्कैन करता है। लेकिन एक ही समय में सब कुछ पढ़ना अराजक और धीमा हो सकता है। इसलिए, लाइब्रेर एक विशेष तकनीक का उपयोग करता है जिसे "अटेंशन" (ध्यान) कहा जाता है। अटेंशन को एक स्पॉटलाइट की तरह समझें। जब लाइब्रेर आपके प्रश्न के किसी विशिष्ट शब्द को देखता है, तो स्पॉटलाइट बातचीत के इतिहास के सबसे महत्वपूर्ण शब्दों पर चमकती है ताकि उत्तर बनाने में मदद मिल सके।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस स्पॉटलाइट सिस्टम को "मल्टी-हेड अटेंशन" कहा जाता है। यह आधुनिक एआई मॉडल्स को चलाने वाला इंजन है, जो उन्हें संदर्भ और बारीकियों को समझने की अनुमति देता है। हालाँकि, लंबे समय तक, वैज्ञानिकों ने इस स्पॉटलाइट को एक साधारण औसत निकालने वाली मशीन माना—जैसे कि एक स्मूदी जहाँ हर सामग्री को समान रूप से मिला दिया जाता है। लेकिन हाल के अवलोकनों ने सुझाव दिया कि स्पॉटलाइट वास्तव में एक चयनात्मक फिल्टर की तरह है, जो कुछ सामग्रियों को चुनता है और दूसरों को अनदेखा करता है। बड़ा सवाल जो शोधकर्ता पूछ रहे थे वह यह था: क्या स्पॉटलाइट द्वारा चुने गए शब्दों का समूह वास्तव में एक सुसंगत, संगठित टीम है, या यह केवल पास के शब्दों का एक यादृच्छिक मिश्रण है?

इस शोध पत्र में, लेखक, तिमुर मुदरिसोव और उनकी टीम ने, स्पॉटलाइट को एक धुंधली चमक के रूप में देखना बंद करने और इसके द्वारा डाली जाने वाली व्यक्तिगत प्रकाश की किरणों की जांच करने का निर्णय लिया। उन्होंने यह देखने का एक नया तरीका विकसित किया कि एआई मॉडल यह कैसे चुनते हैं कि किन शब्दों पर ध्यान केंद्रित करना है, इस चयन प्रक्रिया को "ज्यामितीय छंटाई" (geometric sorting) के खेल की तरह माना। यह पूछने के बजाय कि क्या चुने गए शब्द भाषाई रूप से अर्थपूर्ण हैं, उन्होंने एक सरल, अधिक दृश्य प्रश्न पूछा: क्या चुने गए शब्द एक व्यवस्थित, घने समूह में क्लस्टर (गुच्छे) बनाते हैं, या वे चारों ओर बिखरे हुए हैं?

इसका उत्तर देने के लिए, उन्होंने "प्रिसिजन" (सटीकता) और "रिकॉल" (पुनर्प्राप्ति) नामक "ज्यामितीय रूलर" का एक सेट बनाया। कल्पना कीजिए कि आपके पास कंचों की एक टोकरी है (वे शब्द जिन्हें एआई ने चुना) और कंकड़ों की एक टोकरी है (वे शब्द जिन्हें उसने अनदेखा कर दिया)। यदि कंचे कमरे के एक कोने में सिमटे हुए हैं और कंकड़ उनसे दूर हैं, तो यह एक आदर्श स्कोर है। यदि कंचे कंकड़ों के साथ मिले हुए हैं, तो स्कोर कम है। लेखकों ने पाया कि जब एआई मॉडल अपने शीर्ष शब्दों को चुनते हैं, तो वे वास्तव में यादृच्छिक रूप से चुने गए शब्दों की तुलना में बहुत अधिक घने और संगठित क्लस्टर बनाते हैं। यह ऐसा है जैसे एआई के पास संबंधित विचारों को एक साथ समूहबद्ध करने की एक गुप्त प्रवृत्ति हो, भले ही वह पर्दे के पीछे केवल गणित को देख रहा हो।

हालाँकि, कहानी तब थोड़ी अजीब हो जाती है जब उन्होंने किसी भी वाक्य के पहले शब्द को देखा। एआई की दुनिया में, इसे "सिंक टोकन" (sink token) के रूपas जाना जाता है। यह कमरे के बीच में एक अद्वितीय लंगर (anchor) की तरह है जो भारी मात्रा में ध्यान प्राप्त करता है, भले ही इसमें वास्तव में कोई उपयोगी जानकारी न हो। लेखकों ने पाया कि यह "सिंक" एक ज्यामितीय विचित्रता है। इसका एक विशिष्ट, छोटा आकार (norm) है और यह अन्य सभी शब्दों की विपरीत दिशा में संकेत करता है। जब एआई इस "सिंक" को अपने शीर्ष चयन में शामिल करता है, तो यह अन्य शब्दों के व्यवस्थित क्लस्टरिंग को बिगाड़ देता है। यह एक टीम फोटो आयोजित करने जैसा है, लेकिन एक व्यक्ति दूसरे आयाम में खड़ा है और बाकी सभी को असंतुलित कर रहा है। पेपर दिखाता है कि यदि आप इस "सिंक" को चयन से हटा देते हैं, तो शेष शब्द एक बहुत अधिक पूर्ण, संगठित आकार में आ जाते हैं।

इन ज्यामितीय अवलोकनों के आधार पर, टीम ने एआई के भीतर विभिन्न "स्पॉटलाइट्स" (या अटेंशन हेड्स) को वर्गीकृत करने का एक नया तरीका बनाया। उन्होंने जटिल गणितीय सूत्रों या अनुमानों का उपयोग नहीं किया; उन्होंने बस यह देखा कि प्रत्येक स्पॉटलाइट को कौन सा शब्द सबसे अधिक पसंद है। इससे एआई के अटेंशन हेड्स के लिए तीन अलग-अलग व्यक्तित्व सामने आए:

रिट्रीवर्स (Retrievers): ये केंद्रित जासूस हैं। वे लगभग हमेशा चर्चा किए जा रहे वर्तमान शब्द को अपने सबसे महत्वपूर्ण स्रोत के रूप में चुनते हैं। वे दुर्लभ हैं, जो टीम का केवल 6% से 17% हिस्सा बनाते हैं।
मिक्सर्स (Mixers): ये सामाजिक तितलियाँ हैं। वे "सिंक" (पहला शब्द) को पसंद करते हैं और अन्य शब्दों से जानकारी मिलाने के लिए इसे एक आधार के रूप में उपयोग करते हैं। जेम्मा (Gemma) और लामा-3 (LLaMA-3) जैसे कुछ मॉडल्स में वे बहुत आम हैं।
रिसेट्स (Resets): ये घुमक्कड़ हैं। उनका कोई पसंदीदा शब्द नहीं है; वे हर जगह से चुनते हैं। मिस्ट्रल (Mistral) और लामा-2 (LLaMA-2) जैसे मॉडल्स में वे सबसे आम प्रकार हैं।

लेखकों ने एआई के हिस्सों को "प्रून" (छंटनी) करने या हटाने की कोशिश करके इस नए वर्गीकरण प्रणाली का परीक्षण किया कि क्या यह अभी भी काम कर सकता है। उन्होंने पाया कि यह जानना कि कोई हेड रिट्रीवर, मिक्सर या रिसेट है, यह एक उपयोगी संकेत देता है कि एआई के कौन से हिस्से महत्वपूर्ण हैं। यह एक स्पोर्ट्स टीम के खिलाड़ियों को यह जानने जैसा है कि कौन गोल करने वाला है और कौन रक्षक है। हालाँकि, वे सावधान रहे कि यह कोई जादुई समाधान नहीं है। जबकि यह मध्यम स्तर की कटाई में मदद करता है, यह हमेशा अन्य तरीकों से बेहतर नहीं होता जब आप एआई को न्यूनतम स्तर तक काटने की कोशिश करते हैं। साथ ही, उन्होंने जेम्मा मॉडल में एक विशिष्ट "सुपर-हेड" पाया जो इतना महत्वपूर्ण था कि उसे हटाने से पूरा सिस्टम टूट गया, जिससे यह साबित हुआ कि इन व्यवस्थित श्रेणियों के बावजूद, कुछ व्यक्तिगत हिस्से अपूरणीय हैं।

अंततः, यह पेपर सुझाव देता है कि एआई मॉडल सूचना का चयन करने का तरीका हमारी सोच से कहीं अधिक संरचित और ज्यामितीय है। यह केवल एक यादृच्छिक धुंध नहीं है; यह एक सावधानीपूर्वक व्यवस्थित नृत्य है जहाँ कुछ शब्द नेतृत्व करते हैं, कुछ अनुसरण करते हैं, और एक छोटा सा "सिंक" शब्द पूरे समूह को एक अजीब दिशा में खींचता है। इन आकारों को समझकर, हम भविष्य में स्मार्ट, हल्के एआई मॉडल बना सकते हैं, हालांकि हमें अभी भी सावधान रहना होगा कि हम गलत टुकड़ों को न काट दें।

तकनीकी सारांश: मल्टी-हेड अटेंशन में टोकन चयन का ज्यामितीय विश्लेषण

समस्या विवरण
यद्यपि अटेंशन मैकेनिज्म आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल है, मौजूदा सैद्धांतिक ढांचे अक्सर सार्वभौमिक सन्निकटन क्षमताओं (universal approximation capabilities) पर ध्यान केंद्रित करते हैं या अटेंशन को एक सामान्यीकृत कर्नेल स्मूदर (normalized kernel smoother) के रूप में देखते हैं। ये परिप्रेक्ष्य अभिव्यक्ति (expressivity) को स्पष्ट करते हैं लेकिन प्रशिक्षित अटेंशन हेड्स द्वारा चुने गए टोकनों की विशिष्ट ज्यामिति का वर्णन करने में विफल रहते हैं। अनुभवजन्य अवलोकन, जैसे कि "अटेंशन सिंक" (attention sink) घटना जहाँ शुरुआती टोकन अत्यधिक द्रव्यमान प्राप्त करते हैं, यह सुझाव देते हैं कि अटेंशन में विसरित औसत (diffuse averaging) के बजाय संरचित चयन शामिल है। यह समस्या इस प्रश्न को संबोधित करती है: क्या अटेंशन-चयनित शीर्ष- $N$ योगदान, वैल्यू-स्टेट स्पेस में एक सुसंगत, विभाज्य सेट (separable set) बनाते हैं, और अटेंशन सिंक इस ज्यामिति को कैसे प्रभावित करता है?

कार्यप्रणाली
लेखक एक ज्यामितीय ढांचे का प्रस्ताव करते हैं जो एक एकल अटेंशन हेड को कच्चे अटेंशन वेट्स के विश्लेषण के बजाय, अटेंशन-स्केल्ड वैल्यू योगदानों ( $y_i = \alpha_i v_i$ ) पर एक क्लासिफायर के रूप में मानता है।

ज्यामितीय मेट्रिक्स (Geometric Metrics): एक निश्चित क्वेरी पोजीशन के लिए, अटेंशन वेट द्वारा शीर्ष- $N$ टोकन चुने जाते हैं। लेखक एक एग्रीगेट वेक्टर $s_N = \sum_{i \in I_N} \alpha_i v_i$ को परिभाषित करते हैं। वे यह मापने के लिए कि चयनित योगदान वेक्टर $s_N$ के आसपास अन-चयनितों से कितनी अच्छी तरह अलग होते हैं, ज्यामितीय परिशुद्धता (Geometric Precision) और ज्यामितीय रिकॉल (Geometric Recall) को पेश करते हैं। इन्हें एक एक्सट्रीमल ज्योमेट्रिक एफ-स्कोर ( $F_N$ ) में संक्षेपित किया गया है।
सैद्धांतिक सीमाएँ (Theoretical Bounds): लेखक "चयनित-अनचयनित व्युत्क्रमण" (selected-unselected inversions) के आधार पर परिशुद्धता और रिकॉल के लिए नियतात्मक निचली सीमाओं (deterministic lower bounds) को व्युत्पन्न करते हैं। महत्वपूर्ण रूप से, वे एक सिंक-अवेयर कॉन्स्टेंट-नॉर्म रिजीम (sink-aware constant-norm regime) पेश करते हैं। यह सिद्धांत मानता है कि नॉन-सिंक टोकन एक स्थिर नॉर्म और सीमित दिशात्मक सामंजस्य साझा करते हैं, जबकि सिंक टोकन (पहला टोकन) का एक विशिष्ट, छोटा नॉर्म और एक हस्ताक्षरित दिशात्मक संबंध (अक्सर नकारात्मक संरेखण) होता है।
हेड वर्गीकरण (Head Taxonomy): "सोर्स-विनर" नियम के आधार पर एक पैरामीटर-मुक्त वर्गीकरण पेश किया गया है। प्रत्येक हेड के लिए, योगदान को अधिकतम करने वाला स्रोत स्थान ( $\alpha_j \|v_j\|$ $α_{j} ∥ v_{j} ∥$ ) पहचाना जाता है। हेड्स को वर्गीकृत किया गया है:
- रिट्रीवर (Retriever): वर्तमान टोकन प्रमुख स्रोत है।
- मिक्सर (Mixer): सिंक टोकन प्रमुख स्रोत है।
- रिसेट (Reset): कोई भी एकल विशेषाधिकार प्राप्त स्रोत हावी नहीं है (विजेता स्रोत वितरित हैं)।
अनुभवजन्य सत्यापन (Empirical Validation): इस ढांचे का मूल्यांकन WikiText-103 और OpenWebText कॉर्पोरा का उपयोग करके LLaMA, Gemma, और Mistral मॉडल्स पर किया गया है। प्रयोगों में रैंडम सबसेट्स के विरुद्ध टॉप- $N$ चयन की तुलना, सिंक ज्यामिति (नॉर्म्स और कोसाइन), और स्ट्रक्चर्ड हेड स्पारसिफिकेशन (sparsification) में वर्गीकरण की उपयोगिता का विश्लेषण शामिल है।

प्रमुख योगदान

ज्यामितीय क्लासिफायर दृश्य: यह पेपर टॉप- $N$ अटेंशन को वैल्यू-स्टेट स्पेस में एक ज्यामितीय वर्गीकरण समस्या के रूप में पुनर्गठित करता है, जिसमें परिशुद्धता, रिकॉल और एक एक्सट्रीमल सेपरेबिलिटी स्कोर ( $F_N$ ) पेश किया गया है।
सिंक-अवेयर बाउंड्स: यह सिंक टोकन की विसंगतिपूर्ण ज्यामिति को स्पष्ट रूप से ध्यान में रखते हुए, ज्यामितीय सेपरेबिलिटी के लिए नियतात्मक निचली सीमाएं व्युत्पन्न करता है, जो सेपरेबिलिटी के रूढ़िवादी प्रमाण (conservative certificates) प्रदान करता है।
पैरामीटर-फ्री हेड टैक्सोनॉमी: यह केवल योगदान-अधिकतम करने वाले स्रोतों के आधार पर रिट्रीवर, मिक्सर और रिसेट व्यवस्था स्थापित करता है, जिसमें किसी फिटेड थ्रेशोल्ड या मार्जिन की आवश्यकता नहीं होती है।
अनुभवजन्य लक्षण वर्णन: अध्ययन प्रमाण देता है कि टॉप-अटेंशन सबसेट्स रैंडम सबसेट्स की तुलना में अधिक ज्यामितीय रूप से सेपरेबल हैं, और सिंक टोकन एक विशिष्ट ज्यामितीय घटक के रूप में कार्य करता है जो टॉप- $N$ चयन में शामिल होने पर सेपरेबिलिटी को बाधित करता है।

परिणाम

सेपरेबिलिटी (Separability): सभी मॉडल्स (LLaMA, Gemma, Mistral) में, टॉप-अटेंशन सबसेट्स समान आकार के रैंडम सबसेट्स की तुलना में लगातार अधिक ज्यामितीय रूप से सेपरेबल होते हैं, विशेष रूप से स्पार्स और इंटरमीडिएट $N$ के लिए।
सिंक ज्यामिति (Sink Geometry): सिंक टोकन एक विशिष्ट ज्यामिति प्रदर्शित करता है: इसका वैल्यू नॉर्म नॉन-सिंक टोकनों की तुलना में 3–10 $\times$ छोटा है, और इसकी दिशा व्यवस्थित रूप से नॉन-सिंक दिशाओं के साथ नकारात्मक रूप से संरेखित है। टॉप- $N$ चयन में सिंक को शामिल करने से ज्यामितीय सेपरेबिलिटी स्कोर ( $F_N$ ) काफी कम हो जाता है, जो अक्सर दो गुना तक गिर जाता है।
वर्गीकरण वितरण (Taxonomy Distribution): रिट्रीवर हेड्स लगातार अल्पसंख्यक (सभी मॉडल्स में 5.8–17.2%) रहे। प्रमुख व्यवस्था (मिक्सर बनाम रिसेट) आर्किटेक्चर के अनुसार भिन्न होती है लेकिन कॉर्पोरा (OpenWebText बनाम WikiText) के बीच स्थिर रहती है। मिक्सर हेड्स मजबूत सिंक संरेखण दिखाते हैं, जबकि रिट्रीवर हेड्स वर्तमान टोकन के साथ संरेखित होते हैं।
स्पारसिफिकेशन उपयोगिता: वर्गीकरण स्ट्रक्चर्ड हेड हटाने के लिए एक उपयोगी मोटा संकेत प्रदान करता है, विशेष रूप से मध्यम प्रतिधारण स्तरों पर। हालांकि, यह आक्रामक प्रूनिंग के तहत सार्वभौमिक रूप से सिंगल-मेट्रिक बेसलाइन्स (जैसे वेट मैग्नीट्यूड या एंट्रॉपी) से बेहतर प्रदर्शन नहीं करता है। Gemma-7B (लेयर 0, हेड 12) में एक महत्वपूर्ण विसंगति देखी गई, जहाँ एक एकल हेड को हटाने से एक विशिष्ट विफलता मोड उत्पन्न हुआ, जो दर्शाता है कि रिजीम-स्तरीय औसत आवश्यक व्यक्तिगत हेड्स को छिपा सकते हैं।

महत्व और दावे
यह पेपर दावा करता है कि यह एक "सरल ढांचा" प्रदान करता है जो अटेंशन को केवल औसत के रूप में देखने से आगे बढ़कर, संरचित चयन और हेड-स्तरीय विशेषज्ञता को प्रकट करता है। इसका महत्व निम्नलिखित में निहित है:

नैदानिक क्षमता (Diagnostic Capability): ज्यामितीय मेट्रिक्स और सिंक-अवेयर बाउंड्स सेपरेबिलिटी के लिए रूढ़िवादी प्रमाण के रूप में कार्य करते हैं, जो यह प्रमाणित करते हैं कि अटेंशन-चयनित टोकन न केवल सिमेंटिक रूप से रैंक किए गए हैं बल्कि ज्यामितीय रूप से भी सुसंगत हैं।
मैकेनिस्टिक अंतर्दृष्टि (Mechanistic Insight): वर्गीकरण अटेंशन हेड्स के बाइनरी "एक्टिव-डॉरमेंट" दृष्टिकोण को तीन विशिष्ट मैकेनिस्टिक व्यवस्थाओं (रिट्रीवर, मिक्सर, रिसेट) में परिष्कृत करता है, यह दिखाते हुए कि सिंक-मध्यस्थता वाले और विसरित कंप्यूटेशन के बीच का संतुलन एक आर्किटेक्चरल गुण है न कि एक सार्वभौमिक स्थिरांक।
व्यावहारिक सीमाएँ: लेखक विनम्रतापूर्वक दावा करते हैं कि हालांकि वर्गीकरण हेड स्पारसिफिकेशन के लिए एक उपयोगी संकेत है, लेकिन यह सार्वभौमिक रूप से इष्टतम प्रूनिंग नियम नहीं है। इसे हेड-स्तरीय संवेदनशीलता विश्लेषण के साथ एक नैदानिक संकेत के रूप में उपयोग किया जाना चाहिए, विशेष रूप से उन महत्वपूर्ण, व्यक्तिगत रूप से आवश्यक हेड्स के अस्तित्व को देखते हुए जिन्हें रिजीम-स्तरीय औसत छिपा सकता है।

इसी तरह के और पेपर