🤖 machine learning

Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads

यह शोध पत्र लॉजिट-कॉन्ट्रिब्यूशन स्कोरिंग (LOCOS) प्रस्तुत करता है, जो एक नवीन विधि है जो बड़े भाषा मॉडलों में गैर-शाब्दिक रिट्रीवल हेड्स (non-literal retrieval heads) की पहचान करने के लिए उनके आउटपुट-वैल्यू सर्किट के उत्तर टोकन में योगदान को मापती है, और यह प्रदर्शित करती है कि इन विशिष्ट हेड्स को एब्लेट (ablate) करने से अन्य क्षमताओं को सुरक्षित रखते हुए लॉन्ग-कॉन्टेक्स्ट सिंथेसिस प्रदर्शन में महत्वपूर्ण गिरावट आती है।

मूल लेखक: Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

प्रकाशित 2026-07-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े लैंग्वेज मॉडल (LLM) की कल्पना एक बेहद बुद्धिमान, काम के बोझ से दबे उस लाइब्रेरियन के रूप में करें जिसने पूरा इंटरनेट पढ़ लिया है। जब आप उससे कोई सवाल पूछते हैं, तो वह केवल वही तथ्य चिल्लाकर नहीं बताता जो उसने याद किया है; बल्कि वह जवाब पाने के लिए उस विशाल लाइब्रेरी (जिसे "कॉन्टेक्स्ट" कहा जाता है) को स्कैन करता है ताकि वह सही किताब या पन्ना ढूंढ सके जिसमें उत्तर मौजूद है।

लंबे समय तक, शोधकर्ताओं को लगा कि वे ठीक से जानते थे कि लाइब्रेरियन इन उत्तरों को कैसे ढूंढता है। उनका मानना था कि लाइब्रेरियन बस किताब के उन सटीक शब्दों की ओर उंगली दिखाता है जो उत्तर से मेल खाते हैं और उन्हें कॉपी कर लेता है। इसे लिटरल रिट्रीवल (Literal Retrieval) कहा जाता है।

हालाँकि, इस पेपर के लेखकों ने खोज निकाला कि लाइब्रेरियन वास्तव में बहुत अधिक स्मार्ट है। अक्सर, उत्तर किताब के शब्दों की सीधी नकल नहीं होता है। इसके बजाय, लाइब्रेरियन एक वाक्य को पढ़ता है, उसके अर्थ को समझता है, और फिर उस समझ के आधार पर एक नया उत्तर लिखता है। यह नॉन-लिटरल रिट्रीवल (Non-literal Retrieval) है।

समस्या: गलत जासूस (The Wrong Detective)

यह पेपर तर्क देता है कि यह पता लगाने के पुराने तरीके कि लाइब्रेरियन के दिमाग के किस हिस्से (जिसे "अटेंशन हेड" कहा जाता है) में काम हो रहा है, एक ऐसे जासूस की तरह थे जो केवल इस बात पर नज़र रखता है कि लाइब्रेरियन ने अपनी उंगली कहाँ लगाई है, लेकिन इस पर नहीं कि उसने क्या लिखा है।

पुराना तरीका (अटेंशन-आधारित): कल्पना कीजिए कि एक जासूस लाइब्रेरियन को देख रहा है। यदि लाइब्रेरियन "पेरिस में कौन रहता है?" के उत्तर के लिए "एफिल टॉवर" शब्दों की ओर इशारा करता है, तो जासूस कहता है, "बहुत बढ़िया! वह हेड अपना काम कर रहा है।"
हकीकत: कभी-कभी, लाइब्रेरियन "एफिल टॉवर" की ओर इशारा करता है लेकिन लिखता है "युकी" (क्योंकि टेक्स्ट में लिखा था कि युकी एफिल टॉवर के पास रहती है)। पुराना जासूस इस बात को मिस कर देता है क्योंकि उंगली दिखाना (अटेंशन) और लिखना (उत्तर) आपस में मेल नहीं खाते। पुराना तरीका सोचता है कि लाइब्रेरियन केवल कॉपी कर रहा है, समझ नहीं रहा है।

समाधान: LOCOS (द "राइट-अवेयर" डिटेक्टिव)

लेखक एक नया तरीका पेश करते हैं जिसे LOCOS (लॉगिट-कंट्रीब्यूशन स्कोरिंग) कहा जाता है। LOCOS को एक ऐसे जासूस के रूप में सोचें जो इशारा करने और लिखने—दोनों को देखता है।

LOCOS पूछता है: "क्या मस्तिष्क के इस विशिष्ट भाग ने वास्तव में सही उत्तर लिखने में मदद की?"

यह "आउटपुट-वैल्यू" (OV) सर्किट को देखता है। यह वह तंत्र है जो उस जानकारी को लेता है जिसे लाइब्रेरियन ने पढ़ा है और उसे अंतिम उत्तर में बदल देता है।
यदि कोई हेड "एफिल टॉवर" की ओर इशारा करता है लेकिन उसकी "लिखने वाली मशीन" (OV सर्किट) सफलतापूर्वक उत्तर पत्र पर "युकी" शब्द को धकेल देती है, तो LOCOS उस हेड को उच्च स्कोर देता है।
यदि कोई हेड "एफिल टॉवर" की ओर इशारा करता है लेकिन उसकी लिखने वाली मशीन एक रैंडम शब्द या कुछ भी नहीं लिखती है, तो LOCOS उसे अनदेखा कर देता है, भले ही इशारा करना कितना भी मजबूत क्यों न हो।

प्रयोग: "साइलेंस" टेस्ट

अपने सिद्धांत को साबित करने के लिए, शोधकर्ताओं ने कई अलग-अलग AI मॉडल्स (जैसे Qwen, Gemma, और OLMo) पर एक "साइलेंस टेस्ट" चलाया।

सेटअप: उन्होंने LOCOS द्वारा पहचाने गए शीर्ष 50 हेड्स को लिया और उन्हें "बंद" (एब्लेटेड) कर दिया।
परिणाम:
- जब उन्होंने LOCOS हेड्स को बंद किया, तो नॉन-लिटरल सवालों के जवाब देने की AI की क्षमता क्रैश हो गई। एक टेस्ट में, स्कोर 0.40 के स्वस्थ स्तर से गिरकर 0.00 (पूर्ण विफलता) पर आ गया।
- जब उन्होंने पुराने तरीकों द्वारा पहचाने गए हेड्स को बंद किया, तो AI अभी भी काफी हद तक अच्छा प्रदर्शन कर रहा था (लगने के करीब 0.29 स्कोर के साथ)।
- उपमा: यह कार चलाने की तरह है। यदि आप इंजन (LOCOS हेड्स) को हटा देते हैं, तो कार वहीं रुक जाती है। यदि आप साइड मिरर (पुराने तरीके के हेड्स) को हटा देते हैं, तो कार अभी भी चल सकती है, बस थोड़ी अजीब तरह से।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि LOCOS ने "रिट्रीवल हेड्स" के एक छिपे हुए समूह को खोज निकाला है जिसे पुराने तरीकों ने पूरी तरह से मिस कर दिया था। ये वे विशिष्ट भाग हैं जो टेक्स्ट से अर्थ को सिंथेसाइज (संश्लेषित) करने का भारी काम करते हैं, न कि केवल टेक्स्ट को कॉपी करने का।

विशिष्टता (Specificity): जब उन्होंने इन हेड्स को बंद किया, तो AI कॉन्टेक्स्ट वाले सवालों के जवाब देना बंद कर दिया, लेकिन वह गणित और सामान्य तथ्यों (जैसे "पेरिस फ्रांस में है") को याद रखने में सक्षम था। यह साबित करता है कि ये हेड्स विशेष रूप से टेक्स्ट से जानकारी रिट्रीव करने के लिए हैं, न कि सामान्य बुद्धिमत्ता के लिए।
"नॉन-लिटरल" गैप: पुराने तरीकों ने केवल उन हेड्स को पाया जो कॉपी-पेस्ट करते हैं। LOCOS ने उन हेड्स को खोजा जो टेक्स्ट के बारे में वास्तव में सोचते हैं ताकि एक नया उत्तर बनाया जा सके।

सारांश

संक्षेप में, यह पेपर कहता है: "हमने एक बेहतर तरीका खोज लिया है जिससे यह पता लगाया जा सके कि AI के वे कौन से हिस्से हैं जो वास्तव में एक लंबे टेक्स्ट से जानकारी को समझते हैं और उसे सिंथेसाइज करते हैं। पुराना तरीका केवल उन हिस्सों को देख पाता था जो कॉपी-पेस्ट करते हैं। इन नए 'स्मार्ट' हिस्सों को बंद करके, AI कॉन्टेक्स्ट के आधार पर सवाल पूछने की अपनी पूरी क्षमता खो देता है, जो यह साबित करता है कि ये हिस्से ही लॉन्ग-कॉन्टेक्स्ट अंडरस्टैंडिंग के असली इंजन हैं।"

तकनीकी सारांश: लॉजिट-कंट्रीब्यूशन स्कोरिंग (LOCOS) नॉन-लिटरल रिट्रीवल हेड्स की पहचान करता है

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर प्रासंगिक संदर्भ स्पैन (context span) के शाब्दिक अर्थ से उत्तर संश्लेषित (synthesize) करते हैं, न कि केवल टोकन को शाब्दिक रूप से कॉपी करके। जबकि मौजूदा मैकेनिस्टिक इंटरप्रिटेबिलिटी कार्यों ने "रिट्रीवल हेड्स" (retrieval heads) की पहचान की है जो संदर्भ एक्सेस के लिए जिम्मेदार हैं, वर्तमान डिटेक्शन विधियाँ मौलिक रूप से लिटरल रिट्रीवल (शाब्दिक पुनर्प्राप्ति) तक ही सीमित हैं।

मौजूदा डिटेक्टर (जैसे, Wu et al., 2025; Fu et al., 2025) अटेंशन-वेट ऑब्जर्वेबल्स (attention-weight observables) पर निर्भर करते हैं। वे उन हेड्स को पुरस्कृत करते हैं जहाँ अटेंडेड सोर्स टोकन, जनरेटेड आंसर टोकन से मेल खाता है। यह "टोकन-मैचिंग" मानदंड उन हेड्स की सफलतापूर्वक पहचान करता है जो जानकारी को कॉपी-पेस्ट (लिटरल रिट्रीवल) करते हैं, लेकिन नॉन-लिटरल रिट्रीवल करने वाले हेड्स का पता लगाने में विफल रहता है। नॉन-लिटरल परिदृश्यों में, एक मॉडल एक सोर्स फ्रेज (जैसे, "Eiffel Tower") पर ध्यान केंद्रित कर सकता है, लेकिन अपने आउटपुट-वैल्यू (OV) सर्किट के माध्यम से एक अलग उत्तर टोकन (जैसे, "Yuki") को संश्लेषित कर सकता है। अटेंशन-आधारित स्कोरिंग यह तो पकड़ लेती है कि हेड कहाँ पढ़ रहा है, लेकिन यह अनदेखा कर देती है कि वह क्या लिख रहा है, जिससे उस महत्वपूर्ण तंत्र की पहचान नहीं हो पाती जिसके द्वारा नॉन-लिटरल सिंथेसिस होता है।

2. कार्यप्रणाली: लॉजिट-कंट्रीब्यूशन स्कोरिंग (LOCOS)

लेखक लॉजिट-कंट्रीब्यूशन स्कोरिंग (LOCOS) पेश करते हैं, जो एक "राइट-अवेयर" (लिखने के प्रति सचेत) डिटेक्टर है। यह अटेंशन डिस्ट्रीब्यूशन के बजाय अंतिम उत्तर के लॉजिट में एक हेड के योगदान के आधार पर अटेंशन हेड्स का मूल्यांकन करता है।

मुख्य तंत्र

LOCOS एक अटेंशन हेड के संचालन को दो सर्किटों में विभाजित करता है:

QK सर्किट: यह निर्धारित करता है कि हेड कहाँ पढ़ता है (अटेंशन वेट्स $\alpha$ )।
OV सर्किट: यह निर्धारित करता है कि हेड रेसिडुअल स्ट्रीम में क्या लिखता है (आउटपुट प्रोजेक्शन $W_O v$ )।

यह विधि एक हेड $(l, h)$ को सही उत्तर टोकन के अनएम्बेडिंग दिशा ( $u_{y_t}$ ) पर उसके OV-सर्किट आउटपुट को प्रोजेक्ट करके स्कोर करती है।

तीन-चरणीय प्रक्रिया

पर-पोजीशन लॉजिट कंट्रीब्यूशन:
डिकोडिंग स्टेप $t$ के लिए जो टोकन $y_t$ जनरेट कर रहा है, हेड $(l, h)$ के माध्यम से सोर्स पोजीशन $j$ का योगदान इस प्रकार गणना किया जाता है:
$\phi^{(l,h)}_{t,j} = u_{y_t}^\top o^{(l,h)}_{t,j} = \alpha^{(l,h)}_{t,j} \cdot u_{y_t}^\top W^{(l,h)}_O v^{(l,h)}_{t,j}$
यह स्केलर $\phi$ पूर्ण पाइपलाइन को कैप्चर करता है: एक हेड का उच्च अटेंशन ( $\alpha$ ) हो सकता है, लेकिन यदि उसका OV आउटपुट उत्तर की दिशा के लंबवत (orthogonal) है, तो योगदान लगभग शून्य होगा। इसके विपरीत, एक मध्यम अटेंशन वाला हेड उच्च योगदान दे सकता है यदि उसका OV सर्किट अटेंडेड रिप्रेजेंटेशन को उत्तर-संरेखित वेक्टर में बदल देता है।
स्पेशियल कंट्रास्ट (स्थानिक विषमता):
रिट्रीवल-विशिष्ट संकेतों को अलग करने के लिए, LOCOS नीडल (needle) पोजीशंस (प्रासंगिक संदर्भ स्पैन $[s_\tau, e_\tau)$ ) के योगदान की तुलना ऑफ-नीडल (off-needle) पोजीशंस से करता है।
$\Phi^{(l,h),+}_t = \sum_{j \in \text{needle}} \phi^{(l,h)}_{t,j}$
$\Phi^{(l,h),-}_t = \frac{e_\tau - s_\tau}{N_t - (e_\tau - s_\tau)} \sum_{j \notin \text{needle}} \phi^{(l,h)}_{t,j}$
रीस्केलिंग फैक्टर यह सुनिश्चित करता है कि ऑफ-नीडल सम, लंबाई के आधार पर नीडल सम के तुलनीय हो। एक सिंगल स्टेप के लिए स्कोर इन दोनों का अंतर है: $\Phi^{(l,h),+}_t - \Phi^{(l,h),-}_t$ । यह स्थानिक कंट्रास्ट (एक ही स्टेप के भीतर नीडल बनाम ऑफ-नीडल) पिछले कार्यों में उपयोग किए गए टेम्पोरल कंट्रास्ट (उत्तर बनाम गैर-उत्तर स्टेप्स) का स्थान लेता है।
एकत्रीकरण (Aggregation):
अंतिम स्कोर $S_{l,h}$ , सभी डिकोडिंग स्टेप्स में इन स्थानिक कंट्रास्ट का माध्य है जहाँ मॉडल एक सही उत्तर जनरेट करता है, जिसे सभी सफल ट्रायल्स पर एग्रीगेट किया गया है। नकारात्मक स्कोर उन हेड्स को दर्शाते हैं जिनका उत्तर लॉजिट में योगदान मुख्य रूप से ऑफ-नीडल पोजीशंस से आता है।

3. प्रमुख योगदान

राइट-अवेयर डिटेक्शन: पेपर यह स्थापित करता है कि नॉन-लिटरल रिट्रीवल की पहचान करने के लिए OV सर्किट के आउटपुट को मापना आवश्यक है, न कि केवल अटेंशन वेट्स को।
LOCOS एल्गोरिदम: एक सिंगल-फॉरवर्ड-पास विधि जो हेड्स को उनके उत्तर लॉजिट के प्रोजेक्टेड योगदान द्वारा स्कोर करती है, और नीडल एवं ऑफ-नीडल स्रोतों के बीच कंट्रास्ट करती है।
कॉज़ल वैलिडेशन: मीन-एब्लेशन प्रयोगों के माध्यम से, लेखक दिखाते हैं कि LOCOS उन हेड्स की पहचान करता है जो नॉन-लिटरल रिट्रीवल के लिए कॉज़ली (कारणवश) महत्वपूर्ण हैं, जबकि अटेंशन-आधारित बेसलाइन ऐसा करने में विफल रहती हैं।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन मॉडल परिवारों: Qwen3 (8B, 14B, 32B), Gemma-3 (12B, 27B), और OLMo-3.1 (32B) पर NoLiMa बेंचमार्क (एक नॉन-लिटरल नीडल-इन-अ-हेस्टैक टास्क) पर किया गया।

एब्लेशन प्रदर्शन (NoLiMa)

सुपीरियर डिग्रेडेशन: टॉप- $k$ LOCOS हेड्स को मीन-एब्लेट करने से सभी अटेंशन-आधारित बेसलाइन्स (Wu/NIAH-scored, Wu/NoLiMa-scored, और रैंडम हेड्स) की तुलना में ROUGE-L में अधिक तीव्र गिरावट आती है।
Qwen3-8B केस स्टडी: टॉप 50 LOCOS हेड्स को एब्लेट करने से ROUGE-L 0.401 से गिरकर 0.000 हो जाता है। इसके विपरीत, सबसे मजबूत अटेंशन-आधारित बेसलाइन (Wu/NIAH) समान डेप्थ पर 0.292 का ROUGE-L बनाए रखती है।
विशिष्टता (Specificity): LOCOS हेड्स को एब्लेट करने से कॉन्टेक्स्टुअल रिट्रीवल गंभीर रूप से बाधित होता है, जबकि पैरामीट्रिक रिकॉल (जैसे, सिटी-कंट्री एसोसिएशन) और अरिथमेटिक रीजनिंग बरकरार रहती है। यह पुष्टि करता है कि पहचाने गए हेड्स रिट्रीवल-विशिष्ट हैं, न कि सामान्य रूप से मॉडल आउटपुट के लिए महत्वपूर्ण।

लिटरल बनाम नॉन-लिटरल विशिष्टता

टॉप- $k$ LOCOS हेड्स को एब्लेट करने से नॉन-लिटरल (NoLiMa) और लिटरल (NIAH) दोनों रिट्रीवल में गिरावट आती है।
हालांकि, NoLiMa पर गिरावट काफी अधिक तीव्र है। यह इंगित करता है कि हालांकि LOCOS दोनों व्यवस्थाओं के लिए प्रासंगिक हेड्स को कैप्चर करता है, यह उन हेड्स के विशिष्ट सेट की पहचान करता है जो नॉन-लिटरल सिंथेसिस के लिए जिम्मेदार हैं जिन्हें टोकन-मैचिंग डिटेक्टर मिस कर देते हैं।

डाउनस्ट्रीम ट्रांसफर

डाउनस्ट्रीम लॉन्ग-कॉन्टेक्स्ट बेंचमार्क्स (MuSique और BABILong) पर, टॉप-50 LOCOS हेड्स को एब्लेट करने से प्रदर्शन में काफी गिरावट आती है, विशेष रूप से Qwen3 फैमिली पर (उदाहरण के लिए, Qwen3-8B पर MuSique एक्यूरेसी 0.55 से गिरकर 0.08 हो जाती है)।
LOCOS बनाम अटेंशन-आधारित बेसलाइन्स की रैंकिंग बेंचमार्क के अनुसार बदलती रहती है, जो सुझाव देती है कि मल्टी-हॉप QA टास्क लिटरल और नॉन-लिटरल रिट्रीवल सर्किट दोनों को रिक्रूट करते हैं।

लेयर डिस्ट्रीब्यूशन

Qwen3 फैमिली और Gemma-3-27B के लिए LOCOS स्कोर लेट लेयर्स (बाद की परतों) में भारी रूप से केंद्रित हैं।
लेखक नोट करते हैं कि यह एकाग्रता "डायरेक्ट-पाथ धारणा" (डायरेक्ट आउटपुट के करीब वाले हेड्स का लॉजिट्स पर अधिक सीधा प्रभाव होता है) से प्रभावित हो सकती है, लेकिन कॉज़ल पैचिंग प्रयोगों से पता चलता है कि लेट-लेयर पैटर्न केवल एक आर्टिफैक्ट नहीं है।

5. महत्व और दावे

पेपर दावा करता है कि LOCOS नॉन-लिटरल रिट्रीवल हेड्स की पहली मैकेनिस्टिक पहचान प्रदान करता है।

पूर्व कार्य की सीमा: मौजूदा डिटेक्टर नॉन-लिटरल रिट्रीवल के प्रति "अंधे" हैं क्योंकि वे उन हेड्स को पुरस्कृत करते हैं जहाँ अटेंडेड टोकन जनरेटेड टोकन से मेल खाता है। यह उन हेड्स को मिस करता है जो एक सोर्स पर ध्यान केंद्रित करते हैं और एक अलग उत्तर को संश्लेषित करते हैं।
मैकेनिस्टिक अंतर्दृष्टि: उत्तर दिशा पर OV सर्किट के प्रोजेक्शन को मापकर, LOCOS उस "राइट" (लिखने के) ऑपरेशन को कैप्चर करता है जो सिंथेसिस के लिए आवश्यक है।
व्यावहारिक उपयोगिता: पहचाने गए हेड्स लॉन्ग-कॉन्टेक्स्ट रीजनिंग के लिए कॉज़ली महत्वपूर्ण हैं। इस खोज के कई निहितार्थ हैं:
- इंटरप्रिटेबिलिटी: यह अधिक सटीक मानचित्र प्रदान करता है कि LLMs कैसे कॉन्टेक्स्ट को एक्सेस और सिंथेसाइज करते हैं।
- दक्षता (Efficiency): केवल उन विशिष्ट हेड्स को सुरक्षित रखकर KV कैश कंप्रेशन को लक्षित करने में सक्षम बनाना जो रिट्रीवल के लिए जिम्मेदार हैं, बजाय एक समान या अटेंशन-आधारित ह्यूरिस्टिक्स के।
- हैलुसिनेशन मिटिगेशन: उन हेड्स की पहचान करने और हस्तक्षेप करने के लिए एक तंत्र प्रदान करना जो प्रासंगिक कॉन्टेक्स्ट को सही ढंग से रिट्रीव करने में विफल रहते हैं।

लेखक अपनी सामान्यीकरण क्षमता के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनके निष्कर्ष परीक्षण की गई आर्किटेक्चर (स्टैंडर्ड डिकोडर-ओनली ट्रांसफॉर्मर) और NoLiMa बेंचमार्क के लिए विशिष्ट हैं। वे यह दावा नहीं करते कि LOCOS सभी रिट्रीवल मैकेनिज्म की पहचान करता है, बल्कि यह कि यह सफलतापूर्वक उस सबसेट को अलग करता है जिसे टोकन-मैचिंग मानदंड मिस कर देते हैं।