💻 computer science

SinkTrack: Attention Sink based Context Anchoring for Large Language Models

SinkTrack एक प्रशिक्षण-मुक्त (training-free), प्लग-एंड-प्ले विधि है जो जनरेशन प्रक्रिया के दौरान मॉडल के फोकस को प्रारंभिक इनपुट संदर्भ पर स्थिर करने के लिए अंतर्निहित "अटेंशन सिंक" (attention sink) घटना का लाभ उठाकर लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucination) और संदर्भ विस्मृति (context forgetting) को कम करती है।

मूल लेखक: Xu Liu, Guikun Chen, Wenguan Wang

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xu Liu, Guikun Chen, Wenguan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक दोस्त को एक लंबी, जटिल कहानी सुनाने की कोशिश कर रहे हैं। आप शुरुआत करते हैं, "एक समय की बात है, एक ऐसे गाँव में जहाँ 68 सेब और 74 संतरे थे..." लेकिन जैसे-जैसे आप बोलते जाते हैं, आपका दोस्त विचलित होने लगता है। जब तक आप कहानी के अंत तक पहुँचते हैं, वह सेब और संतरों के बारे में पूरी तरह भूल चुका होता है। इसके बजाय, वह ऐसी बातें बनाने लगता है जो कभी हुई ही नहीं थीं, जैसे कि वह "उड़ने वाले हाथियों" के बारे में कहने लगे क्योंकि वह अपने ही विचारों में खोया हुआ है।

यह बिल्कुल वही है जो लार्ज लैंग्वेज मॉडल्स (LLMs) के अंदर होता है, जैसे कि चैटबॉट्स को चलाने वाले मॉडल। वे दो मुख्य समस्याओं से जूझते हैं:

हैलुसिनेशन (Hallucination): वे ऐसे तथ्य बना लेते हैं जो सच नहीं होते।
कॉन्टेक्स्ट भूलना (Context Forgetting): वे उस निर्देश या तथ्य को ट्रैक करना खो देते हैं जो आपने बातचीत की शुरुआत में दिए थे।

यह पेपर एक चतुर समाधान पेश करता है जिसे SINKTRACK कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है।

समस्या: "भटका हुआ ध्यान" (The "Drifting Gaze")

जब एक LLM एक लंबे टेक्स्ट को पढ़ता है, तो वह एक-एक करके शब्दों पर ध्यान देता है। हालाँकि, इसमें एक बुरी आदत होती है जिसे "अटेंशन ड्रिफ्ट" (Attention Drift) कहते हैं।

उपमा: कल्पना कीजिए कि आप एक किताब पढ़ रहे हैं, लेकिन आपकी आँखें पन्ने के नए शब्दों की ओर खिसकती जा रही हैं, जिससे आप शुरुआत को अनदेखा कर रहे हैं। जैसे-जैसे कहानी लंबी होती जाती है, आप पहले वाक्य को पूरी तरह भूल जाते हैं। मॉडल आपके मूल निर्देशों या आपके द्वारा अपलोड की गई इमेज को भूल जाता है।

गुप्त हथियार: "चुंबकीय लंगर" (The "Magnetic Anchor")

आश्चर्यजनक रूप से, शोधकर्ताओं ने देखा कि ये मॉडल कैसे काम करते हैं, इसके बारे में कुछ अजीब बात है। भले ही वे कहानी का बीच का हिस्सा भूल जाते हैं, वे टेक्स्ट के सबसे पहले सिंबल (जिसे <BOS> टोकन कहा जाता है, जो "यहाँ से शुरू करें" के साइन जैसा है) को देखना कभी नहीं छोड़ते।

उपमा: <BOS> टोकन को एक नाव के शुरू में डाले गए भारी लंगर (anchor) के रूप में सोचें। भले ही नाव (बातचीत) बहुत दूर बह जाए, लंगर नीचे स्थिर रहता है। मॉडल का ध्यान स्वाभाविक रूप से इस लंगर की ओर "खिंचा" जाता है, जो इसे स्थिर रखता है।

समाधान: SINKTRACK (द "सुपर-एंकर")

समस्या यह है कि यह लंगर आमतौर पर खाली होता है। यह सिर्फ एक "यहाँ से शुरू करें" का साइन है जिसमें कोई जानकारी नहीं है। SINKTRACK इस खेल को बदलकर इस खाली लंगर को एक सुपर-एंकर (Super-Anchor) में बदल देता है।

यहाँ चरण-दर-चरण प्रक्रिया दी गई है:

"हार्ड" गलती: सबसे पहले, शोधकर्ताओं ने लंगर को महत्वपूर्ण जानकारी (जैसे इमेज या गणित की समस्या) से सीधे बदलने की कोशिश की।
- परिणाम: नाव पलट गई। मॉडल क्रैश हो गया क्योंकि वह अचानक आए बदलाव को संभाल नहीं पाया। यह वैसा ही था जैसे कार 100 की रफ्तार से चलते समय उसका इंजन बदलने की कोशिश करना।
"सॉफ्ट" गलती: इसके बाद, उन्होंने जानकारी को धीरे से मिक्स करने की कोशिश की।
- परिणाम: यह थोड़ा काम कर गया, लेकिन यह एक पूरी लाइब्रेरी को केवल एक धुंधले सारांश को पढ़कर याद रखने की कोशिश करने जैसा था। यह पर्याप्त सटीक नहीं था, और उन्हें यह तय करने के लिए मैन्युअल रूप से ट्यून करना पड़ता था कि कितनी जानकारी जोड़नी है (जैसे कि एक डायल घुमाना), जो कि कष्टदायक है और अक्सर गलत भी होता है।
"SINKTRACK" फिक्स (विजेता): उन्होंने एक डुअल-ट्रैक सिस्टम (dual-track system) बनाया।
- ट्रैक 1 (स्मार्ट क्वेरी): उन्होंने "यहाँ से शुरू करें" वाले लंगर को एक विशेष क्षमता दी। केवल जानकारी रखने के बजाय, अब यह लंगर एक स्मार्ट लाइब्रेरियन की तरह काम करता है। जैसे-जैसे कहानी आगे बढ़ती है, लंगर सक्रिय रूप से बाकी कॉन्टेक्स्ट से "पूछ" सकता है, "हे, उस 68 सेबों वाले विवरण के बारे में क्या था?" और उस विशिष्ट जानकारी को वापस सामने खींच सकता है।
- ट्रैक 2 (सामान्य प्रवाह): बाकी की बातचीत ठीक वैसे ही चलती रहती है जैसे मॉडल को प्रशिक्षित किया गया था, बिना किसी हस्तक्षेप के।

यह एक बड़ी बात क्यों है?

कोई ट्रेनिंग की आवश्यकता नहीं: आपको मॉडल को फिर से सिखाने (जो महंगा और जोखिम भरा है) की जरूरत नहीं है। आप बस इस तरीके को एक नए लेंस की तरह प्लग-इन कर सकते हैं।
सुपर फास्ट: यह केवल शुरुआत में एक बार होता है। बाकी की बातचीत पहले जितनी ही तेज़ होती है।
हर जगह काम करता है: यह टेक्स्ट, गणित और यहाँ तक कि इमेज को देखते समय भी हैलुसिनेशन को ठीक करता है।

वास्तविक दुनिया का परिणाम

परीक्षणों में, SINKTRACK ने मेमोरी ग्लू (memory glue) की तरह काम किया।

जब संख्याओं की एक लंबी सूची वाली गणित की समस्या हल करने के लिए कहा गया, तो मॉडल पहली संख्या को नहीं भूला।
जब एक तस्वीर का वर्णन करने के लिए कहा गया, तो इसने वहां मौजूद बसों और पेड़ों पर टिके रहने के बजाय "उड़ने वाले हाथियों" का आविष्कार नहीं किया।
लंबी बातचीत में, इसने मूल निर्देशों को याद रखा, जबकि अन्य तरीके भटक जाते और रैंडम जवाब देते।

संक्षेप में: SINKTRACK उस एक चीज़ का उपयोग करता है जिसे AI स्वाभाविक रूप से याद रखता है (सबसे पहला टोकन) और उसे मूल कॉन्टेक्स्ट के लिए एक "GPS ट्रैकर" के साथ लोड करता है। यह AI को कल्पना की दुनिया में भटकने से रोकता है, यह सुनिश्चित करता है कि वह आपके द्वारा दिए गए तथ्यों पर टिका रहे।

यहाँ शोध पत्र "SINKTRACK: ATTENTION SINK BASED CONTEXT ANCHORING FOR LARGE LANGUAGE MODELS" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) और मल्टी-मोडल LLMs (MLLMs) दो महत्वपूर्ण, लंबे समय से चली आ रही चुनौतियों का सामना कर रहे हैं जो उनके महत्वपूर्ण अनुप्रयोगों में तैनाती में बाधा डालती हैं:

भ्रम (Hallucination): प्रदान किए गए इनपुट के साथ तथ्यात्मक रूप से असंगत सामग्री का निर्माण करना (जैसे, किसी छवि में उन वस्तुओं का वर्णन करना जो मौजूद ही नहीं हैं)।
संदर्भ विस्मृति (Context Forgetting): लंबी-फॉर्म जनरेशन या बहु-चरणीय तर्क कार्यों के दौरान प्रारंभिक निर्देशों या महत्वपूर्ण संदर्भ का खो जाना।

मूल कारण (Root Cause): लेखक अटेंशन ड्रिफ्ट (Attention Drift) को प्राथमिक कारण के रूप में पहचानते हैं। जैसे-जैसे एक LLM एक अनुक्रम (sequence) उत्पन्न करता है, उसका अटेंशन मैकेनिज्म धीरे-धीरे नए उत्पन्न टोकन की ओर ध्यान केंद्रित करने लगता है, जिससे प्रारंभिक टोकनों (जो महत्वपूर्ण निर्देशों या छवि विशेषताओं को समाहित करते हैं) पर अटेंशन वेट्स नाटकीय रूप से कम हो जाते हैं।

मुख्य अवलोकन (Key Observation): जबकि अधिकांश प्रारंभिक टोकनों पर अटेंशन कम हो जाता है, अनुक्रम का सबसे पहला टोकन ( $\langle BOS \rangle$ ) एक अंतर्निहित, स्थिर घटना प्रदर्शित करता है जिसे अटेंशन सिंक (Attention Sink) कहा जाता है। अर्थपूर्ण रूप से विरल (sparse) होने के बावजूद, $\langle BOS \rangle$ पूरी जनरेशन प्रक्रिया के दौरान निरंतर उच्च स्तर का अटेंशन बनाए रखता है।

2. कार्यप्रणाली: SINKTRACK

इस शोध का मुख्य विचार निष्क्रिय "अटेंशन सिंक" ( $\langle BOS \rangle$ ) को अटेंशन ड्रिफ्ट का मुकाबला करने के लिए एक सक्रिय सूचना एंकर (active information anchor) में बदलना है। लेखक SINKTRACK का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, प्लग-एंड-प्ले विधि है जो $\langle BOS \rangle$ के प्रतिनिधित्व में सीधे प्रमुख प्रासंगिक विशेषताओं (छवियों या निर्देशों से) को इंजेक्ट करती है।

SINKTRACK के विकास में इंजेक्शन रणनीतियों का एक पुनरावृत्त (iterative) अन्वेषण शामिल था:

हार्ड इंजेक्शन (प्रत्यक्ष प्रतिस्थापन - Direct Replacement):
- दृष्टिकोण: KV कैश में $\langle BOS \rangle$ के वैल्यू वेक्टर (Value vector) को एक मीन-पूलिंग सूचना वेक्टर द्वारा सीधे बदलना।
- परिणाम: विफलता। इसके कारण मॉडल का पूर्ण पतन (complete collapse) हुआ, जो दर्शाता है कि LLMs आंतरिक कम्प्यूटेशनल पथों के अचानक ओवरराइट होने के प्रति संवेदनशील होते हैं।
सॉफ्ट इंजेक्शन (स्थिर फ्यूजन - Static Fusion):
- दृष्टिकोण: एक भारित योग (weighted sum: $\alpha \cdot H_{BOS} + (1-\alpha) \cdot f_{info}$ ) के माध्यम से मूल $\langle BOS \rangle$ हिडन स्टेट को मीन-पूल किए गए सूचना वेक्टर के साथ मिलाना।
- परिणाम: प्रदर्शन में सुधार हुआ लेकिन यह मैनुअल हाइपरपैरामीटर ट्यूनिंग (इंजेक्शन स्ट्रेंथ $\alpha$ ) की आवश्यकता और सैलियंट (salient) जानकारी को अनुकूल रूप से चुनने में असमर्थता (जो अक्सर शोर/noise पैदा करती है) द्वारा सीमित था।
SINKTRACK (डुअल-ट्रैक क्रॉस-अटेंशन - Dual-Track Cross-Attention):
- मुख्य तंत्र: एक डुअल-ट्रैक अटेंशन डिज़ाइन जो $\langle BOS \rangle$ के प्रसंस्करण को बाद के टोकनों से अलग करता है और मूल कम्प्यूटेशनल प्रवाह को सुरक्षित रखता है।
- ट्रैक 1 (अनुकूली इंजेक्शन - Adaptive Injection): विशेष रूप से $\langle BOS \rangle$ $⟨ B O S ⟩$ के लिए क्रॉस-अटेंशन (Cross-Attention) का उपयोग करता है। $\langle BOS \rangle$ $⟨ B O S ⟩$ का हिडन स्टेट 'क्वेरी' ( $Q$ $Q$ ) के रूप में कार्य करता है, जबकि बाहरी प्रासंगिक विशेषताएँ (Key $K$ $K$ और Value $V$ $V$ ) स्रोत के रूप में कार्य करती हैं। यह $\langle BOS \rangle$ $⟨ B O S ⟩$ को मैनुअल ट्यूनिंग के बिना संदर्भ से प्रासंगिक जानकारी को अनुकूल रूप से क्वेरी करने और प्राप्त करने की अनुमति देता है।
  - अनुकूलन (Optimization): लंबे संदर्भों में सूचना की हानि को रोकने के लिए, लेखकों ने पिछले संस्करणों में उपयोग किए गए मीन-पूलिंग चरण को हटा दिया। इसके बजाय, वे प्रासंगिक विशेषताओं के अनकंप्रेस्ड सीक्वेंस (uncompressed sequence) का उपयोग करते हैं, क्योंकि क्रॉस-अटेंशन सीक्वेंस लेंथ अलाइनमेंट की आवश्यकता नहीं रखता है।
- ट्रैक 2 (नेटिव प्रिजर्वेशन - Native Preservation): अन्य सभी टोकन (रेगुलर टोकन) मानक कॉज़ल सेल्फ-अटेंशन (causal self-attention) करते हैं, जो मूल, अपरिवर्तित इनपुट अनुक्रम पर ध्यान केंद्रित करते हैं।
- अनुक्रम पुनर्संयोजन (Sequence Reassembly): अंतिम आउटपुट ट्रैक 2 से रेगुलर टोकन के प्रतिनिधित्व को ट्रैक 1 से अपडेट किए गए $\langle BOS \rangle$ के साथ जोड़ता (concatenate) है।

प्रमुख विशेषताएँ:

ट्रेनिंग-फ्री (Training-Free): किसी फाइन-ट्यूनिंग की आवश्यकता नहीं है; इसे इन्फरेंस के समय लागू किया जाता है।
कुशल (Efficient): इंजेक्शन एक वन-ऑफ ऑपरेशन है जो जनरेशन शुरू होने से पहले किया जाता है। परिणामी एंकर को KV कैश में संग्रहीत किया जाता है, जिससे बाद के ऑटो-रिग्रेसिव चरणों में नगण्य ओवरहेड जुड़ता है।
सामान्यीकरण योग्य (Generalizable): विभिन्न आर्किटेक्चर और स्केल के टेक्स्ट और मल्टी-मोडल मॉडल्स के लिए लागू।

3. मुख्य योगदान (Key Contributions)

नवीन तंत्र: "अटेंशन ड्रिफ्ट" और "अटेंशन सिंक" के बीच तालमेल का लाभ उठाने वाला पहला कार्य, जो सिंक को एक सक्रिय संदर्भ एंकर के रूप में पुन: उपयोग करता है।
डुअल-ट्रैक आर्किटेक्चर: एक मजबूत डिज़ाइन जो क्रॉस-अटेंशन के माध्यम से सूचना को अनुकूल रूप से इंजेक्ट करता है और साथ ही मॉडल के नेटिव कम्प्यूटेशनल प्रवाह को सख्ती से सुरक्षित रखता है, जिससे हार्ड इंजेक्शन की अस्थिरता से बचा जा सके।
सूचना प्रवाह विश्लेषण: सैद्धांतिक और अनुभवजन्य विश्लेषण दिखाता है कि SINKTRACK सफलतापूर्वक $\langle BOS \rangle$ में संदर्भ को एनकोड करता है (वैल्यू वेक्टर्स के L1 Norm को बढ़ाकर) और उत्पन्न टोकनों से एंकर तक एक निरंतर अटेंशन ब्रिज बनाए रखता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: बिना किसी कम्प्यूटेशनल लागत के डायरेक्ट प्रॉम्पटिंग और चेन-ऑफ-थॉट (CoT) रीजनिंग पर महत्वपूर्ण सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन 3B से 12B पैरामीटर्स वाले मॉडल्स (जैसे Llama3.1, Qwen2.5, Gemma3, MiniCPM3) का उपयोग करके विविध बेंचमार्क पर किया गया।

मल्टी-मोडल कार्य:
- M3CoT (जटिल तर्क): SINKTRACK ने CoT की तुलना में Qwen2.5-VL-7B की सटीकता में +22.8% का सुधार किया।
- POPE (भ्रम का पता लगाना): सटीकता (Accuracy) और मैक्रो-F1 दोनों में बेसलाइन्स से लगातार बेहतर प्रदर्शन किया, जिससे ऑब्जेक्ट हैलुसिनेशन प्रभावी रूप से कम हुआ।
- RealWorldQA और MMStar: मजबूती और क्षमता मूल्यांकन में महत्वपूर्ण लाभ।
टेक्स्ट-आधारित कार्य:
- QuAC (लॉन्ग-कॉन्टेक्स्ट QA): SINKTRACK ने संदर्भ विस्मृति को प्रभावी ढंग से कम किया। सबसे लंबे संदर्भ सेटिंग (7,354 टोकन) पर, Llama3.1-8B ने CoT की तुलना में 7.1% सटीकता वृद्धि हासिल की।
- SQuAD2.0 (रीडिंग कॉम्प्रिहेन्शन): Llama3.1-8B की सटीकता में +21.6% का सुधार हुआ, जो संदर्भ के प्रति बेहतर पालन और अनुत्तरित प्रश्नों पर उत्तर देने से बचने की क्षमता को दर्शाता है।
गुणात्मक विश्लेषण (Qualitative Analysis):
- SICKTRACK ने CoT की तुलना में अधिक तार्किक रूप से सुसंगत और विस्तृत रीजनिंग चेन्स (reasoning chains) उत्पन्न कीं, जहाँ CoT अक्सर विफलता के मामलों में आत्म-विरोधाभास या "अस्पष्ट सामान्यीकरण" से ग्रस्त रहता है।

5. महत्व (Significance)

महत्वपूर्ण सीमाओं का समाधान: सीधे तौर पर भ्रम (hallucination) और संदर्भ विस्मृति (context forgetting) को संबोधित करता है, जो वास्तविक दुनिया के अनुप्रयोगों में LLM विश्वसनीयता के दो बड़े अवरोध हैं।
दक्षता: उन तरीकों के विपरीत जिनमें निरंतर हस्तक्षेप या भारी फाइन-ट्यूनिंग की आवश्यकता होती है, SINKTRACK एक हल्का, "प्लग-एंड-प्ले" समाधान प्रदान करता है जिसमें नगण्य इन्फरेंस लेटेंसी होती है।
सामान्यीकरण: यह दृष्टिकोण ट्रांसफार्मर आर्किटेक्चर के अंतर्निहित गुणों (अटेंशन सिंक) पर निर्भर करता है, जिससे यह विभिन्न मॉडल आकार, आर्किटेक्चर और मोडलिटी (टेक्स्ट और विजन) के लिए लागू करने योग्य बनता है।
सैद्धांतिक अंतर्दृष्टि: LLMs में सूचना प्रवाह को प्रबंधित करने के लिए एक नया दृष्टिकोण प्रदान करता है, जो यह सुझाव देता है कि अनुक्रम की शुरुआत की ओर अटेंशन को जबरन वापस लाने के बजाय "एंकर" टोकन को स्थिर करना अधिक प्रभावी है।

निष्कर्षतः, SINKTRACK अटेंशन सिंक (एक संरचनात्मक विशेषता) को संदर्भ प्रतिधारण (context retention) के लिए एक शक्तिशाली, अनुकूलन योग्य फीचर में बदलकर, लॉन्ग-कॉन्टेक्स्ट और जटिल तर्क कार्यों के लिए LLMs को अधिक विश्वसनीय बनाने की दिशा में एक महत्वपूर्ण कदम है।