📊 statistics

Sink vs. diagonal patterns as mechanisms for attention switch and oversmoothing prevention

यह शोध पत्र इस बात की जांच करता है कि सिंक्स (sinks) और डायगोनल पैटर्न (diagonal patterns) ट्रांसफॉर्मर्स में अटेंशन स्विचिंग और ओवरस्मूथिंग (oversmoothing) को रोकने के तंत्र के रूप में कैसे कार्य करते हैं, जो हार्ड अटेंशन स्विचों के उनके समकक्ष होने को सिद्ध करते हैं, उन स्थितियों को स्थापित करते हैं जहाँ डेंस अटेंशन (dense attention), स्पार्स अटेंशन (sparse attention) से बेहतर प्रदर्शन करता है, और यह प्रदर्शित करते हैं कि प्रीट्रेन्ड मॉडल्स में टोकन सेल्फ-कम्युनिकेशन के लिए डायगोनल पैटर्न की तुलना में सिंक्स को क्यों प्राथमिकता दी जाती है।

मूल लेखक: Peter Súkeník, Cristina López Amado, Christoph H. Lampert, Marco Mondelli

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peter Súkeník, Cristina López Amado, Christoph H. Lampert, Marco Mondelli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ट्रांसफार्मर मॉडल (जो आधुनिक AI के पीछे का मस्तिष्क है) की कल्पना एक विशाल, हलचल भरे शहर के चौक के रूप में करें जहाँ हजारों लोग ("टोकन्स") आपस में बातचीत करने की कोशिश कर रहे हैं। एक-दूसरे को समझने के लिए, वे एक तंत्र का उपयोग करते हैं जिसे सेल्फ-अटेंशन (Self-Attention) कहा जाता है, जो एक विशाल स्पॉटलाइट की तरह है। जब कोई व्यक्ति बोलता है, तो स्पॉटलाइट बाकी सभी लोगों पर चमकती है ताकि यह देखा जा सके कि उन्हें किसे सुनना चाहिए।

आमतौर पर, यह स्पॉटलाइट बहुत व्यस्त होती है, जो कई लोगों पर एक साथ चमकती है ताकि उनके विचारों को आपस में मिलाया जा सके। लेकिन इस शोध पत्र के लेखकों ने कुछ अजीब खोजा: इन AI "शहरों" के कई हिस्सों में, स्पॉटलाइट अक्सर बाकी सभी को अनदेखा कर देती है और बस एक विशिष्ट व्यक्ति (जिसे "सिंक" या "Sink" कहा जाता है) या केवल स्वयं बोलने वाले व्यक्ति (जिसे "डायगोनल" या "Diagonal" कहा जाता है) पर तीव्रता से चमकती है।

यहाँ इस शोध पत्र के निष्कर्षों का सरल उपमाओं के माध्यम से विवरण दिया गया है:

1. "सिंक" घटना: शहर का मेयर

कई AI मॉडलों में, एक विशिष्ट टोकन (अक्सर सबसे पहला वाला, जिसे "BOS" या "शुरुआत का टोकन" कहा जाता है) एक शहर के मेयर की तरह कार्य करता है।

क्या होता है: बातचीत सुनने के बजाय, चौक में मौजूद कई लोग बस मेयर को घूरते रहते हैं। वे अपने पड़ोसियों को अनदेखा कर देते हैं।
यह क्यों महत्वपूर्ण है: शोध पत्र यह सिद्ध करता है कि इस "मेयर को घूरने" वाली तकनीक को कुशलतापूर्वक करने के लिए, मेयर का "चेहरा" (एम्बेडिंग) अन्य सभी के चेहरों के साथ एक विशिष्ट तरीके से ज्यामितीय रूप से संरेखित (aligned) होना चाहिए। लेखकों ने वास्तविक AI मॉडलों (जैसे Llama और GPT) की जाँच की और पुष्टि की: हाँ, मेयर का चेहरा वास्तव में अन्य सभी के साथ संरेखित है, जिससे यह "घूरना" संभव हो पाता है।

2. "ओवरस्मूथिंग" (Oversmoothing) की समस्या: एक ब्लेंडिंग स्मूदी

यदि चौक में हर कोई एक-दूसरे को समान रूप से सुनता है (एक "डेंस" अटेंशन पैटर्न), तो उनकी अनूठी आवाजएं मिलकर एक उबाऊ, एक जैसी स्मूदी बन जाती हैं। AI के संदर्भ में, इसे ओवरस्मूथिंग कहा जाता है। टोकन्स अपनी विशिष्टता खो देते हैं और एक दूसरे से अलग पहचानना मुश्किल हो जाता है, जिससे AI मूर्ख बन जाता है।

पुराना सिद्धांत: लोगों का मानना था कि इस मिश्रण को रोकने का एकमात्र तरीका अधिकांश लोगों के लिए स्पॉटलाइट को बंद कर देना (स्पार्स अटेंशन) है।
नई खोज: लेखकों ने प्रयोग किए और पाया कि हालांकि AI सैद्धांतिक रूप से अन्य तरीकों (जैसे बातचीत को पूरी तरह से छोड़ देना) का उपयोग करके इस मिश्रण को रोक सकता है, लेकिन व्यावहारिक रूप से, ऐसा नहीं होता है। वास्तविक, प्रशिक्षित AI मॉडलों में, जब स्पॉटलाइट बहुत व्यस्त (डेंस) होती है, तो टोकन्स वास्तव में आपस में मिलने लगते हैं और अपनी पहचान खो देते हैं। इसलिए, चीजों को दिलचस्प बनाए रखने के लिए स्पॉटलाइट को बंद करना (एक "सिंक" का उपयोग करना) वास्तव में आवश्यक है।

3. "हार्ड स्विच" बनाम "सॉफ्ट स्विच"

शोध पत्र दो तरीकों के बीच अंतर करता है जिनसे AI बातचीत को "बंद" कर सकता है:

हार्ड स्विच (द सिंक): AI निर्णय लेता है, "मैं किसी से बात नहीं कर रहा हूँ; मैं बस मेयर को घूर रहा हूँ।" परिणाम यह है कि कोई नई जानकारी नहीं जोड़ी जाती।
सॉफ्ट स्विच (द डायगोनल): AI निर्णय लेता है, "मैं केवल खुद से बात कर रहा हूँ।" परिणाम यह है कि व्यक्ति अपनी आवाज़ को बनाए रखता है लेकिन दूसरों को नहीं सुनता।

लेखकों ने एक दिलचस्प ज्यामितीय तथ्य सिद्ध किया है: यदि AI को संचार को पूरी तरह से बंद करना है (हार्ड स्विच), तो उसे "सिंक" (मेयर को घूरना) का उपयोग करना ही होगा। वह किसी अन्य ज्यामितीय व्यवस्था द्वारा पूर्ण "शून्य आउटपुट" प्राप्त नहीं कर सकता। "सिंक" ही एकमात्र तरीका है जिससे "म्यूट" बटन को पूरी तरह से दबाया जा सकता है।

4. संचार की लागत: सिंक क्यों जीतता है?

शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: यदि AI के पास मेयर को घूरने (सिंक) या केवल खुद से बात करने (डायगोनल) के बीच चुनाव करने का विकल्प है, तो वह लगभग हमेशा मेयर को ही क्यों चुनता है?

इसे घर बनाने के उदाहरण से समझें:

डायगोनल पैटर्न (खुद से बात करना): यह सुनिश्चित करने के लिए कि हर कोई केवल खुद से बात करे, AI को हर एक व्यक्ति के लिए एक अद्वितीय, जटिल दरवाजा बनाना होगा। यह महंगा है और इसके लिए बहुत अधिक "ईंटों" (गणितीय मापदंडों) की आवश्यकता होती है।
सिंक पैटर्न (मेयर को घूरना): यह सुनिश्चित करने के लिए कि सभी मेयर को घूरें, AI को बस मेयर की ओर इशारा करने वाला एक विशाल, साझा संकेत लगाने की आवश्यकता है। यह एक लो-रैंक (low-rank) संरचना है, जिसका अर्थ है कि यह बहुत सरल और सस्ता है।

निष्कर्ष: लेखकों ने दोनों पैटर्न का "लागत" (गणितीय प्रयास) की गणना की। उन्होंने पाया कि सिंक लगभग हमेशा सस्ता होता है, विशेष रूप से जैसे-जैसे बातचीत लंबी होती जाती है। क्योंकि AI मॉडल कुशल होने के लिए प्रशिक्षित होते हैं, वे स्वाभाविक रूप से महंगे "डायगोनल" तरीके के बजाय सस्ते "सिंक" तरीके का उपयोग करने के लिए विकसित होते हैं।

सारांश

समस्या: AI मॉडल अपनी सभी अनूठी विचारों को एक उबाऊ, एक जैसी भीड़ में बदलने का जोखिम उठाते हैं (ओवरस्मूथिंग)।
समाधान: वे मिश्रण को रोकने के लिए "सिंक्स" (एक विशिष्ट टोकन को घूरना) या "डायगोनल्स" (बाकी सभी को अनदेखा करना) का उपयोग करते हैं।
खोज:
1. वास्तविक AI मॉडल ज्यामितीय रूप से इस तरह सेट हैं कि यह "घूरना" संभव हो सके।
2. वास्तविक मॉडलों में, डेंस अटेंशन वास्तव में मिश्रण का कारण बनता है, इसलिए ये "ऑफ" स्विच आवश्यक हैं।
3. संचार को पूरी तरह से चुप कराने के लिए, AI को "सिंक" का उपयोग करना ही होगा।
4. "सिंक" एक बजट-अनुकूल विकल्प है। डायगोनल पैटर्न की तुलना में सिंक को बनाना गणितीय रूप से कम खर्चीला है, इसीलिए हमें आधुनिक AI में हर जगह सिंक दिखाई देते हैं।

संक्षेप में, AI "सिंक" का उपयोग केवल एक विचित्रता के रूप में नहीं, बल्कि बातचीत को एक उबाऊ, एक जैसी धुंध में बदलने से रोकने के सबसे कुशल और गणितीय रूप से सस्ते तरीके के रूप में करता है।

तकनीकी सारांश: अटेंशन स्विच और ओवरस्मूथिंग (Oversmoothing) को रोकने के तंत्र के रूप में सिंक बनाम डायगोनल पैटर्न

समस्या विवरण (Problem Statement)

यह शोध पत्र अटेंशन सिंक (attention sinks) के सैद्धांतिक और ज्यामितीय समझ को संबोधित करता है—एक ऐसी घटना जहाँ विशिष्ट टोकन (अक्सर सीक्वेंस की शुरुआत के टोकन, या BOS) अन्य टोकनों से अत्यधिक अटेंशन मास प्राप्त करते हैं। जबकि प्री-ट्रेन्ड लार्ज लैंग्वेज मॉडल्स (LLMs) में विभिन्न मोडैलिटीज में अटेंशन सिंक अनुभवजन्य रूप से सर्वव्यापी हैं, उनका सटीक ज्यामितीय प्रतिनिधित्व, ओवरस्मूथिंग (टोकन रिप्रजेंटेशन का एक ही वेक्टर में अभिसरण) को रोकने के लिए उनकी आवश्यकता, और डायगोनल अटेंशन (सेल्फ-अटेंशन) जैसे वैकल्पिक तंत्रों के साथ उनके संबंध को अभी भी पूरी तरह से समझा नहीं गया है।

मौजूदा साहित्य विरोधाभासी या अपूर्ण स्पष्टीकरण प्रदान करता है: कुछ सुझाव देते हैं कि सिंक ओवरस्मूथिंग को रोकते हैं, जबकि अन्य इसे "एक्टिव-डॉर्मेंट" तंत्र (अटेंशन स्विच) से जोड़ते हैं। हालाँकि, पूर्ववर्ती कार्य अक्सर निम्नलिखित में विफल रहे हैं:

उन ज्यामितीय स्थितियों को निर्दिष्ट करना जिनके तहत सिंक को दर्शाया जा सकता है।
यह कठोरता से सिद्ध करना कि क्या सिंक "हार्ड अटेंशन स्विच" (जहाँ आउटपुट शून्य होता है) के लिए एकमात्र तंत्र है।
रिप्रेजेंटेशनल कॉस्ट (representational cost) के संदर्भ में सिंक और डायगोनल पैटर्न के बीच ट्रेड-ऑफ को मापना।
स्किप कनेक्शन, लेयर नॉर्मलाइजेशन और वैल्यू-आउटपुट ट्रांसफॉर्मेशन के संयुक्त प्रभावों को ध्यान में रखना।

कार्यप्रणाली (Methodology)

लेखक प्री-ट्रेन्ड ट्रांसफॉर्मर्स (GPT-2, LLaMA-3, Gemma, और Mistral सहित) पर ज्यामितीय विश्लेषण, सैद्धांतिक प्रमाणों और अनुभवजन्य सत्यापन के संयोजन का उपयोग करते हैं।

ज्यामितीय प्रतिनिधित्व विश्लेषण (Geometric Representation Analysis): शोध पत्र इस बात की आवश्यक और पर्याप्त स्थितियाँ व्युत्पन्न करता है कि एक समूह के टोकन विशेष रूप से एक सिंक टोकन पर कैसे ध्यान केंद्रित कर सकते हैं। इसमें क्वेरी-की स्पेस (query-key space) में एम्बेडिंग वेक्टर्स के संरेखण (alignment) का विश्लेषण शामिल है।
ओवरस्मूथिंग विश्लेषण (Oversmoothing Analysis): लेखक स्किप कनेक्शन और लेयर नॉर्मलाइजेशन के साथ एक सिंगल अटेंशन स्टेप को मॉडल करते हैं। वे अटेंशन डेंसिटी (जिसे $\lambda$ द्वारा पैरामीटराइज किया गया है, जो आइडेंटिटी और यूनिफॉर्म अटेंशन के बीच इंटरपोलेट करता है) के फलन (function) के रूप में टोकन रिप्रजेंटेशन की अपेक्षित पेयरवाइज कोसाइन सिमिलरिटी के लिए एक सैद्धांतिक सन्निकटन (approximation) व्युत्पन्न करते हैं। यह विश्लेषण वैल्यू-आउटपुट ट्रांसफॉर्मेशन मैट्रिक्स $W$ को शामिल करता है।
तुल्यता प्रमाण (Equivalence Proofs): शोध पत्र सिद्ध करता है कि सौम्य ज्यामितीय धारणाओं के तहत (विशेष रूप से इनपुट एम्बेडिंग्स के रैंक और उनके स्पैन के संबंध में), एक "हार्ड अटेंशन स्विच" (शून्य आउटपुट) गणितीय रूप से एक अटेंशन सिंक के समान है।
लागत तुलना (Cost Comparison): लेखक एक "सॉफ्ट अटेंशन स्विच" (जो डायगोनल पैटर्न की अनुमति देता है जहाँ टोकन स्वयं पर ध्यान केंद्रित करते हैं) पेश करते हैं और सिंक बनाम डायगोनल पैटर्न को दर्शाने के $\ell_2$ (फ्रोबेनियस) और न्यूक्लियर नॉर्म लागतों की तुलना करते हैं। वे विशिष्ट इनपुट-आउटपुट डिस्ट्रीब्यूशन, जिसमें एक सामान्यीकृत बिग्राम-बैककॉपी टास्क शामिल है, के तहत इन लागतों का विश्लेषण करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): सैद्धांतिक भविष्यवाणियों को कोसाइन सिमिलरिटी, अटेंशन यूनिफॉर्मिटी और रैंक डिस्ट्रीब्यूशन को मापकर कई मॉडल्स और डेटासेट्स (TinyStories, WikiText, CodeSearchNet, आदि) से प्राप्त अनुभवजन्य डेटा के विरुद्ध सत्यापित किया जाता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. सिंक प्रतिनिधित्व के लिए ज्यामितीय स्थितियाँ

शोध पत्र यह स्थापित करता है कि अटेंशन लेयर द्वारा सिंक को दर्शाने के लिए, कॉन्टेक्स्ट एम्बेडिंग्स को सिंक एम्बेडिंग के सापेक्ष एक विशिष्ट ज्यामितीय विन्यास में होना चाहिए। विशेष रूप से, वेक्टर्स का सेट $\{z_0 - z_i\}$ (जहाँ $z_0$ सिंक है और $z_i$ कॉन्टेक्स्ट टोकन हैं) और कॉन्टेक्स्ट एम्बेडिंग्स का सेट $\{z_j\}$ हाफ-स्पेस में होने चाहिए।

परिणाम: प्री-ट्रेन्ड मॉडल्स (GPT-2, Llama 3.1, Gemma) के अनुभवजन्य विश्लेषण से पुष्टि होती है कि मिडिल लेयर्स में, BOS और अन्य सभी टोकनों के बीच कोसाइन सिमिलरिटी नॉन-पॉजिटिव है, जो उस स्थिति को संतुष्ट करती है जो किसी भी अटेंशन हेड को सिंक पैटर्न उत्पन्न करने की अनुमति देती है।

2. ओवरस्मूथिंग और अटेंशन डेंसिटी

लेखक विश्लेषण करते हैं कि क्या ओवरस्मूथिंग को रोकने के लिए स्पार्स अटेंशन अनिवार्य रूप से आवश्यक है।

सिद्धांत: वे सिद्ध करते हैं कि स्किप कनेक्शन और वैल्यू-आउटपुट ट्रांसफॉर्मेशन ( $W$ ) सैद्धांतिक रूप से यूनिफॉर्म अटेंशन के मिक्सिंग प्रभाव का मुकाबला कर सकते हैं। हालाँकि, यह मैट्रिक्स प्रोडक्ट्स के ट्रेस ( $\beta \text{tr}(BW)$ ) से जुड़ी विशिष्ट स्थितियों पर निर्भर करता है।
अनुभवजन्य निष्कर्ष: व्यवहार में, ये प्रतिरोधी स्थितियाँ शायद ही कभी पूरी होती हैं। प्रशिक्षित LLMs के अधिकांश हेड्स में, अटेंशन डेंसिटी बढ़ाने (यूनिफॉर्म अटेंशन की ओर बढ़ने) से टोकन कोसाइन सिमिलरिटी में वृद्धि होती है (ओवरस्मूथिंग)। यह पुष्टि करता है कि वर्तमान मॉडल्स में ओवरस्मूथिंग को रोकने के लिए स्पार्स अटेंशन पैटर्न व्यावहारिक रूप से आवश्यक हैं।

3. सिंक और डायगोनल पैटर्न की तुल्यता

शोध पत्र हार्ड अटेंशन स्विच को एक ऐसे तंत्र के रूप में परिभाषित करता है जहाँ टोकन के एक हिस्से पर अटेंशन हेड का आउटपुट शून्य होता है।

प्रमेय: सौम्य ज्यामितीय धारणाओं के तहत (जो प्री-ट्रेन्ड LLMs में सत्यापित हैं), एक हेड एक हार्ड अटेंशन स्विच लागू करता है यदि और केवल यदि वह एक अटेंशन सिंक लागू करता है।
निहितार्थ: टोकन पिछले टोकन्स के कॉनवेक्स कॉम्बिनेशन (convex combination) पर ध्यान केंद्रित करके या शून्य वैल्यू के साथ स्वयं पर ध्यान केंद्रित करके शून्य आउटपुट प्राप्त नहीं कर सकते। एक हेड को "स्विच ऑफ" करने का एकमात्र ज्यामितीय रूप से व्यवहार्य समाधान BOS टोकन (सिंक) पर पूर्णतः ध्यान केंद्रित करना है।

4. सिंक बनाम डायगोनल पैटर्न (सॉफ्ट अटेंशन स्विच)

लेखक एक सॉफ्ट अटेंशन स्विच पेश करते हैं, जो इंटर-टोकन कम्युनिकेशन को रोकता है लेकिन टोकनों को स्वयं पर ध्यान केंद्रित करने (डायगोनल अटेंशन) की अनुमति देता है। यह बिना सिंक की आवश्यकता के ओवरस्मूथिंग को रोकता है।

लागत विश्लेषण: शोध पत्र डायगोनल पैटर्न के मुकाबले सिंक को दर्शाने की रिप्रेजेंटेशनल कॉस्ट ( $W_{QK}$ $W_{Q K}$ का न्यूक्लियर नॉर्म) का मात्रात्मक तुलनात्मक विश्लेषण प्रस्तुत करता है।
- सिंक कॉस्ट: $\kappa \sqrt{T}$ (लो-रैंक स्ट्रक्चर) के साथ स्केल करती है।
- डायगोनल कॉस्ट: $\kappa T$ (फुल-रैंक स्ट्रक्चर) के साथ स्केल करती है।
परिणाम: सिंक, व्यापक हाइपरपैरामीटर और कॉन्टेक्स्ट लेंथ के विस्तृत रेंज में डायगोनल पैटर्न की तुलना में स्पष्ट रूप से कम लागत वाले हैं।
ट्रेड-ऑफ: हालांकि डायगjonal अटेंशन विशिष्ट उच्च-आयामी, लो-रैंक परिदृश्यों में सस्ता हो सकता है, लेकिन सैद्धांतिक विश्लेषण और अनुभवजन्य साक्ष्य (चित्र 3) बताते हैं कि सामान्य बैककॉपी टास्क और जेनेरिक इनपुट-आउटपुट मैपिंग के लिए, सिंक कम पैरामीटर लागत वहन करते हैं। यह प्री-ट्रेन्ड ट्रांसफॉर्मर्स में डायगोनल पैटर्न के बजाय सिंक की व्यापकता को समझाता है।

महत्व और दावे (Significance and Claims)

शोध पत्र अटेंशन तंत्र के बारे में साहित्य के कई अंतराल को भरने का दावा करता है:

ज्यामितीय स्पष्टता: यह पहली बार कठोर ज्यामितीय स्थितियाँ प्रदान करता है जो बताती हैं कि ट्रांसफॉर्मर्स सिंक को कैसे और कब दर्शा सकते हैं।
सिंक की आवश्यकता: यह सिद्ध करता है कि सिंक केवल एक सामान्य आर्टिफैक्ट नहीं हैं, बल्कि सामान्य स्थितियों के तहत हार्ड अटेंशन स्विच को लागू करने के लिए सैद्धांतिक रूप से आवश्यक हैं।
ओवरस्मूथिंग तंत्र: यह स्पष्ट करता है कि जबकि आर्किटेक्चरल घटक घने (dense) अटेंशन के साथ सैद्धांतिक रूप से ओवरस्मूथिंग का मुकाबला कर सकते हैं, प्रशिक्षित मॉडल स्पार्स पैटर्न (सिंक) पर भरोसा करते हैं क्योंकि व्यावहारिक रूप से प्रति-तंत्र (counter-mechanisms) शायद ही कभी सक्रिय होते हैं।
लागत दक्षता: यह स्थापित करता है कि डायगोनल पैटर्न के ऊपर सिंक की व्यापकता रिप्रेजेंटेशनल एफिशिएंसी (प्रतिनिधित्व दक्षता) द्वारा संचालित है। सिंक, टोकन कम्युनिकेशन को स्विच ऑफ करने के लिए एक कम-लागत वाला समाधान प्रदान करते हैं, जो ओवरस्मूथिंग को रोकने और कॉपी-पेस्ट जैसे विशिष्ट कार्यों को सक्षम करने के लिए एक महत्वपूर्ण कार्य है।

लेखक निष्कर्ष निकालते हैं कि डायगोनल पैटर्न को एक सैद्धांतिक विकल्प के रूप में पेश करना और सिंक बनाम डायगोनल्स का लागत विश्लेषण, यह समझाने के लिए एक एकीकृत आधार प्रदान करता है कि क्यों प्री-ट्रेन्ड मॉडल्स के अटेंशन लेयर्स अक्सर MLPs की तरह कार्य करते हैं (जब संचार की आवश्यकता नहीं होती) और क्यों सिंक इस स्थिति को प्राप्त करने के लिए प्रमुख तंत्र हैं।