📊 statistics

Sequential Correlations Change In-Context Learning: Effective Context Length and Architectural Mismatch

यह शोधपत्र इन-कॉन्टेक्स्ट लर्निंग थ्योरी को अनुक्रमिक रूप से सह-संबंधित डेटा (sequentially correlated data) तक विस्तारित करता है, जो यह प्रकट करता है कि ऐसे सहसंबंध प्रभावी कॉन्टेक्स्ट लंबाई को कम कर देते हैं जब क्वेरी स्वतंत्र होती हैं, लेकिन टेस्ट एरर में सुधार करते हैं जब क्वेरी भी सह-संबंधित होती हैं, जिससे लीनियर और सॉफ्टमैक्स अटेंशन आर्किटेक्चर के बीच इष्टतम चयन प्रभावित होता है।

मूल लेखक: Mary Letey, Yue M. Lu, Cengiz Pehlevan, Jacob Zavatone-Veth

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mary Letey, Yue M. Lu, Cengiz Pehlevan, Jacob Zavatone-Veth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को गणित की समस्या हल करना सिखाने की कोशिश कर रहे हैं। आप उन्हें एक "चीट शीट" (प्रॉम्प्ट) देते हैं जिसमें समान समस्याओं के कुछ उदाहरण और उनके समाधान दिए गए हैं, और फिर आप उनसे एक नई, अंतिम समस्या हल करने के लिए कहते हैं (क्वेरी)। आधुनिक AI मॉडल इसी तरह से इन-कॉन्टेक्स्ट लर्निंग (ICL) करते हैं: वे आपके द्वारा दिए गए उदाहरणों से तुरंत सीखते हैं, बिना अपने मस्तिष्क को पुन: प्रशिक्षित (retrain) किए।

यह शोध पत्र जांच करता है कि क्या होता है जब उस चीट शीट पर दिए गए उदाहरण यादृच्छिक (random) नहीं होते, बल्कि एक-दूसरे से जुड़े हुए होते हैं, जैसे कि कोई कहानी या घटनाओं का क्रम।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "दोहराव वाली कहानी" की समस्या (Context Correlations)

सेटअप: कल्पना कीजिए कि आपकी चीट शीट में 10 उदाहरण हैं।

परिदृश्य A (स्वतंत्र): प्रत्येक उदाहरण पूरी तरह से अलग, असंबंधित गणित की समस्या है।
परिदृश्य B (सहसंबंधित/Correlated): सभी उदाहरण एक ही समस्या के विभिन्न रूप हैं, जो बस थोड़े से बदले हुए हैं। वे एक-दूसरे के बहुत समान हैं।

निष्कर्ष: शोध पत्र कहता है कि यदि आपके उदाहरण बहुत अधिक समान (सहसंबंधित) हैं, तो AI ऐसा व्यवहार करता है जैसे उसके पास वास्तव में उपलब्ध चीट शीट से छोटी चीट शीट है।

उपमा: यदि आप एक ही पैराग्राफ के 10 पन्ने पढ़कर भाषा सीखने की कोशिश करते हैं, तो आपने 10 पन्नों की सामग्री नहीं सीखी है; आपने केवल 1 पन्ना सीखा है, जिसे 10 बार दोहराया गया है।
परिणाम: AI का प्रदर्शन गिर जाता है क्योंकि वह जानकारी की "प्रभावी" मात्रा कम हो जाती है जिसे वह उपयोग कर सकता है। शोध पत्र में दी गई गणित एक सूत्र प्रदान करती है कि उदाहरण कितने दोहराव वाले हैं, इसके आधार पर चीट शीट वास्तव में कितनी "छोटी" महसूस होती है।

2. "सुराग" की समस्या (Query Correlations)

सेटअप: अब, कल्पना कीजिए कि अंतिम समस्या जिसे आप AI को हल करने के लिए देते हैं (क्वेरी), वह चीट शीट पर दिए गए उदाहरणों से भी संबंधित है।

परिदृश्य A: अंतिम समस्या पूरी तरह से यादृच्छिक और उदाहरणों से असंबंधित है।
परिदृश्य B: अंतिम समस्या उदाहरणों का एक तार्किक विस्तार है (जैसे, यदि उदाहरण एक कहानी हैं, तो क्वेरी अगली पंक्ति है)।

निष्कर्ष: जब अंतिम समस्या उदाहरणों से जुड़ी होती है, तो AI इसे हल करने में बेहतर हो जाता है।

उपमा: यदि आप एक रहस्यमयी उपन्यास के अंत का अनुमान लगा रहे हैं, और सुराग (उदाहरण) अंत (क्वेरी) से मजबूती से जुड़े हुए हैं, तो आप इसे बहुत आसानी से हल कर सकते हैं तुलना में जब सुराग यादृच्छिक हों। AI इन कनेक्शनों को "अतिरिक्त सुरागों" के रूप में उपयोग करता है ताकि एक स्मार्ट अनुमान लगाया जा सके।

3. "टूल मिसमैच" (आर्किटेक्चर अंतर)

शोध पत्र ने यह देखने के लिए दो अलग-अलग प्रकार के AI "मस्तिष्क" (आर्किटेक्चर) का परीक्षण किया कि वे इन जुड़े हुए उदाहरणों को कैसे संभालते हैं:

लीनियर अटेंशन (Linear Attention): सूचना को प्रोसेस करने का एक सरल, अधिक कठोर तरीका।
सॉफ्टमैक्स अटेंशन (Softmax Attention): अधिक जटिल, लचीला तरीका जिसका उपयोग अधिकांश आधुनिक बड़े भाषा मॉडल (जैसे कि आप जिससे अभी बात कर रहे हैं) में किया जाता है।

निष्कर्ष:

जब उदाहरण केवल दोहराव वाले होते हैं (परिदृश्य 1), तो दोनों प्रकार के मस्तिष्क समान रूप से संघर्ष करते हैं क्योंकि दोनों को जानकारी से "वंचित" (short-changed) किया जाता है।
हालाँकि, जब अंतिम समस्या उदाहरणों से जुड़ी होती है (परिदृश्य 2), तो सॉफ्टमैक्स मस्तिष्क चमकता है। यह उदाहरणों और अंतिम प्रश्न के बीच सूक्ष्म संबंधों को पहचानने में बहुत बेहतर है। लीनियर मस्तिष्क इन अतिरिक्त सुरागों का उपयोग करने में कम प्रभावी है।
रूपक (Metaphor): एक कठोर कैलकुलेटर (Linear) बनाम एक लचीले जासूस (Softmax) की कल्पना करें। यदि सुराग केवल संख्याओं की एक सूची हैं, तो कैलकुलेटर ठीक है। लेकिन यदि सुराग किसी समाधान की ओर ले जाने वाली एक जटिल कहानी है, तो जासूस (Softmax) कहीं अधिक श्रेष्ठ है क्योंकि वह कहानी के विभिन्न हिस्सों के महत्व को तौल सकता है, जबकि कैलकुलेटर केवल उनका औसत निकाल देता है।

सारांश

शोध पत्र निष्कर्ष निकालता है कि डेटा की संरचना अत्यंत महत्वपूर्ण है:

दोहराव वाले उदाहरण AI को धोखा देते हैं कि उसके पास वास्तव में जितनी जानकारी है उससे कम जानकारी है (उसकी "प्रभावी" स्मृति को कम कर देते हैं)।
जुड़े हुए उदाहरण और प्रश्न AI को बढ़ावा देते हैं, लेकिन केवल तभी जब AI पर्याप्त स्मार्ट हो (जैसे कि एक सॉफ्टमैक्स मॉडल) ताकि वह उन कनेक्शनों को पहचान सके और उनका उपयोग कर सके।

यह समझाने में मदद करता है कि क्यों कुछ AI मॉडल अन्य मॉडलों की तुलना में कुछ प्रकार के अनुक्रमिक डेटा (जैसे कहानियाँ या टाइम-सीरीज) पर बेहतर काम करते हैं, और वास्तविक दुनिया के यादृच्छिक नहीं होने वाले डेटा के साथ काम करते समय AI के "अटेंशन मैकेनिज्म" का डिज़ाइन क्यों मायने रखता है।

तकनीकी सारांश: अनुक्रमिक सहसंबंध इन-कॉन्टेक्स्ट लर्निंग को बदलते हैं (Sequential Correlations Change In-Context Learning)

समस्या विवरण (Problem Statement)

आधुनिक अनुक्रम मॉडल (sequence models) इन-कॉन्टेक्स्ट लर्निंग (ICL) के लिए एक उल्लेखनीय क्षमता प्रदर्शित करते हैं, जो बिना पैरामीटर अपडेट के केवल प्रॉम्प्ट में दिए गए उदाहरणों के आधार पर नए कार्यों को करने में सक्षम होते हैं। जबकि रैखिक प्रतिगमन (linear regression) ICL को समझने के लिए एक उपयोगी सैद्धांतिक सैंडबॉक्स के रूप में काम आया है, मौजूदा साहित्य मुख्य रूप से इस सरलीकृत धारणा पर निर्भर रहा है कि प्रॉम्प्ट के भीतर उदाहरण स्वतंत्र और समान रूप से वितरित (i.i.d.) हैं। यह धारणा, हालांकि विश्लेषणात्मक रूप से सुविधाजनक है, वास्तविक दुनिया के डेटा (जैसे, प्राकृतिक भाषा, गतिशील प्रणालियाँ) में निहित अनुक्रमिक सहसंबंधों (sequential correlations) को दर्शाने में विफल रहती है।

यह कार्य इस बात को समझने के अंतराल को संबोधित करता है कि अनुक्रमिक सहसंबंध इन-कॉटेक्स्ट रिग्रेशन को कैसे प्रभावित करते हैं। विशेष रूप से, यह दो अलग-अलग प्रकार के सहसंबंधों की जांच करता है:

बल्क कॉन्टेक्स्ट कोरिलेशन (Bulk Context Correlations): प्रॉम्प्ट के भीतर टोकन के बीच निर्भरता।
क्वेरी-कॉन्टेक्स्ट कोरिलेशन (Query-Context Correlations): परीक्षण क्वेरी टोकन और पूर्ववर्ती कॉन्टेक्स्ट टोकनों के बीच निर्भरता।

लेखक यह निर्धारित करने का लक्ष्य रखते हैं कि ये सहसंबंध ICL के प्रभावी नमूना आकार (effective sample size) को कैसे बदलते हैं और क्या वे विभिन्न अटेंशन तंत्रों (जैसे, लीनियर बनाम सॉफ्टमैक्स अटेंशन) के बीच वास्तुशिल्प बेमेल (architectural mismatches) पैदा करते हैं।

कार्यप्रणाली (Methodology)

लेखक रिड्यूस्ड लीनियर अटेंशन (reduced linear attention) पर आधारित एक समाधान योग्य सैद्धांतिक मॉडल विकसित करते हैं, जो पिछले कार्यों (जैसे, Lu et al., 2025; Zhang et al., 2023) द्वारा स्थापित ढांचे का विस्तार करता है।

डेटा सेटअप (Data Setup)

मॉडल एक कॉन्टेक्स्ट अनुक्रम $\{x_1, y_1, \dots, x_\ell, y_\ell\}$ और एक टेस्ट क्वेरी $x_{test}$ पर विचार करता है। लेबल एक लीनियर मॉडल $y_a = x_a^\top w + \epsilon_a$ के माध्यम से उत्पन्न किए जाते हैं।

अनुक्रमिक संरचना (Sequential Structure): टोकन को शून्य-माध्य (mean-zero) गाऊसी वेरिएबल्स के रूप में मॉडल किया गया है जिनके द्वितीय क्षण (second moments) एक सहसंबंध कर्नेल $K$ $K$ द्वारा परिभाषित हैं।
- कॉन्टेक्स्ट कोरिलेशन: $E[x_a x_b^\top] = K_{ab} I_d / d$ ।
- क्वेरी कोरिलेशन: $E[x_{test} x_a^\top] = k_{test, a} I_d / d$ ।
सहसंबंध लंबाई (Correlation Length): लेखक सहसंबंध शक्ति को पैरामीटराइज करने के लिए एक एक्सपोनेंशियल कर्नेल $K_{ab} = \exp(-|a-b|/\xi)$ का उपयोग करते हैं, जहाँ $\xi$ एक सहसंबंध लंबाई है।
सारांश सांख्यिकी (Summary Statistics): सिद्धांत $K$ $K$ और $k_{test}$ $k_{t es t}$ से प्राप्त तीन सारांश सांख्यिकीओं पर निर्भर करता है:
- $k_2 = \text{tr}(K^2)/\ell$ : बल्क मेजर ऑफ कॉन्टेक्स्ट कोरिलेशन।
- $k_0 = k_{test}^\top k_{test}$ : क्वेरी-कॉन्टेक्स्ट कपलिंग की समग्र शक्ति का माप।
- $k_1 = k_{test}^\top K k_{test}$ : यह मापता है कि क्वेरी-कोरिलेशन प्रोफाइल कॉन्टेक्स्ट संरचना द्वारा कैसे प्रवर्धित होता है।

सैद्धांतिक ढांचा (Theoretical Framework)

विश्लेषण एक हाई-डायमेंशनल प्रोपोर्शनल लिमिट में संचालित होता है जहाँ डाइमेंशन $d \to \infty$ और कॉन्टेक्स लेंथ $\ell \propto d$ है।

रिड्यूस्ड लीनियर अटेंशन: प्रेडिक्टर को $\hat{y}_{test} = \text{tr}(\Gamma H^\top)$ द्वारा अनुमानित किया जाता है, जहाँ $H$ कॉन्टेक्स्ट और क्वेरी से निर्मित एक डेटा मैट्रिक्स है, और $\Gamma$ $n$ अनुक्रमों के ट्रेनिंग बैच पर रिज प्रतिगमन (ridge regression) के माध्यम से प्राप्त एक इष्टतम पैरामीटर मैट्रिक्स है।
रैंडम मैट्रिक्स थ्योरी (Random Matrix Theory): लेखक रैंडम मैट्रिक्स तकनीकों का उपयोग करके अपेक्षित ICL टेस्ट लॉस ( $E_{ICL}$ ) के लिए एसिम्प्टोटिक फॉर्मूले व्युत्पन्न करते हैं। वे इष्टतम पैरामीटर मैट्रिक्स $\Gamma^*$ और इसके संबंधित एरर के अभिसरण (concentration) का विश्लेषण करते हैं।
वैधता का क्षेत्र (Regime of Validity): प्राथमिक सैद्धांतिक परिणाम "कमजोर सहसंबंधों" (weak correlations) को मानते हैं, जहाँ सारांश सांख्यिकी $k_0, k_1, k_2$ $d, \ell \to \infty$ होने पर $\Theta(1)$ रहते हैं। पेपर नोट करता है कि मजबूत सहसंबंध (जहाँ $k_2 \propto \ell$ ) मानक हाई-डायमेंशनल कंसंट्रेशन को विफल कर देते हैं, जो भविष्य के कार्य के लिए छोड़ा गया एक क्षेत्र है।

प्रयोगात्मक सत्यापन (Experimental Validation)

सैद्धांतिक भविष्यवाणियों को निम्नलिखित के विरुद्ध सत्यापित किया गया है:

रिड्यूस्ड-पैरामीटर लीनियर अटेंशन: सीधे सैद्धांतिक प्रेडिक्टर को लागू करना।
फुल-पैरामीटर लीनियर अटेंशन: ट्रेन करने योग्य लीनियर अटेंशन मॉडल।
सॉफ्टमैक्स अटेंशन: MLP ब्लॉक्स के साथ और बिना मानक ट्रांसफार्मर आर्किटेक्चर।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. प्रभावी कॉन्टेक्स्ट लेंथ में कमी (Effective Context Length Reduction)

जब क्वेरी कॉन्टेक्स से स्वतंत्र होती है ( $k_{test} = 0$ ) लेकिन कॉन्टेक्स टोकन सहसंबद्ध होते हैं ( $k_2 > 1$ ), तो लेखक एक प्रभावी कॉन्टेक्स लेंथ फॉर्मूला व्युत्पन्न करते हैं:
$\ell_{eff} := \frac{1 + \rho}{k_2 + \rho} \ell$
जहाँ $\rho$ लेबल नॉइज़ है।

निष्कर्ष: सहसंबद्ध प्रॉम्प्ट्स i.i.d. प्रॉम्प्ट्स की तरह छोटे व्यवहार करते हैं। जैसे-जैसे सहसंबंध शक्ति बढ़ती है (उच्च $k_2$ ), स्वतंत्र नमूनों की प्रभावी संख्या रैखिक रूप से घटती है।
निहितार्थ: यह कमी केवल स्केलर $k_2$ पर निर्भर करती है न कि कोवेरिएंस मैट्रिक्स के पूर्ण स्पेक्ट्रम पर, जो क्लासिकल कोरिलेटेड लीनियर रिग्रेशन से भिन्न है जहाँ टेस्ट एरर अधिक सूक्ष्म रूप से आइजनवेक्टर्स (eigenvectors) पर निर्भर करता है।

2. क्वेरी कोरिलेशन से लाभ (Gain from Query Correlations)

जब क्वेरी टोकन कॉन्टेक्स के साथ सहसंबद्ध होता है ( $k_{test} \neq 0$ ), तो मॉडल इस अतिरिक्त सांख्यिकीय संरचना का लाभ उठा सकता है।

निष्कर्ष: स्वतंत्र क्वेरी मामले की तुलना में ICL एरर में काफी कमी आती है। यह "क्वेरी-कोरिलेशन गेन" ( $\Delta_{query}$ ) सकारात्मक है और मजबूत क्वेरी-कॉन्टेक्स कपलिंग ( $k_0, k_1$ ) के साथ बढ़ता है।
तंत्र (Mechanism): मॉडल इन्फरेंस को बेहतर बनाने के लिए क्वेरी और कॉन्टेक्स के बीच सहसंबंध का उपयोग करता है, प्रभावी रूप से क्वेरी को एक सूचनात्मक प्रायर (informative prior) के रूप में मानता है।

3. वास्तुशिल्प बेमेल (Architectural Mismatch)

पेपर क्वेरी सहसंबंधों की उपस्थिति में अटेंशन आर्किटेक्चर के बीच प्रदर्शन में एक महत्वपूर्ण विचलन की पहचान करता है।

लीनियर बनाम सॉफ्टमैक्स: जबकि लीनियर अटेंशन क्वेरी सहसंबंधों से लाभान्वित होता है, सॉफ्टमैक्स अटेंशन एरर में काफी अधिक कमी प्रदर्शित करता है।
तर्क: लेखक सुझाव देते हैं कि सॉफ्टमैक्स अटेंशन अनुक्रमिक इन्फरेंस के लिए बेहतर ढंग से सुमेलित है क्योंकि यह सबसे सूचनात्मक टोकनों पर क्वेरी-डिपेंडेंट वेट बना सकता है। इसके विपरीत, लीनियर अटेंशन सहसंबंधों को सेकंड-ऑर्डर सारांशों में संकुचित कर देता है, जिससे क्वेरी-कॉन्टेक्स डिपेंडेंसी के विशिष्ट ढांचे का पूरी तरह से लाभ उठाने की इसकी क्षमता सीमित हो जाती है।

4. हाई-डायमेंशनल विश्लेषण का टूटना (Breakdown of High-Dimensional Analysis)

लेखक एक ऐसे क्षेत्र की पहचान करते हैं जहाँ मजबूत अनुक्रमिक सहसंबंध (विशेष रूप से जब सहसंबंध लंबाई कॉन्टेक्स लेंथ के साथ स्केल करती है, $k_2 \propto \ell$ ) मानक हाई-डायमेंशनल कंसंट्रेशन को विफल कर देते हैं। इस क्षेत्र में, स्वतंत्र उदाहरणों की प्रभावी संख्या अब डाइमेंशन के आनुपातिक रूप से स्केल नहीं करती है, और एस्टीमेटर के मोमेंट्स (moments) केंद्रित नहीं होते हैं।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह संरचित, अनुक्रमिक डेटा के लिए ICL की दिशा में एक पहला कदम है। इसका प्राथमिक महत्व है:

प्रभावों को अलग करना: बल्क कॉन्टेक्स कोरिलेशन (जो प्रभावी नमूना आकार को कम करके प्रदर्शन को नुकसान पहुँचाते हैं) और क्वेरी-कॉन्टेक्स कोरिलेशन (जो सिग्नल प्रदान करके प्रदर्शन में मदद करते हैं) के बीच अंतर करना।
वास्तुशिल्प अंतर्दृष्टि: यह उजागर करना कि अनुक्रमिक संरचना की उपस्थिति में अटेंशन तंत्र का चुनाव महत्वपूर्ण है। परिणाम बताते हैं कि सॉफ्टमैक्स अटेंशन में अनुक्रमिक जानकारी का लाभ उठाने की एक विशिष्ट क्षमता है जिसे लीनियर अटेंशन थ्योरी द्वारा कैप्चर नहीं किया जा सकता है।
सैद्धांतिक सीमाएँ: वर्तमान हाई-डायमेंशनल एसिम्प्टोटिक विश्लेषणों की सीमाओं को परिभाषित करना, विशेष रूप से यह नोट करना कि कहाँ मजबूत सहसंबंध मानक कंसंट्रेशन धारणाओं को अमान्य कर देते हैं।

लेखक निष्कर्ष निकालते हैं कि इन सेटिंग्स में सॉफ्टमैक्स अटेंशन के लाभ को समझाने के लिए सिद्धांत विकसित करना, और इन निष्कर्षों को समृद्ध डायनेमिकल टास्क तक विस्तारित करना, अधिक यथार्थवादी डेटा व्यवस्था में ICL को समझने के लिए आवश्यक है।