तकनीकी सारांश: यथार्थता संबंधी बाधाओं के तहत अनुकूलनशीलता (Adaptivity)

समस्या विवरण

यह शोध पत्र कार्यों के परिवारों (families of functions) के लिए समान सन्निकटन (uniform approximation) के संदर्भ में इन-कॉन्टेक्स्ट लर्निंग (ICL) बनाम एजेंटिक लर्निंग (agentic learning) की सैद्धांतिक सीमाओं की जांच करता है। केंद्रीय प्रश्न यह है: एक कार्य के साथ क्रमिक, अनुकूल (adaptive) संवाद, पूर्व-निर्धारित स्थिर प्रश्नों (fixed, pre-specified queries) की तुलना में वास्तविक लाभ कब प्रदान करता है, और जब सीखने की प्रक्रिया यथार्थता (विशेष रूप से, सीमित आकार के ReLU न्यूरल नेटवर्क द्वारा कार्यान्वयन) से बाधित होती है, तो यह लाभ कैसे बदल जाता है?

लेखक तुलना के दो अक्षों को औपचारिक रूप देते हैं:

1. क्वेरी रणनीति (Query Strategy): स्थिर प्रश्न (In-Context) बनाम अनुकूल प्रश्न (Adaptive/Agentic)।
2. प्रतिनिधित्व संबंधी बाधा (Representational Constraint): सामान्य फलन (अप्रतिबंधित) बनाम ReLU-यथार्थसाध्य फलन (सीमित भार वाले ReLU नेटवर्क द्वारा कार्यान्वित)।

इससे चार विशिष्ट क्षेत्र (regimes) प्राप्त होते हैं:

• ICG: सामान्य इन-कॉन्टेक्स्ट लर्निंग।
• AG: सामान्य एजेंटिक लर्निंग।
• ICR: ReLU-यथार्थसाध्य इन-कॉन्टेक्स्ट लर्निंग।
• AR: ReLU-यथार्थसाध्य एजेंटिक लर्निंग।

लक्ष्य समान नमूना और गणना बजट के तहत इन क्षेत्रों की तुलनात्मक सन्निकटन शक्ति का लक्षण वर्णन करना है।

कार्यप्रणाली (Methodology)

लेखक एक कॉम्पैक्ट डोमेन $X \subseteq \mathbb{R}^d$ पर एक समान सन्निकटन ढांचे (uniform approximation framework) को अपनाते हैं। वे एक कार्य परिवार $\mathcal{T}$ को परिभाषित करते हैं और प्रदर्शन को सबसे खराब स्थिति वाले यूनिफॉर्म एरर ($L_\infty$ नॉर्म) के माध्यम से मापते हैं।

परिभाषाएँ

• इन-कॉन्टेक्स्ट लर्नर ($\Psi_{IC}$): $N$ निश्चित क्वेरी बिंदुओं $x_1, \dots, x_N$ का उपयोग करता है और एक प्रेडिक्टर (predictor) जो कॉन्टेक्स्ट $C_N = \{(x_i, f(x_i))\}$ और एक नए इनपुट $x$ को भविष्यवाणियों (predictions) में मैप करता है।
• एजेंटिक लर्नर ($\Psi_{A}$): क्वेरी बिंदुओं को क्रमिक रूप से चुनता है। $n$-वाँ क्वेरी बिंदु $x_n$, पिछले कॉन्टेक्स्ट $C_{n-1}$ के आधार पर एक मैप $q_n$ द्वारा निर्धारित होता है।
• यथार्थता (Realizability): एक लर्नर "यथार्थसाध्य" है यदि उसके क्वेरी मैप्स और अंतिम प्रेडिक्टर को एक सीमित संख्या में भार ($m$) वाले ReLU न्यूरल नेटवर्क द्वारा कार्यान्वित किया जाता है।

तुलनात्मक मीट्रिक

पेपर एक संबंध $R_1 \leq R_2$ को परिभाषित करता है यदि प्रत्येक कार्य परिवार और बजट के लिए, $R_2$ क्षेत्र का सबसे खराब स्थिति वाला एरर $R_1$ की तुलना में कम या उसके बराबर है। सख्त असमानता ($R_1 < R_2$) एक वास्तविक लाभ को दर्शाती है।

लेखक आधारभूत मोनोटोनिसिटी (monotonicity) स्थापित करते हैं:
$$ICG \leq AG \quad \text{और} \quad ICR \leq AR$$
यह इसलिए सत्य है क्योंकि एक एजेंट बिना अनुकूलन के भी एक स्थिर क्वेरी रणनीति की नकल कर सकता है। मुख्य योगदान यह पहचानने में निहित है कि ये असमानताएं कब सख्त होती हैं और यथार्थता इसे कैसे बदल देती है।

मुख्य योगदान और परिणाम

पेपर चार अलग-अलग सन्निकटन परिदृश्यों को अलग करता है, जिनमें से प्रत्येक को एक स्पष्ट, निर्मित कार्य परिवार द्वारा प्रदर्शित किया गया है। ये परिदृश्य प्रकट करते हैं कि अनुकूलता (adaptivity) और प्रतिनिधित्व संबंधी बाधाओं के बीच की अंतःक्रिया गैर-तुच्छ (non-trivial) है।

1. अनुकूलता अधिक जानकारी प्रकट करती है (यथार्थता के बावजूद लाभ बना रहता है)

• कार्य परिवार: क्यूबिकल-पाथ टास्क ($\mathcal{T}^{path}_{d,L}$)। कार्य डायडिक क्यूब्स (dyadic cubes) के एक नेस्टेड अनुक्रम द्वारा परिभाषित होते हैं।
• तंत्र: एक अनुकूल एजेंट (adaptive agent) स्तर-दर-स्तर क्यूब्स के छिपे हुए पथ की पहचान करने के लिए बाइनरी सर्च (1D में) या एक सामान्यीकृत खोज कर सकता है।
• परिणाम:
  • सामान्य: $ICG < AG$। स्थिर प्रश्न वह जानकारी छोड़ देते हैं जिसे अनुकूल प्रश्न क्रमिक रूप से उजागर कर सकते हैं।
  • यथार्थसाध्य: $ICR < AR$। एक अनुकूल रणनीति (चाइल्ड क्यूब्स के केंद्रों को क्वेरी करना और अवशेषों/residuals का उपयोग करना) को ठीक से ReLU नेटवर्क द्वारा कार्यान्वित किया जा सकता है।
• निहितार्थ: इस परिदृश्य में, अनुकूलता का सूचना-सैद्धांतिक लाभ ReLU नेटवर्क की बाधाओं के प्रति सुदृढ़ (robust) है।

2. यथार्थता अनुकूलता के लाभ को उत्पन्न करती है

• कार्य परिवार: पॉइंटेड-वैल्यू फैमिली ($\mathcal{T}^{val}_{N,m}$)। कार्यों में ज्ञात स्थानों पर निश्चित "हैट्स" (hats) होते हैं जिनमें गुणांक (coefficients) होते हैं, और एक स्थान $q^*$ पर एक "चलती हुई हैट" होती है जिसमें एक मान $g_m(s)$ होता है, जहाँ $g_m$ एक कठिन-से-अनुमानित फंक्शन है।
• तंत्र:
  • सामान्य: $ICG = AG$। दोनों स्थिर और अनुकूल लर्नर कॉन्टेक्स्ट से$q^*$के स्थान को पढ़ सकते हैं और फिर$g_m(s)$ की गणना कर सकते हैं (क्योंकि वे अप्रतिबंधित हैं)।
  • यथार्थसाध्य: $ICR < AR$। एक ReLU इन-कॉन्टेक्स्ट लर्नर को आंतरिक रूप से कठिन मैप $s \mapsto g_m(s)$ का अनुमान लगाना होगा, जो सीमित भार के साथ असंभव है। हालांकि, एक ReLU एजेंट $q^*$ के स्थान पर सीधे $g_m(s)$ के मान को क्वेरी कर सकता है (जिसे उसने अनुकूल रूप से निर्धारित किया है), जिससे उसे आंतरिक गणना की आवश्यकता नहीं पड़ती।
• निहितार्थ: यथार्थता संबंधी बाधाएं एक ऐसा परिदृश्य बना सकती हैं जहाँ अनुकूलता स्पष्ट रूप से श्रेष्ठ है, भले ही अप्रतिबंधित सेटिंग में इसका कोई लाभ न हो।

3. यथार्थता द्वारा अनुकूलता के लाभ को हटा दिया जाता है

• कार्य परिवार: एड्रेस-स्पाइक फैमिली ($\mathcal{T}^{addr}_{N,m}$)। पॉइंटेड-वैल्यू फैमिली के समान, लेकिन चलती हुई हैट का स्थान $q^*(s)$ एक कठिन-से-अनुमानित फंक्शन $g_m(s)$ द्वारा निर्धारित होता है। छिपा हुआ बिट $\beta$ स्थान $q^*(s)$ पर स्थित है।
• तंत्र:
  • सामान्य: $ICG < AG$। एक अप्रतिबंधित एजेंट स्थिर गुणांकों से$q^*(s)$ की गणना कर सकता है और छिपे हुए बिट को क्वेरी कर सकता है।
  • यथार्थसाध्य: $ICR = AR$। सूचनात्मक क्वेरी बिंदु$q^(s)$को खोजने के लिए, एजेंट को कठिन मैप$s \mapsto q^(s)$ का अनुमान लगाना होगा। चूंकि एजेंट के क्वेरी मैप्स भी सीमित भार वाले ReLU नेटवर्क द्वारा बाधित हैं, इसलिए वह इन-कॉन्टेक्स्ट लर्नर से बेहतर गणना नहीं कर सकता है। "कठिन गणना" जो क्वेरी करने के स्थान को निर्धारित करने के लिए आवश्यक है, अनुकूलता के लाभ को निष्प्रभावी कर देती है।
• निहितार्थ: प्रतिनिधित्व संबंधी बाधाएं अनुकूलता के उस लाभ को समाप्त कर सकती हैं जो सामान्य सेटिंग में मौजूद था।

4. कोई लाभ नहीं

• परिदृश्य: सिंगलटन (singleton) कार्य परिवारों या विशिष्ट तुच्छ मामलों के लिए, अनुकूलता कोई सुधार नहीं देती ($ICG = AG$और$ICR = AR$)।

महत्व और दावे

पेपर यह दावा करता है कि यह अनुकूलता और वास्तुशिल्प (architectural) बाधाओं के बीच कैसे परस्पर क्रिया होती है, इसका एक वैचारिक वर्गीकरण प्रदान करता है। प्राथमिक महत्व इस बात में है कि यह प्रदर्शित करना है कि:

1. अनुकूलता सार्वभौमिक रूप से श्रेष्ठ नहीं है: इसका लाभ कार्य परिवार की विशिष्ट संरचना और लर्नर की कम्प्यूटेशनल क्षमताओं पर निर्भर करता है।
2. यथार्थता एक महत्वपूर्ण चर (variable) है: अप्रतिबंधित से ReLU-यथार्थसाध्य सेटिंग में संक्रमण केवल प्रदर्शन को स्केल नहीं करता है; यह इन-कॉन्टेक्स्ट और एजेंटिक लर्निंग के बीच के संबंध को गुणात्मक रूप से बदल देता है।
   • लाभ बने रहते हैं (Cubical-path)।
   • लाभ उभरते हैं (Pointed-value)।
   • लाभ लुप्त हो जाते हैं (Address-spike)।

लेखक इस बात पर जोर देते हैं कि ये परिणाम 'वर्स्ट-केस यूनिफॉर्म एप्रोक्सिमेशन थ्योरी' से प्राप्त किए गए हैं, जो सांख्यिकीय धारणाओं या शोर मॉडल (noise models) पर निर्भर रहने के बजाय सूचना प्राप्ति और प्रतिनिधित्व क्षमता के मूल घटनाओं को अलग करते हैं। वे आगे उल्लेख करते हैं कि उनके परिणाम ReLU MLPs से एक कैनोनिकल रूपांतरण के माध्यम से ट्रांसफॉर्मर आर्किटेक्चर तक विस्तारित होते हैं, जिससे पता चलता है कि ये सैद्धांतिक सीमाएं आधुनिक बड़े भाषा मॉडलों (LLMs) पर भी लागू होती हैं।

यह कार्य MLPs द्वारा गैर-अनुकूली सन्निकटन (non-adaptive approximation) के शास्त्रीय परिणामों का विस्तार करता है, यह तर्क देते हुए कि सूचना प्राप्ति की संरचना (अनुकूलता) फंक्शन क्लास की जटिलता के साथ मिलकर सीखने की सीमाओं को निर्धारित करने में केंद्रीय भूमिका निभाती है।