The Statistical Price of Unknown Geometry in In-Context Regression

तकनीकी सारांश: इन-कॉन्टेक्स्ट रिग्रेशन में अज्ञात ज्यामिति की सांख्यिकीय कीमत

समस्या का निरूपण
यह शोध पत्र एक गॉसियन इन-कॉन्टेक्स्ट रिग्रेशन सेटिंग में अज्ञात ज्यामिति (unknown geometry) की सांख्यिकीय लागत की जांच करता है। यह परिदृश्य एक एकल लेबल वाले अवलोकन $(X, y)$ और एक क्वेरी $q$ द्वारा परिभाषित एक रिग्रेशन कार्य है, जो $m$ बिना लेबल वाले संदर्भ अवलोकनों $Z_1, \dots, Z_m$ द्वारा समर्थित है। अंतर्निहित सहप्रसरण संरचना (covariance structure) अज्ञात है लेकिन सीमित है: सहप्रसरण मैट्रिक्स $\Sigma = I + \lambda \Pi$ है, जहाँ $\Pi$ एक हैर वितरण (Haar distribution) से प्राप्त रैंक-$r$ का ऑर्थोगोनल प्रोजेक्टर है, और स्पेक्ट्रम (जो $\lambda$ द्वारा निर्धारित होता है) ज्ञात है। गुणांक प्रायर (coefficient prior) $w$ को इनपुट निर्देशांकों के साथ एक रूपांतरण के माध्यम से समन्वित किया गया है जो यह सुनिश्चित करता है कि कार्य प्रायर ज्यामिति के साथ सुसंगत रूप से बदलता है।

मुख्य सांख्यिकीय प्रश्न दो अलग-अलग समस्याओं के बीच अंतर करना है:

1. ज्यामिति रिकवरी (Geometry Recovery): बिना लेबल वाले संदर्भों का उपयोग करके गुप्त उपस्थान (latent subspace) $\Pi$ का अनुमान लगाना।
2. भविष्यवाणी क्रिया चयन (Predictive Action Selection): एकल लेबल वाले अवलोकन का उपयोग करके इष्टतम भविष्यवक्ता (optimal predictor) चुनना।

लेखक अज्ञात ज्यामिति की "कीमत" और उस अतिरिक्त लागत का विश्लेषण करते हैं जो तब होती है जब ज्यामितिक क्रिया (भविष्यवक्ता का मीट्रिक) को लेबल $y$ को देखने से पहले चुनना पड़ता है, भले ही $y$ उस विशिष्ट ज्यामिति के भीतर विशिष्ट रिग्रेशन कार्य के बारे में जानकारी रखता हो।

कार्यप्रणाली
विश्लेषण एक गॉसियन वन-लेबल रिग्रेशन प्रयोग के भीतर एक निर्णय-सैद्धांतिक ढांचे (decision-theoretic framework) का उपयोग करता है। मुख्य पद्धतिगत घटक हैं:

• जोखिम अपघटन (Risk Decomposition): कुल बेयस जोखिम (Bayes risk) को पूर्ण-अवलोकन बेयस भविष्यवक्ता के अपरिहार्य जोखिम, एक सूचना लागत ($V_m$) (अज्ञात ज्यामिति के कारण), और एक टाइमिंग लागत ($N_m$) (लेबल के बिना ज्यामितिक क्रिया चुनने के कारण) में विभाजित किया गया है।
• परिमित-नमूना सीमाएँ (Finite-Sample Bounds): लेखक अज्ञात ज्यामिति सूचना लागत $V_m$ के लिए आयाम-समान (dimension-uniform) परिमित-नमूना ऊपरी और निचली सीमाओं को प्राप्त करते हैं। ये सीमाएँ हैर इंटीग्रेशन बाय पार्ट्स (Haar integration by parts) और प्रोजेक्टरों पर पोस्टीरियर वितरण के वक्रता विश्लेषण (curvature analysis) का उपयोग करती हैं।
• अनंतस्पर्शी विश्लेषण (Asymptotic Analysis): शोध पत्र $m \to \infty$ के रूप में और एक कमजोर-पहचान सीमा (weak-identification limit) के रूप में, जहाँ सिग्नल स्ट्रेंथ $\lambda \to 0$ और $m \to \infty$ इस प्रकार कि $m\lambda^2 \to \rho$, के लिए तीक्ष्ण फिक्स्ड-डायमेंशन अनंतस्पर्शी संबंध स्थापित करता है।
• अनुकूलित तुलना वर्ग (Optimized Comparator Classes): "लेबल-ब्लाइंड" ज्यामिति चयन के खर्च को अलग करने के लिए, लेखक पूर्ण बेयस भविष्यवक्ता की तुलना उन सभी भविष्यवक्ताओं के वर्ग से करते हैं जो देखे गए लेबल $y$ में रैखिक हैं, जहाँ गुणांक संदर्भ इनपुट, क्वेरी और संदर्भों पर निर्भर हो सकते हैं, लेकिन मीट्रिक (ज्यामिति) $y$ के बिना चुनी जाती है।
• मोमेंट सुधार (Moment Corrections): एक विशिष्ट भविष्यवक्ता का निर्माण संदर्भ-पोस्टीरियर मोमेंट्स (reference-posterior moments) का उपयोग करके किया जाता है ताकि पूर्ण बेयस क्रिया के करीब पहुँचकर टाइमिंग प्रतिबंध के कारण होने वाले पछतावे (regret) को कम किया जा सके।

प्रमुख योगदान और परिणाम

1. ज्यामिति लागत के लिए आयाम-समान सीमाएँ:
   शोध पत्र यह स्थापित करता है कि अज्ञात ज्यामिति के कारण अतिरिक्त बेयस जोखिम, $V_m$, आयाम $d$ और रैंक $r$ में समान रूप से सीमित है। इसकी दर संदर्भ सूचना स्केल $B = p \min\{h/d, 1/(m+1)\} / [d(d+2)]$ द्वारा नियंत्रित होती है, जहाँ $p=r(d-r)$ और $h=\lambda^2/(1+\lambda)$ है। यह एक क्रॉसओवर पॉइंट की पहचान करता है जहाँ उपस्थान अनुमान (subspace estimation) की सटीकता और प्रतिक्रिया भविष्यवाणी (response prediction) अलग-अलग पैमानों पर कार्य करती हैं।

2. लेबल-ब्लाइंड चयन की कठोरता:
   एक प्राथमिक सैद्धांतिक परिणाम (प्रमेय 7) यह सिद्ध करता है कि लेबल के बिना ज्यामितिक क्रिया चुनने की लागत, जिसे $N_m$ द्वारा दर्शाया गया है, किसी भी परिमित संदर्भ संख्या $m$ के लिए सकारात्मक रूप से शून्य से अधिक है। भले ही ज्यामिति पूरी तरह से ज्ञात हो, भविष्यवक्ता के मीट्रिक को लेबल के आयाम (amplitude) से स्वतंत्र रखने से एक गैर-शून्य दंड लगता है। यह लागत $V_m$ से भिन्न है।

3. कमजोर-पहचान संक्रमण और चतुर्थ-क्रम व्यवहार (Fourth-Order Behavior):
   कमजोर-विपरीत (weak-contrast) शासन में, टाइमिंग लागत $N_m$, $\lambda^4$ के रूप में स्केल करती है। शोध पत्र इस चतुर्थ-क्रम पद के लिए एक तीक्ष्ण अनंतस्पर्शी गुणांक $C_{d,r}(\rho)$ प्राप्त करता है। महत्वपूर्ण रूप से, यह गुणांक मध्यवर्ती संदर्भ सूचना स्तरों ($\rho \in (0, \infty)$) पर सकारात्मक है लेकिन छोरों ($\rho=0$ और $\rho \to \infty$) पर लुप्त हो जाता है। इसका तात्पर्य यह है कि संदर्भ डेटा की मध्यम मात्रा विरोधाभासी रूप से लेबल फीडबैक के मूल्य को बढ़ा सकती है, भले ही अधिक डेटा के साथ कुल जोखिम कम हो रहा हो।

4. छठी-क्रम मोमेंट सुधार:
   लेखक संदर्भ-पोस्टीरियर मोमेंट्स पर आधारित एक अवलोकन योग्य सुधार प्रस्तावित करते हैं (प्रमेय 12)। यह भविष्यवक्ता फिक्स्ड-डायमेंशन पर बेयस सन्निकटन पछतावे (Bayes approximation regret) को चतुर्थ-क्रम ($O(\lambda^4)$) से घटाकर छठी-क्रम ($O(\lambda^6)$) तक कम कर देता है। यह सुधार वास्तविक उपस्थान या गुणांक की पहचान किए बिना लेबल के ज्यामितीय फीडबैक का रचनात्मक रूप से उपयोग करता है।

5. संख्यात्मक सत्यापन:
   सैद्धांतिक निष्कर्षों को एक स्थिर द्वि-आयामी प्रयोग ($d=2, r=1$) में संख्यात्मक रूप से सत्यापित किया गया है। परिणाम अनंतस्पर्शी गुणांकों की पुष्टि करते हैं और यह प्रदर्शित करते हैं कि मोमेंट-संशोधित भविष्यवक्ता सॉफ्ट रेफरेंस बेसलाइन्स की तुलना में लगातार बेहतर प्रदर्शन करता है, विशेष रूप से कमजोर स्पेक्ट्रल कंट्रास्ट वाले शासन में।

महत्व और दावे
यह शोध पत्र यह समझने के लिए एक सटीक सांख्यिकीय ढांचा प्रदान करने का दावा करता है कि "इन-कॉन्टेक्स्ट" लर्निंग क्या होती है जब कार्य की ज्यामिति अज्ञात होती है। इसका महत्व निम्नलिखित में निहित है:

• सूचना को त्रुटि से अलग करना: यह अज्ञात ज्यामिति के कारण होने वाली सूचना की कमी ($V_m$) और उप-इष्टतम निर्णय समय ($N_m$) के बीच स्पष्ट रूप से अंतर करता है। यह स्पष्ट करता है कि यदि भविष्य कहने वाला कार्य लेबल के विशिष्ट यथार्थ (realization) के अनुकूल नहीं हो सकता है, तो केवल एक ज्यामिति अनुमान होना ही इष्टतम भविष्यवाणी के लिए पर्याप्त नहीं है।
• फीडबैक के मूल्य का निर्धारण: परिणाम उन विशिष्ट क्षेत्रों की पहचान करते हैं (मध्यवर्ती संदर्भ सूचना स्तरों पर) जहाँ लेबल फीडबैक ज्यामितिक भविष्यवाणी के लिए सबसे अधिक मूल्यवान होता है, जो इस सहज ज्ञान को चुनौती देता है कि अधिक डेटा हमेशा फीडबैक के सापेक्ष मूल्य को एकदिशीय रूप से (monotonically) कम करता है।
• निर्णय-सैद्धांतिक बेंचमार्किंग: एक विशिष्ट एस्टिमेटर (जैसे PCA) के बजाय एक अनुकूलित लेबल-रैखिक भविष्यवक्ताओं के वर्ग के विरुद्ध तुलना करके, यह शोध पत्र संदर्भ-आधारित शिक्षण एल्गोरिदम के मूल्यांकन के लिए एक मजबूत बेंचमार्क स्थापित करता है। यह दर्शाता है कि अज्ञात ज्यामिति की "कीमत" केवल अनुमान त्रुटि नहीं है, बल्कि भविष्य कहने वाले कार्य की अनुकूलन क्षमता पर एक मौलिक सीमा है।
• रचनात्मक सुधार: यह एक ठोस, कार्यान्वयन योग्य सुधार (प्रमेय 12) पेश करता है जो उच्च-क्रम पछतावा गारंटी (higher-order regret guarantees) प्राप्त करता है, जिससे यह दिखाया जाता है कि लेबल-ब्लाइंड और लेबल-अनुकूली रणनीतियों के बीच के अंतर को अवलोकन योग्य पोस्टीरियर मोमेंट्स का उपयोग करके कम किया जा सकता है।

लेखक एक सीमित दायरा बनाए रखते हुए उल्लेख करते हैं कि उनके परिणाम एक विशिष्ट गॉसियन मॉडल (एक लेबल और ज्ञात बाइनरी स्पेक्ट्रम के साथ) पर लागू होते हैं। वे यह दावा नहीं करते हैं कि ये परिणाम सीधे सभी डीप लर्निंग इन-कॉन्टेक्स्ट परिदृश्यों पर सामान्यीकृत होते हैं, बल्कि वे ज्यामिति अनुकूलन के लिए एक मूलभूत सांख्यिकीय सीमा प्रदान करते हैं।