A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt

तकनीकी सारांश: टेस्ट-टाइम ट्रेनिंग का एक निर्णय-सैद्धांतिक दृष्टिकोण

समस्या विवरण
टेस्ट-टाइम ट्रेनिंग (TTT), वितरण बदलावों (distribution shifts) के तहत सटीकता में सुधार करने के उद्देश्य से, प्रीट्रेंड मॉडल्स को विशिष्ट टेस्ट प्रॉम्प्ट्स के अनुकूल बनाने के लिए पैरामीटर अपडेट का उपयोग करती है। हालाँकि, TTT अस्थिरता और हाइपरपैरामीटर्स—विशेष रूप से अपडेट स्टेप्स की संख्या और पैरामीटर सबस्पेस के चुनाव—के प्रति उच्च संवेदनशीलता से ग्रस्त है। मौजूदा अनुभवजन्य अवलोकन बताते हैं कि निश्चित अपडेट स्टेप्स वितरण बदलावों के दौरान विफल हो सकते हैं, और अत्यधिक अपडेट ओवरफिटिंग की ओर ले जा सकते हैं। यह शोध पत्र तीन मुख्य प्रश्नों के लिए सिद्धांतों के अभाव को संबोधित करता है: (i) कब TTT, इन-कॉन्टेक्स्ट लर्निंग (ICL) की तुलना में प्रेडिक्टिव रिस्क को कम करता है; (ii) अपडेट स्टेप्स की संख्या प्रदर्शन को कैसे प्रभावित करती है; और (iii) कौन से पैरामीटर सबस्पेस प्रभावी हैं।

कार्यप्रणाली
लेखक TTT का विश्लेषण एक निर्णय-सैद्धांतिक (decision-theoretic) दृष्टिकोण से करते हैं, इसे एक कर्नल (लीनियराइज्ड-क्वाड्रेटिक) शासन के भीतर एक इम्पलिसिट बेयसियन इन्फरेंस (implicit Bayesian inference) के रूप में व्याख्यायित करते हैं। कार्यप्रणाली निम्नलिखित घटकों पर आधारित है:

1. स्थानीय लीनियराइज्ड मॉडल (Local Linearized Model): लेखक एक प्रतिबंधित अपडेट सबस्पेस $U$ और प्रीट्रेंड वेट्स के आसपास मॉडल प्रेडिक्शन का प्रथम-क्रम टेलर विस्तार (first-order Taylor expansion) मानते हैं। यह TTT को एक लीनियर इनवर्स प्रॉब्लम में बदल देता है जहाँ लक्ष्य जैकोबियन फीचर्स $\Phi$ का उपयोग करके लीव-वन-आउट रेसिडुअल्स $r$ को फिट करना है।
2. प्रॉम्प्ट-प्रेरित ज्यामिति (Prompt-Induced Geometry): ऑप्टिमाइज़ेशन डायनेमिक्स प्रॉम्प्ट-स्पेस ग्राम मैट्रिक्स $K(P_n) = \Phi\Phi^\top$ द्वारा नियंत्रित होते हैं, जो प्रॉम्प्ट रेसिडुअल्स को जोड़ता है। यह ज्यामिति विशिष्ट प्रॉम्प्ट इंस्टेंस और चुने गए अपडेट तंत्र (जैसे, कौन से ट्रांसफॉर्मर हेड्स अपडेट किए जाते हैं) दोनों पर निर्भर करती है।
3. स्पेक्ट्रल फ़िल्टरिंग व्याख्या (Spectral Filtering Interpretation): दिखाया गया है कि क्वाड्रेटिक प्रॉम्प्ट लॉस पर कुछ-चरणों वाला ग्रेडिएंट डिसेंट, रेसिडुअल्स पर एक स्पेक्ट्रल फ़िल्टर के रूप में कार्य करता है। अपडेट एक इम्पलिसिट, प्रॉम्प्ट-प्रेरित प्रायर (prior) के तहत एक गाऊसी पोस्टीरियर मीन (Gaussian posterior mean) के अनुरूप है। स्टेप्स की संख्या $T$ और अपडेट सबस्पेस इस प्रायर के आकार और शक्ति को निर्धारित करते हैं।
4. बेयज़-रिस्क डिकंपोजिशन (Bayes-Risk Decomposition): विश्लेषण एक स्क्वेर्ड-लॉस बेयज़ रिस्क डिकंपोजिशन का उपयोग करता है, जो अपरिहार्य पोस्टीरियर वेरिएंस (irreducible posterior variance) को "बेयज़ गैप" (इष्टतम प्रेडिक्टर के सापेक्ष अतिरिक्त जोखिम) से अलग करता है। TTT में सुधार को इस बेयज़ गैप में कमी के रूप में फ्रेम किया गया है।
5. गाऊसी प्रोसेस बेंचमार्क (Gaussian Process Benchmark): सुलभ पहचान (identities) प्राप्त करने के लिए, लेखक एक गाऊसी प्रोसेस (GP) बेंचमार्क का उपयोग करते हैं जो प्रॉम्प्ट और क्वेरी वितरणों को जोड़ता है, जिससे इष्टतम फिल्टर और सबस्पेस का स्पष्ट लक्षण वर्णन संभव होता है।

मुख्य योगदान

1. कंडीशनल बेयज़-गैप आइडेंटिटी (थ्योरम 5.2): लेखक एक पहचान व्युत्पन्न करते हैं जो दिखाती है कि क्वेरी प्रेडिक्शन के लिए बेयज़ गैप दो कारकों पर निर्भर करता है:

   • फ़िल्टर मैच: TTT-प्रेरित स्पेक्ट्रल फ़िल्टर $q_T(\lambda)$ को उच्च भार वाले आइगेन-मोड्स (eigenmodes) पर बेयज़-इष्टतम फ़िल्टर $q^*(\lambda) = (\lambda + \lambda^*)^{-1}$ के करीब होना चाहिए।
   • आइगेन-अलाइनमेंट: अपडेट सबस्पेस को उन आइगेन-डायरेक्शंस के साथ संरेखित होना चाहिए जो प्रॉम्प्ट-क्वेरी वेक्टर $k_x$ के माध्यम से क्वेरी से जुड़े हुए हैं।
     यह स्पष्ट करता है कि केवल प्रॉम्प्ट को फिट करना पर्याप्त क्यों नहीं है; अनुकूलन को क्वेरी के साथ संरेखित होना चाहिए।

2. अनुकूलन की आवश्यकता (प्रपोजिशन 6.1–6.3):

   • स्टेप काउंट: प्रायर शिफ्ट (सिग्नल-टू-नॉइज़ रेशियो में परिवर्तन) के तहत निश्चित अपडेट स्टेप्स $T$ उप-इष्टतम (suboptimal) होते हैं। इसके अलावा, अनंत स्टेप्स ($T \to \infty$) भी ओवरफिटिंग के कारण उप-इष्टतम हो सकते हैं, क्योंकि एस्टिमेटर उस प्रोजेक्शन की ओर अभिसरित होता है जो प्रतिनिधि सबस्पेस (representable subspace) में है, जिसमें शोर (noise) भी शामिल हो सकता है।
   • सबस्पेस: कोई भी निश्चित अपडेट सबस्पेस एक अपरिहार्य एरर फ्लोर (error floor) उत्पन्न करता यदि वह उन दिशाओं को कवर न करे जो वास्तविक सुधार के लिए प्रासंगिक हैं।

3. स्टेप सिलेक्शन के लिए PAC-Bayes गारंटी (थ्योरम 7.2): लेखक प्रॉम्प्ट साक्ष्य (मार्जनल लाइकलीहुड) के आधार पर अपडेट स्टेप्स की संख्या $T$ चुनने का प्रस्ताव करते हैं। वे सिद्ध करते हैं कि यह चयन रणनीति आउट-ऑफ-सैंपल नेगेटिव लॉग-एविडेंस पर एक PAC-Bayes बाउंड प्रदान करती है, जो प्रॉम्प्ट रेसिडुअल्स के प्रति ओवरफिटिंग को कम करती है।

4. बेयज़-इष्टतम सबस्पेस लक्षण वर्णन (थ्योरम 8.2): एक लीनियर-गाऊसी करेक्शन प्रायर के तहत, रैंक $k_{budget}$ वाला इष्टतम अपडेट सबस्पेस एक क्वेरी-व्हाइटन्ड इंफॉर्मेशन-कैप्चर मैट्रिक्स $I_Q$ का टॉप-$k_{budget}$ आइगेनस्पेस है। ट्रांसफॉर्मर्स के लिए, यह अटेंशन ब्लॉक्स और हेड्स के चयन के लिए एक स्कोरिंग नियम प्रदान करता है जो स्पष्ट रूप से क्वेरी-जागरूक और रेडंडेंसी-जागरूक है।

परिणाम

• सैद्धांतिक: यह शोध पत्र स्थापित करता है कि TTT, ICL से बेहतर होता है यदि और केवल यदि प्रेरित फ़िल्टर क्वेरी-अलाइन्ड मोड्स पर बेयज़-इष्टतम श्रिंकेज (shrinkage) से मेल खाता है। यह औपचारिक रूप से उन स्थितियों को स्पष्ट करता है जिनमें निश्चित हाइपरपैरामीटर्स विफल होते हैं और अनुकूलन रणनीतियों के लिए एक सिद्धांत आधारित आधार प्रदान करता है।
• अनुभवजन्य: डिस्टिलजीपीटी2 (DistilGPT2) का उपयोग करके डिजिट-शिफ्ट टास्क पर प्रयोग दर्शाते हैं:
  • एडेप्टिव स्टेप्स: साक्ष्य-आधारित स्टेप सिलेक्शन ($T_{MAP}$), ICL और फिक्स्ड-स्टेप TTT दोनों की तुलना में कम मीन स्क्वेर्ड एरर (MSE) प्राप्त करता है। चयनित $T$ विभिन्न प्रॉम्प्ट्स के बीच काफी भिन्न होता है, जो सिग्नल-टू-नॉइज़ स्तरों के अनुसार अनुकूलित होता है (शोर वाले प्रॉम्प्ट्स के लिए छोटा $T$, साफ प्रॉम्प्ट्स के लिए बड़ा $T$)।
  • क्वेरी-अवेयर सबस्पेस: क्वेरी-अवेयर स्कोर के आधार पर अपडेट ब्लॉक्स/हेड्स का चयन करना, उन बेसलाइन्स की तुलना में लगातार बेहतर प्रदर्शन करता है जो प्रॉम्प्ट फिट (TRACE-TOPK) या रैंडम चयन को प्राथमिकता देते हैं। TRACE-TOPK अक्सर प्रॉम्प्ट को अच्छी तरह से फिट करता है लेकिन क्वेरी के लिए विफल रहता है, जो आइगेन-अलाइनमेंट की सैद्धांतिक आवश्यकता की पुष्टि करता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह कुछ-चरणों वाले, प्रतिबंधित-अपडेट TTT के विश्लेषण के लिए एक सिद्धांत आधारित शुरुआती बिंदु प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

1. अस्थिरता की व्याख्या: यह TTT की अनुभवजन्य अस्थिरता की एक सैद्धांतिक व्याख्या प्रदान करता है, जिसका कारण निश्चित हाइपरपैरामीटर्स और प्रॉम्प्ट-विशिष्ट सिग्नल-टू-नॉइज़ रेशियो एवं ज्यामिति के बीच बेमेल होना है।
2. डिज़ाइन के लिए मार्गदर्शन: यह "कब, कितनी दूर और किन दिशाओं में अनुकूलित होना है" के लिए ठोस मार्गदर्शन प्रदान करता है, और साक्ष्य के माध्यम से प्रॉम्प्ट-डिपेंडेंट स्टेप सिलेक्शन तथा क्वेरी-अलाइन्ड सबस्पेस चयन की वकालत करता है।
3. बेयज़ियन लेंस: यह TTT को एक इम्पलिसिट बेयियन इन्फरेंस के रूप में पुनर्गठित करता है, जहाँ अपडेट प्रक्रिया प्रॉम्प्ट द्वारा प्रेरित प्रायर मिसमैच को ठीक करती है।

लेखक स्पष्ट रूप से कहते हैं कि उनका विश्लेषण स्थानीय (प्रथम-क्रम सन्निकटन) है और यह पूरी तरह से नॉन-लीनियर TTT का पूर्ण सिद्धांत नहीं है। वे इस कार्य को एक स्थानीय बेयज़ियन परिप्रेक्ष्य से प्राप्त डिज़ाइन सिद्धांतों की पहचान करके TTT को अधिक विश्वसनीय बनाने की दिशा में एक कदम के रूप में देखते हैं, न कि किसी भी सामान्य टेस्ट-टाइम अनुकूलन की समस्या को हल करने के दावे के रूप में।