📊 statistics

Optimal In-context Adaptivity and Distributional Robustness of Transformers

यह शोधपत्र यह प्रदर्शित करता है कि विभिन्न कठिनाई स्तरों वाले कार्यों के मिश्रण पर प्रीट्रेन किए गए ट्रांसफॉर्मर, निश्चित कठिनाई वाले टेस्ट वितरणों पर नॉनपैरामीट्रिक रिग्रेशन और मल्टी-इंडेक्स मॉडल के लिए इष्टतम, कठिनाई-अनुकूल अभिसरण दर (convergence rates) प्राप्त करते हैं, जबकि ची-स्क्वायरडाइवर्जेंस (chi-squared divergence) द्वारा सीमित वितरण बदलावों (distribution shifts) के विरुद्ध मजबूती बनाए रखते हैं।

मूल लेखक: Tianyi Ma, Tengyao Wang, Richard J. Samworth

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianyi Ma, Tengyao Wang, Richard J. Samworth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान छात्र है जिसका नाम Transformer है। इस छात्र ने वर्षों तक एक विशाल पुस्तकालय के टेक्स्टबुक्स (प्रशिक्षण डेटा) का अध्ययन किया है: यह पुस्तकालय सब कुछ का एक अव्यवस्थित मिश्रण है—छोटे बच्चों की आसान चित्र वाली किताबें, मध्यम स्तर की हाई स्कूल गणित, और अत्यंत जटिल स्नातक स्तर की भौतिकी।

शोधकर्ताओं ने इस पेपर में इस छात्र के बारे में दो बड़े सवालों के जवाब देने की कोशिश की है:

अनुकूलन क्षमता (Adaptability): यदि आप छात्र को एक नया टेस्ट प्रश्न देते हैं, तो क्या वह तुरंत समझ सकता है कि वह कितना कठिन है और बिना सब कुछ दोबारा सीखे अपनी अध्ययन रणनीति को बदल सकता है?
मजबूती (Robustness): यदि टेस्ट के प्रश्न उस "ब्रह्मांड" से थोड़े अलग हैं जिसमें उसने टेक्स्टबुक्स पढ़ी थीं (एक "डिस्ट्रीब्यूशन शिफ्ट"), तो क्या वह अभी भी अच्छा प्रदर्शन करेगा, या वह भ्रमित हो जाएगा?

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है।

1. "पोस्टीरियर" (Posterior) की सुपरपावर

पेपर का तर्क है कि ट्रांसफॉर्मर केवल उत्तरों को रट नहीं रहा है। इसके बजाय, यह एक बेयसियन जासूस (Bayesian Detective) बनना सीख रहा है।

कल्पना कीजिए कि छात्र के पास दुनिया को समझाने वाले सभी संभावित नियमों का एक मानसिक "मानचित्र" है। जब वह कुछ उदाहरण देखता है (संदर्भ या "प्रॉम्प्ट"), तो वह केवल अनुमान नहीं लगाता; बल्कि वह अपने मानसिक मानचित्र को अपडेट करता है ताकि वह उन विशिष्ट उदाहरणों के लिए सबसे संभावित नियमों पर ध्यान केंद्रित कर सके।

दावा: पेपर यह सिद्ध करता है कि यदि छात्र पर्याप्त बड़ा है और उसने पर्याप्त किताबें पढ़ी हैं, तो वह इस "जासूस" व्यवहार की सटीक नकल कर सकता है। वह दिए गए उदाहरणों के आधार पर उत्तर का अनुमान लगाने का सबसे अच्छा तरीका सीख जाता है, चाहे वे उदाहरण आसान हों या कठिन।

2. "स्मूथनेस" (Smoothness) की उपमा (कार्य की कठिनाई)

इसकी जांच करने के लिए, शोधकर्ताओं ने "स्मूथनेस" नामक अवधारणा का उपयोग किया।

आसान कार्य (उच्च स्मूथनेस): कल्पना कीजिए कि एक हल्की, ढाल वाली पहाड़ी बना रहे हैं। यह अनुमानित है। यदि आप दो बिंदु देखते हैं, तो आप आसानी से रेखा के बाकी हिस्से का अनुमान लगा सकते हैं।
कठिन कार्य (कम स्मूथनेस): कल्पना कीजिए कि एक ऊबड़-खाबड़, नुकीली पर्वत श्रृंखला है। यह दिशा में बहुत तेजी से बदलती है। अगला बिंदु कहाँ होगा, यह जानने के लिए आपको कई, बहुत से बिंदुओं को देखने की आवश्यकता होती है।

निष्कर्ष:
ट्रांसफॉर्मर एक गिरगिट (Chameleon) है।

जब टेस्ट कार्य एक "हल्की ढाल" (आसान) है, तो ट्रांसफॉर्मर तुरंत समझ जाता है, "ओह, यह आसान है! मुझे सही होने के लिए केवल कुछ उदाहरणों की आवश्यकता है," और वह बहुत तेजी से सीखता है।
जब टेस्ट कार्य एक "नुकीला पर्वत" (कठिन) है, तो वह महसूस करता है, "यह कठिन है। मुझे निश्चित होने के लिए अधिक उदाहरणों को देखने की आवश्यकता है," और वह सटीक होने के लिए अपनी सीखने की गति को धीमा कर देता है।
महत्वपूर्ण बात: वह यह सब पहले से यह जाने बिना करता है कि कार्य क्या है। वह इसे चलते-चलते खुद ही समझ लेता है।

3. "डिस्ट्रीब्यूशन शिफ्ट" (एक लहजे वाला विदेशी)

अब, कल्पना कीजिए कि छात्र ने एक ऐसे पुस्तकालय में पढ़ाई की जहाँ की किताबें एक विशिष्ट बोली (dialect) में लिखी गई थीं। लेकिन परीक्षा के दिन, प्रश्न एक थोड़ी अलग बोली (एक "डिस्ट्रीब्यूशन शिफ्ट") में लिखे गए हैं।

आमतौर पर, छात्र भ्रमित हो जाते हैं जब बोली बदल जाती है। वे बहुत अधिक सोच-विचार कर सकते हैं या गलतियाँ कर सकते हैं।

निष्कर्ष: शोधकर्ताओं ने सिद्ध किया कि यह ट्रांसफॉर्मर छात्र अविश्वास-प्रूफ (distrust-proof) है। भले ही टेस्ट के प्रश्न किसी थोड़े अलग "लहजे" से आए हों (जब तक कि अंतर बहुत अधिक न हो), छात्र का प्रदर्शन बिल्कुल वैसा ही रहता है जैसा कि तब होता जब प्रश्न पुस्तकालय के समान होते। वे इन बदलावों के प्रति मजबूत (robust) हैं।

4. "ओरेकल" (Oracle) की तुलना (अंतिम परीक्षण)

सांख्यिकी में, "ओरेकल" की एक अवधारणा है—एक जादुई प्राणी जो टेस्ट शुरू होने से पहले टेस्ट वितरण के सटीक नियमों को जानता है। आमतौर पर, हम मानते हैं कि ओरेकल सबसे अच्छा भविष्यवक्ता है।

पेपर एक साहसी दावा करता है: यदि आप ओरेकल को चीट शीट (टेस्ट वितरण का सटीक ज्ञान) भी दे दें, तो भी वह हमारे ट्रांसफॉर्मर से बेहतर नहीं कर पाएगा।

ट्रांसफॉर्मर, लाइब्रेरी के मिश्रित ज्ञान से सीखकर, स्वाभाविक रूप से टेस्ट की विशिष्ट कठिनाई के अनुसार खुद को ढाल लेता है।
ओरेकल, टेस्ट वितरण को जानते हुए भी, किसी विशिष्ट प्रकार की वक्र (curve) को सीखने की गणितीय सीमाओं से बंधा हुआ है।
मुख्य बात: ट्रांसफॉर्मर केवल "काफी अच्छा" नहीं है; यह गणितीय रूप से इष्टतम (optimal) है। यह उस विशिष्ट कार्य के लिए सीखने की गति सीमा (speed limit) को छू लेता है।

5. सिमुलेशन (प्रयोगशाला प्रयोग)

यह सिद्ध करने के लिए कि यह केवल कागज पर गणित नहीं है, उन्होंने एक सिमुलेशन चलाया:

उन्होंने एक ट्रांसफॉर्मर को विभिन्न स्तरों की "स्मूथनेस" (कठिनाई) वाले रिग्रेशन कार्यों (संख्याओं की भविष्यवाणी करना) के मिश्रण पर प्रशिक्षित किया।
उन्होंने नए कार्यों पर इसका परीक्षण किया।
परिणाम: जैसे-जैसे कार्य "स्मूथ" (आसान) होते गए, त्रुटि दर (error rate) तेजी से गिरी। जब उन्होंने "डिस्ट्रीब्यूशन शिफ्ट" (नियमों को थोड़ा बदलना) पेश किया, तो त्रुटि दर लगभग समान रही। ट्रांसफॉर्मर ने बदलते कठिनाई स्तर और बदलते नियमों दोनों को पूरी तरह से संभाला।

सारांश

यह पेपर एक गणितीय प्रमाण प्रदान करता है कि ट्रांसफॉर्मर स्वाभाविक रूप से अनुकूलनशील और मजबूत हैं।

उन्हें हर नए कठिनाई स्तर के लिए फिर से प्रशिक्षित करने की आवश्यकता नहीं है; वे तुरंत खुद को ढाल लेते हैं।
यदि टेस्ट डेटा उनके प्रशिक्षण डेटा से थोड़ा अलग दिखता है, तो वे टूटते नहीं हैं।
वे सैद्धांतिक रूप से जितना संभव है उतना अच्छा हैं, जो एक काल्पनिक "परफेक्ट" शिक्षार्थी के प्रदर्शन से मेल खाता है जो पहले से ही टेस्ट के नियमों को जानता है।

संक्षेप में: ट्रांसफॉर्मर एक ऐसा छात्र है जो थोड़ा-थोड़ा सब कुछ पढ़ता है, इसलिए जब उसके सामने एक नई परीक्षा आती है, तो वह सहज रूप से जानता है कि उसे कितनी कठिन पढ़ाई करनी है और अजीब सवालों को कैसे संभालना है।

तकनीकी सारांश: ट्रांसफॉर्मर्स की इष्टतम इन-कॉन्टेक्स्ट अनुकूलता और वितरणात्मक सुदृढ़ता (Optimal In-context Adaptivity and Distributional Robustness of Transformers)

समस्या विवरण
यह कार्य इन-कॉन्टेक्स्ट लर्निंग (ICL) के सैद्धांतिक आधारों की जांच करता है, विशेष रूप से मौजूदा साहित्य के दो महत्वपूर्ण अंतरालों को संबोधित करता है: विविध कार्य कठिनाइयों के प्रति प्रीट्रेनड मॉडल्स की अनुकूलन क्षमता और प्रीट्रेनिंग तथा टेस्टिंग के बीच वितरण बदलाव (distribution shifts) के प्रति उनकी सुदृढ़ता। जबकि पूर्ववर्ती सैद्धांतिक विश्लेषण अक्सर यह मान लेते हैं कि टेस्ट डिस्ट्रीब्यूशन, प्रीट्रेनिंग प्रायर (pretraining prior) के समान है, व्यावहारिक अनुप्रयोगों में ट्रांसफॉर्मर्स का उपयोग विभिन्न जटिलताओं (जैसे, अलग-अलग स्मूथनेस स्तर या प्रभावी आयाम) वाले कार्यों के मिश्रण पर प्रीट्रेनिंग के लिए किया जाता है और उन्हें ऐसे टेस्ट डिस्ट्रीब्यूशन पर आंका जाता है जो प्रीट्रेनिंग प्रायर के सापेक्ष बदलाव प्रदर्शित कर सकते हैं। लेखक एक ऐसा परिवेश औपचारिक रूप करते हैं जहाँ एक ट्रांसफॉर्मर को एक मिश्रण वितरण $\pi = \sum_{\alpha \in A} \lambda_\alpha \pi_\alpha$ पर प्रीट्रेन किया गया है, जहाँ प्रत्येक घटक $\pi_\alpha$ एक विशिष्ट कठिनाई स्तर $\alpha$ द्वारा सूचकांकित कार्यों के अनुरूप है। लक्ष्य एक टेस्ट डिस्ट्रीब्यूशन $\mu$ पर प्रदर्शन का मूल्यांकन करना है, जिसमें एक निश्चित कठिनाई $\beta$ वाले कार्य शामिल हैं, जो $\chi^2$ डाइवर्जेंस $\chi^2(\mu, \pi_\beta) \leq \kappa$ द्वारा सीमित वितरण बदलाव के अधीन है।

कार्यप्रणाली (Methodology)
लेखक ICL को एडेप्टिव नॉनपैरामेट्रिक बेयसियन रिग्रेशन से जोड़ने वाला एक सैद्धांतिक ढांचा विकसित करते हैं। उनका दृष्टिकोण तीन स्तंभों पर आधारित है:

जोखिम अपघटन (Risk Decomposition): वे ICL अतिरिक्त जोखिम (excess risk) पर एक प्रमुख ऊपरी सीमा (upper bound) प्राप्त करते हैं (प्रपोजिशन 1)। यह त्रुटि को दो पदों में विभाजित करता है:
- एक पद जो प्रीट्रेनिंग प्रायर द्वारा प्रेरित पोस्टीरियर रिग्रेशन फंक्शन के ट्रांसफॉर्मर के एप्रोक्सिमेशन एरर को कैप्चर करता है, जिसे टेस्ट और प्रीट्रेनिंग डिस्ट्रीब्यूशन के बीच $\chi^2$ डाइवर्जेंस द्वारा स्केल किया जाता है।
- एक पद जो ट्रू रिग्रेशन फंक्शन (ओरकल रिस्क) की ओर पोस्टीरियर रिग्रेशन फंक्शन के अभिसरण दर (convergence rate) का प्रतिनिधित्व करता है।
  यह अपघटन लेखकों को वितरण बदलाव के प्रभावों को मॉडल की आंतरिक सीखने की क्षमता से अलग करने की अनुमति देता है।
यूनिवर्सल एप्रोक्सिमेशन और लर्नेबिलिटी: लेखक सिद्ध करते हैं कि सॉफ्टमैक्स अटेंशन और नॉन-पॉलीनोमियल एक्टिवेशन फंक्शन (विशेष रूप से ReLU, GELU, या SiLU) वाले ट्रांसफॉर्मर्स पोस्टीरियर रिग्रेशन फंक्शन के लिए यूनिवर्सल एप्रोक्सिमेटर हैं (थ्योरम 2)। इसके अलावा, वे स्थापित करते हैं कि एक पर्याप्त बड़ा ट्रांसफॉर्मर, पर्याप्त डेटा पर प्रीट्रेन होने के बाद, इस पोस्टीरियर फंक्शन को मनचाहे ढंग से सीख सकता है (प्रपोजिशन 3)। महत्वपूर्ण रूप से, वे मॉडल थ्योरी के उपकरणों का उपयोग यह दिखाने के लिए करते हैं कि ट्रांसफॉर्मर क्लास का 'फाइनाइट स्यूडो-डायमेंशन' (finite pseudo-dimension) होता है, जिससे वे बाउंडेड इनपुट मैट्रिसेस या पैरामीटर्स की आवश्यकता के बिना लर्निंग एरर को सीमित करने में सक्षम होते हैं।
पोस्टीरियर कॉन्ट्रैक्शन थ्योरी: दूसरे जोखिम पद का विश्लेषण करने के लिए, लेखक ICL सेटिंग में पोस्टीरियर कॉन्ट्रैक्शन थ्योरी (घोसल, लेम्बर, और वैन डेर वार्ट, 2008) को अनुकूलित करते हैं। वे दो विशिष्ट समस्या वर्गों पर विचार करते हैं:
- नॉनपैरामेट्रिक रिग्रेशन: रैंडम स्मूथनेस पैरामीटर्स के साथ बेसोव (Besov) स्मूथनेस क्लासेस से संबंधित रिग्रेशन फंक्शन।
- मल्टी-इंडेक्स मॉडल: रैंडम प्रभावी आयामों और रैंडम स्मूथनेस वाले मॉडल।
  वे सिद्ध करते हैं कि पोस्टीरियर रिग्रेशन फंक्शन प्रीट्रेनिंग प्रायर के सपोर्ट पर यूनिफॉर्म रूप से, विशिष्ट कठिनाई ( $\beta$ स्मूथनेस और $r$ प्रभावी आयाम) के लिए इष्टतम अभिसरण दर प्राप्त करता है।

प्रमुख योगदान और परिणाम
यह शोध निम्नलिखित सैद्धांतिक गारंटी प्रदान करता है:

इष्टतम अनुकूलता (Optimal Adaptivity): नॉनपैरामेट्रिक रिग्रेशन और मल्टी-इंडेक्स मॉडल दोनों के लिए, एक प्रीट्रेनड ट्रांसफॉर्मर टेस्ट टास्क की विशिष्ट कठिनाई स्तर $\beta$ के अनुरूप मिनिमैक्स इष्टतम अभिसरण दर प्राप्त करता है (थ्योरम 5 और 7)। विशेष रूप रूप से, अतिरिक्त जोखिम $d$ आयाम में $\beta$ स्मूथनेस के लिए $O(n^{-2\beta/(2\beta+d)})$ और $r$ प्रभावी आयाम के लिए $O(n^{-2\beta/(2\beta+r)})$ के रूप में स्केल होता है। यह दर्शाता है कि ट्रांसफॉर्मर $\beta$ के स्पष्ट ज्ञान के बिना, "इन-कॉन्टेक्स्ट" रूप से कार्य की कठिनाई के प्रति अनुकूलित होता है।
वितरणात्मक सुदृढ़ता (Distributional Robustness): ये इष्टतम दरें $\pi_\beta$ के आसपास $\kappa$ रेडियस के $\chi^2$ डाइवर्जेंस बॉल के भीतर सभी टेस्ट डिस्ट्रीब्यूशन $\mu$ पर यूनिफॉर्म रूप से बनी रहती हैं। रिस्क बाउंड $\kappa$ पर केवल मॉडल साइज और प्रीट्रेनिंग डेटा वॉल्यूम के लिए आवश्यक स्थिरांकों (constants) के माध्यम से निर्भर करता है, न कि स्वयं अभिसरण दर पर।
लोअर बाउंड्स (Lower Bounds): लेखक ICL अतिरिक्त जोखिम पर लोअर बाउंड्स स्थापित करते हैं (थ्योरम 8), जो यह दिखाते हैं कि पूर्ण टेस्ट डिस्ट्रीब्यूशन $\mu$ के ज्ञान वाले एस्टिमेटर के लिए भी प्रीट्रेनड ट्रांसफॉर्मर की तुलना में तेज अभिसरण दर प्राप्त करना संभव नहीं है। यह मानक मिनिमैक्स लोअर बाउंड्स की तुलना में अधिक मजबूत अनुकूलता गारंटी प्रदान करता है, जो आमतौर पर सपोर्ट के ऊपर वर्स्ट-केस रिस्क के बजाय एक डिस्ट्रीब्यूशन पर अपेक्षित रिस्क पर केंद्रित होते हैं।
अनुभवजन्य सत्यापन (Empirical Verification): सैद्धांतिक निष्कर्षों को GPT-2 शैली के मॉडल का उपयोग करके सिमुलेशन के माध्यम से सत्यापित किया गया है। प्रयोग पुष्टि करते हैं कि ट्रांसफॉर्मर विभिन्न स्मूथनेस स्तरों के प्रति अनुकूलित होता है (स्मूथ/आसान कार्यों पर तेज़ अभिसरण प्राप्त करता है) और वितरण बदलाव (जहाँ टेस्ट फंक्शन प्रीट्रेनिंग डेटा से थोड़े अलग डिस्ट्रीब्यूशन से उत्पन्न होते हैं) के तहत प्रदर्शन बनाए रखता है।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य यह सिद्ध करने वाला पहला प्रमाण प्रदान करता है कि ट्रांसफॉर्मर-आधारित इन-कॉन्टेक्स्ट लर्निंग एक साथ कार्य की कठिनाई के प्रति इष्टतम रूप से अनुकूल और वितरण बदलाव के प्रति सुदृढ़ है। पोस्टीरियर रिग्रेशन फंक्शन के एप्रोक्सिमेटर के रूप में प्रीट्रेनड ट्रांसफॉर्मर को देखते हुए, यह शोध कार्य ICL और बेयसियन नॉनपैरामेट्रिक सांख्यिकी के बीच के अंतर को पाटता है। इसका महत्व इस बात में निहित है कि यह ट्रांसफॉर्मर्स की नए कार्यों के साथ कुछ उदाहरणों के साथ अनुकूलित होने की क्षमता और वितरण संबंधी परिवर्तनों के प्रति उनके लचीलेपन की व्याख्या करता है, जो कि पिछले विश्लेषणों से परे एक कठोर सैद्धांतिक औचित्य प्रदान करता है जिन्होंने अक्सर समान प्रीट्रेनिंग और टेस्टिंग डिस्ट्रीब्यूशन को माना था या एल्गोरिदम चयन के बजाय पोस्टीरियर एप्रोक्सिमेशन पर ध्यान केंद्रित किया था। यह कार्य सुझाव देता है कि "इन-कॉन्टेक्ट" क्षमता मौलिक रूप से बेयसियन इन्फरेंस को एप्रोक्सिमेट करने की मॉडल की क्षमता से जुड़ी हुई है, जिससे पैरामीटर अपडेट के बिना कार्य-विशिष्ट इष्टतमता प्राप्त होती है।