📊 statistics

Learning Linear Regression with Low-Rank Tasks in-Context

यह शोध पत्र लो-रैंक रिग्रेशन कार्यों में प्रेडिक्शन डिस्ट्रीब्यूशन और जनरलाइजेशन एरर की विशेषता बताते हुए, लीनियर अटेंशन मॉडल्स में इन-कॉन्टेक्स्ट लर्निंग को समझने के लिए एक सैद्धांतिक ढांचा प्रदान करता है, जो यह प्रकट करता है कि कैसे सीमित-डेटा के उतार-चढ़ाव इम्पलिसिट रेगुलराइजेशन को प्रेरित करते हैं और कैसे कार्य संरचना प्रदर्शन में तीव्र फेज़ ट्रांज़िशन को नियंत्रित करती है।

मूल लेखक: Kaito Takanami, Takashi Takahashi, Yoshiyuki Kabashima

प्रकाशित 2026-04-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kaito Takanami, Takashi Takahashi, Yoshiyuki Kabashima

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जिसने वर्षों तक हज़ारों अलग-अलग व्यंजन पकाए हैं। आपने हर एक रेसिपी को ज़बानी याद नहीं किया है, बल्कि आपने खाना पकाने के मौलिक सिद्धांतों को सीख लिया है: कि गर्मी सामग्री को कैसे प्रभावित करती है, स्वाद कैसे संतुलित होता है, और मौके पर सीजनिंग को कैसे समायोजित किया जाता है।

अब, एक ग्राहक आता है और कहता है, "मेरे पास ये तीन विशिष्ट सामग्रियां हैं। मेरे लिए एक व्यंजन बनाइए।"

आपको कोई रेसिपी ढूँढने की ज़रूरत नहीं है। आप सामग्रियों को देखते हैं (संदर्भ/context), अपने सामान्य कुकिंग सिद्धांतों को याद करते हैं, और तुरंत उन्हें मिलाने का तरीका निकाल लेते हैं। यही इन-कॉन्टेक्स्ट लर्निंग (ICL) है। यही आधुनिक AI (जैसे लार्ज लैंग्वेज मॉडल्स) करता है: यह बातचीत में दिए गए कुछ उदाहरणों को देखकर नए कार्य सीख लेता है, बिना दोबारा ट्रेनिंग (retraining) की आवश्यकता के।

लेकिन यह वास्तव में कैसे काम करता है? और यह कभी-कभी क्यों विफल हो जाता है?

काइटो ताकानामी और सहयोगियों का यह शोध पत्र एक एक्स-रे मशीन की तरह है, जो इस जादू के तंत्र को समझने के लिए एक सरलीकृत AI मॉडल के अंदरूनी "किचन" को देखता है। सरल शब्दों में इसका विवरण यहाँ दिया गया है:

1. "लो-रैंक" का रहस्य: छिपा हुआ पैटर्न खोजना

शोधकर्ताओं ने एक ऐसी स्थिति का अध्ययन किया जहाँ AI द्वारा सीखे जाने वाले कार्य यादृच्छिक अराजकता (random chaos) नहीं हैं। इसके बजाय, वे एक छिपे हुए ढांचे को साझा करते हैं, जैसे कि सभी इतालवी व्यंजनों का आधार टमाटर, लहसुन और जैतून के तेल का होता है, भले ही अंतिम पास्ता के आकार अलग-अलग हों।

गणितीय शब्दों में, वे इसे "लो-रैंक स्ट्रक्चर" कहते हैं। इसे एक बैकपैक की तरह समझें।

बैकपैक: AI अपनी ट्रेनिंग के दौरान नियमों का एक छोटा, संक्षिप्त सेट (बैकपैक) सीखता है।
सामान: विशिष्ट कार्य (जैसे "कविता लिखना" या "गणित की समस्या हल करना") बस वे अलग-अलग सामान हैं जिन्हें आप उस बैकपैक से बाहर निकाल सकते हैं।

पेपर दिखाता है कि जब AI कुछ उदाहरण देखता है, तो वह केवल अनुमान नहीं लगाता; वह प्रभावी रूप से अपना बैकपैक खोलता है, काम के लिए सही "उपकरण" ढूंढता है, और उसका उपयोग करता है।

2. भविष्यवाणी: सिग्नल बनाम शोर (Signal vs. Noise)

जब AI एक भविष्यवाणी करता है, तो यह वास्तव में दो चीजों का मिश्रण होता है:

सिग्नल (शेफ का कौशल): यह समझदार हिस्सा है। AI सही पैटर्न की पहचान करता है और सही तर्क लागू करता है।
शोर (कचरा/Clutter): यह "स्टैटिक" या भ्रम है। यह दो स्रोतों से आता है:
1. मेमोरी नॉइज़ (स्मृति का शोर): AI इसलिए भ्रमित हो जाता है क्योंकि उसे पहले से बनाया गया कोई विशिष्ट व्यंजन याद आता है जो दिखने में समान है लेकिन पूरी तरह से सही नहीं है।
2. स्ट्रक्चर नॉइज़ (संरचना का शोर): AI इसलिए भ्रमित हो जाता है क्योंकि नया कार्य उसके सीखे हुए "बैकपैक" में फिट नहीं बैठता।

बड़ी खोज: पेपर ने पाया कि संदर्भ (context) एक शोर-रद्द करने वाला (noise-canceling) हेडफ़ोन है।

यदि आप AI को अधिक उदाहरण (एक लंबा संदर्भ) देते हैं, तो यह "मेमोरी नॉइज़" और "स्ट्रक्चर नॉइज़" को फ़िल्टर करने में बेहतर हो जाता है।
हालाँकि, एक पेच है! यदि AI एक ही विशिष्ट कार्य के बहुत अधिक उदाहरण देखता है, तो वह "अति-विशिष्ट" (over-specialized) हो सकता है (जैसे एक शेफ जो केवल पास्ता बनाना जानता है और सूप बनाना भूल गया है)। इसे ओवरफिटिंग (overfitting) कहा जाता है।

3. "अपूर्ण" डेटा का विरोधाभास

यहाँ सबसे अधिक विरोधाभासी हिस्सा है।
आमतौर पर, हम सोचते हैं कि सटीक (perfect) डेटा सबसे अच्छा होता है। लेकिन शोधकर्ताओं ने पाया कि अपूर्ण डेटा वास्तव में AI को बेहतर सीखने में मदद करता है।

उपमा: कल्पना कीजिए कि आप अपनी उंगली पर झाड़ू को संतुलित करने की कोशिश कर रहे हैं। यदि फर्श पूरी तरह से चिकना और घर्षण रहित (perfect data) है, तो झाड़ू डगमगाएगी और गिर जाएगी क्योंकि वहां पकड़ (grip) नहीं है। लेकिन यदि फर्श थोड़ा खुरदरा (अपूर्ण डेटा जिसमें शोर है) है, तो घर्षण इसे स्थिर करने में मदद करता है।
विज्ञान: ट्रेनिंग डेटा की "खुरदरापन" (सांख्यिकीय उतार-चढ़ाव) एक इम्प्लिसिट रेगुलराइज़र (implicit regularizer) के रूप में कार्य करता है। यह AI को एक अजीब, अस्थिर समाधान में फंसने से रोकता है। यह AI को एक मजबूत, स्थिर तरीका खोजने के लिए मजबूर करता है, न कि एक नाजुक तरीके के लिए जो केवल पूर्ण, सैद्धांतिक डेटा पर काम करता है।

4. फेज ट्रांजिशन (Phase Transition): "टिपिंग पॉइंट"

पेपर ने AI की सीखने की क्षमता में एक तीव्र "टिपिंग पॉइंट" की खोज की।

परिदृश्य A (बहुत विविध): यदि कार्य AI की क्षमता की तुलना में बहुत विविध और जटिल हैं, तो वह एक दीवार से टकरा जाता है। वह अंतर्निहित पैटर्न को नहीं सीख पाता, चाहे वह कितनी भी कोशिश क्यों न करे।
परिदृश्य B (बिल्कुल सही): यदि कार्यों में पर्याप्त संरचना साझा की जाती है (वे पर्याप्त "लो-रैंक" हैं), तो AI अचानक "समझ" जाता है। वह इन-डिस्ट्रीब्यूशन कार्यों में महारत हासिल कर सकता है।
ट्रेड-ऑफ (संतुलन): एक बार जब AI उन विशिष्ट प्रकार के कार्यों का मास्टर बन जाता है जिन पर उसे प्रशिक्षित किया गया था (विशेषज्ञता/Specialization), तो वह पूरी तरह से यादृच्छिक, अजीब कार्यों को संभालने में कमजोर हो जाता है (मजबूती/Robustness)। यह एक ऐसे शेफ की तरह है जो दुनिया का बेहतरीन सुशी विशेषज्ञ बन जाता है लेकिन फिर एक साधारण ग्रिल्ड चीज़ सैंडविच भी नहीं बना पाता क्योंकि वह गैर-सुशी खाना पकाने की बुनियादी बातें भूल गया है।

सारांश: यह हमारे लिए क्या मायने रखता है?

यह पेपर हमें यह समझने के लिए एक ब्लूप्रिंट देता है कि AI कैसे सीखता है:

संदर्भ ही सर्वोपरि है: AI को अधिक उदाहरण देने से उसे भ्रम को फ़िल्टर करने में मदद मिलती है, लेकिन एक ही उदाहरण का बहुत अधिक होना उसे कठोर बना सकता है।
अपूर्णता अच्छी है: वास्तविक दुनिया के डेटा की स्वाभाविक "अव्यवस्था" सीखने को स्थिर करने में मदद करती है। हमें अपने डेटा को बहुत अधिक 'परफेक्ट' साफ करने की कोशिश नहीं करनी चाहिए।
विशेषज्ञता बनाम लचीलापन: एक मौलिक ट्रेड-ऑफ है। यदि हम एक AI को किसी एक विशिष्ट क्षेत्र (जैसे कोडिंग या चिकित्सा) में सुपर-एक्सपर्ट बनने के लिए प्रशिक्षित करते हैं, तो वह सामान्य, अजीब स्थितियों को संभालने की अपनी क्षमता खो सकता है।

संक्षेप में, AI केवल उदाहरणों को "रट" नहीं रहा है; वह सीखने के एल्गोरिदम को सीख रहा है, डेटा में मौजूद "शोर" का उपयोग एक स्टेबलाइज़र के रूप में कर रहा है, और एक विशेषज्ञ और एक सामान्यज्ञ (generalist) के बीच लगातार संतुलन बना रहा है।

यहाँ शोध पत्र "Learning Linear Regression with Low-Rank Tasks In-Context" (तकानामी, ताकाहाशी, और काबाशिमा द्वारा लिखित) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में इन-कॉन्टेक्स्ट लर्निंग (ICL) के पीछे के सैद्धांतिक तंत्रों को संबोधित करता है, जो विशेष रूप से इस बात पर ध्यान केंद्रित करता है कि मॉडल उन कार्यों को करने के लिए कैसे सीखते हैं जो एक सामान्य अंतर्निहित संरचना (common underlying structure) साझा करते हैं। जबकि मौजूदा सिद्धांत अक्सर कार्यों को स्वतंत्र मानते हैं, वास्तविक दुनिया के अनुप्रयोग संरचित कार्यों के परिवारों (जैसे, साझा लो-रैंक संरचना वाले मल्टीटास्क लर्निंग) में शामिल होते हैं।

लेखक निम्नलिखित प्रश्नों के उत्तर खोजने का प्रयास करते हैं:

एक ट्रांसफार्मर केवल संदर्भ उदाहरणों (context examples) से रिग्रेशन एल्गोरिदम कैसे सीखता है?
मॉडल साझा लो-रैंक संरचना (low-rank structure) वाले कार्यों को कैसे संभालता है?
जब कार्य इन-डिस्ट्रीब्यूशन (संरचना साझा करते हैं) बनाम आउट-ऑफ-डिस्ट्रीब्यूशन (संरचना का अभाव) होते हैं, तो सटीक सामान्यीकरण व्यवहार (generalization behaviors) क्या होते हैं?
परिमित प्री-ट्रेनिंग डेटा सांख्यिकी (finite pre-training data statistics) सीखने की प्रक्रिया को कैसे प्रभावित करती है?

2. कार्यप्रणाली (Methodology)

लेखक एक सरलीकृत लेकिन प्रतिनिधि मॉडल का विश्लेषण करने के लिए रेप्लिका विधि (replica method) (सांख्यिकीय भौतिकी से एक तकनीक) का उपयोग करते हुए एक कठोर उच्च-आयामी स्पर्शोन्मुखी विश्लेषण (high-dimensional asymptotic analysis) नियोजित करते हैं।

मॉडल सेटअप (Model Setup)

आर्किटेक्चर: एक सिंगल-लेयर लीनियर अटेंशन (linear attention) मॉडल। लेखक सिद्ध करते हैं कि विशिष्ट मान्यताओं के तहत, यह अटेंशन मैकेनिज्म संदर्भ से प्राप्त एक "प्रभावी फीचर मैट्रिक्स" (effective feature matrix) पर संचालित होने वाले सिंगल-लेयर लीनियर न्यूरल नेटवर्क के गणितीय रूप से समकक्ष है।
कार्य निर्माण (Task Generation):
- कार्यों को वेट वेक्टर्स $w_\mu \in \mathbb{R}^D$ द्वारा परिभाषित किया जाता है।
- ये वेक्टर्स एक लो-रैंक लेटेंट स्ट्रक्चर से उत्पन्न होते हैं: $w_\mu = \sqrt{D/r} A v_\mu$ , जहाँ $A \in \mathbb{R}^{D \times r}$ एक साझा फीचर मैट्रिक्स है ( $r \ll D$ ) और $v_\mu$ लेटेंट वेक्टर्स हैं।
चरण (Phases):
1. प्री-ट्रेनिंग (Pre-training): मॉडल को $M_0$ कार्यों के आधार पूल से नमूने लेकर $M$ कार्यों पर प्रशिक्षित किया जाता है। प्रत्येक टास्क इंस्टेंस में $L$ प्रदर्शन (इनपुट-आउटपुट जोड़े) और एक क्वेरी होती है।
2. इन्फरेंस (Inference): प्रशिक्षित मॉडल को नए प्रॉम्प्ट्स पर टेस्ट किया जाता है जिसमें $\tilde{L}$ प्रदर्शन दिए गए हैं ताकि क्वेरी आउटपुट की भविष्यवाणी की जा सके।
मूल्यांकन प्रोटोकॉल (Evaluation Protocols):
- टास्क मेमोराइजेशन (TM): प्री-ट्रेनिंग के दौरान देखे गए कार्य पर परीक्षण।
- इन-डिस्ट्रीब्यूशन जनरलाइजेशन (IDG): उसी लो-रैंक स्ट्रक्चर से उत्पन्न एक नए कार्य पर परीक्षण।
- आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन (ODG): आइसोट्रोपिक गौसियन वितरण (कोई लो-रैंक स्ट्रक्चर नहीं) से लिए गए कार्यों पर परीक्षण।

विश्लेषणात्मक ढांचा (Analytical Framework)

उच्च-आयामी सीमा (High-Dimensional Limit): विश्लेषण मानता है कि $D, L, M, M_0, r \to \infty$ जबकि उनके अनुपात स्थिर रहते हैं।
प्रमुख पैरामीटर (Key Parameters):
- $\alpha = L/D$ : प्री-ट्रेनिंग सैंपल अनुपात।
- $\rho = r/D$ : टास्क सबस्पेस डाइमेंशनलिटी (कार्य की कठिनाई)।
- $\kappa = M_0/D$ : टास्क डाइवर्सिटी।
- $\gamma = M/(D M_0)$ : ट्रेनिंग डेटा डेंसिटी।
रेप्लिका विधि (Replica Method): थर्मोडायनामिक लिमिट में औसत जनरलाइजेशन एरर और ऑर्डर पैरामीटर्स (सीखे गए वेट्स और वास्तविक कार्यों के बीच ओवरलैप) की गणना करने के लिए उपयोग किया जाता है।

3. प्रमुख योगदान और परिणाम (Key Contributions & Results)

A. ICL प्रेडिक्शन का अपघटन (Decomposition of ICL Prediction)

लेखक मॉडल के प्रेडिक्शन $\hat{y}$ का तीन घटकों में एक सटीक अपघटन व्युत्पन्न करते हैं:
$\hat{y} \approx \hat{y}_{algo} + \hat{y}_{mem} + \hat{y}_{struct}$

एल्गोरिद्मिक सिग्नल ( $\hat{y}_{algo}$ ): मुख्य रिग्रेशन क्षमता। मॉडल स्पष्ट रूप से एक दो-चरणीय प्रक्रिया सीखता है: (1) प्रॉम्प्ट से एक नैव एस्टिमेटर की गणना करना, और (2) इसे प्री-ट्रेनिंग के दौरान सीखे गए लो-रैंक सबस्पेस पर प्रोजेक्ट करना।
मेमोराइजेशन नॉइज़ ( $\hat{y}_{mem}$ ): विशिष्ट प्री-ट्रेनिंग कार्यों के साथ सह-संबंधित शोर। यह तब कम हो जाता है जब वर्तमान कार्य किसी मेमोराइज्ड कार्य से मेल खाता है, लेकिन यदि मॉडल विशिष्ट ट्रेनिंग पैटर्न के प्रति अत्यधिक विशेषज्ञता (overfit) विकसित कर लेता है, तो नए कार्यों के लिए यह बढ़ सकता है।
स्ट्रक्चरल नॉइज़ ( $\hat{y}_{struct}$ ): प्रॉम्प्ट के अनुमानित स्ट्रक्चर और सीखे गए लो-रैंक प्रायर के बीच बेमेल होने से उत्पन्न शोर। यह आउट-ऑफ-डिस्ट्रीब्यूशन (ODG) परिदृश्यों में हावी रहता है।

अंतर्दृष्टि: ICL एक कॉन्टेक्स्ट-डिपेंडेंट नॉइज़-रिडक्शन मैकेनिज्म के रूप में कार्य करता है। कॉन्टेक्स्ट मॉडल को सीखे गए स्ट्रक्चर के साथ कार्य के संरेखण (alignment) के आधार पर शोर के पदों को चुनिंदा रूप से दबाने की अनुमति देता है।

B. परिमित डेटा से निहित रेगुलराइजेशन (Implicit Regularization from Finite Data)

एक विरोधाभासी निष्कर्ष यह है कि परिमित प्री-ट्रेनिंग डेटा एक निहित रेगुलराइजेशन प्रेरित करता है जो लर्निंग को स्थिर करता है।

घटना (The Phenomenon): अनंत प्री-ट्रेनिंग डेटा (टास्क डिस्ट्रीब्यूशन का पूर्ण ज्ञान) की आदर्श सीमा में, लो-रैंक कार्यों के लिए लर्निंग समस्या 'इल-पोज़्ड' (ill-posed) हो जाती है, जिससे अस्थिरता और खराब सामान्यीकरण होता है।
तंत्र (The Mechanism): परिमित डेटासेट में सांख्यिकीय उतार-चढ़ाव प्रभावी ऑब्जेक्टिव फंक्शन में एक गैर-शून्य रेगुलराइजेशन टर्म ( $\hat{\bar{q}} > 0$ ) पेश करते हैं। यह टर्म ऑप्टिमाइजेशन लैंडस्केप में फ्लैट दिशाओं (null spaces) को होने से रोकता है, जिससे एक अद्वितीय और स्थिर समाधान सुनिश्चित होता है।
निष्कर्ष: डेटा में "शोर" केवल एक बग नहीं है, बल्कि एक महत्वपूर्ण विशेषता है जो लो-रैंक संरचनाओं के स्थिर शिक्षण को सक्षम बनाती है।

C. क्षमताओं में तीव्र चरण संक्रमण (Sharp Phase Transition in Capabilities)

पेपर टास्क की कठिनाई ( $\rho$ ) और टास्क डाइवर्सिटी ( $\kappa$ ) के बीच संबंध द्वारा नियंत्रित जनरलाइजेशन एरर में एक तीव्र चरण संक्रमण (phase transition) की पहचान करता है:

टास्क-डेफिसिएंट रिजीम ( $\rho > \kappa$ ): मॉडल द्वारा देखे गए कार्यों की विविधता द्वारा बाधित होता है। प्रदर्शन खराब होता है और टास्क की कठिनाई के प्रति असंवेदनशील होता है।
टास्क-रिच रिजीम ( $\rho < \kappa$ ): मॉडल ने लो-रैंक स्ट्रक्चर को पूरी तरह से पकड़ने के लिए पर्याप्त विविध कार्य देखे हैं।
- इन-डिस्ट्रीब्यूशन (TM/IDG): एरर काफी कम हो जाता है क्योंकि मॉडल स्ट्रक्चर का पूरी तरह से फायदा उठाता है।
- आउट-ऑफ-डिस्ट्रीब्यूशन (ODG): एरर बढ़ जाता है।
ट्रेड-ऑफ: विशेषज्ञता (इन-डिस्ट्रीब्यूशन कार्यों पर उच्च प्रदर्शन) और मजबूती/रोबस्टनेस (आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों पर प्रदर्शन) के बीच एक मौलिक ट्रेड-ऑफ है। जैसे-जैसे मॉडल लो-रैंक स्ट्रक्चर का लाभ उठाने में बेहतर होता जाता है, वह स्ट्रक्चरल मिसमैच के प्रति अधिक भंगुर (brittle) होता जाता है।

D. नॉनलीनर अटेंशन वैलिडेशन (Nonlinear Attention Validation)

लेखक अपने लीनियर थ्योरी को एक-लेयर सॉफ्टमैक्स सेल्फ-अटेंशन मॉडल का उपयोग करके मान्य करते हैं। हालांकि नॉनलीनर सेटिंग में तीव्र चरण संक्रमण कम स्पष्ट है (संभवतः फाइनाइट-साइज़ प्रभावों के कारण), गुणात्मक रुझान (कम $\rho$ के साथ IDG/TM में सुधार, और $\kappa$ पर बॉटलनेक) बने रहते हैं, जो सैद्धांतिक अंतर्दृष्टियों की मजबूती की पुष्टि करते हैं।

4. महत्व और निहितार्थ (Significance and Implications)

मैकेनिज्म-लेवल अंडरस्टैंडिंग: यह पेपर "ब्लैक बॉक्स" प्रदर्शन मेट्रिक्स से आगे बढ़कर इस बात का गणितीय अपघटन प्रदान करता है कि ट्रांसफॉर्मर एल्गोरिदम कैसे सीखते हैं। यह स्पष्ट रूप से अटेंशन मैकेनिज्म को सीखे गए सबस्पेस पर प्रोजेक्शन से जोड़ता है।
डेटा नॉइज़ की भूमिका: यह इस मानक दृष्टिकोण को चुनौती देता है कि शोर केवल हानिकारक होता है, यह दिखाते हुए कि परिमित-डेटा उतार-चढ़ाव (finite-data fluctuations) संरचित (लो-रैंक) कार्यों के शिक्षण को स्थिर करने के लिए आवश्यक हैं।
करिकुलम लर्निंग और प्री-ट्रेनिंग रणनीति: चरण संक्रमण एक इष्टतम प्री-ट्रेनिंग रणनीति का सुझाव देता है। विशिष्ट मॉडल बनाने के लिए, हमें टास्क कॉम्प्लेक्सिटी ( $\rho$ ) के सापेक्ष उच्च डाइवर्सिटी ( $\kappa$ ) वाले डेटासेट क्यूरेट करने चाहिए। मजबूती बनाए रखने के लिए, हमें ट्रांजिशन पॉइंट ( $\rho \approx \kappa$ ) के करीब काम करना चाहिए।
इमर्जेंस (Emergence): चरण संक्रमण ( $\rho = \kappa$ ) पर पूर्ण इन-डिस्ट्रीब्यूशन जनरलाइजेशन का अचानक अधिग्रहण एक नए प्रकार की इमर्जेंट क्षमता के रूप में पहचाना गया है, जो केवल स्केल द्वारा संचालित होने के बजाय, टास्क डिस्ट्रीब्यूशन की अंतर्निहित संरचना द्वारा संचालित है।

सारांश (Summary)

यह कार्य एक सुसंगत ढांचा प्रदान करता है जो बताता है कि ट्रांसफॉर्मर संरचित कार्यों पर इन-कॉन्टेक्स्ट लर्निंग कैसे करते हैं। प्रेडिक्शन को सिग्नल और नॉइज़ में विभाजित करके, परिमित-डेटा सांख्यिकी की स्थिर करने वाली भूमिका की पहचान करके, और जनरलाइजेशन क्षमताओं में चरण संक्रमण को मैप करके, लेखक यह समझाने में सक्षम होते हैं कि मॉडल कैसे "सीखना सीखते हैं" (learn to learn) और विशेषज्ञता एवं मजबूती के बीच अंतर्निहित ट्रेड-ऑफ क्या है।