🤖 machine learning

Distinct mechanisms underlying in-context learning in transformers

यह शोध पत्र डिस्क्रीट मार्कोव चेन पर प्रशिक्षित ट्रांसफॉर्मर में इन-कॉन्टेक्स्ट लर्निंग का एक पूर्ण यांत्रिक लक्षण वर्णन प्रदान करता है, जो विशिष्ट मल्टी-लेयर सबसर्किट्स द्वारा कार्यान्वित चार एल्गोरिद्मिक चरणों को प्रकट करता है और उन विशिष्ट डेटा विविधता थ्रेशोल्ड और प्रशिक्षण गतिकी की पहचान करता है जो मेमोराइजेशन और जनरलाइजेशन रणनीतियों के बीच संक्रमण को नियंत्रित करते हैं।

मूल लेखक: Cole Gibson, Wenping Cui, Gautam Reddy

प्रकाशित 2026-04-15

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Cole Gibson, Wenping Cui, Gautam Reddy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट शेफ है। आमतौर पर, रोबोट को खाना बनाना सिखाने के लिए, आपको हर नए रेसिपी के लिए उसकी आंतरिक सेटिंग्स (इसके "पैरामीटर्स") को हफ्तों तक ट्यून करने में समय बिताना पड़ता है। यदि आप चाहते हैं कि वह इतालवी पास्ता बनाना सीखे, तो आपको उसे पास्ता के लिए प्रशिक्षित करना होगा। यदि आप चाहते हैं कि वह सुशी बनाए, तो आपको रुकना होगा, उसे फिर से प्रशिक्षित करना होगा और उसकी सेटिंग्स को फिर से ट्यून करना होगा।

लेकिन आधुनिक AI मॉडल, जिन्हें ट्रांसफॉर्मर (Transformers) कहा जाता है, के पास एक सुपरपावर है जिसे इन-कॉन्टेक्स्ट लर्निंग (ICL) कहते हैं। यदि आप सुशी बनाने का तरीका सीखने के लिए उससे ठीक पहले कुछ उदाहरण देते हैं, तो वह अपनी आंतरिक सेटिंग्स को बदले बिना तुरंत नियम समझ लेता है और सुशी बना सकता है। वह तुरंत सीख जाता है, बस आपके द्वारा दिए गए उदाहरणों को देखकर।

यह पेपर पूछता है: यह रोबोट वास्तव में यह कैसे करता है? क्या यह उदाहरणों को याद कर रहा है, या यह सामान्य नियमों को समझ रहा है? और क्या यह अलग-अलग स्थितियों के लिए अलग-अलग "ब्रेन सर्किट्स" (मस्तिष्क सर्किट) का उपयोग करता है?

लेखकों ने, जो प्रिंसटन के शोधकर्ता हैं, यह पता लगाने के लिए प्रयोगों की एक श्रृंखला चलाई कि इस रोबोट का मस्तिष्क वास्तव में कैसे काम करता है। उन्होंने पाया कि रोबोट के पास केवल एक तरह से सीखने का तरीका नहीं है; इसके पास चार अलग-अलग मोड (या चरण) हैं जिनके बीच वह बदलता रहता है, जो इस बात पर निर्भर करता है कि उसने पहले कितने अलग-अलग प्रकार के डेटा देखे हैं।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

रोबोट शेफ के चार मोड

कल्पना कीजिए कि रोबोट वाक्य में अगला शब्द (या रेसिपी का अगला कदम) बताने की कोशिश कर रहा है। वह यह चार तरीकों से कर सकता है:

द गैंबलर (1-पॉइंट जनरलाइजेशन): रोबोट शब्दों के पूरे इतिहास को देखता है और उन सबसे आम शब्दों के आधार पर अगले शब्द का अनुमान लगाता है जिन्हें उसने अब तक देखा है। वह तत्काल संदर्भ (context) को अनदेखा कर देता है।
- उपमा: आप ताश की गड्डी में अगले कार्ड का अनुमान केवल यह जानकर लगा रहे हैं कि पूरे डेक में कितने लाल और काले कार्ड बचे हैं, उस कार्ड को अनदेखा करते हुए जो आपने अभी देखा है।
द पैटर्न स्पॉटर (2-पॉइंट जनरलाइजेशन): रोबोट तत्काल पिछले शब्द को देखता है और यह अनुमान लगाता है कि वे दो शब्द अपने प्रशिक्षण में कितनी बार एक साथ आए थे। यह भाषा के "व्याकरण" या "नियमों" को सीखता है।
- उपमा: आप शब्द "टोस्ट" देखते हैं और अनुमान लगाते हैं कि अगला शब्द "बटर" होगा क्योंकि आपने अपने ट्रेनिंग डेटा में इस जोड़ी को लाखों बार देखा है। आप खेल के नियम सीख रहे हैं।
द फाइल क्लर्क (1-पॉइंट मेमोराइजेशन): रोबोट को एहसास होता है, "रुको, शब्दों का यह विशिष्ट क्रम मेरी मेमोरी में मौजूद एक विशिष्ट फ़ाइल से संबंधित है।" वह यह पहचानने की कोशिश करता है कि यह विशिष्ट अनुक्रम (sequence) किस विशिष्ट डेटासेट (या कार्य) से आया है और उस विशिष्ट फ़ाइल के आंकड़ों को निकालता है।
- उपमा: आप एक विशिष्ट लहजा सुनते हैं और तुरंत सोचते हैं, "आह, यह मेरे दोस्त बॉब के वॉयस नोट्स से है।" आप सामान्य अनुमान लगाना छोड़ देते हैं और बॉब की विशिष्ट आदतों को ढूँढते हैं।
द सुपर-फाइल क्लर्क (2-पॉइंट मेमोराइजेशन): रोबोट विशिष्ट फ़ाइल की पहचान करता है और उस विशिष्ट फ़ाइल के नियमों के आधार पर अत्यधिक सटीक भविष्यवाणी करने के लिए तत्काल संदर्भ का उपयोग करता है।
- उपमा: आप जानते हैं कि यह बॉब का वॉयस नोट है, और आप जानते हैं कि बॉब हमेशा "बटर" से पहले "टोस्ट" कहता है। आप 100% निश्चितता के साथ "बटर" की भविष्यवाणी करते हैं।

दो महत्वपूर्ण स्विच (Switches)

पेपर ने पाया कि रोबोट इन दो मुख्य कारकों के आधार पर इन मोड्स के बीच स्विच करता है: डेटा विविधता (Data Diversity) (उसे कितने अलग-अलग "फ़ाइलें" या कार्य चुनने हैं) और समय (Time) (प्रशिक्षण के दौरान कितना समय बीता है)।

स्विच 1: दौड़ (काइनेटिक कॉम्पिटिशन)

जब रोबोट के सामने कुछ अलग-अलग कार्य होते हैं (कम विविधता), तो उन्हें याद रखना तेज़ होता है। यह कुछ रेसिपी सीखने जैसा है; आप बस उन सभी को याद कर सकते हैं।

स्विच: जैसे-जैसे आप और अधिक रेसिपी जोड़ते हैं (अधिक डेटा विविधता), सब कुछ याद रखना बहुत धीमा हो जाता है।
परिणाम: रोबोट को एहसास होता है, "मैं इन सभी को याद नहीं कर सकता!" और अचानक वह "पैटर्न स्पॉटर" मोड (जनरलाइजेशन) में बदल जाता है। वह विशिष्ट फ़ाइलों को याद करना छोड़ देता है और खाना पकाने के सामान्य नियम सीखना शुरू कर देता है।
उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि केवल 5 प्रश्न हैं, तो वह उत्तर याद कर लेता है। यदि 1,000 प्रश्न हैं, तो वह याद करना बंद कर देता है और अवधारणाओं (concepts) को पढ़ना शुरू करता है ताकि वह किसी भी प्रश्न को हल कर सके।

स्विच 2: मेमोरी लिमिट (रिप्रेजेंटेशनल बॉटलनैक)

एक दूसरा सीमित स्तर भी है। भले ही रोबोट याद रखने की कोशिश करे, उसका "मस्तिष्क" (उसकी आंतरिक मेमोरी स्पेस) एक सीमित आकार का होता है।

स्विच: यदि आप रोबोट को बहुत अधिक अलग-अलग कार्य देते हैं (अत्यधिक उच्च विविधता), तो उसका "मस्तिष्क" उन सभी के लिए विशिष्ट "फ़ाइलें" रखने में सक्षम नहीं होता। "सुपर-फाइल क्लर्क" मोड टूट जाता है।
परिणाम: रोबोट "पैटर्न स्पॉटर" मोड में रहने के लिए मजबूर हो जाता है। वह अब याद रखने (memorization) पर भरोसा नहीं कर सकता क्योंकि उसके पास हर एक कार्य के विशिष्ट नियमों को स्टोर करने के लिए पर्याप्त जगह नहीं है।
उपमा: एक लाइब्रेरी की कल्पना करें। यदि आपके पास 10 किताबें हैं, तो आप प्रत्येक का कथानक याद कर सकते हैं। यदि आपके पास 10 मिलियन किताबें हैं, तो आपका मस्तिष्क हर एक की कहानी रखने में सक्षम नहीं होगा। आपको हर विशिष्ट कहानी को याद रखने के बजाय शैली (Genre) को समझने पर निर्भर रहना होगा।

गुप्त सामग्रियाँ: रोबोट इन सर्किट्स को कैसे बनाता है

लेखकों ने "सर्किट ट्रेसिंग" (रोबोट के मस्तिष्क के लिए एमआरआई की तरह) नामक तकनीक का उपयोग किया ताकि यह देखा जा सके कि नेटवर्क के कौन से हिस्से काम कर रहे हैं। उन्होंने पाया कि रोबोट दो विशेष "टूल्स" बनाता है:

द इंडक्शन हेड (द पैटर्न स्पॉटर का टूल):
- यह एक दो-चरणीय प्रक्रिया है। मस्तिष्क का पहला हिस्सा पिछले शब्द को देखता है और कहता है, "हे, मैंने यह शब्द पहले देखा है!" दूसरा हिस्सा इतिहास में पीछे देखता है कि उस शब्द के बाद आमतौर पर क्या आता है।
- रूपक: यह एक जासूस की तरह है जो एक सुराग (वर्तमान शब्द) पाता है, अपने नोटबुक में पिछले मामलों की जाँच करता है जहाँ वह सुराग मिला था, और देखता है कि आगे क्या हुआ था।
द टास्क रिकग्निशन हेड (द फाइल क्लर्क का टूल):
- यह एक अधिक जटिल टूल है। रोबोट पूरे अनुक्रम को पढ़ता है, पैटर्न का औसत निकालता है, और एक एकल "समरी वेक्टर" (एक संक्षिप्त आईडी कार्ड) बनाता है जो कहता है, "यह कार्य संख्या 42 है।" फिर वह उस कार्य के विशिष्ट नियमों को निकालने के लिए इस आईडी कार्ड का उपयोग करता है।
- रूपक: रोबोट एक पूरा पैराग्राफ पढ़ता है, उसे एक एकल "विषय टैग" में सारांशित करता है, और फिर उस टैग का उपयोग करके अपने फाइलिंग कैबिनेट में सही फोल्डर खोलता है।

यह क्यों मायने रखता है?

यह पेपर एक बड़ी बात है क्योंकि यह समझाता है कि AI कब याद करता है और कब सामान्यीकरण (generalize) करता है।

यह दिखाता है कि मेमोराइजेशन और जनरलाइजेशन केवल एक स्पेक्ट्रम नहीं हैं; वे दो अलग-अलग रणनीतियाँ हैं जिन्हें AI डेटा की मात्रा के आधार पर चुनता है।
यह प्रकट करता है कि जनरलाइजेशन कोई जादू नहीं है; यह एक विशिष्ट सर्किट (इंडक्शन हेड) है जिसे AI तब बनाता है जब डेटा की भारी मात्रा उसे ऐसा करने के लिए मजबूर करती है।
यह सुझाव देता है कि बेहतर AI बनाने के लिए, हमें इन "स्विचेस" को समझना होगा। यदि हम चाहते हैं कि AI सामान्यीकरण करे (नई चीजों के बारे में स्मार्ट बने), तो हमें इसे पर्याप्त विविध डेटा देना होगा ताकि यह "पैटर्न स्पॉटर" सर्किट बनाने के लिए मजबूर हो सके, लेकिन इतना अधिक भी नहीं कि यह उस दीवार से टकरा जाए जहाँ यह कुछ भी सीखने में असमर्थ हो जाए।

संक्षेप में: रोबोट केवल एक विशाल कैलकुलेटर नहीं है। यह एक गतिशील शिक्षार्थी है जो यह तय करने के लिए अपने मस्तिष्क में अलग-अलग "टूल्स" बनाता है कि विशिष्ट विवरणों को याद रखना आसान है या सामान्य नियम समझना। यह पेपर स्पष्ट रूप से बताता है कि वह यह चुनाव कब और कैसे करता है।

यहाँ गिब्सन, कुई और रेड्डी के शोध पत्र "Distinct mechanisms underlying in-context learning in transformers" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक ट्रांसफॉर्मर इन-कॉन्टेक्स्ट लर्निंग (ICL) प्रदर्शित करते हैं, जो पैरामीटर्स को अपडेट किए बिना इनपुट सांख्यिकी (statistics) के अनुकूल गणना करने की क्षमता है। हालाँकि ICL अच्छी तरह से प्रलेखित है, लेकिन विशिष्ट मैकेनिस्टिक सर्किट (mechanistic circuits) जो इसे लागू करते हैं और वे शर्तें जिनके तहत एक ट्रांसफॉर्मर प्रशिक्षण डेटा को याद रखने (memorize) बनाम अनदेखे डेटा पर सामान्यीकरण (generalize) करने के बीच चयन करता है, अभी भी स्पष्ट नहीं हैं।

लेखक एक नियंत्रित सेटिंग का उपयोग करके इसकी जांच करते हैं: $K$ डिस्क्रीट मार्कोव श्रृंखलाओं (Markov chains) के एक परिमित सेट $S$ पर प्रशिक्षित ट्रांसफॉर्मर। लक्ष्य यह समझना है कि नेटवर्क विभिन्न एल्गोरिद्मिक रणनीतियों (स्मरण बनाम सामान्यीकरण) के बीच कैसे परिवर्तित होता है और डेटा विविधता ( $K$ ) तथा प्रशिक्षण समय ( $t$ ) के बदलने के साथ वह 1-पॉइंट (unigram) बनाम 2-पॉइंट (bigram) सांख्यिकी का उपयोग कैसे करता है।

2. कार्यप्रणाली (Methodology)

यह अध्ययन मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability), सर्किट ट्रेसिंग (circuit tracing), और सैद्धांतिक मॉडलिंग (theoretical modeling) के संयोजन का उपयोग करता है:

प्रायोगिक सेटअप (Experimental Setup): एक 2-लेयर ट्रांसफॉर्मर (प्रत्येक लेयर में Attention + MLP) को $K$ मार्कोव श्रृंखलाओं से उत्पन्न अनुक्रमों (sequences) से अगले स्टेट की भविष्यवाणी करने के लिए ऑटोरिग्रेसिव रूप से प्रशिक्षित किया जाता है। श्रृंखलाएं एक सिमेट्रिक डिरिचलेट एन्सेम्बल (symmetric Dirichlet ensemble) से ली गई हैं।
एल्गोरिद्मिक चरण पहचान (Algorithmic Phase Identification): लेखक दो अक्षों के आधार पर चार विशिष्ट एल्गोरिद्मिक चरणों को परिभाषित करते हैं:
1. स्मरण (Memorization - Mem) बनाम सामान्यीकरण (Generalization - Gen): क्या मॉडल प्रशिक्षण सेट $S$ से विशिष्ट श्रृंखला का अनुमान लगाता है, या वह अंतर्निहित वितरण $D_T$ से सांख्यिकी का अनुमान लगाता है?
2. 1-पॉइंट बनाम 2-पॉइंट सांख्यिकी: क्या मॉडल केवल स्टेट फ्रीक्वेंसी का उपयोग करता है या आसन्न स्टेट्स (adjacent states) के बीच ट्रांज़िशन प्रोबेबिलिटी का?
- इससे चार चरण प्राप्त होते हैं: G1 (1-Gen), G2 (2-Gen), M1 (1-Mem), और M2 (2-Mem)।
सर्किट ट्रेसिंग (Circuit Tracing): पाथ पैचिंग (path patching) और एब्लेशन (ablation) तकनीकों का उपयोग करके, लेखक नेटवर्क के माध्यम से सूचना के प्रवाह को ट्रैक करते हैं ताकि प्रत्येक चरण के लिए जिम्मेदार विशिष्ट सबसर्किट्स की पहचान की जा सके।
सिमेट्री-प्रतिबंधित सिद्धांत (Symmetry-Constrained Theory): G1 से G2 के संक्रमण का विश्लेषण करने के लिए, वे एक सरलीकृत SA-transformer (सिमेट्री-प्रतिबंधित अटेंशन-ओनली) का निर्माण करते हैं जो कार्य की परम्यूटेशन सिमेट्री (permutation symmetry) का लाभ उठाता है। यह लर्निंग डायनेमिक्स के विश्लेषणात्मक व्युत्पत्ति (analytical derivation) की अनुमति देता है।
न्यूनतम मॉडल (Minimal Models): वे "टास्क रिकग्निशन हेड" (M2) को अलग करने के लिए न्यूनतम ऑटोरिग्रेसिव मॉडल बनाते हैं और उनकी रिप्रेसेंटेशनल कैपेसिटी सीमाओं का परीक्षण करते हैं।

3. मुख्य योगदान (Key Contributions)

A. चार विशिष्ट एल्गोरिद्मिक चरणों की पहचान

यह शोध पत्र डेटा विविधता ( $K$ ) और समय ( $t$ ) द्वारा परिभाषित एक फेज डायग्राम (phase diagram) के माध्यम से प्रशिक्षण गतिशीलता को मैप करता है:

G1 (1-Gen): प्रारंभिक प्रशिक्षण; ग्लोबल स्टेट फ्रीक्वेंसी (स्टेशनरी डिस्ट्रीबशन) के आधार पर भविष्यवाणी करता है।
M1 (1-Mem): कम $K$ ; ग्लोबल फ्रीक्वेंसी का उपयोग करके विशिष्ट श्रृंखला की पहचान करता है और एक स्मरित ट्रांज़िशन मैट्रिक्स को पुनः प्राप्त (retrieve) करता है।
M2 (2-Mem): कम $K$ ; स्थानीय ट्रांज़िशन सांख्यिकी (bigrams) का उपयोग करके विशिष्ट श्रृंखला की पहचान करता है और मैट्रिक्स को पुनः प्राप्त करता है।
G2 (2-Gen): उच्च $K$ ; देखे गए कॉन्टेक्स्ट से सीधे एम्पिरिकल ट्रांज़िशन प्रोबेबिलिटी का अनुमान लगाकर अनदेखी श्रृंखलाओं पर सामान्यीकरण करता है।

B. सबसर्किट्स का मैकेनिस्टिक लक्षण वर्णन

लेखक प्रत्येक चरण को लागू करने वाले विशिष्ट न्यूरल सर्किट्स की पहचान करते हैं:

सांख्यिकीय इंडक्शन हेड (Statistical Induction Head - G2): एक सुप्रसिद्ध मोटिफ जहाँ पहला अटेंशन लेयर ( $Att_1$ ) पिछले स्टेट की ओर ध्यान देता है, और दूसरा लेयर ( $Att_2$ ) वर्तमान स्टेट को पिछले ऑकरेंस के साथ मैच करके अगले स्टेट को प्राप्त करता है। यह एम्पिरिकल 2-पॉइंट सांख्यिकी की गणना करता है।
टास्क रिकग्निशन हेड (Task Recognition Head - M2): एक नवीन एन्कोडर-पूल-डिकोडर (Encoder-Pool-Decoder) सर्किट।
- एन्कोडर (Encoder): $Att_1$ और $MLP_1$ पड़ोसी जोड़ों को एक नॉनलीनियर एम्बेडिंग में एनकोड करते हैं।
- पूल (Pool): $Att_2$ अनुक्रम में इन एम्बेडिंग्स का औसत निकालता है ताकि एक टास्क वेक्टर ( $\phi$ ) बनाया जा सके, जो विशिष्ट श्रृंखला का एक संक्षिप्त लेटेंट प्रतिनिधित्व है।
- डिकोडर (Decoder): $MLP_2$ टास्क वेक्टर और वर्तमान स्टेट का उपयोग करके स्मरित ट्रांज़िशन मैट्रिक्स को प्राप्त करता है।

C. संक्रमणों का सैद्धांतिक स्पष्टीकरण

शोध पत्र संक्रमणों के लिए एक सैद्धांतिक ढांचा प्रदान करता है:

संक्रमण G1 $\to$ G2 (The $K \to \infty$ limit): SA-transformer का उपयोग करते हुए, लेखक दिखाते हैं कि इंडक्शन हेड का निर्माण लॉस लैंडस्केप में कमजोर सांख्यिकीय पूर्वाग्रहों (weak statistical biases) द्वारा संचालित होता है। भले ही 1-Gen समाधान एक सैडल पॉइंट (saddle point) है, छोटे पूर्वाग्रह (एक पिछले-स्टेट अटेंशन को प्राथमिकता देता है, दूसरा कंटेंट मैचिंग को) अनुकूलन को 2-Gen समाधान की ओर धकेलते हैं। वे संक्रमण समय के लिए एक स्केलिंग लॉ व्युत्पन्न करते: $\tau_{2\text{-Gen}} \sim N / \log N$ ।
संक्रमण G1 $\to$ M1 बनाम G1 $\to$ G2 (थ्रेशोल्ड $K^*_1$ ): यह सीमा काइनेटिक कॉम्पिटिशन (kinetic competition) द्वारा निर्धारित होती है। 2-Gen सर्किट एक ऐसे टाइमस्केल पर बनता है जो $K$ से काफी हद तक स्वतंत्र है, जबकि 1-Mem सर्किट $K$ बढ़ने के साथ धीमा हो जाता है। यदि $K < K^*_1$ , तो स्मरण (memorization) जीत जाता है; यदि $K > K^*_1$ , तो सामान्यीकरण (generalization) जीत जाता है।
संक्रमण G2 $\to$ M2 (थ्रेशोल्ड $K^*_2$ ): यह सीमा रिप्रेसेंटेशनल कैपेसिटी (representational capacity) द्वारा निर्धारित होती है। जैसे-जैसे $K$ बढ़ता है, मॉडल अंततः सीमित-आयामी रेसिडुअल स्ट्रीम में सभी $K$ विशिष्ट टास्क वेक्टर्स को एनकोड करने में असमर्थ हो जाता है। लेखक दिखाते हैं कि $K^*_2$ , टास्क वेक्टर के आयाम और डिकोडर MLP की क्षमता के साथ स्केल करता है।

4. मुख्य परिणाम (Key Results)

फेज डायग्राम: नेटवर्क डिस्क्रीट चरणों से गुजरता है। छोटे $K$ के लिए, यह $G1 \to M1 \to M2$ की ओर बढ़ता है। बड़े $K$ के लिए, यह $G1 \to G2$ की ओर बढ़ता है। एक "ट्रिपल पॉइंट" है जहाँ $G1$ , $M1$ , और $G2$ मिलते हैं।
टास्क वेक्टर्स: पैचिंग और t-SNE प्रयोग पुष्टि करते हैं कि M2 चरण में, नेटवर्क एक विभाज्य (separable) "टास्क वेक्टर" बनाता है जो विशिष्ट रूप से उत्पन्न श्रृंखला की पहचान करता है। एक श्रृंखला के टास्क वेक्टर को दूसरी श्रृंखला में पैच करने से मॉडल नई श्रृंखला की सांख्यिकी के अनुसार भविष्यवाणी करने लगता है।
स्केलिंग लॉ (Scaling Laws):
- इंडक्शन हेड बनाने का समय $\tau_{2\text{-Gen}} \propto N / \log N$ के रूप में स्केल करता है।
- M2 में स्विच करने से पहले क्षणिक (transient) G2 चरण की अवधि $\Delta \tau_K \propto (K^*_2 - K)^{-\gamma}$ के रूप में स्केल करती है, जहाँ $\gamma \approx 2$ है।
क्षमता सीमाएँ (Capacity Limits): वह क्रिटिकल डायवर्सिटी $K^*_2$ (जहाँ स्मरण असंभव हो जाता है) मुख्य रूप से डिकोडर (MLP2) की क्षमता और टास्क वेक्टर के आयाम द्वारा सीमित है, न कि एन्कोडर द्वारा।
टास्क वेक्टर्स के माध्यम से सामान्यीकरण: लेखक प्रदर्शित करते हैं कि टास्क रिकग्निशन हेड (M2) भी इष्टतम सामान्यीकरण (G2) प्राप्त कर सकता है यदि टास्क वेक्टर का आयाम पर्याप्त बड़ा ( $D_\phi \gtrsim C^2$ ) हो, जो यह सुझाव देता है कि "रिट्रीवल" और "एस्टिमेशन" परस्पर अनन्य तंत्र नहीं हैं बल्कि आर्किटेक्चरल क्षमता पर निर्भर करते हैं।

5. महत्व (Significance)

एकीकृत ढांचा (Unifying Framework): यह शोध पत्र ICL (स्मरण बनाम सामान्यीकरण) के प्रतिस्पर्धी दृष्टिकोणों को यह दिखाकर सुलझाता है कि वे अलग-अलग चरण हैं जो काइनेटिक कॉम्पिटिशन और रिप्रेसेंटेशनल बॉटलनेक्स द्वारा शासित होते हैं।
मैकेनिस्टिक अंतर्दृष्टि: यह ब्लैक-बॉक्स अवलोकनों से आगे बढ़कर विशिष्ट सबसर्किट्स (इंडक्शन हेड बनाम टास्क रिकग्निशन हेड) की पहचान करता है और यह समझाता है कि उन्हें कैसे निर्मित किया जाता है।
डिज़ाइन सिद्धांत: निष्कर्ष बताते हैं कि प्रभावी ढंग से विविध कार्यों पर सामान्यीकरण करने के लिए, ट्रांसफॉर्मर को पर्याप्त रेसिडुअल स्ट्रीम डाइमेंशनलिटी और डिकोडर क्षमता की आवश्यकता होती है ताकि "टास्क वेक्टर" तंत्र का समर्थन किया जा सके, या उन्हें इंडक्शन हेड तंत्र पर निर्भर रहना चाहिए जिसके अलग स्केलिंग गुण हैं।
व्यापक प्रभाव: इंडक्शन हेड्स के निर्माण को चलाने वाले सांख्यिकीय पूर्वाग्रहों की पहचान यह बताती है कि क्यों सिंथेटिक डेटा पर प्री-ट्रेनिंग बड़े भाषा मॉडलों में लर्निंग को तेज कर सकती है। यह ढांचा डिफ्यूजन मॉडल्स और अन्य भौतिक लर्निंग सिस्टम में समान घटनाओं को समझने के लिए एक भाषा भी प्रदान करता है।

संक्षेप में, यह कार्य एक कठोर, मैकेनिस्टिक मानचित्र प्रदान करता है कि कैसे ट्रांसफॉर्मर "सीखना सीखते हैं", स्मरण और सामान्यीकरण रणनीतियों के बीच अंतर करते हैं और उन सटीक आर्किटेक्चरल और डेटा-विविधता की स्थितियों की पहचान करते हैं जो एक दूसरे पर हावी होते हैं।