🤖 machine learning

Critical Windows of Complexity Control: When Transformers Decide to Reason or Memorize

यह कार्य यह प्रदर्शित करता है कि तर्क के माध्यम से सामान्यीकरण करने की एक ट्रांसफॉर्मर की क्षमता, जो कि रटने के बजाय है, एक तीव्र, महत्वपूर्ण प्रशिक्षण विंडो के भीतर निर्धारित होती है जहाँ वेट डिके (weight decay) का समय और इनिशियलाइजेशन का स्केलिंग निर्णायक होते हैं, जिससे जटिलता नियंत्रण को एक स्थिर हाइपरपैरामीटर विकल्प मानने वाले दृष्टिकोण को चुनौती मिलती है।

मूल लेखक: Sarwan Ali

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sarwan Ali

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े भ्रमित छात्र (एक ट्रांसफार्मर AI) को एक पहेली सुलझाना सिखा रहे हैं। पहेली दो सरल नियमों को लेकर एक नया, जटिल नियम बनाने की है।

इस पहेली को हल करने के लिए छात्र के पास सीखने के दो तरीके हैं:

तर्क (Reasoning): वह वास्तव में नियमों को जोड़ने के तर्क को सीखता है। यह "अच्छा" रास्ता है। यह उसे उन नई पêtes को हल करने में सक्षम बनाता है जिन्हें उसने पहले कभी नहीं देखा है।
रट्टा मारना (Rote memorization): वह केवल उन सटीक पहेलियों को याद कर लेता है जिनका उसने अभ्यास किया है। यह "बुरा" रास्ता है। यदि आप उसे कोई नई पहेली देते हैं, तो वह पूरी तरह विफल हो जाता है।

लंबे समय तक, शोधकर्ताओं का मानना था कि छात्र को "रट्टा मारने" के बजाय "तर्क करने" के लिए प्रेरित करने की कुंजी केवल एक विशिष्ट सेटिंग है जिसे वेट डिके (Weight Decay) कहा जाता है (इसे एक कोमल "धक्के" या "जुर्माने" के रूपas सोचें जो छात्र को बहुत अधिक आत्मविश्वासी या कठोर होने से रोकता है) और छोटे प्रारंभिक भार (small initial weights) के साथ शुरू करना (छात्र को एक खाली, मामूली मन के साथ शुरू करना)। सलाह यह थी: "इन नियंत्रणों को शुरुआत में एक बार सेट करें, और छात्र तर्क करना सीख जाएगा।"

यह कार्य कहता है: "इतना जल्दबाजी न करें। समय ही सब कुछ है।"

शोधकर्ताओं ने पाया कि यह मायने नहीं रखता कि आप छात्र को कितनी मजबूती से धकेलते हैं या आप एक मामूली मन के साथ कब शुरू करते हैं। जो मायने रखता है वह यह है कि आप प्रशिक्षण प्रक्रिया के दौरान इस धक्के को ठीक कब लागू करते हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं के साथ विवरण दिया गया है:

1. "महत्वपूर्ण खिड़की" (The Golden Hour)

कल्पना कीजिए कि छात्र को एक 20 घंटे की फिल्म के रूप में प्रशिक्षित किया जा रहा है। शोधकर्ताओं ने पाया कि वहां एक बहुत ही विशिष्ट, छोटा समय अंतराल है—लगभग 25% और 75% के बीच का हिस्सा—जहाँ छात्र अपना भाग्य तय करता है।

यदि आप इस खिड़की के दौरान "धक्का" (Weight Decay) लगाते हैं: छात्र जाग जाता है, उसे एहसास होता है कि उसे तर्क सीखना ही होगा, और वह तर्क करना शुरू कर देता है। वह बुद्धिमान और लचीला बन जाता है।
यदि आप इस खिड़की से पहले धक्का लगाते हैं (पहले 25%): यह एक बच्चे को कार चलाना सिखाने जैसा है। छात्र अपने विकास के बहुत शुरुआती चरण में है। इस धक्के का कोई प्रभाव नहीं पड़ता। वह बस चीजें रटना जारी रखता है।
यदि आप इस खिड़की के बाद धक्का लगाते हैं (अंतिम 25%): छात्र पहले ही रट्टा मारने का निर्णय ले चुका है। मन बदलने के लिए बहुत देर हो चुकी है। इस धक्के को अनदेखा कर दिया जाता है।

चौंका देने वाली खोज: आप प्रशिक्षण के पूरे समय के बजाय केवल इस मध्य 25% के लिए धक्का लगा सकते हैं, और छात्र उतना ही अच्छा प्रदर्शन करेगा जितना कि यदि आपने उसे पूरे समय धक्का दिया होता। लेकिन यदि आप उसे शुरुआत में ही धक्का देते हैं, तो वह विफल हो जाता है।

2. "खड़ी ढलान" का किनारा (The Cliff Edge)

शोधकर्ताओं ने पाया कि इस "स्वर्ण काल" की शुरुआत अविश्वसनीय रूप से तीखी है। यह एक खड़ी ढलान की तरह है।

यदि आप स्टेप 0 पर धक्का शुरू करते हैं, तो छात्र विफल हो जाता है।
यदि आप केवल 100 स्टेप्स (कंप्यूटर समय में एक सेकंड का बहुत छोटा हिस्सा) प्रतीक्षा करते हैं और फिर धक्का शुरू करते हैं, तो छात्र अचानक विफलता से सफलता की ओर कूद जाता है।
यह कोई धीमी ढलान नहीं है; यह एक स्विच है। एक क्षण में वह चीजें रटता है, अगले ही क्षण वह तार्किक निष्कर्ष निकालने लगता है।

3. "मामूली मन" का मिथक (The Myth of the "Modest Mind")

पुरानी सलाह थी: "तर्क करने के लिए मजबूर करने हेतु एक बहुत ही छोटा, मामूली मन (छोटा प्रारंभिक भार) से शुरुआत करें।"
यह कार्य कहता है: यह वास्तव में जोखिम भरा है।

यदि छात्र बहुत अधिक मामूली रूप से शुरू होता है (बहुत छोटे प्रारंभिक भार), तो "स्वर्ण काल" की खिड़की खिसक जाती है, और छात्र बहुत नाजुक हो जाता है। यह एक रस्सी पर चलने वाले (tightrope walker) जैसा है; बीज (रैंडम शुरुआती बिंदु) में एक छोटी सी त्रुटि, और वह गिर जाता है।
शोधकर्ताओं ने पाया कि एक मध्यम रूप से बड़ा शुरुआती मन वास्तव में सुरक्षित है। यह छात्र को तर्क क्षेत्र में उतरने के लिए एक व्यापक "सुरक्षा जाल" (basin of attraction) प्रदान करता है।

4. यह एक सार्वभौमिक नियम नहीं है

शोधकर्ताओं ने यह देखने के लिए अन्य प्रकार के सीखने के कार्यों पर परीक्षण किया कि क्या यह "महत्वपूर्ण खिड़की" का नियम हर जगह लागू होता है।

मॉड्यूलर अंकगणित (Modular Arithmetic - Grokking): इस कार्य में, छात्र को अंततः इसे समझने के लिए शुरू से अंत तक लगातार धकेले जाने की आवश्यकता होती है। यहाँ "स्वर्ण काल" की खिड़की मौजूद नहीं है।
SCAN कार्य: इस कार्य में, छात्र या तो बहुत कम बुद्धिमान है (या आर्किटेक्चर गलत है) कि वह कभी तर्क करना सीख सके, चाहे आप उसे कब भी धकेलें।

बड़ी तस्वीर (The Big Picture)

कल्पना कीजिए कि AI को प्रशिक्षित करना केक बनाने जैसा है।

पुराना दृष्टिकोण: "शुरुआत में नमक का एक चुटकी डाल दें (Weight Decay), और केक एकदम सही बनेगा।"
नया दृष्टिकोण: "केक तभी फूलता है जब आप नमक ठीक उसी समय डालते हैं जब यीस्ट सक्रिय होता है। यदि आप इसे यीस्ट के जागने से पहले, या उसके मरने के बाद डालते हैं, तो केक नहीं फूलेगा। और आपको लगातार नमक डालने की आवश्यकता नहीं है; आपको केवल उस एक महत्वपूर्ण क्षण में इसकी आवश्यकता है।"

संक्षेप में: यह कार्य सिद्ध करता है कि कुछ प्रकार की तार्किक पहेलियों के लिए AI मॉडल को केवल सही सेटिंग्स की ही नहीं, बल्कि सही समय (timing) की भी आवश्यकता होती है। प्रशिक्षण में एक विशिष्ट, संकीर्ण क्षण होता है जहाँ मॉडल यह तय करता है कि उसे सोचना है या रटना है, और यदि आप उस क्षण को थोड़ा सा भी चूक जाते हैं, तो वह कभी भी तार्किक निष्कर्ष निकालना नहीं सीख पाएगा।

तकनीकी सारांश: ट्रांसफॉर्मर में जटिलता नियंत्रण के महत्वपूर्ण विंडोज़ (Critical Windows of Complexity Control)

समस्या विवरण (Problem Statement)

हालिया साहित्य ने यह प्रदर्शित किया है कि ट्रांसफॉर्मर छोटे इनिशियलाइजेशन स्केल ( $\gamma$ ) और वेट डिके (weight decay) पैरामीटर्स ( $\lambda$ ) के माध्यम से जटिलता को नियंत्रित करके, विशिष्ट कार्यों के रटने (memorization) के बजाय कंपोजिशनल जनरलाइजेशन (इनफरेंस) प्राप्त कर सकते हैं। हालाँकि, मौजूदा विश्लेषण इन हाइपरपैरामीटर्स को स्थिर निर्णयों के रूप में देखते हैं, यह मानते हुए कि केवल रेगुलराइजेशन का परिमाण (magnitude) मॉडल के प्रक्षेपवक्र (trajectory) को निर्धारित करता है। यह लेख एक महत्वपूर्ण अंतराल की जांच करता है: क्या जटिलता नियंत्रण का समय (timing) मायने रखता है। विशेष रूप से, यह पूछता है कि क्या मेमोराइजेशन और इनफरेंस समाधानों के बीच का निर्णय पूरे प्रशिक्षण प्रक्रिया के दौरान लिया जाता है या यह एक विशिष्ट, पहचान योग्य 'टेम्पोरल विंडो' (temporal window) के भीतर तय होता है।

कार्यप्रणाली (Methodology)

लेखक एंकर फंक्शन टास्क (Anchor Function Task - ज़ांग एट अल., 2025 द्वारा प्रस्तुत) पर आधारित एक नियंत्रित प्रयोगात्मक ढांचे का उपयोग करते हैं, जहाँ मॉडलों को एंकर प्रतीकों के क्रमों (permutations) को कंपोज़ करना होता है।

आर्किटेक्चर: छोटे 2-लेयर और 4-लेयर प्री-नॉर्म ट्रांसफॉर्मर ( $d_{model}=64$ , 2 हेड्स)।
प्रशिक्षण: पूर्ण इंस्ट्रूमेंटेशन (instrumentation) स्टेप-दर-स्टेप आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सटीकता, कंडेंसेशन इंडेक्स और सबस्पेस अलाइनमेंट की ट्रैकिंग सक्षम बनाता है।
मुख्य चर (Core Variable): लेखक वेट डिके ( $\lambda$ ) के टेम्पोरल प्लेसमेंट (temporal placement) को व्यवस्थित रूप से बदलते हैं, जबकि संचयी रेगुलराइजेशन बजट ( $\int \lambda(t) dt$ ) और इनिशियलाइजेशन स्केल ( $\gamma$ ) को स्थिर रखते हैं।
प्रयोगात्मक डिजाइन: वे "विंडो-आधारित" शेड्यूल्स का परीक्षण करते हैं जहाँ वेट डिके प्रशिक्षण के विशिष्ट अंतरालों (जैसे, शुरुआती, मध्य, या देर से) के दौरान लागू किया जाता है, और इनकी तुलना फुल-ट्रेनिंग बेसलाइन्स और नो-रेगुलराइजेशन बेसलाइन्स से करते हैं।
सैद्धांतिक विश्लेषण: एक लीनियरलाइज्ड टू-लेयर अटेंशन मॉडल का विश्लेषण करके "मेमोराइजेशन मास" और "इनफरेंस मास" के लिए रेट इक्वेशंस (rate equations) प्राप्त की जाती हैं, जो उनके टाइमस्केल्स के अलगाव की भविष्यवाणी करती हैं।

मुख्य योगदान और परिणाम (Main Contributions and Results)

1. एक महत्वपूर्ण विंडो का अस्तित्व (The Existence of a Critical Window)

प्राथमिक अनुभवजन्य निष्कर्ष यह है कि एक ट्रांसफॉर्मर का भाग्य (इनफरेंस बनाम मेमोराइजेशन) प्रशिक्षण की एक तीक्ष्ण, संकीर्ण विंडो के भीतर तय होता है।

विंडो प्रभावकारिता: प्रशिक्षण के एक एकल 25% विंडो (विशेष रूप से 20k-स्टेप रन में स्टेप्स 2,500–17,500) के दौरान वेट डिके लागू करने से OOD सटीकता (0.93) प्राप्त होती है, जो फुल ट्रेनिंग विद वेट डिके (0.91) के तुलनीय है।
विंडो के बाहर प्रभावहीनता: इसी वेट डिके बजट को इस विंडो से पहले (स्टेप्स 0–5,000) या पूरी तरह से इसके बाद लागू करने पर OOD सटीकता रैंडम स्तर (~0.15) पर रहती है, जो बिना किसी रेगुलराइजेशन के समान है।
बजट बनाम टाइमिंग: जब कुल रेगुलराइजेशन बजट को स्थिर रखा जाता है, तो इसे प्रशिक्षण के मध्य में रखने से शुरुआत में रखने की तुलना में 5–9 गुना अधिक OOD सटीकता मिलती है। यह दर्शाता है कि रेगुलराइजेशन कब लागू किया जाता है, यह इस बात से अधिक महत्वपूर्ण है कि कितना लागू किया जाता है।

2. टेम्पोरल बाउंड्री की तीक्ष्णता (Sharpness of the Temporal Boundary)

महत्वपूर्ण विंडो में संक्रमण उल्लेखनीय रूप से अचानक होता है।

विंडो के प्रारंभ को केवल 100 ऑप्टिमाइजेशन स्टेप्स खिसकाने से औसत OOD सटीकता रैंडम स्तरों (0.15) से उछलकर इनफरेंस रिजीम (0.61) पर पहुँच जाती है।
400 स्टेप्स के बाद, सिस्टम इनफरेंस प्लेटो (0.93) तक पहुँच जाता है। यह एक फेज़ ट्रांजिशन (phase transition) घटना के समान व्यवहार का सुझाव देता है, जहाँ मॉडल की इनफरेंस की ओर मुड़ने की क्षमता एक विशिष्ट इनिशियलाइजेशन चरण के बाद ही सक्रिय होती है।

3. इनिशियलाइजेशन स्केल और बेसिन श्रिंकिंग (Initialization Scale and Basin Shrinking)

इनफरेंस के लिए लगातार छोटे इनिशियलाइजेशन की प्रचलित सिफारिश के विपरीत, लेख एक सूक्ष्म संबंध पाता है:

विंडो की स्थिति: $\gamma$ बढ़ने के साथ क्रिटिकल विंडो आगे की ओर खिसक जाती है।
आकर्षण का बेसिन (Basin of Attraction): बहुत छोटे इनिशियलाइजेशन स्केल (जैसे, $\gamma=0.5$ ) पर, इनफरेंस समाधान के लिए आकर्षण का बेसिन काफी छोटा हो जाता है। 12-रन प्रयोगों में, $\gamma=0.5$ पर केवल 8/12 रन ही OOD > 0.5 प्राप्त कर सके, जबकि $\gamma=1.1$ पर 12/12 सफल रहे।
निहितार्थ: एक मध्यम इनिशियलाइजेशन ( $\gamma \in [0.7, 1.1]$ ) सीमित समय के प्रशिक्षण शासन के तहत इनफरेंस समाधानों के लिए एक व्यापक आकर्षण का बेसिन प्रदान करता है, जो "जितना छोटा, उतना बेहतर" के ह्यूरिस्टिक को चुनौती देता है।

4. कार्य विशिष्टता और दायरा (Task Specificity and Scope)

यह घटना सभी विलंबित जनरलाइजेशन कार्यों के लिए सार्वभौमिक नहीं है:

ग्रोकिंग (Modular Arithmetic): क्रिटिकल विंडो यहाँ दिखाई नहीं देती है। मॉड्यूलर अरिथमेटिक में, एक सही ढंग से ट्यून किया गया कांस्टेंट वेट डिके शेड्यूल, टेम्पोरली लोकलाइज्ड शेड्यूल्स की तुलना में 5 गुना तेजी से ग्रोकिंग प्राप्त करता है।
SCAN (add_prim_jump): वैनिला 2-लेयर ट्रांसफॉर्मर किसी भी शेड्यूल के तहत कंपोजिशनल समाधान के आकर्षण बेसिन तक पूरी तरह से पहुँचने में विफल रहते हैं, जो यह सुझाव देता है कि इस घटना के लिए ऐसा लॉस लैंडस्केप आवश्यक है जहाँ मेमोराइजेशन और इनफरेंस दोनों बेसिन सुलभ हों।

5. सैद्धांतिक तंत्र: दो टाइमस्केल्स का अलगाव (Theoretical Mechanism: Separation of Two Timescales)

लेखक एक लीनियरलाइज्ड मॉडल के आधार पर एक सैद्धांतिक स्पष्टीकरण प्रदान करते हैं जो दिखाता है कि मेमोराइजेशन और इनफरेंस सर्किट गुणात्मक रूप से भिन्न रेट इक्वेशंस के तहत विकसित होते हैं:

मेमोराइजेशन रेट: $\mu_m = \Theta(1)$ ( $\gamma$ से स्वतंत्र)।
इनफरेंस रेट: $\mu_r = \Theta(\gamma^2)$ ।
तंत्र: चूंकि छोटे $\gamma$ पर इनफरेंस, मेमोराइजेशन की तुलना में बहुत धीरे विकसित होता है, इसलिए एक ऐसा समय अंतराल मौजूद होता है जहाँ मेमोराइजेशन संतृप्त (saturated) हो जाता है जबकि इनफरेंस अभी भी विकसित हो रहा होता है। इस अंतराल के दौरान लागू किया गया वेट डिके चुनिंदा रूप से संतृप्त मेमोराइजेशन पथ को दबा देता है जबकि इनफरेंस पथ को बढ़ने देने देता है। इस अंतराल से पहले लागू किया गया वेट डिके दोनों पथों को आनुपातिक रूप से सिकोड़ देता है (अनुपात पर कोई प्रभाव नहीं), और इस अंतराल के बाद लागू किया गया वेट डिके, मॉडल पहले ही मेमोराइजेशन के प्रति प्रतिबद्ध हो चुका होता है।

6. मजबूती (Robustness)

डेप्थ (Depth): यह घटना 4-लेयर मॉडल्स में भी बनी रहती है, हालांकि इनफरेंस प्लेटो कम होता है और रन के बीच भिन्नता अधिक होती है, जो बढ़ते पैरामीटर वॉल्यूम के साथ बेसिन श्रिंकिंग की सैद्धांतिक भविष्यवाणी के अनुरूप है।
ऑप्टिमाइज़र (Optimizer): यह घटना वैनिला SGD विद मोमेंटम के तहत भी पुनरुत्पादित होती है। विशेष रूप से, कांस्टेंट वेट डिके शेड्यूल्स, टेम्पोरली लोकलाइज्ड शेड्यूल्स की तुलना में काफी खराब प्रदर्शन करते हैं, जबकि AdamW अपने एडेप्टिव प्रीकंडीशनिंग के माध्यम से इस प्रभाव को आंशिक रूप से छिपा देता है।

महत्व और दावे (Significance and Claims)

लेख दावा करता है कि यह कंपोजिशनल जनरलाइजेशन में एक पहले से अज्ञात टेम्पोरली लोकलाइज्ड फेज़ ट्रांजिशन को चित्रित करता है। इसका महत्व निम्नलिखित में निहित है:

जटिलता नियंत्रण को पुनर्परिभाषित करना: यह इसे एक स्टेटिक हाइपरपैरामीटर दृष्टिकोण से एक डायनेमिक, टेम्पोरल दृष्टिकोण में बदल देता है। इनफरेंस को प्रेरित करने का "नुस्खा" केवल "छोटा $\gamma$ + वेट डिके" नहीं है, बल्कि "छोटा $\gamma$ + वेट डिके, जो क्रिटिकल विंडो के दौरान लागू किया गया हो" है।
पिछले सुझावों को सुधारना: यह न्यूनतम इनिशियलाइजेशन की सिफारिश के लिए एक चेतावनी प्रदान करता है और दिखाता है कि सीमित-समय प्रशिक्षण शासन में स्थिरता (बेसिन की चौड़ाई) के लिए मध्यम इनिशियलाइजेशन बेहतर हो सकता है।
सैद्धांतिक निरंतरता: यह दो टाइमस्केल्स के साथ एक सैद्धांतिक स्पष्टीकरण प्रदान करता है जो क्रिटिकल विंडो के अस्तित्व, स्थिति और चौड़ाई, साथ ही देखे गए बेसिन श्रिंकिंग की भविष्यवाणी करता है।
दायरे को परिभाषित करना: यह स्पष्ट करता है कि यह तंत्र विशेष रूप से उन सेटिंग्स के लिए लागू है जहाँ मॉडल मेमोराइजेशन और इनफरेंस दोनों बेसिन तक पहुँच सकता है, जो इसे ग्रोकिंग जैसे अन्य जनरलाइजेशन परिघटनाओं से अलग करता है।

लेखक निष्कर्ष निकालते हैं कि जटिलता नियंत्रण मौलिक रूप से एक टेम्पोरल घटना है और मौजूदा स्टेटिक फ्रेमवर्क यह समझाने में अधूरे हैं कि ट्रांसफॉर्मर इनफरेंस और मेमोराइजेशन समाधानों के बीच कैसे चुनाव करते हैं।