🤖 machine learning

Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics

यह शोध पत्र प्रदर्शित करता है कि वेट डिके (weight decay) एक महत्वपूर्ण नियंत्रण पैरामीटर के रूप में कार्य करता है जो मॉड्यूलर अंकगणित पर प्रशिक्षित ट्रांसफॉर्मर्स में मेमोराइजेशन (memorization), जनरलाइजेशन (grokization/grokking), और कोलैप्स (collapse) के बीच संक्रमण को नियंत्रित करता है, और विभिन्न मॉडल स्केल्स और आर्किटेक्चर में इन डायनेमिक्स को ट्रैक करने के लिए अटेंशन एक्टिवेशन्स (attention activations) पर आधारित दो गणनात्मक रूप से कुशल ऑनलाइन डायग्नोस्टिक्स पेश करता है।

मूल लेखक: Lucky Verma

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lucky Verma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों के एक समूह (एक कंप्यूटर मस्तिष्क के भीतर के "अटेंशन हेड्स") को एक कठिन गणितीय पहेली हल करना सिखा रहे हैं: मॉड्यूलर अरिथमेटिक (जैसे कि उस घड़ी पर समय का पता लगाना जिसमें केवल 97 घंटे होते हैं)।

लंबे समय तक, ये छात्र केवल रटकर उत्तरों को याद करते हुए प्रतीत होते हैं। वे अभ्यास परीक्षा में तो पूर्ण अंक प्राप्त करते हैं लेकिन वास्तविक परीक्षा में विफल हो जाते हैं क्योंकि उन्होंने वास्तव में खेल के नियमों को नहीं सीखा है। फिर, अचानक, कुछ जादुई होता है: वे अवधारणा को "ग्रॉक" (गहराई से समझ) कर लेते हैं। वे रटना बंद कर देते हैं और समझने लगते हैं, जिससे वे किसी भी नई समस्या को तुरंत हल करने में सक्षम हो जाते हैं।

यह शोधपत्र यह समझने के लिए एक 'फील्ड गाइड' है कि यह अचानक होने वाला "आहा!" क्षण (समझ का क्षण) कब और कैसे होता है, और क्या होता है यदि आप छात्रों को बहुत अधिक मजबूर करते हैं या बहुत कम।

यहाँ निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. सीखने का "वॉल्यूम नॉब" (वेट डिके - Weight Decay)

शोधकर्ताओं ने पाया कि वेट डिके (Weight Decay) नामक एक सेटिंग सीखने की प्रक्रिया के लिए एक मास्टर वॉल्यूम नॉब की तरह काम करती है। यह प्रशिक्षण के "व्यक्तित्व" को नियंत्रित करती है:

बहुत धीमा (कम वेट डिके): छात्र बहुत ढीले-ढाले हैं। वे बस उत्तरों को रट लेते हैं और कभी भी अंतर्निहित तर्क को नहीं समझ पाते। वे "रटने के मोड" में ही फंसे रहते हैं।
बिल्कुल सही (मध्यम वेट डिके): यह "गोल्डिलॉक्स" ज़ोन (सही संतुलन) है। छात्र एक विशिष्ट दो-चरणीय नृत्य से गुजरते हैं:
1. सिंक चरण (Sync Phase): पहले, सभी छात्र बिल्कुल एक ही तरह से सोचने लगते हैं (वे तालमेल बिठाते हैं)। वे बुनियादी नियमों पर सहमत होते हैं।
2. विभेदन चरण (Differentiation Phase): फिर, वे विशेषज्ञता हासिल करना शुरू करते हैं। कुछ छात्र जोड़ में विशेषज्ञ बन जाते हैं, अन्य गुणा में, आदि। वे क्लोन बनना बंद कर देते हैं और एक विविध टीम बन जाते हैं। यही वह समय है जब "ग्रोकिंग" (गहरी समझ) होती है।
बहुत तेज़ (उच्च वेट डिके): यदि आप नॉब को बहुत ऊपर घुमा देते हैं, तो छात्र अभिभूत हो जाते हैं। वे सभी एक एकल, भ्रमित अवस्था में ढह जाते हैं जहाँ वे सीखना पूरी तरह से बंद कर देते हैं।

2. "सस्ते थर्मामीटर" (ऑनलाइन डायग्नोस्टिक्स)

आमतौर पर, यह जानने के लिए कि क्या कोई छात्र "आहा!" क्षण के करीब है, आपको सेमेस्टर के अंत तक प्रतीक्षा करनी पड़ती है और एक अंतिम परीक्षा देनी पड़ती है। इसमें बहुत समय लगता है और बहुत पैसा (कंप्यूटिंग पावर) खर्च होता है।

शोधकर्ताओं ने दो सस्ते, वास्तविक समय के थर्मामीटर बनाए हैं जिन्हें आप कक्षा में छात्रों के साथ हर कुछ मिनटों में चेक कर सकते हैं:

"ग्रुप हग" मीटर (कोसाइन सिमिलैरिटी - Cosine Similarity): यह मापता है कि छात्र एक-दूसरे से कितने सहमत हैं। जब वे "ग्रॉक" करना शुरू करते हैं, तो वे पहले मजबूती से गले मिलते हैं (सहमत होते हैं), और फिर विशेषज्ञता हासिल करने के लिए धीरे-धीरे अलग होने लगते हैं।
"अराजकता" मीटर (एन्ट्रॉपी स्टैंडर्ड डेविएशन - Entropy Standard Deviation): यह मापता है कि छात्र कितने असहमत हैं या उनके विचारों में कितना अंतर है। जब "आहा!" क्षण होने वाला होता है, तो यह मीटर ऊपर की ओर बढ़ता है, जो दर्शाता है कि छात्र अपनी सिंक्रोनाइज्ड अवस्था से बाहर निकलकर अपनी अनूठी भूमिकाएँ खोजने के लिए संघर्ष कर रहे हैं।

ये उपकरण शोधकर्ताओं को अंतिम परीक्षा की प्रतीक्षा किए बिना वास्तविक समय में इस "फेज़ चेंज" (चरण परिवर्तन) को देखने देते हैं।

3. "महत्वपूर्ण टिपिंग पॉइंट" (Critical Tipping Point)

शोधपत्र ने वॉल्यूम नॉब के लिए एक बहुत ही विशिष्ट संख्या ("टिपिंग पॉइंट") पाई है।

यदि सेटिंग 0.0158 से नीचे है, तो वे नियम लगभग कभी नहीं सीखते; वे बस रटते रहते हैं।
यदि सेटिंग 0.0158 से ऊपर है, तो वे लगभग हमेशा नियम सीख लेते हैं।
उन्हें सीखने में लगने वाला समय नॉब को ऊपर घुमाने के साथ-साथ तेज होता जाता है (एक बिंदु तक), जो एक अनुमानित गणितीय वक्र (curve) का अनुसरण करता है।

4. "देर-चरण का क्रैश" (एंटी-ग्रोकिंग - Anti-Grokking)

यहाँ एक मोड़ है। यदि आप इन छात्रों को बहुत लंबे समय तक (सामान्य कुछ हजार के बजाय 20,000 स्टेप्स तक) प्रशिक्षित करते हैं, तो उनमें से कुछ अचानक सब कुछ भूल सकते हैं और वापस अनुमान लगाने की स्थिति में जा सकते हैं। शोधपत्र इसे "एंटी-ग्रोकिंग" कहता है।

अच्छी खबर: ऐसा सभी के साथ नहीं होता है। यह "सीड" (शुरुआती रैंडम स्थितियों) पर निर्भर करता है। कुछ छात्र नाजुक होते हैं और क्रैश हो जाते हैं; अन्य मजबूत होते हैं और हमेशा बुद्धिमान बने रहते हैं।
कारण: ऐसा लगता है कि यह छात्रों के अपनी अनूठी भूमिकाओं को खोने और फिर से बहुत समान हो जाने के कारण होता है, लेकिन एक टूटे हुए तरीके से।

5. क्या यह अन्य "मस्तिष्क" के लिए भी काम करता है?

शोधकर्ताओं ने परीक्षण किया कि क्या यह "वॉल्यूम नॉब" नियम केवल मानक (ट्रांसफॉर्मर्स) के अलावा अन्य प्रकार के कंप्यूटर मस्तिष्क के लिए भी काम करता है।

उन्होंने इसका परीक्षण MLPs (सरल फीड-फॉरवर्ड नेटवर्क), LSTMs (पुराने जमाने के मेमोरी नेटवर्क), और Mamba (एक नया, कुशल आर्किटेक्चर) पर किया।
परिणाम: हाँ! "वॉल्यूम नॉब" अभी भी काम करता है। उन सभी में एक "बहुत शांत," "बिल्कुल सही," और "बहुत तेज़" ज़ोन होता है। हालाँकि, "बिल्कुल सही" ज़ोन तक पहुँचने के लिए प्रत्येक प्रकार के मस्तिष्क के लिए नॉब पर आवश्यक सटीक संख्या अलग-अलग होती है।

सारांश: वे क्या दावा नहीं करते हैं

वे यह नहीं कह रहे हैं कि यह विशाल भाषा मॉडलों (जैसे जो निबंध लिखते हैं या आपसे चैट करते हैं) पर लागू होता है। उन्होंने केवल छोटे गणितीय मॉडलों का परीक्षण किया है।
वे यह दावा नहीं कर रहे हैं कि उन्होंने सभी AI के लिए परम "भौतिकी का नियम" खोज लिया है। उन्होंने इस विशिष्ट गणितीय पहेली के लिए एक विशिष्ट पैटर्न पाया है और वे सावधानीपूर्वक कहते हैं कि अन्य कार्यों के लिए यह अलग हो सकता है।
वे यह नहीं कह रहे हैं कि यह कोई चिकित्सा उपचार या जैविक तथ्य है, भले ही उन्होंने रूपकों के रूप में "हृदय गति" और "तालमेल" जैसे शब्दों का उपयोग किया हो।

संक्षेप में: यह शोधपत्र दिखाता है कि एक सिंगल डायल (वेट डिके) को घुमाकर, आप यह नियंत्रित कर सकते हैं कि एक कंप्यूटर मस्तिष्क रटता है, गहराई से सीखता है, या क्रैश हो जाता है। उन्होंने हमें दो सरल उपकरण भी दिए हैं जिनसे हम इस प्रक्रिया को वास्तविक समय में देख सकते हैं, जो यह सिद्ध करता है कि सीखना अक्सर दो अलग-अलग चरणों में होता है: पहले, सभी सहमत होते हैं; दूसरा, सभी विशेषज्ञता हासिल करते हैं।

तकनीकी सारांश: ग्रौकिंग ट्रांसफॉर्मर में वेट डिके (Weight Decay) शासन

समस्या विवरण
ग्रौकिंग (Grokking) उस घटना को संदर्भित करता है जहाँ एल्गोरिथमिक कार्यों (विशेष रूप से मॉड्यूलर अंकगणित) पर प्रशिक्षित ट्रांसफॉर्मर, ट्रेनिंग लॉस के संतृप्त होने के बहुत समय बाद, मेमोराइजेशन (memorization) से जनरलाइजेशन (generalization) की ओर एक तीव्र संक्रमण प्रदर्शित करते हैं। जबकि यांत्रिक अध्ययनों ने आंतरिक सर्किट (जैसे फूरियर प्रतिनिधित्व) के निर्माण की पहचान की है जो इस संक्रमण के चालक हैं, मौजूदा साहित्य में इन गतिकी (dynamics) को वास्तविक समय में ट्रैक करने के लिए किसी "सस्ते ऑनलाइन डायग्नोस्टिक" का अभाव है। इसके अलावा, वेट डिके ( $\lambda$ ) की भूमिका को मॉडल स्केल्स में एक नियंत्रण पैरामीटर के रूप में व्यवस्थित रूप से मैप नहीं किया गया है, और न ही अटेंशन-हेड समन्वय (attention-head coordination) के विशिष्ट योगदान को वेट मैग्नीट्यूड (weight magnitude) के प्रभावों से अलग किया गया है।

कार्यप्रणाली
लेखक एडमडब्ल्यू (AdamW) ऑप्टिमाइज़र का उपयोग करके मॉड्यूलर अंकगणित कार्यों (mod+, mod-, mod $\times$ , mod $\div$ ) पर डिकोडर-ओनली ट्रांसफॉर्मर को प्रशिक्षित करते हैं। अध्ययन वेट डिके के मूल्यों का एक सघन स्वीप (dense sweep) नियोजित करता है और मॉडल स्केल्स (0.82M से 85M पैरामीटर्स तक) और आर्किटेक्चर (Transformers, MLPs, LSTMs, Mamba) को बदलता है।

मुख्य कार्यप्रणाली घटक शामिल हैं:

ऑनलाइन ऑर्डर पैरामीटर्स: दो स्केलर डायग्नोस्टिक्स प्रत्येक ट्रेनिंग स्टेप पर केवल अटेंशन एक्टिवेशन का उपयोग करके कंप्यूट किए जाते हैं:
- मीन पेयरवाइज अटेंशन-हेड कोसाइन सिमिलरिटी ( $\bar{s}(t)$ ): अटेंशन हेड्स के बीच समन्वय (सिंक्रोनाइज़ेशन) को मापता है।
- एन्ट्रॉपी स्टैंडर्ड डेविएशन ( $\sigma_H(t)$ ): हेड्स के बीच शैनन एन्ट्रॉपी (Shannon entropy) के फैलाव को मापता है, जो विभेदीकरण (differentiation) को ट्रैक करता है।
फाइनाइट-साइज़ स्केलिंग: $\lambda_c$ (क्रिटिकल थ्रेशोल्ड) का अनुमान लगाने के लिए लेखक ग्रौकिंग की प्रायिकता ( $P(\text{grok})$ ) बनाम वेट डिके के लिए एक लॉजिस्टिक फंक्शन को फिट करते हैं। वे क्रिटिकल एक्सपोनेंट $\nu$ निर्धारित करने के लिए "टाइम-टू-ग्रोक" ( $t_{\text{grok}}$ ) के लिए एक पावर लॉ को भी फिट करते हैं।
कॉज़ल इंटरवेंशन (Causal Interventions): हेड-पैटर्न संरचना और वेट मैग्नीट्यूड के बीच अंतर करने के लिए, लेखक युग्मित प्रयोग (paired experiments) करते हैं जहाँ अटेंशन हेड्स को पुन: आरंभ (re-initialize) किया जाता है अथवा जहाँ वेट नॉर्म्स को विभेदीकरण चरण के शिखर पर क्लिप (clip) किया जाता है।
औपचारिक सत्यापन: गणितीय सुसंगतता सुनिश्चित करने के लिए डायग्नोस्टिक आइडेंटिटीज़ (बाउंड्स और बीजगणितीय गुण) को लीन 4 (Lean 4) में मशीन-चेक्ड किया गया है।

मुख्य योगदान

मात्रात्मक क्रिटिकल थ्रेशोल्ड: अध्ययन कैनोनिकल 4-लेयर, 8-हेड ट्रांसफॉर्मर के लिए mod+ कार्यों पर एक तीव्र वेट-डिके क्रिटिकल थ्रेशोल्ड की पहचान करता है: $\lambda_c = 0.0158$ (95% CI [0.0109, 0.0200])।
रीजीम डायग्राम (Regime Diagram): एक दो-अक्ष ( $\lambda$ $λ$ , $N$ $N$ ) मानचित्र तीन अलग-अलग शासन (regimes) प्रकट करता है:
- मेमोराइजेशन (Memorization): $\lambda < \lambda_c$ (निकट-शून्य ग्रौकिंग)।
- डेवलपमेंटल ग्रौकिंग (Developmental Grokking): $\lambda \ge \lambda_c$ (~100% ग्रोक रेट तक पहुँचना, जहाँ $\lambda$ बढ़ने के साथ टाइम-टू-ग्रोक कम होता जाता है)।
- कोलैप्स (Collapse): $\lambda = 10$ (सभी हेड्स समान पैटर्न में अभिसरित होते हैं, $\bar{s}=1.0$ )।
दो-चरणीय गतिकी (Two-Phase Dynamics): प्रशिक्षण प्रक्षेपवक्र (trajectory) को निम्नलिखित द्वारा वर्णित किया गया है:
- फेज 1 (सिंक्रोनाइज़ेशन): हेड्स अभिसरित होते हैं ( $\bar{s}$ ~0.93 से बढ़कर ~0.995 हो जाता है) जो ग्रौकिंग की शुरुआत के साथ मेल खाता है।
- फेज 2 (डिफरेंशिएशन): हेड्स विचलित होते हैं ( $\bar{s}$ गिरकर ~0.88 हो जाता है, $\sigma_H$ बढ़ता है) जबकि टेस्ट एक्यूरेसी उच्च बनी रहती है।
पर-हेड डाइमेंशन एक एम्प्लीट्यूड मॉड्युलेटर के रूप में: विभेदीकरण का आयाम ( $\sigma_H$ ) अनुभवजन्य रूप से प्रति-हेड डाइमेंशन ( $d/H$ ) द्वारा डोमिनेटेड है, जो $d/H$ बढ़ने के साथ मोनोटोनिक रूप से संतृप्त होता है।
क्रॉस-आर्किटेक्चर स्कोप: वेट-डिके नियंत्रित संक्रमण गैर-अटेंशन आर्किटेक्चर (MLP, LSTM, Mamba) में भी देखा जाता है, हालांकि क्रिटिकल थ्रेशोल्ड $\lambda_c$ आर्किटेक्चर के आधार पर काफी बदल जाता है (लगभग एक ऑर्डर ऑफ मैग्नीट्यूड तक स्पैन करता है)।

परिणाम

स्केलिंग एक्सपोनेंट: टाइम-टू-ग्रोक एक पावर लॉ $t_{\text{grok}} \propto (\lambda - \lambda_c)^{-\nu}$ का पालन करता है जिसमें एक अनुभवजन्य एक्सपोनेंट $\nu = 0.757$ (95% CI [0.725, 0.799]) है। लेखक स्पष्ट रूप से नोट करते हैं कि यह मान मानक संदर्भ एक्सपोनेंट्स (जैसे $\nu=1/2$ या 3D Ising $\nu \approx 0.63$ ) से मेल नहीं खाता है, और यूनिवर्सल क्लास की पहचान को भविष्य के कार्य के लिए टाल देते हैं।
लॉन्ग-होरिज़न फ्रैजिलिटी (Long-Horizon Fragility): विस्तारित क्षितिज (20,000 इपोक) पर, कुछ प्रक्षेपवक्रों में एक सीड-डिपेंडेंट "एंटी-ग्रौकिंग" कोलैप्स देखा गया है, जो एक पांच-चरणीय पैटर्न द्वारा पहचाना गया है जो एककता (decay) के साथ समाप्त होता है। इसे एक सार्वभौमिक चक्र के बजाय एक फ्रैजिलिटी (fragility) के रूप में पहचाना गया है।
कॉज़ल आइसोलेशन: कंट्रोल की तुलना में अटेंशन हेड्स को पुन: आरंभ करने से फेज 2 का आयाम ( $\sigma_H$ ) काफी कम हो जाता है, जबकि वेट-नॉर्म क्लिपिंगिंग का कोई प्रभाव नहीं पड़ता है। यह प्रभाव को वेट मैग्नीट्यूड के बजाय हेड-पैटर्न संरचना तक आइसोलेट करता है।
मल्टी-टास्क रेप्लिकेशन: वेट-डिके कंट्रोल पैटर्न चार मॉड्यूलर ऑपरेशन्स और दो मॉडल स्केल्स में बना रहता है, जो एडिशन से परे रीजीम मैप की मजबूती की पुष्टि करता है।

महत्व और दावे
यह शोध दावा करता है कि यह केवल अटेंशन एक्टिवेशन का उपयोग करके ग्रौकिंग डायनेमिक्स को ट्रैक करने के लिए एक सस्ता, ऑनलाइन-कंप्यूटेबल डायग्नोस्टिक फ्रेमवर्क प्रदान करता है, जो रिफाइंड लोकल लर्निंग कोएफिशिएंट (rLLC) जैसे अधिक महंगे लॉस-लैंडस्केप डायग्नोस्टिक्स का पूरक है। यह स्थापित करता है कि वेट डिके एक प्राथमिक अनुभवजन्य नियंत्रण पैरामीटर है जो मेमोराइजेशन, डेवलपमेंटल ग्रौकिंग और कोलैप्स शासन को अलग करता है।

लेखक अपने दायरे को लेकर विनम्र हैं:

वे देखे गए एक्सपोनेंट $\nu \approx 0.76$ के लिए कोई यूनिवर्सल क्लास नहीं का दावा करते हैं, यह नोट करते हुए कि परीक्षण किए गए संदर्भ एक्सपोनेंट्स उनके कॉन्फिडेंस इंटरवल से बाहर हैं।
वे यह दावा नहीं करते कि वेट डिके सभी आर्किटेक्चर में जनरलाइजेशन के लिए आवश्यक है, केवल यह कि यह मानक अटेंशन आर्किटेक्चर के भीतर एक नियंत्रण पैरामीटर के रूप में कार्य करता है।
वे विभेदीकरण (differentiation) क्यों होता है, इसके संबंध में कॉज़ल मैकेनिज्म दावों को भविष्य के कार्य के लिए स्पष्ट रूप से टाल देते हैं, और ध्यान केवल इस बात पर केंद्रित करते हैं कि यह कब और कैसे प्रकट होता है।
निष्कर्ष मॉड्यूलर अंकगणित में छोटे ट्रांसफॉर्मर अटेंशन मॉडल तक सीमित हैं; बड़े लैंग्वेज मॉडल्स या व्यापक सार्वभौमिकता के संबंध में दावे दायरे से बाहर हैं।

यह कार्य एक फेनोमेनोलॉजिकल (phenomenological) और डायग्नोस्टिक योगदान के रूप में खुद को स्थापित करता है, जो फाइनाइट-साइज़ स्केलिंग, लयापुनोव कॉन्ट्रैक्शन (Lyapunov contraction), और ग्लास रिलैक्सेशन (glass relaxation) पर समवर्ती सैद्धांतिक कार्य का पूरक एक "रीजीम मैप" और "ऑर्डर पैरामीटर्स" प्रदान करता है।