📊 statistics

To Grok Grokking: Provable Grokking in Ridge Regression

यह शोध पत्र यह सिद्ध करके "ग्रोकिंग टाइम" (grokking time) पर पहले कठोर मात्रात्मक मानक प्रदान करता है कि ग्रेडिएंट डिसेंट और वेट डिके (weight decay) के साथ प्रशिक्षित ओवर-पैरामीटराइज्ड लीनियर रिग्रेशन मॉडल अनिवार्य रूप से ओवरफिटिंग से पूर्ण सामान्यीकरण (perfect generalization) की ओर संक्रमण करते हैं, जो यह प्रदर्शित करता है कि यह घटना डीप लर्निंग की एक अंतर्निहित विफलता के बजाय प्रशिक्षण स्थितियों का एक नियंत्रणीय परिणाम है।

मूल लेखक: Mingyue Xu, Gal Vardi, Itay Safran

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mingyue Xu, Gal Vardi, Itay Safran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को गणित के सवाल हल करना सिखा रहे हैं। आप उसे अभ्यास के लिए कुछ विशिष्ट प्रश्न (ट्रेनिंग डेटा) देते हैं और एक नियम पुस्तिका (लर्निंग एल्गोरिदम) देते हैं।

आमतौर पर, हम उम्मीद करते हैं कि छात्र नए सवालों को हल करने में बेहतर होगा (जनरलाइजेशन/सामान्यीकरण) जैसे-जैसे वह अधिक अभ्यास करेगा। लेकिन कभी-कभी, कुछ अजीब होता है। छात्र अभ्यास के प्रश्नों को पूरी तरह से रट लेता है, 100% स्कोर प्राप्त करता है, और फिर... कुछ नहीं होता। वह अभ्यास शीट पर 100% स्कोर करना जारी रखता है, लेकिन यदि आप उसे एक नया टेस्ट देते हैं, तो वह बुरी तरह विफल हो जाता है। वह इस "रटे हुए लेकिन अनभिज्ञ" (memorized but clueless) की स्थिति में लंबे समय तक फंसा रहता है।

फिर, अचानक, इस अंतहीन ठहराव के बाद, छात्र को "अहा!" वाला क्षण आता है। वह केवल रटना बंद कर देता है और वास्तव में अंतर्निहित तर्क (underlying logic) को समझने लगता है। अचानक, वह नए टेस्ट में भी शानदार प्रदर्शन करता है।

इस घटना को "ग्रोकिंग" (Grokking) कहा जाता है। यह वैसा ही है जैसे छात्र ने पाठ को सुनते हुए केवल रट लिया हो, और वर्षों बाद जागकर आखिरकार अवधारणा को समझ लिया हो।

शोध पत्र की बड़ी खोज

लंबे समय तक वैज्ञानिकों ने सोचा कि यह "ग्रोकिंग" केवल अत्यंत जटिल, रहस्यमय AI सिस्टम (जैसे डीप न्यूरल नेटवर्क) में ही हो सकता है। उन्हें लगा कि यह आधुनिक तकनीक की एक अजीब खामी है।

हालाँकि, यह शोध पत्र कहता है: "रुकिए जरा, ऐसा होने के लिए आपको सुपर-कंप्यूटर की आवश्यकता नहीं है।"

लेखकों ने सिद्ध किया कि यह सबसे सरल, सबसे क्लासिक गणितीय समस्या में भी हो सकता है: रिज रिग्रेशन (Ridge Regression)। इसे एक बहुत ही बुनियादी, रैखिक (linear) तरीके के रूप में सोचें जिससे बिंदुओं के बादल के माध्यम से एक रेखा खींची जाती है। यह मशीन लर्निंग का "हेलो वर्ल्ड" (Hello World) है।

उन्होंने दिखाया कि भले ही आपके पास यह सरल उपकरण हो, यदि आप सेटिंग्स को बिल्कुल सही तरीके से ट्यून करते हैं, तो आप मॉडल को मजबूर कर सकते हैं कि वह:

डेटा को तेजी से रट ले (ओवरफिटिंग)।
लंबे समय तक अटक जाए, नए डेटा को समझने में विफल रहे (द ग्रोकिंग टाइम)।
अचानक समझ विकसित करे और पूरी तरह से सामान्यीकरण (generalize) करे।

गुप्त नुस्खा: "वेट डिके" (Weight Decay) का नॉब

शोध पत्र इस देरी के पीछे मुख्य अपराधी के रूप में "वेट डिके" (Weight Decay) नामक एक सेटिंग की पहचान करता है।

कल्पना कीजिए कि आप एक कार (मॉडल) चला रहे हैं जो एक गंतव्य (सही उत्तर) की ओर बढ़ रही है।

ट्रेनिंग डेटा उस विशिष्ट मार्ग का एक मानचित्र है जिस पर आपने पहले गाड़ी चलाई है।
वेट डिके स्टीयरिंग व्हील पर एक हल्के हाथ की तरह है जो लगातार कार को वापस सड़क के केंद्र की ओर धकेलने की कोशिश करता है, ताकि वह रास्ते से बहुत दूर न भटक जाए।

यहाँ उस एनालॉजी (उपमा) के लिए विवरण है जो शोध पत्र ने पाया:

फास्ट लेन (ट्रेनिंग एरर): जब कार परिचित सड़क पर होती है (ट्रेनिंग डेटा), तो वह बहुत तेजी से आगे बढ़ती है। पहिये पर हल्के हाथ (छोटा वेट डिके) के साथ भी, कार सड़क के साथ पूरी तरह फिट बैठती है। ड्राइवर सोचता है, "मैं बहुत अच्छा कर रहा हूँ!"
फंसी हुई अवस्था (द ग्रोकिंग टाइम): लेकिन जब ड्राइवर परिचित सड़क को छोड़कर एक नई सड़क पर जाने की कोशिश करता है (जनरलाइजेशन), तो कार फंस जाती है। "पहिये पर हाथ" (वेट डिके) इतना कमजोर है कि वह कार को पुराने रास्ते के गहरे गड्ढों से बाहर नहीं निकाल पाता। कार तकनीकी रूप से चल तो रही है, लेकिन वह बस पुराने रास्ते के कीचड़ में अपने पहिये घुमा रही है। कार को उन गड्ढों से धीरे-धीरे बाहर निकलने में बहुत लंबा समय लगता है।
ब्रेकथ्रू (सफलता): अंततः, पहिये पर वह हल्का हाथ अपना काम करता है। वह धीरे-धीरे कार को पुराने गड्ढों से बाहर खींचता है और सड़क के केंद्र में लाता है। एक बार जब कार केंद्र में आ जाती है, तो वह अंततः किसी भी नई सड़क पर सुचारू रूप से चल सकती है।

यह शोध पत्र क्या सिद्ध करता है

लेखकों ने केवल इसे होते हुए देखा नहीं; उन्होंने यह अनुमान लगाने के लिए एक गणितीय रेसिपी लिखी कि कार कितनी देर तक कीचड़ में फंसी रहेगी।

जितना छोटा वेट डिके होगा: कार उतनी ही अधिक समय तक फंसी रहेगी। यदि आप "पहिये पर हाथ" को लगभग हटा ही दें, तो कार सामान्यीकरण करने से पहले अविश्वसनीय रूप से लंबे समय तक गड्ढों में फंसी रह सकती है।
जितना अधिक डेटा होगा: यदि आपके पास एक विशाल मानचित्र (बहुत सारा ट्रेनिंग डेटा) है, तो कार जल्दी फंस जाएगी क्योंकि गड्ढे गहरे होते हैं।
जितने अधिक आयाम (Dimensions) होंगे: यदि सड़क बहुत चौड़ी और जटिल है, तो कार को केंद्र खोजने में अधिक समय लगेगा।

यह क्यों महत्वपूर्ण है

यह शोध पत्र तर्क देता है कि ग्रोकिंग "डीप लर्निंग" की कोई जादुई विफलता या AI के टूटने का संकेत नहीं है। यह कोई बग (bug) नहीं है; यह एक फीचर है कि कैसे कुछ प्रशिक्षण स्थितियाँ काम करती हैं।

यह कहने जैसा है कि, "यदि आप एक छात्र को सोचने देने के बजाय उत्तर रटने के लिए सिखाते हैं, तो वे अंततः इसे समझ जाएंगे, लेकिन इसमें बहुत समय लगेगा।" शोध पत्र दिखाता है कि "टीचिंग स्टाइल" (हाइपरपैरामीटर्स जैसे वेट डिके) को समायोजित करके, आप ठीक से नियंत्रित कर सकते हैं कि वह देरी कितनी लंबी होगी। आप छात्र को तुरंत समझने (ग्रोक करने) के लिए मजबूर कर सकते, या उन्हें वर्षों तक इंतजार करवा सकते हैं, और यह सब एक ही सरल गणित के साथ संभव है।

संक्षेप में: यह शोध पत्र सिद्ध करता है कि यह अजीब "पहले रटना, फिर समझना" वाला व्यवहार लर्निंग एल्गोरिदम का एक मौलिक गुण है, न कि जटिल AI का कोई रहस्य। यह सबसे सरल गणित की कक्षाओं में भी होता है, और अब हम ठीक-ठीक गणना कर सकते हैं कि "समझ" में कितनी देरी होगी।

तकनीकी सारांश: टू ग्रोक ग्रॉकिंग: रिज रिग्रेशन में प्रूवेबल ग्रॉकिंग (To Grok Grokking: Provable Grokking in Ridge Regression)

समस्या विवरण (Problem Statement)

यह शोध पत्र ग़्रॉकिंग (grokking) की घटना की जांच करता है, जिसे पूर्ण प्रशिक्षण प्रदर्शन (ओवरफिटिंग) प्राप्त करने के लंबे समय बाद सामान्यीकरण (generalization) की शुरुआत के रूप में परिभाषित किया गया है। जबकि इसे पहले मुख्य रूप से जटिल, गैर-रेखीय न्यूरल नेटवर्क और एल्गोरिद्मिक डेटासेट में देखा गया था, लेखक एक शास्त्रीय, रैखिक सेटिंग में इस घटना के लिए कठोर, एंड-टू-एंड सैद्धांतिक गारंटी स्थापित करने का लक्ष्य रखते हैं। विशेष रूप से, यह शोध पत्र मौजूदा साहित्य के उस अंतर को संबोधित करता है जहाँ पिछले कार्यों में या तो ओवरफिटिंग और सामान्यीकरण के बीच के "विलंब" (delay) के औपचारिक प्रमाणों की कमी थी या वे विशिष्ट, गैर-सामान्यीकरण योग्य समस्या संरचनाओं (जैसे मॉड्यूलर जोड़) पर निर्भर थे। मूल प्रश्न यह है कि क्या ओवर-पैरामीटराइज्ड रिज रिग्रेशन (over-parameterized ridge regression) में ग्रेडिएंट डिसेंट (GD) के साथ ग्रॉकिंग को प्रमाण सहित प्रदर्शित किया जा सकता है, और यदि हाँ, तो हाइपरपैरामीटर मात्रात्मक रूप से "ग़्रॉकिंग समय" को कैसे नियंत्रित करते हैं।

कार्यप्रणाली (Methodology)

लेखक समस्या को एक टीचर-स्टूडेंट फ्रेमवर्क (teacher-student framework) के भीतर तैयार करते हैं:

सेटिंग: ओवर-पैरामीटराइज्ड लीनियर रिग्रेशन जहाँ स्टूडेंट मॉडल $N(x; \theta) = \langle \theta, \phi(x) \rangle$ एक रियलाइज़ेबल टीचर फंक्शन $N^*(x) = \langle \theta^*, \phi(x) \rangle$ को सीखता है।
अनुकूलन (Optimization): स्टूडेंट को एक निश्चित स्टेप साइज $\eta$ और एक $\ell_2$ रेगुलराइजेशन टर्म (वेट डिके) $\lambda$ के साथ ग्रेडिएंट डिसेंट (GD) का उपयोग करके प्रशिक्षित किया जाता है। ऑब्जेक्टिव रेगुलराइज्ड मीन स्क्वेर्ड एरर है:
$L_n(\theta; \lambda) = \frac{1}{2n}\sum_{i=1}^n (N(x_i; \theta) - N^*(x_i))^2 + \frac{\lambda}{2}\|\theta\|_2^2$
विश्लेषण रणनीति: लेखक पैरामीटर वेक्टर $\theta$ $θ$ को डेटा स्पैन के सापेक्ष दो ऑर्थोगोनल घटकों में विभाजित करते हैं:
1. $\theta_{\parallel}$ : फीचर मैट्रिक्स $\Phi$ के रो स्पेस (row space) में घटक (डेटा-स्पैनिंग सबस्पेस)।
2. $\theta_{\perp}$ : $\Phi$ के नल स्पेस (null space) में घटक (पूरक सबस्पेस)।
सैद्धांतिक दृष्टिकोण: प्रमाण प्रशिक्षण हानि (एम्पिरिकल एरर) और सामान्यीकरण हानि (पॉपुलेशन एरर) के अभिसरण दरों (convergence rates) का अलग-अलग विश्लेषण करता है। मुख्य तंत्र यह दिखाने पर निर्भर है कि $\theta_{\parallel}$ डेटा को फिट करने के लिए तेजी से अभिसरित होता है, जबकि $\theta_{\perp}$ वेट डिके के कारण धीरे-धीरे घटता है, जिससे सामान्यीकरण में लंबा अंतराल आता है।

मुख्य योगदान (Key Contributions)

प्रथम एंड-टू-एंड प्रूवेबल ग्रॉकिंग: यह शोध पत्र एक रैखिक सेटिंग में ग्रॉकिंग के तीन विशिष्ट चरणों के लिए प्रथम कठोर मात्रात्मक सीमाएँ (quantitative bounds) प्रदान करता है:
- (i) प्रशिक्षण डेटा का तीव्र ओवरफिटिंग।
- (ii) एक निरंतर विलंब जहाँ शून्य प्रशिक्षण त्रुटि के बावजूद सामान्यीकरण त्रुटि उच्च बनी रहती है।
- (iii) अंततः एक ऐसे मॉडल की ओर अभिसरण जिसमें अनिश्चित रूप से कम सामान्यीकरण त्रुटि होती है।
ग़्रॉकिंग समय पर मात्रात्मक सीमाएँ: लेखक "ग़्रॉकिंग समय" ( $t_2 - t_1$ $t_{2} - t_{1}$ ) के लिए स्पष्ट निचली सीमाएँ (lower bounds) निकालते हैं, जहाँ $t_1$ $t_{1}$ ओवरफिट होने का समय है और $t_2$ $t_{2}$ सामान्यीकरण का समय है। ये सीमाएँ हाइपरपैरामीटर के संदर्भ में व्यक्त की जाती हैं:
- वेट डिके ( $\lambda$ ): ग्रॉकिंग समय $\lambda$ के व्युत्क्रमानुपाती (inversely proportional) होता है ( $t_2 \propto 1/\lambda$ )। छोटा $\lambda$ सामान्यीकरण को महत्वपूर्ण रूप से विलंबित करता है।
- इनिशियलाइजेशन स्केल ( $\nu^2$ ): इनिशियलाइजेशन स्केल को बढ़ाने से ग्रॉकिंग लॉगरिदमिक रूप से बढ़ता है ( $t_1, t_2 \propto \ln(\nu^2)$ )।
- ओवर-पैरामीटराइजेशन: यह घटना दर्शाती है कि इसके लिए उच्च-आयामी सेटिंग ( $m \gg n$ ) आवश्यक है।
हाइपरपैरामीटर नियंत्रण: यह शोध पत्र ग्रॉकिंग को प्रेरित करने या समाप्त करने के लिए हाइपरपैरामीटरों (सैंपल साइज $n$ , फीचर डायमेंशन $m$ , वेट डिके $\lambda$ , और इनिशियलाइजेशन $\nu^2$ ) पर पर्याप्त स्थितियाँ स्थापित करता है।
गैर-रेखीय मॉडलों पर अनुभवजन्य सत्यापन: हालांकि सिद्धांत लीनियर रिग्रेशन के लिए निकाला गया है, लेखक अनुभवजन्य रूप से प्रदर्शित करते हैं कि हाइपरपैरामीटरों पर मात्रात्मक निर्भरता (जैसे $\lambda$ का विलंब पर प्रभाव) गैर-रेखीय टू-लेयर ReLU न्यूरल नेटवर्क में देखे गए व्यवहार के गुणात्मक रूप से मेल खाती है।

मुख्य परिणाम (Key Results)

अभिसरण दरें (Convergence Rates): प्रशिक्षण त्रुटि एम्पिरिकल फीचर कोवेरिएंस ( $\lambda^+_{\min}(\Phi^\top \Phi)$ ) के सबसे छोटे गैर-शून्य आइगेनवैल्यू द्वारा संचालित दर पर अभिसरित होती है, जो कि तेज है। इसके विपरीत, सामान्यीकरण त्रुटि $(1 - \eta\lambda)^t$ की दर से घटने वाली टर्म द्वारा निम्नतम स्तर (lower-bounded) पर होती है, जो छोटे $\lambda$ के लिए अनिश्चित रूप से धीमी हो सकती है।
ग़्रॉकिंग तंत्र: विलंब इसलिए होता है क्योंकि छोटा वेट डिके वाला GD प्रभावी रूप से केवल डेटा स्पैन पर वेट्स के प्रोजेक्शन को अपडेट करता है ताकि ट्रेनिंग लॉस को कम किया जा सके, जबकि ऑर्थोगोनल घटक (जो सामान्यीकरण त्रुटियों में योगदान देता है) केवल धीमे वेट डिके टर्म के माध्यम से घटता है।
प्रमेय (Theorems):
- प्रमेय 4.1: जीरो टीचर के लिए ग्रॉकिंग स्थापित करता है, जो लॉस कन्वर्जेंस पर मैचिंग अपर और लोअर बाउंड प्रदान करता है।
- प्रमेय 4.2: परिणाम को किसी भी रियलाइज़ेबल टीचर तक विस्तृत करता है, $t_1$ और $t_2$ के लिए स्पष्ट सीमाएँ (समीकरण 6 और 7) प्रदान करता है।
- प्रमेय 4.4 और 4.5: प्रशिक्षण हानि के तेज़ अभिसरण और खराब सामान्यीकरण के बने रहने को सिद्ध करते हैं।
- प्रमेय 4.6: सिद्ध करता है कि GD अंततः अच्छे सामान्यीकरण गारंटी वाले ग्लोबल मिनिमम की ओर अभिसरित होता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र ग्रॉकिंग को समझने के लिए एक मौलिक सैद्धांतिक ढांचा प्रदान करने का दावा करता है। लीनियर रिग्रेशन की सरल और पारदर्शी सेटिंग में इस घटना को अलग करके, लेखक तर्क देते हैं कि:

ग्रॉकिंग डीप लर्निंग आर्किटेक्चर या नॉन-लिनियरिटी की अंतर्निहित विफलता (inherent failure mode) नहीं है, बल्कि विशिष्ट प्रशिक्षण स्थितियों (विशेष रूप से ओवर-पैरामीटराइजेशन और छोटे वेट डिके के बीच परस्पर क्रिया) का परिणाम है।
इस घटना को टालने के लिए मॉडल आर्किटेक्चर या लर्निंग एल्गोरिदम में मौलिक परिवर्तनों की आवश्यकता नहीं है; इसे हाइपरपैरामीटर ट्यूनिंग के माध्यम से नियंत्रित किया जा सकता है।
परिणाम पूर्व साहित्य में पाए जाने वाले अनुभवजन्य अवलोकनों या ह्यूरिस्टिक स्पष्टीकरणों (जैसे "लेजी-टू-रिच" रिजीम ट्रांजिशन) से आगे बढ़कर, सामान्यीकरण विलंब के लिए पहले कठोर मात्रात्मक प्रमाण प्रदान करते हैं।
निष्कर्ष बताते हैं कि वर्गीकरण (classification) में अक्सर देखा जाने वाला "टेस्ट एरर प्लेटो" (जो डिस्क्रीट मेट्रिक्स का आर्टिफैक्ट है) थ्रेशोल्ड-आधारित एक्यूरेसी मेट्रिक्स के माध्यम से मूल्यांकन किए जाने पर रिग्रेशन में भी मौजूद होता है, जो लॉस प्रकारों के बीच इस घटना की सार्वभौमिकता की पुष्टि करता है।

लेखक अपने दायरे के संबंध में विनम्रता बनाए रखते हुए नोट करते हैं कि जबकि उनका लीनियर विश्लेषण कठोर प्रमाण प्रदान करता है, इन परिणामों को गैर-रियलाइज़ेबल सेटिंग्स तक विस्तारित करना या डीप न्यूरल नेटवर्क में "लेजी-टू-रिच" ट्रांजिशन को सिद्ध करना एक खुला चुनौती है जिसके लिए नए सैद्धांतिक उपकरणों की आवश्यकता है।