A Stochastic--Geometric Theory of Scaling Laws in Grokking

कल्पना कीजिए कि आप एक वीडियो गेम के पात्र को एक कठिन पहेली सुलझाने की कोशिश करते हुए देख रहे हैं। शुरू में, पात्र पागलों की तरह इधर-उधर दौड़ता है, उस रास्ते के हर एक कदम को याद करने की कोशिश करता है जो उसने अभी-अभी लिया था। वह तुरंत स्कोर शून्य कर देता है, लेकिन उसने वास्तव में नियम नहीं सीखे हैं; उसने केवल विशिष्ट मानचित्र (मैप) को रट लिया है। इसे मेमोराइजेशन (याद करना) कहा जाता है।

फिर, कुछ जादुगरिक होता है। एक लंबे, उबाऊ दौर के बाद जहाँ कुछ भी बदलता हुआ प्रतीत नहीं होता, पात्र अचानक रुक जाता है, बोर्ड को देखता है, और उसे बात समझ आ जाती है। वह नए, अनदेखे पहेलियों को भी पूरी तरह से हल करने लगता है। यह अचानक होने वाला "आहा!" क्षण है जिसे शोधकर्ता ग्रोकिंग (grokking) कहते हैं।

लंबे समय तक, कोई नहीं जानता था कि यह देरी क्यों हुई। क्या यह जादू था? क्या यह कोई गड़बड़ी (ग्लिच) थी? इस शोध पत्र में, लेखक सुझाव देते हैं कि कंप्यूटर के "मस्तिष्क" (न्यूरल नेटवर्क) के अंदर क्या चल रहा है, इसे आकार और दूरियों के मानचित्र का उपयोग करके देखने का एक नया तरीका।

समाधानों का प्याज (The Onion of Solutions)

लेखक प्रस्तावित करते हैं कि जहाँ कंप्यूटर का "मस्तिष्क" अस्तित्व में हो सकता है, वह स्थान नेस्टेड स्फेयर्स (एक के भीतर एक गोले) के सेट जैसा दिखता है, जैसे कि एक प्याज या एक लक्ष्य (टारगेट) होता है।

1. बाहरी परत (आरंभिक अवस्था - Initialization): जब कंप्यूटर शुरू होता है, तो उसकी सेटिंग्स एक पतली, बाहरी परत पर बिखरी होती हैं। यह एक विशाल गुब्बारे के बिल्कुल किनारे पर डार्ट फेंकने जैसा है।
2. मध्य परत (मेमोराइजेशन): जैसे-जैसे कंप्यूटर सीखता है, वह तेजी से एक मध्य परत की ओर फिसल जाता है। यहाँ, उसने प्रशिक्षण डेटा को पूरी तरह से याद कर लिया है। यह उस गेम के पात्र की तरह है जिसने मैप को तो रट लिया है लेकिन नियमों को नहीं समझा है। कंप्यूटर यहाँ लंबे समय तक फंसा रहता है।
3. केंद्र (जनरलाइजेशन - Generalization): प्याज के केंद्र में गहराई में "जनरलाइजेशन" का कोर स्थित है। यह वह 'स्वीट स्पॉट' है जहाँ कंप्यूटर वास्तव में नियमों को समझ जाता है और नई समस्याओं को हल कर सकता है।

"ग्रोकिंग" की घटना वास्तव में मध्य परत से, खाली स्थान के माध्यम से, कोर तक की यात्रा है। रहस्य यह था: इसे पहुँचने में इतना समय क्यों लगता है?

मदहोश चाल और चुंबकीय खिंचाव (The Drunk Walk and the Magnetic Pull)

लेखक समझाते हैं कि कंप्यूटर की सीखने की प्रक्रिया (एक ऑप्टिमाइज़र जिसका नाम Adam है) दो बलों का मिश्रण है:

• मदहोश चाल (डिफ्यूजन - Diffusion): क्योंकि कंप्यूटर डेटा के छोटे बैचों से सीखता है, इसलिए उसका रास्ता थोड़ा डगमगाता हुआ होता है, जैसे एक मदहोश व्यक्ति सीधी रेखा में चल रहा हो। यह डगमगाहट यादृच्छिक (रैंडम) होती है।
• चुंबकीय खिंचाव (ड्रिफ्ट - Drift): यहाँ एक स्थिर बल भी है जो कंप्यूटर को केंद्र की ओर खींचता है, विशेष रूप से इसलिए क्योंकि $\ell_2$ रेगुलराइजेशन नामक एक नियम है (जो एक सौम्य चुंबक की तरह काम करता है जो सेटिंग्स को छोटा रखने की कोशिश करता है)।

लेखक सुझाव देते हैं कि कंप्यूटर मध्य परत में इसलिए फंस जाता है क्योंकि "मदहोश चाल" इतनी कमजोर है कि वह इसे इस परत से बाहर नहीं धकेल पाती, और "चुंबकीय खिंचाव" इतना मजबूत नहीं है कि उसे तुरंत सीधे केंद्र तक खींच सके। उसे मध्य परत में कुछ समय तक भटकना पड़ता है जब तक कि संयोग से, यादृच्छिक डगमगाहट उसे इतना दूर न धकेल दे कि वह कोर में गिर जाए।

खेल के नियम (स्केलिंग लॉज़ - Scaling Laws)

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने यह भविष्यवाणी करने के लिए गणित (विशेष रूप से स्टॉपिंग-टाइम थ्योरी और स्टोकेस्टिक डिफरेंशियल इक्वेशन्स) का उपयोग किया कि यह देरी कितनी लंबी होनी चाहिए। उन्होंने तीन मुख्य "नॉब्स" (नियंत्रक) खोजे जो इस यात्रा की गति को नियंत्रित करते हैं:

1. लर्निंग रेट ($\eta$): यह वह है कि कंप्यूटर कितना बड़ा कदम उठाता है। शोध पत्र दिखाता है कि यदि आप कदम बहुत छोटे रखते हैं, तो मध्य परत से बाहर निकलने में अनंत काल लग जाएगा। यदि आप उन्हें बहुत बड़ा रखते हैं, तो कंप्यूटर लक्ष्य को पार कर सकता है। यहाँ एक "गोल्डिलॉक्स" ज़ोन (सही संतुलन) है।
2. बैच साइज ($b$): यह उन उदाहरणों की संख्या है जिन्हें कंप्यूटर एक कदम उठाने से पहले देखता है। शोध पत्र सुझाव देता है कि बड़े बैच "मदहोश चाल" को कम डगमगाता बनाते हैं, जो वास्तव में मध्य परत से बाहर निकलने की प्रक्रिया को धीमा कर देता है।
3. रेगुलराइजेशन ($\lambda$): यह "चुंबकीय खिंचाव" की शक्ति है। शोध पत्र पाता है कि एक मजबूत खिंचाव कंप्यूटर को मध्य परत से बाहर निकलने में मदद करता है, लेकिन केवल एक सीमा तक।

उन्होंने इन नॉब्स के आधार पर लगने वाले समय के लिए विशिष्ट फॉर्मूले (स्केलिंग लॉज़) निकाले। उदाहरण के लिए, मेमोराइजेशन से जनरलाइजेशन तक कूदने में लगने वाला समय लगभग $1/(\eta \lambda)$ के समानुपाती है। इसका अर्थ है कि यदि आप लर्निंग रेट या रेगुलराइजेशन को दोगुना करते हैं, तो देरी का समय आधा हो जाता है।

उन्होंने क्या खारिज किया

शोध पत्र बहुत सावधानी से यह स्पष्ट करता है कि वे क्या दावा नहीं कर रहे हैं। वे यह नहीं कहते कि ग्रोकिंग इसलिए होती है क्योंकि नेटवर्क अचानक "कोई सर्किट खोज लेता है" या किसी रहस्यमय जैविक जागृति के कारण। इसके बजाय, वे तर्क देते हैं कि यह पूरी तरह से समाधान स्थान की ज्यामिति (geometry of the solution space) और अनुकूलन प्रक्रिया की यादृच्छिकता का परिणाम है। वे इस विचार को भी खारिज करते हैं कि यह केवल एक संयोग है; उनका गणित बताता है कि यह एक पूर्वानुमेय, संरचनात्मक विशेषता है कि कैसे Adam इन विशिष्ट प्रकार के समस्याओं को अनुकूलित करता है।

वे कितने आश्वस्त हैं?

लेखक अपने सिद्धांत को लेकर काफी आश्वस्त हैं, लेकिन वे जो उन्होंने सिद्ध किया और जो उन्होंने मापा, उसके बीच अंतर करने में सावधानी बरतते हैं।

• गणित: उन्होंने निरंतर-समय मॉडल (continuous-time models) के कठोर गणितीय प्रमाणों का उपयोग करके इन स्केलिंग लॉज़ को निकाला है। उन्होंने अपने फॉर्मूलों की जांच करने के लिए एक सिम्बोलिक अल्जेब्रा सिस्टम (एक कंप्यूटर प्रोग्राम जो गणित करता है) का उपयोग किया, जो उनके समीकरणों को उच्च विश्वास प्रदान करता है।
• प्रमाण: उन्होंने अपने विचारों का परीक्षण दो विशिष्ट प्रकार की पहेलियों पर किया: ग्रुप-थ्योरेटिक लर्निंग (विशेष रूप से सिमेट्रिक ग्रुप $S_5$ पर) और मॉड्यूलर अंकगणित (विशेष रूप से पूर्णांक $Z_{127}$ पर)।
• परिणाम: इन प्रयोगों में, कंप्यूटर का व्यवहार उनके पूर्वानुमानों से मेल खाता है। उदाहरण के लिए, जब उन्होंने लर्निंग रेट या बैच साइज को बदला, तो ग्रो करने में लगने वाला समय ठीक वैसा ही बदला जैसा उनके फॉर्मूले ने भविष्यवाणी की थी। उन्होंने "U-आकार" का वक्र भी देखा, जिसके बारे में उनके सिद्धांत ने कहा था कि ऐसा होगा।

हालाँकि, वे नोट करते हैं कि उनका गणित कुछ शर्तों पर निर्भर करता है, जैसे कि छोटा लर्निंग रेट और बड़ा बैच साइज। वे यह दावा नहीं करते कि यह हर संभव न्यूरल नेटवर्क में ग्रोकिंग के हर मामले की व्याख्या करता है, बल्कि यह कि यह इन विशिष्ट, संरचित कार्यों में ग्रोकिंग की व्याख्या करता है जहाँ "शेल-कोर" (shell-core) ज्यामिति मौजूद है।

निष्कर्ष

ग्रोकिंग कोई जादू नहीं है; यह एक ज्यामितीय यात्रा है। कंप्यूटर बाहर से शुरू होता है, एक "मेमोराइजेशन शेल" में फंस जाता है, और उसे तब तक भटकना पड़ता है जब तक कि उसके सीखने की यादृच्छिक शोर (noise) उसे "जनरलाइजेशन कोर" में नहीं धकेल देती। इस छलांग को लगाने में लगने वाला समय इस बात पर निर्भर करता है कि वह कितनी तेजी से कदम रखता है (लर्निंग रेट), उसके कदम कितने स्थिर हैं (बैच साइज), और उसे केंद्र की ओर कितना खींचा जाता है (रेगुलराइजेशन)। लेखकों ने गणित के साथ इन नियमों को मैप किया है और प्रयोगों के साथ इसकी पुष्टि की है, जिससे हमें यह समझने में स्पष्ट तस्वीर मिली है कि ये न्यूरल नेटवर्क कभी-कभी अचानक जागने से पहले इतने लंबे समय तक क्यों सोते रहते हैं।