तकनीकी सारांश: ग्रॉकिंग को कैसे नियंत्रित करें: नियंत्रण संकेत के रूप में प्रतिनिधित्व ज्यामिति (Representation Geometry)

समस्या विवरण

ग्रॉकिंग एक ऐसी घटना है जो ओवरपैरामीटराइज्ड न्यूरल नेटवर्क में देखी जाती है, जहाँ मॉडल शुरू में प्रशिक्षण डेटा को याद (memorize) करते हैं और केवल लंबे अनुकूलन (optimization) के बाद ही मजबूत सामान्यीकरण (generalization) प्रदर्शित करते हैं। जबकि हालिया अध्ययनों ने ग्रॉकिंग को वेट डिके (weight decay), फीचर कंप्रेशन, सर्किट फॉर्मेशन और रिप्रेजेंटेशन लर्निंग डायनेमिक्स से जोड़ा है, लेकिन विलंबित सामान्यीकरण (delayed generalization) के समय और उद्भव को नियंत्रित करने वाले विशिष्ट कारकों को अभी भी पूरी तरह से समझा नहीं जा सका है। मौजूदा साहित्य का एक सामान्य विषय यह है कि सीखे गए प्रतिनिधित्व (learned representations) धीरे-धीरे निम्न-आयामी संरचनाओं (lower-dimensional structures) में संकुचित होते हैं। हालाँकि, पिछला कार्य मुख्य रूप से प्रतिनिधित्व ज्यामिति को एक उभरते हुए गुण (emergent property) के रूप में मानता है, न कि एक प्रत्यक्ष नियंत्रण तंत्र के रूप में। यह शोध इस बात की जांच करता है कि क्या छिपे हुए प्रतिनिधित्वों (hidden representations) की ज्यामिति को स्पष्ट रूप से हेरफेर करना, ग्रॉकिंग के आगमन और गति को प्रभावित करने के लिए एक नियंत्रण संकेत (control signal) के रूप में कार्य कर सकता है।

कार्यप्रणाली (Methodology)

लेखक ज्यामितीय आयामी नियमितीकरण (Geometric Dimensionality Regularization - GeomDR) प्रस्तुत करते हैं, जो एक प्रतिनिधित्व-स्तरीय स्पेक्ट्रल रेगुलराइज़र है जिसे प्रशिक्षण के दौरान छिपे हुए प्रतिनिधित्वों के प्रभावी आयाम (effective dimensionality) को सीधे नियंत्रित करने के लिए डिज़ाइन किया गया है।

ज्यामितीय लक्षण वर्णन (Geometric Characterization)

एक हिडन लेयर रिप्रेजेंटेशन मैट्रिक्स $Z \in \mathbb{R}^{N \times d}$ के लिए, विधि पहले डेटा को केंद्रित (center) करने के लिए $\tilde{Z}$ प्राप्त करती है। फिर यह एम्पिरिकल कोवेरियेंस मैट्रिक्स $C = \frac{1}{N-1}\tilde{Z}^\top\tilde{Z}$ की गणना करती है। प्रभावी आयाम ($D_{eff}$) की गणना $C$ के आइगेनवैल्यू ($\mu_i$) के पार्टिसिपेशन रेशियो (participation ratio) का उपयोग करके की जाती है:
$$D_{eff} = \frac{(\sum_i \mu_i)^2}{\sum_i \mu_i^2}$$
इसके अतिरिक्त, एक स्थानीय पड़ोस दूरी ($\rho$) को सामान्यीकृत (normalized) प्रतिनिधित्व के $k$ निकटतम पड़ोसियों के औसत यूक्लिडियन दूरी के रूप में परिभाषित किया गया है।

द GeomDR ऑब्जेक्टिव (The GeomDR Objective)

GeomDR एक लक्ष्य उप-स्थान (target subspace) के आयाम $d^*$ से परे मौजूद विचरण (variance) पर दंड (penalty) लगाता है। अवरोही क्रम में व्यवस्थित आइगेनवैल्यू ($\mu_1 \ge \mu_2 \ge \dots \ge \mu_d$) को देखते हुए, लेयर-वाइज लॉस है:
$$L_{GeomDR}^{(\ell)} = \sum_{j=d^*+1}^{d} \mu_j^{(\ell)}$$
कुल प्रशिक्षण उद्देश्य टास्क लॉस ($L_{task}$) और ज्यामितीय रेगुलराइज़र का संयोजन है:
$$L = L_{task} + \lambda(t)L_{GeomDR}$$
महत्वपूर्ण रूप से, रेगुलराइज़र शुरुआत से सक्रिय नहीं होता है। इसे एक प्रारंभिक अनकन्स्ट्रेंड ट्रेनिंग चरण (एक्टिवेशन स्टेप $t_s$) के बाद पेश किया जाता है और इसकी शक्ति $\lambda(t)$ को कोसाइन रैंप (cosine ramp) का उपयोग करके धीरे-धीरे बढ़ाया जाता है। यह डिज़ाइन प्राकृतिक ग्रॉकिंग प्रक्षेपवक्र (trajectory) की नकल करता है जहाँ सामान्यीकरण से पहले याद करने (memorization) की प्रक्रिया होती है।

प्रयोगात्मक प्रोटोकॉल (Experimental Protocol)

इस ढांचे का मूल्यांकन तीन एल्गोरिदम कार्यों पर किया गया जो ग्रॉकिंग प्रदर्शित करने के लिए जाने जाते हैं:

1. मॉड्यूलर एडिशन (Modular Addition): $(a + b) \mod 97$ की भविष्यवाणी करना।
2. मॉड्यूलर डिवीजन (Modular Division): $(a \cdot b^{-1}) \mod 97$ की भविष्यवाणी करना।
3. परम्यूटेशन कंपोजिशन (Permutation Composition): $S_5$ में दो परम्यूटेशन के संयोजन की भविष्यवाणी करना।

अध्ययन में दो आर्किटेक्चर का उपयोग किया गया: एक मल्टीलेयर पर्सेप्ट्रॉन (MLP) और एक ट्रांसफॉर्मर। अध्ययन ने व्यवस्थित रूप से हस्तक्षेप अनुसूची (intervention schedules - $\lambda_{max}$ और $T_{ramp}$), लक्षित आयामों ($d^*$), और हस्तक्षेप प्रारंभ समय ($t_s$) में बदलाव किया।

मुख्य योगदान (Key Contributions)

1. पूर्ववर्ती पतन का अवलोकन (Observation of Preceding Collapse): लेखक प्रदर्शित करते हैं कि आयामी पतन (dimensionality collapse) बेसलाइन सेटिंग्स में याद करने से सामान्यीकरण (grokking) के संक्रमण से पहले लगातार होता है। यह सुझाव देता है कि ज्यामितीय संपीड़न (geometric compression) केवल एक सहसंबंध (correlate) नहीं है, बल्कि संक्रमण का एक यांत्रिक चालक (mechanistic driver) है।
2. GeomDR का परिचय: वे GeomDR प्रस्तावित करते हैं, जो एक स्पेक्ट्रल रेगुलराइज़र है जो लक्षित उप-स्थान के बाहर कोवेरियेंस स्पेक्ट्रम को सीधे दबाता है, जिससे छिपे हुए प्रतिनिधित्वों का प्रभावी आयाम नियंत्रित होता है।
3. गतिशीलता का व्यवस्थित नियंत्रण (Systematic Control of Dynamics): पेपर एक व्यापक अनुभवजन्य अध्ययन प्रदान करता है जो दिखाता है कि ज्यामितीय हस्तक्षेप ग्रॉकिंग की विलंबित गतिशीलता को काफी हद तक बदल सकते हैं। हस्तक्षेप अनुसूची और लक्षित आयाम के आधार पर, GeomDR ग्रॉकिंग को तेज कर सकता है, विलंबित कर सकता है, या इसे पूरी तरह से रोक सकता है।

परिणाम (Results)

ग्रॉकिंग का त्वरण (Acceleration of Grokking)

सभी मूल्यांकित सेटिंग्स में, GeomDR ने ग्रॉकिंग डायनेमिक्स को लगातार बदला:

• MLP प्रदर्शन: मॉड्यूलर एडिशन पर, GeomDR ने ग्रॉकिंग को 52 गुना तक तेज कर दिया (चरणों को 362K से घटाकर ~7K कर दिया)। मॉड्यूलर डिवीजन (39x) और परम्यूटेशन कंपोजिशन (~23x) के लिए भी समान सुधार देखे गए। सभी MLP मामलों में, GeomDR ने 100% सफलता दर प्राप्त की जहाँ बेसलाइन अस्थिर थी या विफल रही थी।
• ट्रांसफॉर्मर प्रदर्शन: जबकि ट्रांसफॉर्मर के लिए बेसलाइन ग्रॉकिंग डायनेमिक्स पहले से ही MLPs की तुलना में तेज़ थे, फिर भी GeomDR ने निरंतर त्वरण (जैसे, मॉड्यूलर एडिशन पर ~2x) प्रदान किया, और 100% सफलता दर बनाए रखी।

हाइपरपैरामीटर का प्रभाव (Influence of Hyperparameters)

• लक्षित आयाम ($d^*$): मध्यम से बड़े लक्षित आयामों ($16 \le d^* \le 64$) ने सबसे मजबूत त्वरण दिया। आक्रामक संपीड़न ($d^* \le 8$) अक्सर सीखने को धीमा या अस्थिर कर देता है।
• हस्तक्षेप का समय ($t_s$): एक "क्रिटिकल टेम्पोरल विंडो" की पहचान की गई। बहुत जल्दी (उपयोगी प्रतिनिधित्व बनने से पहले) या बहुत देर से (जब याद करना स्थिर हो चुका हो) किए गए हस्तक्षेप कम प्रभावी थे। मध्यवर्ती सक्रिय समय (जैसे, MLPs के लिए $t_s = 2000$) ने सबसे तेज़ और स्थिर ग्रॉकिंग प्रदान की।
• अनुसूची (Schedule): मध्यम रेगुलराइजेशन स्ट्रेंथ और रैंप अवधि ने आम तौर पर बेहतर प्रदर्शन किया; अत्यधिक मजबूत हस्तक्षेप प्रशिक्षण को अस्थिर कर सकते थे।

ज्यामितीय सहसंबंध (Geometric Correlations)

अध्ययन ने पुष्टि की कि ग्रॉकिंग को तेज करने वाले हस्तक्षेपों ने आयामी पतन (dimensionality collapse) के आगमन को भी तेज किया। GeomDR मॉडलों में, आयामी पतन और सफल सामान्यीकरण के बीच का सामयिक अंतर बेसलाइन की तुलना में काफी कम हो गया, जो ज्यामितिक पुनर्गठन और सामान्यीकरण के उद्भव के बीच एक गहरे जुड़ाव का सुझाव देता है।

स्केलेबिलिटी और दक्षता (Scalability and Efficiency)

लेखकों ने प्रदर्शित किया कि जब कोवेरियेंस स्पेक्ट्रम का अनुमान प्रतिनिधित्व के यादृच्छिक उपसमुच्चय (जैसे, डेटा का 5%–25%) से लगाया जाता है, तब भी GeomDR प्रभावी रहता है, जो ग्रॉकिंग त्वरण को सामग्री रूप से प्रभावित किए बिना रनटाइम में 2.4x–2.7x की गति प्रदान करता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि प्रतिनिधित्व ज्यामिति ग्रॉकिंग के लिए एक प्रभावी नियंत्रण संकेत के रूप में कार्य करती है। छिपे हुए सक्रियणों (hidden activations) के कोवेरियेंस स्पेक्ट्रम को सीधे संशोधित करके, शोधकर्ता व्यवस्थित रूप से यह प्रभावित कर सकते हैं कि नेटवर्क कब और कितनी तेज़ी से याद करने से सामान्यीकरण में परिवर्तित होता है।

लेखक तर्क देते हैं कि यह कार्य इस बात का प्रमाण प्रदान करता है कि ज्यामितीय हस्तक्षेप विलंबित सामान्यीकरण का अध्ययन करने और उसे प्रभावित करने के लिए एक व्यावहारिक दृष्टिकोण प्रदान करते हैं। प्रतिनिधित्व परिवर्तनों को निष्क्रिय रूप से देखने के बजाय, यह विधि ज्यामितीय गुणों के परीक्षण के लिए सीधे हेरफेर करने की अनुमति देती है। परिणाम बताते हैं कि प्रतिनिधित्व ज्यामिति और ग्रॉकिंग के बीच का संबंध विभिन्न कार्यों और आर्किटेक्चर में मजबूत है, हालांकि सुधार का परिमाण भिन्न होता है (जो संभवतः ट्रांसफॉर्मर की तुलना में MLPs में अधिक स्पष्ट है, क्योंकि ट्रांसफॉर्मर में मजबूत इंडक्टिव बायस होते हैं)।

पेपर निष्कर्ष निकालता है कि हालांकि यह प्रतिनिधित्व आयाम को एकमात्र कारण तंत्र (causal mechanism) के रूप में स्थापित नहीं करता है, यह प्रदर्शित करता है कि ज्यामितीय हस्तक्षेप ग्रॉकिंग के समय को बदलने के लिए पर्याप्त हैं, जो अनुकूलन और सामान्यीकरण अनुसंधान के लिए एक नया प्रयोगात्मक कार्यप्रणाली प्रदान करता है।