🤖 machine learning

Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking

यह अनुभवजन्य अध्ययन मॉड्यूलर एडिशन नेटवर्क में तियान (2025) के सैद्धांतिक फीचर रिपल्शन तंत्र की पुष्टि करता है, जो यह प्रदर्शित करता है कि जबकि फीचर इंटरैक्शन की अनुमानित साइन संरचना सक्रियण फलनों (activation functions) के across मजबूती से बनी रहती है, पैरामीटर अपडेट में परिणामी स्पेक्ट्रल सिग्नेचर सख्ती से सक्रियण व्युत्पन्न (activation derivative) पर निर्भर करते हैं, जिसमें क्वाड्रेटिक सक्रियण ग्रौकिंग (grokking) के दौरान एक पता लगाने योग्य रैंक-2 स्पेक्ट्रल लॉक-इन को सक्षम करते हैं जिसे ReLU सक्रियण उत्पन्न करने में विफल रहते हैं।

मूल लेखक: Yongzhong Xu

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yongzhong Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक बहुत कठिन गणित की परीक्षा देते हुए देख रहे हैं। शुरू में, वे केवल रटकर उत्तर याद कर रहे हैं (चरण 1)। फिर, वे अंतर्निहित पैटर्न को समझने लगते हैं, लेकिन वे अभी भी भ्रमित हैं और गलतियाँ कर रहे हैं (चरण 2)। अचानक, एक विशिष्ट क्षण पर, उनके भीतर एक "लाइटबल्ब" वाला क्षण आता है जहाँ वे अनुमान लगाना बंद कर देते हैं और उन प्रश्नों पर भी सटीक अंक प्राप्त करने लगते हैं जिन्हें उन्होंने पहले कभी नहीं देखा है। यह रटने से वास्तविक समझ की ओर अचानक उछाल "ग्रोकिंग" (Grokking) कहलाता है।

यह शोध पत्र इस बात की जांच करता है कि एक सरल कंप्यूटर मस्तिष्क (एक न्यूरल नेटवर्क) के भीतर वह "लाइटबल्ब" क्षण कैसे और कब होता है। शोधकर्ता तियान (Tian) नामक एक वैज्ञानिक द्वारा प्रस्तावित एक विशिष्ट सिद्धांत का परीक्षण कर रहे हैं, जो सुझाव देता है कि सीखने की प्रक्रिया के दौरान, कंप्यूटर के आंतरिक "विचार" (विशेषताएं) यदि वे बहुत समान हैं, तो वे एक-दूसरे को दूर धकेलते हैं, जिससे मस्तिष्क खुद को कुशलतापूर्वक व्यवस्थित करने के लिए मजबूर होता है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "प्रतिकर्षण" का नियम (सिद्धांत)

तियान का सिद्धांत कहता है कि जब कंप्यूटर मस्तिष्क में दो आंतरिक विचार बहुत समान हो जाते हैं, तो एक गणितीय बल उन्हें दूर धकेलता है। इसे दो चुंबकों की तरह समझें जिनके समान पोल एक-दूसरे के सामने हैं; वे एक-दूसरे को प्रतिकर्षित करते हैं।

उन्होंने क्या परीक्षण किया: उन्होंने जांचा कि क्या यह "दूर धकेलना" वास्तव में वास्तविक प्रशिक्षण में होता है।
परिणाम: हाँ, यह होता है। यह पूरी तरह से काम करता है चाहे कंप्यूटर मस्तिष्क एक "स्मूथ" (smooth) एक्टिवेशन फंक्शन (जैसे संख्याओं का वर्ग करना, $x^2$ ) का उपयोग करे या एक "बंपी" (bumpy) फंक्शन (जैसे ReLU) का।
उपमा: एक भीड़ भरे डांस फ्लोर की कल्पना करें। यदि दो डांसर बिल्कुल एक ही तरह से हिलने लगते हैं, तो एक नियम लागू होता है जो उन्हें अलग-अलग स्थानों पर जाने के लिए मजबूर करता है। यह नियम काम करता है चाहे आप किसी भी तरह का संगीत (एक्टिवेशन फंक्शन) बजा रहे हों।

2. "स्पेक्ट्रल लॉक-इन" (दृश्य संकेत)

शोधकर्ता जानना चाहते थे: क्या हम कंप्यूटर स्क्रीन पर एक विशिष्ट संकेत देख सकते हैं जो हमें बताता है कि "लाइटबल्ब क्षण" होने वाला है?
उन्होंने "अपडेट स्पेक्ट्रम" को देखा—अनिवार्य रूप से, यह कि कंप्यूटर के वेट्स (weights - वे नॉब्स जिन्हें वह सीखने के लिए घुमाता है) समय के साथ कैसे बदल रहे हैं। वे एक विशिष्ट पैटर्न की तलाश में थे: रैंक-2 लॉक-इन (Rank-2 Lock-in)।

उपमा: कल्पना करें कि कंप्यूटर एक भूलभुलैया (maze) के माध्यम से सबसे अच्छा रास्ता खोजने की कोशिश कर रहा है।
- लाइटबल्ब से पहले: कंप्यूटर अपने पहिए घुमा रहा है, एक साथ 100 अलग-अलग दिशाओं में कोशिश कर रहा है (अराजकता)।
- लॉक-इन: अचानक, उसे एहसास होता है कि उसे भूलभुलैया को हल करने के लिए केवल दो विशिष्ट दिशाओं की आवश्यकता है। अन्य सभी दिशाएं शोर (noise) में बदल जाती हैं। कंप्यूटर उन दो पथों में से केवल उन्हीं में "लॉक इन" हो जाता है।
परिणाम: यह "लॉक-इन" संकेत केवल तभी दिखाई देता है जब कंप्यूटर "स्मूथ" एक्टिवेशन ( $x^2$ $x^{2}$ ) का उपयोग करता है।
- $x^2$ के साथ: संकेत तेज और स्पष्ट है। कंप्यूटर अपनी कई दिशाओं को घटाकर ठीक दो में बदल देता है।
- ReLU के साथ: संकेत गायब हो जाता है। कंप्यूटर दो दिशाओं में लॉक नहीं होता; यह केवल एक मुख्य दिशा द्वारा संचालित रहता है और फैला हुआ रहता है।

3. बड़ी खोज: "नियम बनाम परिणाम"

यह इस शोध पत्र का सबसे महत्वपूर्ण हिस्सा है। शोधकर्ताओं ने तंत्र (mechanism) और हस्ताक्षर (signature - दृश्य संकेत) के बीच एक विभाजन पाया है।

तंत्र (प्रतिकर्षण): यह नियम कि "समान विचार एक-दूसरे को दूर धकेलते हैं" सार्वभौमिक (universal) है। यह दोनों प्रकार के कंप्यूटर मस्तिष्क ( $x^2$ और ReLU) के साथ होता है।
हस्ताक्षर (लॉक-इन): वह दृश्य संकेत जो हमें बताता है कि कंप्यूटर ने "समझ लिया है" (रैंक-2 लॉक-इन), केवल $x^2$ मस्तिष्क के लिए विशिष्ट है।

उपमा:
दो अलग-अलग प्रकार की कारों (एक स्मूथ इंजन वाली और एक बंपी इंजन वाली) की कल्पना करें जो एक पहाड़ी पर चढ़ रही हैं।

नियम: दोनों कारों के पास एक नियम है कि "यदि पहिए फिसलते हैं, तो ब्रेक लग जाने चाहिए।" यह नियम दोनों कारों के लिए काम करता है।
हस्ताक्षर: हालांकि, केवल स्मूथ कार ही एक विशिष्ट क्लिकिंग साउंड (clicking sound) करती है जब उसके ब्रेक लगते हैं। बंपी कार भी ब्रेक लगाती है, लेकिन वह केवल एक हमिंंग शोर (humming noise) करती है।
सबक: यदि आप केवल क्लिकिंग साउंड सुनने की कोशिश करते हैं, तो आपको लग सकता है कि बंपी कार ब्रेक नहीं लगा रही है। लेकिन वह लगा रही है! बस यह कि "ध्वनि" (स्पेक्ट्रल सिग्नेचर) इंजन के प्रकार पर निर्भर करती है, भले ही अंतर्निहित "ब्रेकिंग नियम" (प्रतिकर्षण) वही हो।

4. "ड्राइवर" के लिए व्यावहारिक सुझाव

यह शोध पत्र उन लोगों को भी सलाह देता है जो वास्तविक समय में इस "लाइटबल्ब क्षण" का पता लगाने की कोशिश कर रहे हैं:

विंडो साइज मायने रखता है: "क्लिकिंग साउंड" (लॉक-इन) को देखने के लिए, आपको एक विशिष्ट समय अंतराल (लगभग 20 से 30 स्टेप्स) में डेटा को देखना होगा। यदि आप बहुत तेज़ी से देखते हैं (5 स्टेप्स), तो आपको गलत अलार्म मिलेंगे। यदि आप बहुत धीरे देखते हैं, तो आप उस क्षण को चूक जाएंगे।
समय (Timing): "क्लिकिंग साउंड" तब होता है जब कंप्यूटर टेस्ट स्कोर में परफेक्ट होने लगता है। यह एक विश्वसनीय प्रारंभिक चेतावनी प्रणाली है, लेकिन केवल स्मूथ ( $x^2$ ) प्रकार के लिए।
"स्लो" मोड: यदि आप सीखने की प्रक्रिया को धीमा करते हैं (एक पैरामीटर $\eta$ को कम करके), तो "लाइटबल्ब क्षण" बहुत बाद में आता है, लेकिन गणित अभी भी लागू होता है। "क्लिकिंग साउंड" बस धीमा होता है और दिखने में अधिक समय लेता है।

सारांश

यह शोध पत्र सिद्ध करता है कि तियान द्वारा प्रस्तावित "प्रतिकर्षण" का नियम वास्तविक है और सभी मामलों में होता है। हालांकि, वह विशिष्ट दृश्य संकेत जिसका उपयोग हम इसे पहचानने के लिए करते हैं (रैंक-2 लॉक-इन), एक प्रकाश का भ्रम (trick of the light) है जो केवल कुछ प्रकार के कंप्यूटर मस्तिष्क के लिए काम करता है। यदि आप दूसरे प्रकार के मस्तिष्क (जैसे ReLU) का उपयोग कर रहे हैं, तो आपको एक अलग संकेत ढूंढना होगा, क्योंकि "लॉक-इन" अलग तरह से होता है, भले ही अंतर्निहित तर्क समान हो।

तकनीकी सारांश: फीचर रिपल्शन (Feature Repulsion) और स्पेक्ट्रल लॉक-इन (Spectral Lock-in)

समस्या विवरण (Problem Statement)

ग्रोकिंग (Grokking)—वह घटना जहाँ न्यूरल नेटवर्क प्रशिक्षण हानि (training loss) के स्थिर होने के बहुत बाद भी अचानक याद रखने (memorization) से सामान्यीकरण (generalization) की ओर संक्रमण करता है—को विभिन्न दृष्टिकोणों से समझाया गया है, जिसमें मैकेनिस्टिक इंटरप्रिटेबिलिटी और इम्प्लिसिट रेगुलराइजेशन शामिल हैं। टियान [2025] ने दो-परत वाले नेटवर्क में ग्रोकिंग डायनेमिक्स को तीन चरणों में विभाजित करने वाला एक सिद्धांतपूर्ण ढांचा प्रदान किया, जिसका समापन "इंटरएक्टिव फीचर लर्निंग" चरण (चरण III) में होता है। इस चरण के भीतर, टियान का थ्योरम 6 एक "रिपल्शन थ्योरम" (repulsion theorem) प्रतिपादित करता है: समान छिपे हुए फीचर्स (hidden features) एक-दूसरे को प्रतिकर्षित (repel) करते हैं, जो मैट्रिक्स $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$ की ऑफ-डायगोनल संरचना के कारण होता है।

हालाँकि, टियान का ढांचा दो अनुभवजन्य प्रश्नों को अनुत्तरित छोड़ देता है:

समय (Timing): प्रशिक्षण के किस विशिष्ट बिंदु पर यह रिपल्शन तंत्र अनुभवजन्य रूप से अवलोकन योग्य हो जाता है?
अवलोकन क्षमता (Observability): क्या यह तंत्र उन मात्राओं में एक मापने योग्य, ऑनलाइन सिग्नेचर के रूप में प्रकट होता है जिन्हें चिकित्सक महंगे ऑफलाइन डायग्नोस्टिक्स के बिना कंप्यूट कर सकते हैं?

यह शोध पत्र टियान के सटीक मॉड्यूलर-एडिशन सेटअप पर थ्योरम 6 और एक संभावित स्पेक्ट्रल ऑब्जर्वेबल (spectral observable) का परीक्षण करके इन प्रश्नों का समाधान करता है।

कार्यप्रणाली (Methodology)

अध्ययन टियान [2025] के मॉड्यूलर-एडिशन सेटअप ( $M=71$ क्लासेस, $K=2048$ हिडन यूनिट्स, ट्रेनिंग फ्रैक्शन $p \approx 0.40$ ) को वेट डिके $\eta$ के साथ एडम (Adam) ऑप्टिमाइज़ेशन का उपयोग करके दोहराता है। लेखक कई रैंडम सीड्स के माध्यम से दो पूरक परीक्षणों का उपयोग करते हैं:

थ्योरम 6 का प्रत्यक्ष सत्यापन:
- लेखक कम्प्यूटेशनल जटिलता को कम करने के लिए वुडबरी आइडेंटिटी (Woodbury identity) का उपयोग करके $B$ की गणना सटीक रूप से करते हैं।
- नियतात्मक चेकपॉइंट्स (deterministic checkpoints) पर, वे कोसाइन सिमिलरिटी के आधार पर शीर्ष-200 सबसे अधिक समान फीचर पेयर्स की पहचान करते हैं।
- वे साइन नियम (sign rule) को सत्यापित करते हैं: $\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$ , जहाँ $P$ एक प्रोजेक्शन मैट्रिक्स है जिसमें कॉलम $j$ और $\ell$ शामिल नहीं हैं।
- यह सत्यापन विभिन्न एक्टिवेशन फंक्शन ( $\sigma(x)=x^2$ और $\sigma(x)=\text{ReLU}$ ) के माध्यम से किया जाता है।
स्पेक्ट्रल सिग्नेचर डिटेक्शन (Spectral Signature Detection):
- लेखक पैरामीटर अपडेट ( $\Delta W$ ) के रोलिंग-विंडो ग्राम मैट्रिक्स (Gram matrix) की निगरानी करते हैं।
- वे आइगेनगैप रेश्यो (eigengap ratio) $\sigma_2/\sigma_3$ (द्वितीय से तृतीय आइगेनवैल्यू का अनुपात) को ट्रैक करते हैं।
- एक स्लोप-आधारित डिटेक्टर उस "लॉक-इन" क्षण की पहचान करता है जब यह अनुपात एक निरंतर वृद्धि में प्रवेश करता है, यह परिकल्पना करते हुए कि रिपल्शन रेडंडेंट फीचर्स को एक लो-रैंक संरचना (विशेष रूप से रैंक-2) में समेकित करता है।
- विंडो साइज ( $W$ ) और वेट डिके ( $\eta$ ) पर संवेदनशीलता विश्लेषण किए जाते हैं।

मुख्य परिणाम (Key Results)

1. थ्योरम 6 का सत्यापन (एक्टिवेशन-जनरल)

थ्योरम 6 का साइन नियम विभिन्न एक्टिवेशन फंक्शनों में अनुभवजन्य रूप से बना रहता है, जो पुष्टि करता है कि यह तंत्र एक्टिवेशन-जनरल है।

$\sigma(x) = x^2$ : शीर्ष-200 समान पेयर्स के लिए अनुभवजन्य साइन-मैच एपोक 50 पर 0.865 से बढ़कर एपोक 300 तक 0.985 के कड़े सैचुरेशन तक पहुँच जाता है। सैचुरेशन ( $\ge 0.95$ ) विभिन्न सीड्स में लगातार एपोक 175 पर होता है।
$\sigma(x) = \text{ReLU}$ : साइन नियम भी बना रहता है, जो एपोक 500 तक और भी तेजी से संतृप्त (1.000) हो जाता है।
निष्कर्ष: रिपल्शन तंत्र, जो $\tilde{F}^\top \tilde{F}$ की संरचना द्वारा नियंत्रित होता है, इस बात से स्वतंत्र रूप से कार्य करता है कि एक्टिवेशन पावर फंक्शन है या ReLU।

2. स्पेक्ट्रल लॉक-इन (एक्टिवेशन-स्पेसिफिक)

यद्यपि तंत्र सामान्य है, लेकिन पैरामीटर-अपडेट स्पेक्ट्रल सिग्नेचर एक्टिवेशन-विशिष्ट है।

$\sigma(x) = x^2$ (फोकस्ड मेमोराइजेशन): स्लोप-आधारित डिटेक्टर एपोक 174 पर 15/15 ग्रोकिंग सीड्स में फायर होता है। लेट-स्टेज $\sigma_2/\sigma_3$ अनुपात में ग्रोकिंग सीड्स (मीडियन $\approx 300$ ) और कंट्रोल सीड्स ( $\eta=0$ , मीडियन $\approx 1.31$ ) के बीच एक विशाल परिमाण अंतर ( $229\times$ ) है। स्पेक्ट्रम रैंक-2 में सिमट जाता है, जो दर्शाता है कि फीचर्स दो निरंतर दिशाओं पर समेकित होते हैं।
$\sigma(x) = \text{ReLU}$ (स्प्रेडिंग मेमोराइजेशन): डिटेक्टर 0/15 ग्रोकिंग सीड्स में फायर होता है। परिमाण अंतर घटकर $1.4\times$ रह जाता है, और स्पेक्ट्रम रैंक-1 डोमिनेटेड ( $\sigma_1 \gg \sigma_2 \approx \sigma_3$ ) बना रहता है।
निष्कर्ष: रैंक-2 लॉक-इन सिग्नेचर केवल "फोकस्ड मेमोराइजेशन" शासन (पावर एक्टिवेशन) में उभरता है जहाँ फीचर्स शार्प पीक्स पर सिमट जाते हैं। "स्प्रेडिंग मेमोराइजेशन" शासन (ReLU) में, फीचर्स वितरित रहते हैं, जिससे एक विशिष्ट रैंक-2 स्पेक्ट्रल सिग्नेचर बनने से रोका जाता है।

3. मेथोडोलॉजिकल कंट्रोल्स और स्केलिंग

विंडो साइज संवेदनशीलता: डिटेक्टर को विंडो साइज $W \in \{20, 30\}$ की आवश्यकता होती है। छोटे विंडोज ( $W \le 10$ ) कंट्रोल स्थितियों में फाल्स पॉजिटिव उत्पन्न करते हैं।
$\eta$ स्केलिंग: $\eta = 10^{-5}$ पर एक विस्तारित रन टियान के $1/\eta$ स्केलिंग प्रेडिक्शन की पुष्टि करता है (एपोक 1527 पर ग्रोकिंग)। हालाँकि, लॉक-इन परिमाण ( $\sigma_2/\sigma_3$ ) काफी कम ( $\approx 25$ बनाम $\approx 300$ ) है, जो सुझाव देता है कि इस धीमी टाइमस्केल पर रैंक-2 संरचना पूरी तरह से विकसित नहीं हुई है।
लेवल-मेट्रिक डिटेक्टर ( $\rho_{tian}$ ): एक्टिवेशन ग्राम की ऑफ-डायगonal संरचना पर आधारित एक सरल मेट्रिक $\sigma=x^2$ के लिए ग्रोकिंग शुरुआत की भविष्यवाणी सकारात्मक लीड टाइम के साथ करता है, लेकिन ReLU या विभिन्न $(M, p)$ कॉन्फ़िगरेशन में विफल रहता है, जो फीचर डायनेमिक्स की शुरुआत को चिह्नित करता है न कि सफल ग्रोकिंग को।

महत्व और दावे (Significance and Claims)

यह शोध पत्र एक महत्वपूर्ण स्ट्रक्चर-मैकेनिज्म डिस्टिंक्शन (संरचना-तंत्र भेद) खींचता है:

मैकेनिज्म (सामान्य): टियान का थ्योरम 6 फीचर ग्राम $\tilde{F}^\top \tilde{F}$ के गुणों के माध्यम से $B$ की ऑफ-डायगोनल साइन संरचना को नियंत्रित करता है। यह तंत्र मजबूत है और विशिष्ट एक्टिवेशन फंक्शन $\sigma$ से स्वतंत्र है।
सिग्नेचर (विशिष्ट): पैरामीटर अपडेट में दृश्य स्पेक्ट्रल सिग्नेचर इस बात पर निर्भर करता है कि रिपल्शन, डेरिवेटिव $\sigma'$ $σ^{'}$ द्वारा मध्यस्थता किए गए वेट अपडेट में कैसे परिवर्तित होता है।
- पावर एक्टिवेशन ( $\sigma=x^2$ ) फोकस्ड फीचर्स उत्पन्न करते हैं जो दो दिशाओं पर समेकित होते हैं, जिससे रैंक-2 स्पेक्ट्रल लॉक-इन प्राप्त होता है।
- ReLU स्प्रेडिंग फीचर्स उत्पन्न करता है जो रैंक-1 डोमिनेटेड रहते हैं, और अंतर्निहित रिपल्शन तंत्र की उपस्थिति के बावजूद रैंक-2 स्पेक्ट्रल लॉक-इन सिग्नेचर की कमी प्रदर्शित करता है।

लेखक इस अनुभवजन्य पृथक्करण को टियान के थ्योरम 5 से जोड़ते हैं, जो औपचारिक रूप से फोकस्ड और स्प्रेडिंग मेमोराइजेशन शासन के बीच अंतर करता है। शोध पत्र निष्कर्ष निकालता है कि जबकि स्टेज III में रिपल्शन तंत्र सार्वभौमिक है, स्पेक्ट्रल अप्रोच टू ग्रोइंग डायग्नोस्टिक्स एक्टिवेशन-डिपेंडेंट है। चिकित्सक यह मान नहीं सकते कि एक एकल स्पेक्ट्रल मेट्रिक (जैसे $\sigma_2/\sigma_3$ ) सभी एक्टिवेशन फंक्शनों में ग्रोकिंग का पता लगाएगा; चयन को एक्टिवेशन फंक्शन द्वारा प्रेरित विशिष्ट मेमोराइजेशन शासन के अनुरूप होना चाहिए।