🤖 machine learning

Two Speeds of Learning: A Representation-Readout Decomposition of Grokking and Double Descent

यह शोधपत्र एक कार्य-अज्ञेय (task-agnostic) "रिप्रेजेंटेशन-रीडआउट" (representation-readout) अपघटन ढांचे को प्रस्तुत करता है जो ग्रौकिंग (grokking) और डबल डिसेंट (double descent) जैसी जटिल सामान्यीकरण घटनाओं को क्रमिक प्रतिनिधित्व शिक्षण (gradual representation learning) और रीडआउट अंशांकन (readout calibration) के बीच प्रतिस्पर्धी गतिकी के परिणाम के रूप में स्पष्ट करता है, जो वास्तविक शिक्षण को गैर-मानक प्रशिक्षण के कृत्रिम प्रभावों से अलग करने के लिए नए नैदानिक उपकरण प्रदान करता है।

मूल लेखक: Chi-Ning Chou, Oscar Uzdelewicz, Neng-Chun Chiu, Yao-Yuan Yang, SueYeon Chung

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chi-Ning Chou, Oscar Uzdelewicz, Neng-Chun Chiu, Yao-Yuan Yang, SueYeon Chung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक जटिल गणित की समस्या हल करना सिखा रहे हैं। आपके पास ट्रैक करने के लिए दो चीजें हैं:

छात्र की समझ: वे तर्क और पैटर्न को कितनी अच्छी तरह समझते हैं (यह "रिप्रेजेंटेशन" या निरूपण है)।
छात्र की उत्तर पुस्तिका: वे सही ग्रेड पाने के लिए परीक्षा में गोलों (bubbles) को कितनी अच्छी तरह भरते हैं (यह "रीडआउट" या पठन है)।

आमतौर पर, जैसे-जैसे एक छात्र सीखता है, उसकी समझ और उसके टेस्ट स्कोर दोनों एक साथ सुधरते हैं। लेकिन कभी-कभी, AI में कुछ अजीब होता है। AI होमवर्क को पूरी तरह से सीख जाता है (होमवर्क पर 100%), लेकिन लंबे समय तक टेस्ट में विफल रहता है, और फिर अचानक "क्लिक" करता है और टेस्ट में भी परफेक्ट हो जाता है। इसे ग्रौकिंग (Grokking) कहा जाता है। अन्य मामलों में, AI का टेस्ट स्कोर उतार-चढ़ाव भरा होता है जबकि वह होमवर्क में बेहतर होता जा रहा होता है। इसे डबल डिसेंट (Double Descent) कहा जाता है।

यह पेपर तर्क देता है कि ये भ्रमित करने वाले व्यवहार इसलिए होते हैं क्योंकि "समझ" और "उत्तर पुस्तिका" दो अलग-अलग गति से सीख रहे हैं, और वे कभी-कभी तालमेल से बाहर हो जाते हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. दो-गति वाली दौड़ (The Two-Speed Race)

लेखकों ने AI के मस्तिष्क को दो भागों में विभाजित किया है:

एनकोडर (समझ): यह भाग इनपुट को देखता है और इसे एक स्पष्ट, तार्किक मानचित्र (map) में व्यवस्थित करने की कोशिश करता है। यह उस छात्र की तरह है जो समझने की कोशिश कर रहा है कि क्यों गणित काम करता है।
रीडआउट (उत्तर पुस्तिका): यह भाग उस मानचित्र को लेता है और उत्तर का अनुमान लगाने की कोशिश करता है। यह उस छात्र की तरह है जो उत्तर पुस्तिका में गोले भर रहा है।

खोज:
"ग्रौकिंग" में, रीड-आउट एक धोखेबाज है। यह होमवर्क के उत्तरों को बहुत जल्दी याद कर लेता है। यह होमवर्क के विशिष्ट पैटर्न के आधार पर अनुमान लगाकर ट्रेनिंग सेट पर 100% प्राप्त कर लेता है, लेकिन यह वास्तविक गणित नहीं है। इस बीच, एनकोडर धीरे-धीरे और निरंतर काम कर रहा है, वास्तव में गणित की सच्ची समझ बना रहा है।

लंबे समय तक, रीडआउट "ट्रेन-बायस्ड" (training-biased) रहता है—यह होमवर्क पर इतना केंद्रित है कि यह टेस्ट को अनदेखा कर देता है। लेकिन अंततः, एनकोडर एक अच्छा पर्याप्त मानचित्र बनाने के बाद अपना काम पूरा कर लेता है। एक बार जब मानचित्र स्पष्ट हो जाता है, तो रीडआउट आखिरकार धोखाधड़ी करना बंद कर सकता है और वास्तविक तर्क का उपयोग करना शुरू कर सकता है। अचानक, टेस्ट स्कोर बढ़ जाता है। यही वह "ग्रौकिंग" क्षण है।

2. "स्लीपिंग जायंट" (सोया हुआ दिग्गज) सिद्धांत का खंडन

इस पेपर से पहले, कई वैज्ञानिकों का मानना था कि एनकोडर शुरुआती चरणों में मूल रूप से "सोया हुआ" या "आलसी" था। उन्हें लगा कि AI केवल रट रहा था, और फिर अचानक जाग गया और सीखना शुरू कर दिया।

पेपर का सुधार:
लेखक दिखाते हैं कि एनकोडर कभी सोया नहीं था। वह पूरे समय काम कर रहा था, बस रीडआउट की तुलना में बहुत धीमा था। यह उस छात्र की तरह है जो धीरे-धीरे अपनी पाठ्यपुस्तक पढ़ रहा है जबकि उसका दोस्त पागलों की तरह उत्तर कुंजी (answer key) रट रहा है। छात्र प्रगति कर रहा है; वह बस अभी तक उत्तर कुंजी के बराबर नहीं पहुँच पाया है।

3. "नकली" ग्रौकिंग (Spurious Learning)

पेपर ने एक प्रसिद्ध उदाहरण को भी देखा जहाँ एक AI ने एक सरल इमेज टास्क (MNIST डिजिट्स) पर "ग्रॉक" किया हुआ प्रतीत हुआ, लेकिन वह वास्तव में एक चाल थी।

उपमा:
कल्पना कीजिए कि एक छात्र को एक टूटी हुई पाठ्यपुस्तक (खराब ट्रेनिंग सेटअप) दी गई है।

समस्या: छात्र की "समझ" (एनकोडर) समय के साथ वास्तव में खराब होती जाती है क्योंकि पाठ्यपुस्तक भ्रमित करने वाली है।
परिणाम: उत्तर पुस्तिका (रीडआउट) भी भ्रमित हो जाती है। यह टूटी हुई समझ को होमवर्क के उत्तरों में फिट करने की कोशिश करती है।
भ्रम: टेस्ट स्कोर ऐसा लगता है जैसे वह देरी से आया है, लेकिन यह इसलिए नहीं है क्योंकि छात्र अंततः सीख रहा है; बल्कि इसलिए है क्योंकि शिक्षक (ट्रेनिंग सेटअप) छात्र के साथ छेड़छाड़ कर रहा था।

लेखकों ने असली लर्निंग और नकली लर्निंग के बीच अंतर करने के लिए "डायग्नोस्टिक टूल्स" (एक मैकेनिक की चेकलिस्ट की तरह) बनाए हैं:

असली ग्रौकिंग: समझ धीरे-धीरे बेहतर होती है, और उत्तर पुस्तिका अंततः तालमेल बिठा लेती है।
नकली ग्रौकिंग: समझ खराब हो जाती है या टूटी रहती है, और उत्तर पुस्तिका बस एक चौकोर चीज़ को गोल छेद में फिट करने के संघर्ष में फंसी रहती है।

4. यह क्यों महत्वपूर्ण है

यह पेपर AI ट्रेनिंग को देखने का एक नया तरीका प्रदान करता है। केवल "लॉस" (AI कितनी गलतियाँ करता है) को देखने के बजाय, जो भ्रमित करने वाला और भ्रामक हो सकता है, हम AI के मन की ज्यामिति (geometry) को देख सकते हैं।

क्रिटिकल डायमेंशन (Critical Dimension): इसे ऐसे समझें जैसे AI के विचारों के कितने "उलझे हुए" होने को मापना। यदि विचार एक उलझी हुई गांठ की तरह हैं, तो समस्या को हल करना कठिन है। यदि वे सुलझे हुए हैं, तो समाधान आसान है। पेपर दिखाता है कि असली ग्रौकिंग में, गांठ समय के साथ धीरे-धीरे सुलझती जाती है, भले ही टेस्ट स्कोर इसे अभी न दिखाए।
अलाइनमेंट (Alignment): यह मापता है कि क्या AI की "उत्तर पुस्तिका" सही दिशा में देख रही है। नकली लर्निंग में, उत्तर पुस्तिका गलत चीजों (जैसे शोर या रैंडम पैटर्न) की ओर देख रही होती है।

सारांश

पेपर कहता है: जब AI का टेस्ट स्कोर उसके होमवर्क स्कोर से पीछे रह जाए, तो घबराएं नहीं। यह संभव है कि AI धीरे-धीरे वास्तविक समझ (एनकोडर) बना रहा हो, जबकि उसकी उत्तर पुस्तिका (रीडआउट) अस्थायी रूप से होमवर्क पर बहुत अधिक ध्यान केंद्रित कर रही है।

हालाँकि, यदि "समझ" वाला हिस्सा वास्तव में खराब या टूटा हुआ हो रहा है, तो AI सीख नहीं रहा है—वह केवल एक समाधान का भ्रम पैदा कर रहा है। लेखकों के नए उपकरण हमें एक धीमे सीखने वाले और एक टूटे हुए सिस्टम के बीच अंतर करने में मदद करते हैं।

तकनीकी सारांश: सीखने की दो गतियाँ: ग्रौकिंग (Grokking) और डबल डिसेंट (Double Descent) का एक रिप्रजेंटेशन-रीडआउट अपघटन (Representation-Readout Decomposition)

समस्या विवरण

डीप न्यूरल नेटवर्क प्रशिक्षण की निगरानी के लिए मानक संकेत, जैसे कि ट्रेनिंग लॉस और एक्यूरेसी, अक्सर सामान्यीकरण (generalization) की जटिल गतिशीलता को पकड़ने में विफल रहते हैं। दो प्रमुख घटनाएँ इस चित्र को जटिल बनाती हैं:

ग्रौकिंग (Grokking): एक मॉडल लगभग पूर्ण प्रशिक्षण प्रदर्शन प्राप्त कर लेता है जबकि टेस्ट एक्यूरेसी एक लंबे समय तक चांस लेवल (chance levels) पर रहती है, जिसके बाद सामान्यीकरण का अचानक उदय होता है।
एपॉक-वाइज डबल डिसेंट (Epoch-wise Double Descent): ट्रेनिंग लॉस निरंतर घटता है, जबकि टेस्ट लॉस या एरर गैर-मोनोटोनिक (non-monotonic) रूप से बढ़ता और गिरता है।

मौजूदा स्पष्टीकरण अक्सर कार्य-विशिष्ट होते हैं (जैसे, मॉड्यूलर अंकगणित में बीजगणितीय संरचनाओं पर निर्भर करना) या बाइनरी रिजीम ट्रांज़िशन (जैसे, "लेज़ी" से "रिच" लर्निंग) पर आधारित होते हैं। विविध आर्किटेक्चर और कार्यों में इन घटनाओं का निदान करने के लिए एक एकीकृत, कार्य-अज्ञेय (task-agnostic) ढांचे की कमी है, जो वास्तविक सामान्यीकरण और गैर-मानक प्रशिक्षण विधियों द्वारा प्रेरित स्पूरियस (spurious) लर्निंग आर्टिफैक्ट्स के बीच अंतर कर सके।

कार्यप्रणाली: रिप्रजेंटेशन-रीडआउट अपघटन (Representation-Readout Decomposition)

लेखक एक ढांचा प्रस्तावित करते हैं जो एक न्यूरल नेटवर्क $f(x)$ को दो अलग-अलग घटकों में विभाजित करता है:

एन्कोडर ( $\phi_\theta$ ): इनपुट स्पेस से $N$ -आयामी रिप्रजेंटेशन स्पेस तक एक नॉन-लीनियर मैप।
रीडआउट ( $W$ ): रिप्रजेंटेशन स्पेस से आउटपुट लॉजिट्स तक एक लीनियर मैप।

यह अपघटन रिप्रजेंटेशन लर्निंग ( $\phi_\theta$ में परिवर्तन) और रीडआउट कैलिब्रेशन ( $W$ में परिवर्तन) को अलग-अलग ट्रैक करने की अनुमति देता है। इन घटकों के बीच परस्पर क्रिया का विश्लेषण करने के लिए, लेखक रिप्रजेंटेशनल ज्योमेट्री और न्यूरल टेंगेंट कर्नेल (NTK) थ्योरी से प्राप्त चार कार्य-अज्ञेय डायग्नोस्टिक उपायों का उपयोग करते हैं:

क्रिटिकल डायमेंशन ( $N_{crit}$ ): रिप्रजेंटेशन स्पेस में लीनियर सेपरेबिलिटी (linear separability) की मजबूती को मापता है। इसे $\geq 0.5$ की प्रायिकता के साथ सेपरेबिलिटी बनाए रखने के लिए आवश्यक न्यूनतम प्रोजेक्शन डायमेंशन के अपेक्षित मान के रूप में परिभाषित किया गया है। एक कम $N_{crit}$ बेहतर "अनटैंगल्ड" (untangled) मैनिफोल्ड और उच्च सामान्यीकरण क्षमता का संकेत देता है।
टास्क-रेलेवेंट ज्योमेट्रिक मेजर्स (GLUE): 'जियोमेट्री लिंक्ड टू अनटैंगलिंग एफिशिएंसी' (GLUE) थ्योरी से प्राप्त चार मेट्रिक्स ( $D, R, \rho_c, \rho_a$ ) का एक सेट। ये प्रभावी मैनिफोल्ड डायमेंशन, रेडियस, और लेबल-कंडीशन्ड मैनिफोल्ड्स के बीच सेंटर्स और एक्सिस के संरेखण (alignment) को अभिलक्षणित करते हैं।
लीनियर प्रोब एक्यूरेसी: फ्रोजन रिप्रजेंटेशन्स पर प्रशिक्षित एक रेगुलराइज्ड लीनियर क्लासिफायर। प्रोब एक्यूरेसी और मॉडल एक्यूरेसी के बीच का अंतर रीडआउट मिसअलाइनमेंट (एन्कोडर की क्षमताओं के सापेक्ष ओवरफिटिंग या अंडरफिटिंग) का निदान करता है।
लास्ट-लेयर NTK-लेबल एलाइनमेंट: फीचर ग्राम मैट्रिक्स (लास्ट-लेयर NTK) और लेबल कर्नेल के बीच संरेखण को मापता है। यह मात्रात्मक रूप से बताता है कि वर्तमान फीचर ज्योमेट्री लेबल-डिस्क्रिमिनेटिव सॉल्यूशंस की ओर ग्रेडिएंट फ्लो को कितनी अच्छी तरह सपोर्ट करती है, जिसका मूल्यांकन ट्रेन और टेस्ट सेट पर अलग-अलग किया जाता है।

मुख्य योगदान और परिणाम

1. ग्रौकिंग में सीखने की दो गतियाँ

ग्रौकिंग कार्यों (मॉड्यूलर एडिशन, परम्यूटेशन कंपोजिशन, स्पार्स पैरिटी) पर इस अपघटन को लागू करते हुए, लेखक "लेज़ी-टू-रिच" अकाउंट का खंडन करते हैं, जो यह दावा करता है कि ग्रौकिंग की शुरुआत तक रिप्रजेंटेशन लर्निंग निष्क्रिय रहती है।

निरंतर रिप्रजेंटेशन लर्निंग: पूरे प्रशिक्षण के दौरान, जिसमें प्री-ग्रौकिंग चरण भी शामिल है, $N_{crit}$ धीरे-धीरे और निरंतर घटता है। रिप्रजेंटेशन लर्निंग धीमी है लेकिन अनुपस्थित नहीं है; यह अचानक फेज ट्रांज़िशन के बजाय निरंतर रूप से आगे बढ़ती है।
ट्रेन-बायस्ड रीडआउट: ग्रौकिंग की शुरुआत से पहले, रीडआउट लर्निंग डायरेक्शन व्यवस्थित रूप से ट्रेनिंग डेटा की ओर बायस्ड होती है। NTK एलाइनमेंट गैप (ट्रेन माइनस टेस्ट) बड़ा और पॉजिटिव होता है, जो इंगित करता है कि रीडआउट ट्रेनिंग सेट को ओवरफिट करता है जबकि रिप्रजेंटेशन्स अभी तक सामान्यीकरण का समर्थन करने के लिए पर्याप्त मजबूत नहीं हैं।
तंत्र (Mechanism): ग्रौकिंग लर्निंग के रेगिम्स में अचानक बदलाव से नहीं, बल्कि रीडआउट डायरेक्शन के क्रमिक समानीकरण (equalization) से उत्पन्न होती है, क्योंकि रिप्रजेंटेशन क्वालिटी ( $N_{crit}$ ) अंततः रीडआउट कैलिब्रेशन की गति के साथ तालमेल बिठा लेती है।

2. ज्यामितीय तंत्रों में आर्किटेक्चरल अंतर

यह ढांचा प्रकट करता है कि विभिन्न आर्किटेक्चर विशिष्ट ज्यामितीय पथों के माध्यम से सामान्यीकरण प्राप्त करते हैं।

MLPs बनाम ट्रांसफॉर्मर्स: मॉड्यूलर एडिशन और परम्यूटेशन कंपोजिशन कार्यों में, MLPs और ट्रांसफॉर्मर्स सेंटर अलाइनमेंट ( $\rho_c$ ) और एक्सिस अलाइनमेंट ( $\rho_a$ ) में विपरीत रुझान दिखाते हैं। हालांकि दोनों ही मैनिफोल्ड डायमेंशन और रेडियस को कम करते हैं, वे समान सतही ग्रौकिंग व्यवहार प्राप्त करने के लिए इंटर-क्लास ज्योमेट्री को अलग-अलग तरह से मैनिपुलेट करते हैं।

3. स्पूरियस लर्निंग का निदान

यह ढांचा गैर-मानक प्रशिक्षण विधियों के कारण उत्पन्न होने वाले आर्टिफैक्ट्स से वास्तविक सामान्यीकरण को सफलतापूर्वक अलग करता है।

MNIST ग्रौकिंग आर्टिफैक्ट: MNIST पर पहले रिपोर्ट किया गया एक ग्रौकिंग उदाहरण (जो उच्च प्रारंभिक वेट नॉर्म्स और छोटे ट्रेनिंग सेट्स के कारण प्रेरित था) को स्पूरियस घोषित किया गया है। ढांचा यह खुलासा करता है कि "प्री-ग्रौकिंग" चरण के दौरान रिप्रजेंटेशन डिग्रेडेशन (बढ़ता हुआ $N_{crit}$ और घटती लीनियर प्रोब एक्यूरेसी) और रीडआउट ओवरफिटिंग होता है। स्पष्ट विलंबित सामान्यीकरण एक आर्टिफैक्ट है जहाँ रीडआउट अंततः एक घटते हुए रिप्रजेंटेशन के लिए सुधार (correct) करता है, न कि यह फीचर लर्निंग में वास्तविक सुधार है।
एपॉक-वाइज डबल डिसेंट: लेबल नॉइज़ द्वारा प्रेरित डबल डिसेंट परिदृश्यों में, ढांचा दो चरणों वाली प्रक्रिया की पहचान करता है: रिप्रजेंटेशन के क्षरण का एक प्रारंभिक चरण और उसके बाद एक चरण जहाँ रीडआउट अपडेट्स स्पूरियस सिग्नल्स (नॉइजी लेबल्स) द्वारा हावी होते हैं। गैर-मानक तत्वों (जैसे लेबल नॉइज़) को हटाने से डबल डिसेंट पैटर्न और डायग्नोस्टिक सिग्नेचर दोनों समाप्त हो जाते हैं।

4. टॉप-डाउन विश्लेषण ढांचा

लेखक इस अपघटन को "बॉटम-अप" मैकेनिस्टिक इंटरप्रिटेबिलिटी (जैसे सर्किट डिस्कवरी) के पूरक के रूप में एक "टॉप-डाउन" दृष्टिकोण के रूप में स्थापित करते हैं। रिप्रजेंटेशन्स की वैश्विक संरचना (मैनिफोल्ड ज्योमेट्री, सेपरेबिलिटी, एलाइनमेंट) को अभिलक्षणित करके, यह ढांचा ट्रेन/टेस्ट स्प्लिट और विविध कार्यों के लिए सुसंगत ऑब्जर्वेबल्स प्रदान करता है, जिससे उन डायनेमिक्स के लिए एक विश्वसनीय सिग्नल मिलता है जहाँ मानक लॉस कर्व्स विफल हो जाते हैं।

महत्व

यह शोध पत्र रिप्रजेंटेशन-रीडआउट अपघटन को सीखने की गतिशीलता को समझने के लिए एक एकीकृत, कार्य-अज्ञेय ढांचे के रूप में स्थापित करता है। इसका प्राथमिक महत्व है:

सैद्धांतिक खातों को परिष्कृत करना: यह "लेज़ी-टू-रिच" बाइनरी डायकोटॉमी से आगे बढ़कर यह प्रदर्शित करता है कि रिप्रजेंटेशन लर्निंग निरंतर है और ग्रौकिंग, रिप्रजेंटेशन सुधार बनाम रीडआउट कैलिब्रेशन की सापेक्ष गति से संचालित होता है।
डायग्नोस्टिक उपयोगिता: यह उन स्पूरियस लर्निंग डायनेमिक्स (जैसे रिप्रजेंटेशन डिग्रेडेशन या रीडआउट मिसअलाइनमेंट) की पहचान करने के लिए विशिष्ट सिग्नेचर प्रदान करता है जिन्हें गैर-मानक प्रशिक्षण सेटअप में वास्तविक लर्निंग के रूप में गलत समझा जा सकता है।
सामान्यीकरण क्षमता: यह ढांचा एल्गोरिथमिक कार्यों, वास्तविक दुनिया के डेटासेट (MNIST), और आर्किटेक्चर (MLP, Transformer, ResNet) में सुसंगत रूप से लागू होता है, जो इंटरप्रिटेबिलिटी रिसर्च और सुरक्षा-महत्वपूर्ण मॉडल मॉनिटरिंग के लिए एक सिद्धांत आधारित उपकरण प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान में इस ढांचे को अंतिम लीनियर लेयर पर लागू किया गया है, फिर भी यह मध्यवर्ती परतों (intermediate layers), कार्य-विशिष्ट संरचनाओं और निरंतर सीखने (continual learning) के परिदृश्यों में भविष्य के अन्वेषण के लिए एक मजबूत आधार प्रदान करता है।