Detecting overfitting in Neural Networks during long-horizon grokking using Random Matrix Theory
यह शोध पत्र एक नवीन रैंडम मैट्रिक्स थ्योरी-आधारित विधि प्रस्तुत करता है जो वेट मैट्रिसेस (weight matrices) के भीतर "कोरिलेशन ट्रैप्स" (Correlation Traps) नामक संरचनात्मक विसंगतियों की पहचान करके डीप लर्निंग मॉडल्स में ओवरफिटिंग की शुरुआत, जिसे "एंटी-ग्रोकिंग" (anti-grokking) कहा जाता है, का पता लगाता है, जिससे प्रशिक्षण या परीक्षण डेटा तक पहुँच के बिना भी हानिकारक ओवरफिटिंग का पता लगाना सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) का विवरण दिया गया है।
बड़ी समस्या: "परफेक्ट स्टूडेंट" का जाल
कल्पना कीजिए कि एक छात्र एक बहुत कठिन परीक्षा दे रहा है।
- चरण 1 (भ्रम/Confusion): वह कड़ी मेहनत करता है लेकिन फिर भी कई सवालों के गलत जवाब देता है।
- चरण 2 (ग्रोकिंग/Grokking): अचानक, उसे एक बड़ी सफलता मिलती है! वह विषय के नियमों को समझ जाता है। वह प्रैक्टिस टेस्ट और वास्तविक परीक्षाओं में बेहतरीन स्कोर करने लगता है। यह बहुत अच्छी बात है।
- चरण 3 (छिपा हुआ खतरा): छात्र सामग्री सीखने के बाद भी हफ्तों तक पढ़ाई करता रहता है। शुरुआत में, वह अभी भी प्रैक्टिस टेस्ट पर परफेक्ट स्कोर करता है। लेकिन नए सवालों पर, जिन्हें उसने पहले कभी नहीं देखा, वह असफल होने लगता है।
यह तीसरा चरण ही है जिसे शोध पत्र "एंटी-ग्रोकिंग" (Anti-Grokking) कहता है। मॉडल (छात्र) ने विशिष्ट अभ्यास प्रश्नों को इतनी सटीकता से याद कर लिया है कि वह सामान्य नियमों को भूल गया है। वह प्रैक्टिस टेस्ट पर तो जीनियस दिखता है, लेकिन वास्तव में वह कमज़ोर (brittle) है और वास्तविक दुनिया में विफल हो रहा है।
समस्या क्या है? आमतौर पर, आप केवल टेस्ट स्कोर देखकर यह नहीं बता सकते कि छात्र चरण 2 (स्मार्ट) में है या चरण 3 (ओवर-मेमोराइज्ड) में। दोनों ही प्रैक्टिस टेस्ट पर 100% दिखते हैं।
समाधान: "शफल टेस्ट" (The Shuffle Test)
लेखकों, हरि के. प्रकाश और चार्ल्स एच. मार्टिन ने एक ऐसा तरीका बनाया है जिससे वे बिना टेस्ट के सवालों या छात्र के नोट्स को देखे, छात्र के दिमाग (न्यूरल नेटवर्क के वेट्स/weights) के अंदर झाँक सकते हैं।
वे रैंडम मैट्रिक्स थ्योरी (Random Matrix Theory) पर आधारित एक विधि का उपयोग करते हैं, जो गणित के लिए एक सांख्यिकीय "झूठ पकड़ने वाली मशीन" (lie detector) की तरह है। यहाँ बताया गया है कि उनकी विधि चरण-दर-चरण कैसे काम करती है:
1. "स्कैम्बल ब्रेन" टेस्ट (The Scrambled Brain Test)
कल्पना कीजिए कि छात्र का मस्तिष्क न्यूरॉन्स के बीच कनेक्शन (वेट्स) का एक विशाल ग्रिड है।
- ट्रिक: शोधकर्ता इस ग्रिड को लेते हैं और इसे स्कैम्बल (बिखेर) देते हैं। वे ताश के पत्तों की तरह ग्रिड के हर एक नंबर को रैंडम तरीके से मिला देते हैं।
- अपेक्षा: यदि छात्र स्वस्थ है और उसने सामान्य नियम सीख लिए हैं, तो स्कैम्बल किया गया ग्रिड एक रैंडम बिखराव जैसा दिखना चाहिए। नंबर समुद्र तट पर रेत की तरह समान रूप से फैले होने चाहिए।
- वास्तविकता (जाल): यदि छात्र "एंटी-ग्रोकिंग" चरण (ओवरफिटिंग) में है, तो स्कैम्बल किया गया ग्रिड रैंडम नहीं दिखता। इसमें तेज़, अजीब स्पाइक्स (spikes) दिखाई देते हैं।
2. "कोरिलेशन ट्रैप्स" (The Correlation Traps)
ये अजीब स्पाइक्स ही वे हैं जिन्हें लेखक "कोरिलेशन ट्रैप्स" कहते हैं।
- उपमा: एक कॉन्सर्ट में लोगों की भीड़ की कल्पना करें। एक स्वस्थ भीड़ में, हर कोई रैंडम तरीके से खड़ा होता है। लेकिन एक "ट्रैप्ड" (फँसी हुई) भीड़ में, लोगों का एक छोटा समूह एक-दूसरे का हाथ पकड़कर एक सख्त, कठोर घेरा बना लेता है, और बाकी सब को अनदेखा कर देता है।
- गणित में, ये "कठोर घेरे" डेटा में वे विशिष्ट दिशाएँ हैं जिन्हें मॉडल ने बहुत मजबूती से पकड़ लिया है। ये "ट्रैप्स" इसलिए हैं क्योंकि मॉडल सामान्यीकरण (generalizing) करने के बजाय ट्रेनिंग डेटा के विशिष्ट, भंगुर पैटर्न पर अटक गया है।
उन्हें कैसे पता चलता है कि यह बुरा है (The "JSD" Test)
"कोरिलेशन ट्रैप" मिलना यह बताता है कि कुछ अजीब है, लेकिन क्या यह बुरा है? हो सकता है कि मॉडल में बस एक अजीब सी खामी हो जिससे कोई नुकसान न हो।
यह जाँचने के लिए, शोधकर्ता दूसरा टेस्ट करते हैं:
- वे "ट्रैप" (मस्तिष्क में वह अजीब, कठोर घेरा) को लेते हैं और उसे रैंडम शोर (noise) से बदल देते हैं।
- वे मॉडल को एक समस्या हल करने के लिए कहते हैं।
- परिणाम: यदि मॉडल का व्यवहार नाटकीय रूप रूप से बदल जाता है (वह रैंडम अंदाज़े लगाने लगता है या गलतियाँ करने लगता है), तो वह ट्रैप हानिकारक (Harmful) था। वह मॉडल को उस गोंद से जोड़कर रख रहा था जो केवल प्रैक्टिस टेस्ट पर काम करता था। यदि मॉडल को इससे फर्क नहीं पड़ता, तो वह ट्रैप सौम्य (Benign) था।
उन्होंने क्या पाया
उन्होंने इसे तीन अलग-अलग प्रकार के AI मॉडल्स पर टेस्ट किया:
- एक साधारण इमेज क्लासिफायर (MNIST): इसने नंबरों को पहचानना सीखा, फिर ओवर-लर्निंग की, और ट्रैप्स ठीक उसी समय दिखाई दिए जब यह नए नंबरों को पहचानने में विफल होने लगा।
- एक मैथ सॉल्वर (Modular Addition): इसने गणित करना सीखा, फिर ओवर-लर्निंग की, और ट्रैप्स दिखाई दिए।
- एक लैंग्वेज मॉडल (GPT2): वही पैटर्न।
मुख्य खोज:
- सीखने से पहले: कोई ट्रैप नहीं।
- सीखने के दौरान (Grokking): कोई ट्रैप नहीं। मॉडल स्वस्थ है।
- ओवर-लर्निंग के बाद (Anti-Grokking): ट्रैप्स दिखाई देते हैं और बढ़ते हैं। मॉडल जितना अधिक ओवरफिट होता है, उसके पास उतने ही अधिक ट्रैप्स होते हैं।
उन्होंने यहाँ तक कि विशाल, वास्तविक दुनिया के AI मॉडल्स (OpenAI के GPT-OSS) को भी देखा और पाया कि वहाँ भी ये ट्रैप्स मौजूद थे, जो यह संकेत देता है कि बड़े और शक्तिशाली मॉडल भी गुप्त रूप से ओवरफिट हो सकते हैं जिसे हम पहले नहीं देख पा रहे थे।
निष्कर्ष (The Takeaway)
यह शोध पत्र हमें एक नया उपकरण देता है जिससे हम एक प्रशिक्षित AI मॉडल को देखकर कह सकते हैं: "हे, तुम कागज़ पर तो परफेक्ट दिख रहे हो, लेकिन तुम्हारे दिमाग में ये 'कोरिलेशन ट्रैप्स' हैं जिसका मतलब है कि तुमने सबक सीखने के बजाय टेस्ट को रट लिया है।"
यह एक मैकेनिक की तरह है जो कार के इंजन को देख सकता है, उसे हिला सकता है, और एक विशिष्ट खड़खड़ाहट सुन सकता है जो उसे बताती है कि कार हाईवे पर खराब हो जाएगी, भले ही स्पीडोमीटर सब कुछ ठीक दिखा रहा हो। इस विधि के लिए न तो डेटा की आवश्यकता है, न ही री-ट्रेनिंग की, और न ही मूल टेस्ट प्रश्नों तक पहुँच की—बस मॉडल के वेट्स (weights) की ज़रूरत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।