The Grokked Illusion: True Equilibrium Mitigates Catastrophic Forgetting
यह शोधपत्र प्रकट करता है कि उच्च-एन्ट्रॉपी वाले न्यूरल नेटवर्क, पारंपरिक AdamW-प्रशिक्षित मॉडलों के विपरीत, समान सामान्यीकरण प्रदर्शन के बावजूद विनाशकारी विस्मृति (catastic forgetting) के विरुद्ध सुदृढ़ता बनाए रखते हैं, जो एक ऐसी घटना है जिसे "ग्रोक्ड इल्यूजन" (grokked illusion) कहा गया है और जिसका श्रेय नेटवर्क भार में उच्च प्रभावी रैंक द्वारा इंगित समृद्ध फीचर प्रतिनिधित्व को दिया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को गणित की पहेलियाँ हल करना सिखा रहे हैं। आप चाहते हैं कि वह स्मार्ट हो, लेकिन आप यह भी चाहते हैं कि वह मजबूत (tough) हो। आर्टिफिशियल इंटेलिजेंस की दुनिया में, "स्मार्ट" होने का आमतौर पर मतलब यह होता है कि रोबोट उस समस्या को देख सके जिसे उसने पहले कभी नहीं देखा और उसे सही ढंग से हल कर सके। इसे जनरलाइजेशन (generalization) कहा जाता है। लेकिन एक छिपा हुआ जाल है: एक रोबोट एक पल में अविश्वसनीय रूप से स्मार्ट हो सकता है, फिर भी अविश्वसनीय रूप से नाजुक हो सकता है। यदि आप उससे तुरंत एक नया कौशल सीखने के लिए कहते हैं, तो वह जो कुछ भी अभी सीखा है, उसे अचानक भूल सकता है। इसे कैटैस्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) या विनाशकारी विस्मृति कहा जाता है।
वैज्ञानिक लंबे समय से सोच रहे हैं: एक रोबोट का मस्तिष्क वास्तव में सुदृढ़ (robust) क्यों होता है? क्या यह केवल सही उत्तर प्राप्त करने के बारे में है, या यह इस बारे में कुछ गहरा है कि रोबोट उन उत्तरों को कैसे संग्रहीत करता है? इसे एक लाइब्रेरी की तरह समझें। आपके पास बेहतरीन किताबें हो सकती हैं (उच्च जनरलाइजेशन), लेकिन अगर अलमारियां कमजोर हैं और किताबें अनिश्चित रूप से एक के ऊपर एक रखी गई हैं, तो एक नई किताब जोड़ने मात्र से पूरा टॉवर ढह सकता है। यह शोध पत्र इस बात की जांच करता है कि क्या रोबellen के मस्तिष्क का "आकार"—विशेष रूप से, उसकी स्मृति में कितनी "हिलने-डुलने की जगह" (wiggle room) है—यह निर्धारित करता है कि क्या वह पुरानी जानकारी खोए बिना नई जानकारी को संभाल सकता है।
"ग्रॉक्ड" भ्रम: जब सटीक स्कोर एक कमजोरी को छुपाता है
इस अध्ययन के पीछे के शोधकर्ताओं ने एक दिलचस्प विचार का परीक्षण करने का निर्णय लिया: क्या एक परफेक्ट स्कोर एक मजबूत स्मृति की गारंटी देता है? यह पता लगाने के लिए, उन्होंने एक सरल गणितीय खेल का उपयोग करके एक नियंत्रित प्रयोग किया: मॉडुलर अरिथमेटिक (मूल रूप से संख्याओं को जोड़ना और शेषफल खोजना, जैसे कि एक घड़ी जो 67 घंटों के बाद रीसेट हो जाती है)।
उन्होंने दोनों प्रकार के दो अलग-अलग AI मॉडल को इस खेल पर तब तक प्रशिक्षित किया जब तक कि दोनों ने 100% का परफेक्ट स्कोर प्राप्त नहीं कर लिया।
- "स्टैंडर्ड" मॉडल: इसे एक सामान्य, मानक पद्धति (जिसे AdamW कहा जाता है) का उपयोग करके प्रशिक्षित किया गया था। इसने कार्य को जल्दी सीखा और परफेक्ट स्कोर प्राप्त किया।
- "हाई-एंट्रोपी" मॉडल: इसे एक विशेष, भौतिकी-प्रेरित पद्धति (जिसे Wang-Landau Molecular Dynamics कहा जाता है) का उपयोग करके प्रशिक्षित किया गया था। इसने भी 100% का परफेक्ट स्कोर प्राप्त किया, लेकिन यह समाधानों के रहने वाले एक "बड़े" गणितीय स्थान में पाया गया था। इसे ऐसे समझें कि स्टैंडर्ड मॉडल एक बहुत ही संकीर्ण, छोटी घाटी में बैठने जैसा था, जबकि हाई-एंट्रोपी मॉडल ने एक विशाल, चौड़ा पठार खोज लिया था।
दोनों मॉडल कागज पर एक जैसे दिखते थे: दोनों गणित के खेल में 100% परफेक्ट थे। लेकिन शोधकर्ताओं को संदेह था कि वे एक गुप्त अंतर छिपा रहे हैं।
नॉइज़ इंजेक्शन टेस्ट: जानबूझकर भूलना
अपनी मजबूती का परीक्षण करने के लिए, शोधकर्ताओं ने एक चाल चली। उन्होंने दोनों मॉडलों से कहा: "ठीक है, आप गणित में बहुत अच्छे हैं। अब, इस बेमतलब के डेटा की सूची को याद करें।" उन्होंने प्रशिक्षण मिश्रण में "नॉइज़" (शोर)—यानी रैंडम, अर्थहीन नंबर और रैंडम लेबल—डाल दिया। उन्होंने मॉडल्स को इस नए कचरे को पूरी तरह से याद करने के लिए मजबूर किया (नए डेटा पर 99.8% सटीकता प्राप्त करते हुए) जबकि वे मूल गणितीय खेल को याद रखने की भी कोशिश कर रहे थे।
परिणाम चौंकाने वाले थे और इन्होंने वह खुलासा किया जिसे लेखक "ग्रॉक्ड इल्यूजन" (Grokked Illusion) कहते हैं।
- स्टैंडर्ड मॉडल (AdamW): जैसे ही इसने नए बेमतलब डेटा को याद करना शुरू किया, यह बिखरने लगा। मूल गणितीय खेल को हल करने की इसकी क्षमता 100% से गिरकर 75% से नीचे आ गई। इसने नए स्थान बनाने के लिए अपने मूल कौशल को "भूल" दिया था। यह उस छात्र की तरह था जिसने रैंडम फोन नंबरों की सूची याद करने की कोशिश की, और अचानक बुनियादी जोड़ करना भूल गया।
- हाई-एंट्रोपी मॉडल: यह मॉडल एक टैंक की तरह था। उसी बेमतलब डेटा को पूरी तरह से याद करने के बाद भी, इसने अपने मूल गणित कौशल को लगभग पूरी तरह से बरकरार रखा, जो 95% से 98% सटीकता के आसपास रहा। यह पुराने को गिराए बिना नई जानकारी को थामे रख सका।
शोध पत्र सुझाव देता है कि स्टैंडर्ड मॉडल का "परफेक्ट" स्कोर एक भ्रम था। यह मजबूत दिख रहा था, लेकिन वास्तव में यह नाजुक था। हालाँकि, हाई-एंट्रोपी मॉडल वास्तव में सुदृढ़ था।
एक विफल क्यों हुआ और दूसरा सफल क्यों हुआ?
शोधकर्ताओं ने इन मॉडलों के "मस्तिष्क" की गहराई में जाकर देखा कि क्या अलग था। उन्होंने सिंगुलर वैल्यू डिकम्पोजिशन (Singular Value Decomposition) नामक एक गणितीय उपकरण का उपयोग किया (इसे एक एक्स-रे की तरह समझें जो यह दिखाता है कि एक मॉडल सूचना संग्रहीत करने के लिए कितने अलग-अलग "दिशाओं" का उपयोग करता है)।
उन्होंने पाया कि हाई-एंट्रोपी मॉडल का "प्रभावी रैंक" (effective rank) बहुत अधिक था। सरल शब्दों में, इसका मतलब है कि इसके मस्तिष्क ने समस्या को हल करने के लिए उपकरणों के एक व्यापक, विविध सेट का उपयोग किया। यह केवल कुछ तंग, नाजुक रास्तों पर निर्भर नहीं था। इसके बजाय, इसमें फीचर्स का एक समृद्ध, वितरित नेटवर्क था।
जब शोर (noise) आया:
- स्टैंडर्ड मॉडल को नए डेटा को फिट करने के लिए अपने कुछ, संकीर्ण रास्तों को बदलना पड़ा, जिससे पुराने रास्ते टूट गए।
- हाई-एंट्रोपी मॉडल के पास इतनी "अतिरिक्त जगह" और इतने सारे अलग-अलग रास्ते थे कि वह पुराने गणित कौशल को बाधित किए बिना नए शोर को आत्मसात कर सका। यह एक चौड़े, मजबूत पुल की तरह था जो भारी ट्रक (नया डेटा) को संभालने के लिए बिना नींव हिलाए सक्षम था, जबकि संकरा पुल (स्टैंडर्ड मॉडल) उसी वजन के नीचे ढह गया।
भविष्य के लिए इसका क्या अर्थ है
अध्ययन यह निष्कर्ष निकालता है कि परफेक्ट जनरलाइजेशन का मतलब परफेक्ट रोबस्टनेस (सुदृढ़ता) नहीं है। सिर्फ इसलिए कि एक मॉडल टेस्ट में A+ प्राप्त करता है, इसका मतलब यह नहीं है कि वह फेल नहीं होगा जब जीवन उसमें कोई मोड़ (curveball) फेंकेगा।
लेखक सुझाव देते हैं कि मॉडल की स्मृति का "आकार" मायने रखता है। जो मॉडल अपनी गणितीय दुनिया में बड़े, "हाई-एंट्रोपी" स्थानों पर कब्जा करते हैं, वे स्वाभाविक रूप से नई चीजें सीखते समय चीजों को याद रखने में बेहतर होते हैं। यह संकेत देता है कि भविष्य में, हमें AI को केवल सही उत्तर पाने के लिए ही नहीं, बल्कि समाधान स्थान में "चौड़ी घाटियों" को खोजने के लिए प्रशिक्षित करने की आवश्यकता हो सकती है। यह ऐसे AI बनाने में मदद कर सकता है जो भविष्य को सीखते समय अपने अतीत को नहीं भूलता है, जिससे यह वास्तविक दुनिया के कार्यों के लिए बहुत अधिक विश्वसनीय बन जाता है जहाँ चीजें हमेशा बदलती रहती हैं।
हालाँकि ये परिणाम वर्तमान में गणितीय पहेलियों के सिमुलेशन पर आधारित हैं, लेखक मानते हैं कि यह सिद्धांत बड़े, अधिक जटिल AI सिस्टम पर भी लागू हो सकता है, जो संभावित रूप से मशीनों के कल सीखी हुई चीजों को भूल जाने की पुरानी समस्या को हल कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।