Tunneling the Loss Landscape: Bypassing Memorization with Monte Carlo Parameter Swapping
यह शोध पत्र न्यूरल नेटवर्क में "ग्रोकिंग" (grokking) घटना की व्याख्या एक ग्लास रिलैक्सेशन प्रक्रिया के रूप में करता है जो गतिज अवरोध (kinetic arrest) और निम्न पैरामीटर गतिशीलता द्वारा अभिलक्षित है, और एक स्टेट-अवेयर मोंटे कार्लो पैरामीटर स्वैपिंग (SAM-Swap) अनुकूलन विधि प्रस्तावित करता है जो याद रखने वाली अवस्थाओं (memorization states) को दरकिनार करने के लिए यादृच्छिक अन्वेषण को पेश करके सामान्यीकरण को त्वरित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को गणित की परीक्षा के लिए रटते हुए देख रहे हैं। शुरू में, वे हर एक अभ्यास प्रश्न के उत्तरों को बस याद कर रहे होते हैं। वे अभ्यास पत्र पर पूर्ण अंक प्राप्त करते हैं, लेकिन यदि आप उनसे थोड़ा अलग प्रश्न पूछते हैं, तो उन्हें समझ नहीं आता कि क्या करना है। यह "रटना" (memorization) है। फिर, अचानक, एक ही समस्याओं को खाली आंखों से देखते रहने के एक लंबे दौर के बाद, कुछ क्लिक होता है। छात्र केवल उत्तर दोहराना बंद कर देता है और उनके पीछे के तर्क को समझने लगता है। अब वह उन बिल्कुल नए प्रश्नों को हल कर सकता है जिन्हें उसने पहले कभी नहीं देखा है। समझ और रटने के बीच का यह अचानक बदलाव एक रहस्य है जिसने आर्टिफिशियल इंटेलिजेंस का अध्ययन करने वाले वैज्ञानिकों को उलझाया हुआ है।
AI की दुनिया में, इस घटना को "ग्रोकिंग" (grokking) कहा जाता है। यह तब होता है जब एक कंप्यूटर मॉडल एक डेटासेट पर प्रशिक्षित होता है, डेटा को याद करने में तो माहिर हो जाता है, लेकिन लंबे समय तक नए डेटा पर सामान्यीकरण (generalize) करने में विफल रहता है। फिर, अचानक, वह पैटर्न को समझ लेता है और प्रतिभाशाली बन जाता है। वैज्ञानिक सोच रहे थे: मॉडल इतने लंबे समय तक "मेमोराइजेशन मोड" में क्यों फंसा रहता है? क्या यह सिर्फ धीमा है, या यह फंसा हुआ है? इस उत्तर को खोजने के लिए, शोधकर्ता भौतिकी (physics) के विचारों को उधार ले रहे हैं, विशेष रूप से "कांच" (glass) के अध्ययन से। आप जानते हैं कि कांच एक ऐसा तरल है जो इतनी तेजी से ठंडा हुआ कि वह एक कठोर, अव्यवस्थित अवस्था में फंस गया? यह पूरी तरह से ठोस नहीं है, लेकिन यह बह भी नहीं सकता। वैज्ञानिक सोचते हैं कि AI मॉडल प्रशिक्षण के दौरान एक समान "ग्लासी" (glassy) अवस्था में फंस सकते हैं, जहाँ वे वहीं जम जाते हैं, और बेहतर समाधान सामने होने के बावजूद उसे ढूंढने में असमर्थ होते हैं।
यह नया शोध पत्र वास्तव में इसी विचार में गहराई तक जाता है। शोधकर्ताओं ने, लैई शुन चैन और सहयोगियों के नेतृत्व में, यह साबित करना चाहा कि ग्रोकिंग वास्तव में एक "ग्लासी" व्यवहार है और, अधिक महत्वपूर्ण बात यह है कि, मॉडल को उस जमे हुए राज्य से बाहर निकालने का एक तरीका खोजना चाहते थे। उन्होंने केवल मॉडल को देखा ही नहीं; उन्होंने एक विशेष टूलकिट बनाया जिससे यह सटीक रूप से मापा जा सके कि मॉडल का आंतरिक "मस्तिष्क" (पैरामीटर्स) कैसे हिल रहा है। उन्होंने पाया कि मेमोराइजेशन चरण के दौरान, मॉडल की गतिविधियाँ अविश्वसनीय रूप से धीमी, दोहराव वाली और एक संकीर्ण पथ में फंसी हुई हो जाती हैं, ठीक वैसे ही जैसे एक व्यक्ति भीड़ भरे कमरे में चलने की कोशिश कर रहा हो जिसे बिना मुड़े सीधे रेखा में चलने के लिए मजबूर किया जाता है।
इसे ठीक करने के लिए, टीम ने "SAM-Swap" नामक एक चतुर तकनीक का आविष्कार किया। भौतिकविदों द्वारा कांच जैसी सामग्रियों को कणों की स्थिति बदलकर आराम दिलाने के तरीके से प्रेरित होकर, उन्होंने मॉडल के आंतरिक नंबरों के मूल्यों को बेतरतीब ढंग से बदलने का एक तरीका बनाया। यह सुनने में ऐसा लग सकता है कि इससे सब कुछ गड़बड़ हो जाएगा, लेकिन इसके बजाय, यह एक हल्के झटके की तरह काम करता है जो मॉडल को जगा देता है। यह सरल स्वैप (swap) मॉडल को अपनी जमी हुई अवस्था से बाहर निकलने और बहुत तेज़ी से "जनरलाइजेशन" समाधान खोजने में मदद करता है। शोध पत्र सुझाव देता है कि मॉडल की गति के ज्यामिति (geometry) को समझकर, हम उन्हें फंसने से रोक सकते हैं और उन्हें तेज़ी से सीखने में मदद कर सकते हैं, जिससे एक लंबे, निराशाजनक इंतजार को एक त्वरित "अहा!" क्षण में बदला जा सके।
जमे हुए मस्तिष्क की कहानी
"ग्रोकिंग" ठहराव का रहस्य
कल्पना कीजिए कि आप एक रोबोट को पहेली सुलझाने के लिए प्रशिक्षित कर रहे हैं। आप उसे हजारों उदाहरण दिखाते हैं। शुरू में, रोबोट सटीक उत्तरों को याद करने में सुपरस्टार है। वह आपके अभ्यास परीक्षण पर 100% अंक प्राप्त करता है। लेकिन जब आप उसे एक नई पहेली देते हैं जो उसने पहले नहीं देखी है, तो वह बुरी तरह विफल हो जाता है। वह लंबे, लंबे समय तक विफल होता रहता है। फिर, अचानक, हजारों और प्रयासों के बाद, वह नियम को समझ जाता है और नई पहेलियों पर भी 100% अंक प्राप्त करता है। यह "ग्रोकिंग" है।
कुछ समय के लिए, वैज्ञानिकों ने सोचा कि यह रोबोट के सीखने का एक अजीब व्यवहार है। लेकिन एक नया सिद्धांत सुझाव देता है कि रोबोट "जम" (frozen) गया है। इसे ऐसे सोचें जैसे सर्दियों में नदी जम जाती है। पानी (सीखने की प्रक्रिया) बहना बंद कर देता है। रोबलेट एक "ग्लासी" अवस्था में फंस गया है। ऐसा नहीं है कि समाधान मौजूद नहीं है; बल्कि यह है कि रोबोट अपने आंतरिक हिस्सों को इतना नहीं हिला पा रहा है कि वह उसे ढूंढ सके।
जमे हुए अवस्था को मापने के तीन उपकरण
इसे साबित करने के लिए, लेखकों ने रोबोट के मस्तिष्क को क्रिया में देखने के लिए तीन-भागों वाला टूलकिट बनाया। वे जानना चाहते थे: क्या रोबोट हिल रहा है? क्या वह एक लूप में फंसा है? और क्या वह नए रास्तों की खोज कर रहा है?
पैरामीटर मोबिलिटी (PM): "कदमों के आकार" का मीटर।
कल्पना कीजिए कि रोबोट चल रहा है। शुरुआत में, वह सीखते समय बड़े, आत्मविश्वासी कदम उठाता है। लेकिन एक बार जब वह मेमोराइजेशन चरण में पहुँचता है, तो लेखकों ने पाया कि रोबोट के कदम बहुत छोटे, लगभग अदृश्य हो जाते हैं। यह ऐसा है जैसे रोबोट एक पैर पर खड़ा है, मुश्किल से हिल रहा है। पेपर दिखाता है कि रोबोट के आंतरिक नंबरों की दूरी बहुत बड़ी मात्रा में गिर जाती है (लगभग 1 से 0.0001 तक)। वह शारीरिक रूप से फंसा हुआ है।रेप्लिका कोरिलेशन (RC): "जुड़वा परीक्षण"।
यह सबसे मजेदार हिस्सा है। शोधकर्ताओं ने रोबोट के "जुड़वा" बनाए। उन्होंने दो समान रोबोटों को बिल्कुल एक ही स्थान से शुरू किया और उन्हें छोटे, यादृच्छिक (random) धक्के दिए। यदि जुड़वा स्वतंत्र रूप से अन्वेषण करने के लिए स्वतंत्र होते, तो वे जल्दी ही अलग-अलग दिशाओं में चले जाते। लेकिन मेमोराइजेशन चरण के दौरान, जुड़वा एक साथ चिपके रहे। धक्के लगने के बावजूद, वे बिल्कुल एक ही रास्ते पर चले। यह "इतिहास निर्भरता" (history dependence) बताती है कि रोबोट अपनी वर्तमान स्थिति में इतना फंसा हुआ है कि वह समस्या को हल करने का कोई दूसरा तरीका भी नहीं सोच सकता। यह दो लोगों की तरह है जो एक संकीर्ण सुरंग से गुजरने की कोशिश कर रहे हैं; वे चाहे कितनी भी कोशिश करें, उन्हें एक ही रेखा में रहने के लिए मजबूर किया जाता है।फ्रैक्टल डायमेंशन (FD): "हिलने-डुलने" का डिटेक्टर।
यह रोबोट के पथ के आकार को मापता है। यदि रोबोट अन्वेषण कर रहा है, तो उसका पथ अव्यवस्थित, घुमावदार और मोड़ों से भरा होता है (उच्च आयाम)। लेकिन ग्रोकिंग ठहराव के दौरान, पथ एक सीधी, उबाऊ रेखा बन जाता है। लेखकों ने पाया कि "फ्रैक्टल डायमेंशन" गिरकर लगभग 1 हो गया। इसका मतलब है कि रोबोट एक सीधी, "चैनल जैसी" सुरंग में चल रहा है, जो बाएं या दाएं मुड़ने में असमर्थ है। वह एक संकीर्ण गलियारे में फंसा हुआ है।
"ग्लास" सिद्धांत की पुष्टि
पेपर सुझाव देता है कि यह संयोजन—छोटे कदम, जुड़वा जो अलग नहीं हो सकते, और एक सीधा रास्ता—एक "ग्लासी" प्रणाली के हस्ताक्षर हैं। रोबोट केवल धीमा नहीं है; वह गतिज रूप से अवरुद्ध (kinetically arrested) है। वह एक ऐसी अवस्था में फंसा हुआ है जहाँ वह बाहर नहीं निकल सकता, भले ही "जनरलाइजेशन" समाधान (निकास) बिल्कुल सामने हो। लेखक तर्क देते हैं कि प्रशिक्षण प्रक्रिया सिस्टम को बहुत तेज़ी से ठंडा कर देती है, जिससे यह बेहतर समाधान में ढलने से पहले ही इस जमे हुए राज्य में लॉक हो जाता है।
जादुई "स्वैप" ट्रिक
तो, आप एक ग्लास की तरह जमे हुए रोबोट को कैसे अनफ्रीज करते हैं? भौतिकी में, वैज्ञानिक कांच को आराम देने के लिए "स्वैप मोंटे कार्लो" विधि का उपयोग करते हैं। वे कणों की स्थिति को बदलने की कल्पना करते हैं ताकि उन्हें बेहतर व्यवस्था खोजने में मदद मिल सके। लेखकों ने इसे AI मॉडल पर लागू किया।
उन्होंने SAM-Swap नामक एक नया उपकरण बनाया। यह कैसे काम करता है:
- वे रोबोट के पथ को देखते हैं।
- जब वे देखते हैं कि पथ बहुत सीधा हो रहा है (फ्रैक्टल डायमेंशन 1.1 से नीचे गिर जाता है), तो वे जानते हैं कि रोबोट फंस गया है।
- फिर वे उसी लेयर के भीतर रोबोट के आंतरिक नंबरों को बेतरतीब ढंग से बदलते (swap) हैं।
आप सोच सकते हैं, "रुको, यदि आप नंबरों को बदल देते हैं, तो क्या आप रोबोट ने जो सीखा है उसे नष्ट नहीं कर देंगे?" आश्चर्यजनक रूप से, नहीं। लेखकों ने पाया कि यह स्वैप मॉडल को तोड़ता नहीं है; यह एक हल्के झटके की तरह काम करता है। यह उस "चैनल" को तोड़ देता है जिसमें रोबोट फंसा हुआ है और उसे नए रास्तों की खोज करने देता है।
परिणाम: एक तेज़ "अहा!" क्षण
परिणाम नाटकीय थे। मानक प्रशिक्षण (AdamW नामक विधि का उपयोग करके) में, रोबोट को अंततः सामान्यीकरण करने में लगभग 3,000 युग (epochs) लगे। लेकिन SAM-Swap ट्रिक के साथ, रोबोट केवल 650 युगों में सामान्यीकरण कर गया। यह एक विशाल बढ़त है!
इसकी तुलना लेखकों ने अन्य तरीकों से भी की, जैसे कि रैंडम शोर (static electricity के साथ रोबोट को हिलाना) जोड़ना। जबकि शोर जोड़ने से थोड़ी मदद मिली, लेकिन संरचित "स्वैप" अधिक प्रभावी था। मुख्य निष्कर्ष यह है कि ग्लास अवस्था से बचने के लिए, रोबोट को कुछ ऐसा करने की आवश्यकता है जो "डिफ्यूजन" जैसा दिखता हो—यानी, केवल एक सीधी रेखा में चलने के बजाय, यादृच्छिक रूप से घूमना और अन्वेषण करना।
इसका क्या अर्थ है
यह पेपर केवल यह नहीं कहता कि "ग्रोकिंग अजीब है।" यह हमें यह मापने का एक तरीका देता है कि यह क्यों होता है और इसे ठीक करने का एक उपकरण भी देता है। यह सुझाव देता है कि मॉडल कब सीखता है, यह केवल समस्या के गणित के बारे में नहीं है; यह उस यात्रा के बारे में है जो मॉडल करता है। यदि यात्रा बहुत सीधी और संकीर्ण हो जाती है, तो मॉडल फंस जाता है। व्यवस्थित अराजकता (organized chaos - स्वैप) पेश करके, हम मॉडल को मुक्त होने और तेज़ी से सीखने में मदद कर सकते हैं।
लेखक सावधानीपूर्वक नोट करते हैं कि इसका परीक्षण एक विशिष्ट गणित कार्य (मॉड्यूलर अंकगणित) और एक विशिष्ट प्रकार के मॉडल पर किया गया था। वे सुझाव देते हैं कि हालांकि यह यहाँ अच्छी तरह काम करता है, हमें यह देखना होगा कि क्या यह भाषा या दृष्टि (vision) के लिए उपयोग किए जाने वाले बड़े, अधिक जटिल मॉडलों पर भी काम करता है। लेकिन मूल विचार—कि हम गति की ज्यामिति को समझकर "टनल" के माध्यम से आगे बढ़ सकते हैं—AI के सीखने के तरीके के बारे में सोचने का एक शक्तिशाली नया तरीका है।
संक्षेप में, पेपर हमें बताता है कि कभी-कभी, तेज़ी से सीखने के लिए, आपको और ज़ोर लगाने की ज़रूरत नहीं होती। आपको बस चीज़ों को थोड़ा हिलाने और मॉडल को एक अलग रास्ता लेने देने की ज़रूरत होती।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।