Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers
यह शोध पत्र प्रदर्शित करता है कि Muon-प्रशिक्षित ट्रांसफॉर्मर एक "पोस्ट-ग्रोकिंग कोलैप्स" (post-grokking collapse) प्रदर्शित करते हैं जहाँ रिप्रजेंटेशन-रीडआउट इंटरफेस पर अस्थिरता के कारण मॉड्यूलर अंकगणित सीखने के बाद सामान्यीकरण विफल हो जाता है, जो कि एक ऐसी घटना है जिसे डाइवर्जेंट ऑप्टिमाइज़र डायनेमिक्स और मास्किंग प्रभावों द्वारा अभिलक्षित किया जाता है जिसे विशिष्ट मॉडल घटकों को फ्रीज करके या टास्क-अलाइन्ड सर्किट को रीस्केल करके हल किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक बहुत ही विशिष्ट गणितीय पहेली हल करना सिखा रहे हैं: दो संख्याओं को जोड़ना और एक बड़ी अभाज्य संख्या (prime number) से भाग देने पर शेषफल ज्ञात करना। शुरू में, रोबोट केवल उत्तरों को रटता हुआ प्रतीत होता है, जैसे कोई छात्र फ्लैशकार्ड्स को रट रहा हो। लेकिन फिर, कुछ जादुई होता है जिसे "ग्रोकिंग" (grokking) कहा जाता है। अचानक, बिना किसी प्रगति के एक लंबे समय के बाद, रोबोट रटना बंद कर देता है और वास्तव में पैटर्न को समझ जाता है। वह उन संख्याओं को भी पूरी तरह से हल कर सकता है जिन्हें उसने पहले कभी नहीं देखा है। यह वैज्ञानिकों के लिए एक बड़ी बात है क्योंकि यह उन्हें यह समझने में मदद करता है कि कृत्रिम बुद्धिमत्ता (AI) कैसे रटने के बजाय सोचना सीखती है।
हालाँकि, इसमें एक पेंच है। कभी-कभी, जब रोबोट समाधान खोज लेता है, तो वह इसे फिर से भूलने लगता है, भले ही उसे अभी भी उसी पहेली पर प्रशिक्षित किया जा रहा हो। यह एक ऐसे छात्र की तरह है जिसने अंततः बीजगणित (algebra) समझ लिया है, लेकिन फिर वह उन्हीं समस्याओं पर वही गलतियाँ करने लगता है जिन्हें उसने पहले हल किया था। वैज्ञानिक रोबोट के "मस्तिष्क" के अंदर झाँकने के लिए विशेष उपकरणों का उपयोग करते हैं ताकि देख सकें कि क्या हो रहा है। वे गणित को हल करने के लिए रोबोट द्वारा उपयोग किए जाने वाले विशिष्ट पैटर्न (जैसे एक गीत में संगीत के सुर) को देखते हैं ताकि यह देख सकें कि क्या रोबोट अभी भी सही सुरों का उपयोग कर रहा है। बड़ा सवाल यह है कि रोबोट क्यों भूल जाता है? क्या ऐसा इसलिए है क्योंकि उसने सुरों को सीखना बंद कर दिया है, या कुछ और हो रहा है?
लुप्त होते जीनियस का रहस्य
इस अध्ययन में, शोधकर्ताओं ने एक विशेष प्रकार के AI रोबोट, जिसे 'ट्रांसफॉर्मर' (Transformer) कहा जाता है, को मॉड्यूलर जोड़ (modular addition) की पहेलियाँ हल करने के लिए प्रशिक्षित किया। उन्होंने रोबोट को सिखाने के लिए दो अलग-अलग "शिक्षकों" (ऑप्टिमाइज़र) का उपयोग किया। एक शिक्षक, जिसका नाम AdamW है, एक मानक, भरोसेमंद प्रशिक्षक है। दूसरा, Muon, एक नया और तेज़ शिक्षक है जो रोबोट को पहेली को बहुत तेज़ी से समझने में मदद करता है।
शोधकर्ताओं ने पाया कि Muon वास्तव में गति का सौदागर है। यह रोबोट को AdamW की तुलना में लगभग आधे समय में उस "अहा!" वाले क्षण (grokking) तक पहुँचने में मदद करता है। लेकिन यहाँ एक मोड़ है: Muon द्वारा खोजे गए समाधान अविश्वसनीय रूप से नाजुक होते हैं। एक बार जब रोबोट पहेली को हल कर लेता है, तो वह अक्सर फिर से विफल होने लगता है, और 100% सटीकता से गिरकर शून्य के करीब पहुँच जाता है, और फिर से उबर जाता है। यह बार-बार होता है, भले ही रोबोट को अभी भी उसी समस्या पर प्रशिक्षित किया जा रहा हो। AdamW भी पूरी तरह सुरक्षित नहीं है, लेकिन यह बहुत कम बार और बहुत कम तीव्रता से विफल होता है।
टूटा हुआ हाथ मिलाना (The Broken Handshake)
तो, क्या गलत हो रहा है? शोधकर्ताओं ने पाया कि समस्या यह नहीं है कि रोबोट गणित भूल गया है। रोबोट अपने "मस्तिष्क" के भीतर समाधान को पूरी तरह से जानता है। समस्या रोबोट के दो हिस्सों के बीच एक टूटा हुआ हाथ मिलाना (broken handshake) है: वह हिस्सा जो सोचता है (रिप्रेजेंटेशन/representation) और वह हिस्सा जो उत्तर देता है (रीडआउट/readout)।
कल्पना कीजिए कि रोबोट का मस्तिष्क किताबों से भरी एक लाइब्रेरी (विचारों का संग्रह) है, और रोबोट का मुँह वह लाइब्रेरियन है जो उन किताबों को ज़ोर से पढ़ता है (उत्तर)।
- लाइब्रेरी (हिडन लेयर्स) हर सेकंड किताबों में नए नोट्स लिख रही है।
- लाइब्रेरियन (आउटपुट हेड) उन किताबों को पढ़ने की कोशिश कर रहा है ताकि उत्तर दिया जा सके।
Muon शिक्षक के साथ, लाइब्रेरी हर बार अपडेट होने पर किताबों को एक थोड़ी अलग भाषा में फिर से लिखती है, लेकिन लाइब्रेरियन अभी भी उन्हें पुरानी भाषा में पढ़ने की कोशिश करता है। शुरू में, वे एक-दूसरे को समझ लेते हैं। लेकिन क्योंकि लाइब्रेरी लाइब्रेरियन के अनुकूल होने की तुलना में अधिक तेज़ी से अपनी भाषा बदल रही है, वे अंततः एक-दूसरे को समझना बंद कर देते हैं। लाइब्रेरी अभी भी सही गणित लिख रही है, लेकिन लाइब्रेरियन गलत शब्दों को पढ़ रहा है।
शोधकर्ताओं ने एक पक्ष को फ्रीज़ (रोकने) करके इसे सिद्ध किया। जब उन्होंने लाइब्रेरी को अपनी भाषा बदलने से रोका, तो रोबोट एकदम सटीक रहा। जब उन्होंने लाइब्रेरियन को अपनी पढ़ने की शैली बदलने से रोका, तो भी रोबोट एकदम सटीक रहा। लेकिन जब दोनों को स्वतंत्र रूप से चलने की अनुमति दी गई, तो वे एक-दूसरे से अलग हो गए, और रोबोट विफल होने लगा।
मशीन में भूत (The Ghost in the Machine)
यहाँ सबसे भ्रमित करने वाला हिस्सा है: भले ही रोबol विफल हो रहा हो, "लाइब्रेरी" में अभी भी सही समाधान मौजूद है। शोधकर्ताओं ने एक विशेष फ़िल्टर का उपयोग किया जिससे वे केवल उस हिस्से को देख सकें जो गणित जानता है। जब उन्होंने ऐसा किया, तो समाधान अभी भी 100% सही था!
पता चला कि रोबोट सर्किट मास्किंग (circuit masking) से पीड़ित है। कल्पना कीजिए कि लाइब्रेरी सही उत्तर चिल्ला रही है, लेकिन रोबोट का बाकी हिस्सा ठीक उसी वॉल्यूम (आवाज़) में गलत उत्तर चिल्ला रहा है। लाइब्रेरियन को एक शोर भरा मिश्रण सुनाई देता है और वह गलत उत्तर देता है। सही उत्तर वहीं है, लेकिन वह शोर में दब गया है।
शोधकर्ताओं ने दिखाया कि यदि आप बिना कुछ बदले केवल सही हिस्से (गणित परिवार) की आवाज़ बढ़ा दें, तो रोबोट तुरंत वापस 100% सटीक हो जाता है। गणित गायब नहीं हुआ था; यह बस शोर में खो गया था।
सामान्य उपकरण क्यों चूक गए
आमतौर पर, वैज्ञानिक यह जाँचने के लिए कि क्या रोबोट काम कर रहा है, उन "सुरों" (notes) को देखते हैं जिनका उपयोग वह समस्या को हल करने के लिए करता है। वे देखते हैं कि क्या सही सुर मौजूद हैं और क्या वे पर्याप्त तेज़ हैं। इस अध्ययन में, उन उपकरणों ने कहा कि रोबलेट ठीक है। सुर वहाँ थे, और वे पहले की तरह लगभग एक जैसे ही लग रहे थे।
लेकिन रोबोट विफल हो रहा था। ऐसा इसलिए था क्योंकि उपकरण केवल सुरों को देख रहे थे, न कि वॉल्यूम या उस भाषा को जिसका उपयोग लाइब्रेरियन कर रहा था। सुर एकदम सही थे, लेकिन लाइब्रेरियन उन्हें सही ढंग से सुन नहीं पा रहा था। यह एक रेडियो चेक करने जैसा है जहाँ आप देखते हैं कि स्टेशन स्पष्ट रूप से प्रसारित कर रहा है, लेकिन यह नहीं देख पाते कि रेडियो गलत फ्रीक्वेंसी पर ट्यून किया गया है।
गहरा विश्लेषण (The Deep Dive)
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है जब वे रोबोट को "गहरा" (सोचने के अधिक लेयर्स जोड़ना) बनाते हैं। उन्होंने पाया कि Muon सीखने में और भी तेज़ हो जाता है, लेकिन "टूटे हुए हाथ मिलाने" की समस्या और भी खराब हो जाती है। गहरे मॉडलों में, रोबोट का मस्तिष्क एक अनुभाग में गणित लिखता है, लेकिन उत्तर पढ़ने वाला हिस्सा दूसरे अनुभाग में होता है, और वे और भी तेज़ी से अलग हो जाते हैं।
उन्होंने Muon शिक्षक को ठीक करने के लिए इसके विशेष "नॉर्मलाइजेशन" (normalization) ट्रिक (अपडेट को स्थिर रखने का एक तरीका) को हटाने का भी प्रयास किया। इस ट्रिक के बिना, रोबोट ने गणित को बहुत संकीर्ण और केंद्रित तरीके से सीखा, लेकिन अंततः यह पूरी तरह से क्रैश हो गया और इससे उबर नहीं सका। यह सुझाव देता है कि जबकि विशेष ट्रिक रोबोट को तेज़ी से सीखने और अपने ज्ञान को फैलाने में मदद करती है, यह उसे इस प्रकार की ड्रिफ्टिंग विफलता (drifting failure) के प्रति अधिक संवेदनशील भी बनाती है।
मुख्य निष्कर्ष (The Takeaway)
इस पेपर का मुख्य सबक यह है कि तेज़ी से सीखना खतरनाक हो सकता है यदि रोबोट के हिस्से आपस में तालमेल (synchronized) में न हों। रोबोट ने गणित नहीं भुलाया; उसने बस उस कनेक्शन को खो दिया जो गणित जानने वाले हिस्से और उसे बोलने वाले हिस्से के बीच था।
शोधकर्ताओं ने पाया कि यदि वे समाधान सीखने के बाद "बोलने" वाले हिस्से (आउटपुट और एम्बेडिंग्स) को फ्रीज़ कर देते हैं, तो रोबोट स्थिर रहता है और कभी नहीं भूलता। यह सुझाव देता है कि अस्थिरता इसलिए नहीं है कि रोबोट गणित में बुरा है, बल्कि इसलिए है क्योंकि दोनों हिस्से अलग-अलग गति से चल रहे हैं और अपनी साझा भाषा खो रहे हैं।
संक्षेप में, रोबोट एक जीनियस है जो अचानक हकलाने लगता है क्योंकि उसका मस्तिष्क और उसका मुँह अलग-अलग बोलियाँ बोल रहे हैं। गणित उसके अंदर अभी भी एकदम सही है, लेकिन बिना इन बोलियों को संरेखित (align) करने के तरीके के, वह जीनियस अपने कौशल का प्रदर्शन नहीं कर सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।