Grokking the Discrete Logarithm: Scaling Across Model Capacity and Mechanistic Analysis
यह शोधपत्र पहली बार व्यवस्थित रूप से यह प्रदर्शन करता है कि ट्रांसफॉर्मर्स पूर्ण परिवर्तनीय-आधारित (variable-base) डिस्क्रीट लॉगरिदम समस्या पर "ग्रोकिंग" (grokking)—यानी रटने (memorization) से एल्गोरिद्मिक सामान्यीकरण (algorithmic generalization) की ओर एक विलंबित संक्रमण—प्रदर्शित कर सकते हैं, जो यह प्रकट करता है कि यह परिघटना मॉडल क्षमता के साथ गैर-एकदिष्ट (non-monotonically) रूप से स्केल करती है और मल्टीप्लिकेटिव-कैरेक्टर (multiplicative-character) एवं फूरियर-अलाइन्ड (Fourier-aligned) निरूपणों के उद्भव द्वारा संचालित होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, शोधकर्ता लगातार यह समझने की कोशिश कर रहे हैं कि मशीनें कैसे सीखती हैं। एक विशेष रूप से पहेलीनुमा व्यवहार, जिसे "ग्रोकिंग" (grokking) कहा जाता है, ने हाल ही में उनका ध्यान खींचा है। एक ऐसे छात्र की कल्पना करें जिसने परीक्षा के लिए पाठ्यपुस्तक के हर एक उत्तर को रट लिया है। वे उत्तरों को पूरी तरह से सुना सकते हैं, फिर भी यदि उनसे थोड़ा अलग प्रश्न पूछा जाए, तो वे पूरी तरह विफल हो जाते हैं। ग्रोकिंग वह क्षण है, जो अक्सर उस समय होता है जब छात्र पहले से ही सामग्री को रट चुका होता है, जब वे अचानक केवल तथ्यों को रटना बंद कर देते हैं और वास्तव में अंतर्निहित नियमों को समझना शुरू कर देते हैं। रटने से वास्तविक सामान्यीकरण (generalization) की ओर यह बदलाव अचानक होता है, जो कभी-कभी अभ्यास के हजारों घंटों के बाद होता है, जिससे वैज्ञानिक यह सोचने पर मजबूर हो जाते हैं कि कैसे और क्यों मशीन का मस्तिष्क डेटा के पीछे के तर्क को खोजने के लिए खुद को अचानक पुनर्गठित करता है।
यह घटना सबसे पहले सरल गणितीय कार्यों में देखी गई थी, लेकिन डेविड वेस्टरलुंड का एक नया अध्ययन इसे बहुत अधिक कठिन क्षेत्र में ले जाता है। शोधकर्ता ने यह देखने के लिए प्रयास किया कि क्या एक कंप्यूटर मॉडल उस समस्या को 'ग्रॉक' कर सकता है जो मनुष्यों और मशीनों दोनों के लिए कुख्यात रूप से कठिन है: डिस्क्रीट लॉगरिदम (discrete logarithm)। सरल शब्दों में, यह एक रिवर्स-इंजीनियरिंग पहेली है। यदि आप एक शुरुआती संख्या और एक अंतिम संख्या जानते हैं, तो कार्य यह पता लगाना है कि अंतिम संख्या तक पहुँचने के लिए आपको शुरुआती संख्या को कितनी बार स्वयं से गुणा करना पड़ा था। जबकि आगे की गणना आसान है, पीछे की ओर काम करना अविश्वसनीय रूप से कठिन है, खासकर जब संख्याएँ बड़ी हों और नियम सख्त हों। यह विशिष्ट प्रकार की गणितीय समस्या आधुनिक डिजिटल सुरक्षा की नींव है, जो किसी भी सीखने वाली प्रणाली के लिए एक गंभीर परीक्षण है। वेस्टरलुंड यह देखना चाहते थे कि क्या एक न्यूरल नेटवर्क, जो मानव मस्तिष्क की नकल करने के लिए डिज़ाइन किया गया एक प्रकार का AI है, इस कोड को हर संभव उत्तर को रटने के बजाय, उन्हें जोड़ने वाले छिपे हुए गणितीय ढांचे की खोज करके अंततः क्रैक कर सकता है।
इसकी जांच करने के लिए, शोधकर्ता ने छोटे से लेकर बहुत बड़े तक, कंप्यूटर मॉडलों की एक श्रृंखला बनाई, और उन्हें इन रिवर्स-इंजीनियरिंग पहेलियों के एक विशाल डेटासेट से प्रशिक्षित किया। मॉडलों को एक विशिष्ट अभाज्य संख्या (prime number), 113 पर प्रशिक्षित किया गया था, जो खेल के नियमों को परिभाषित करती है। सबसे सफल मॉडल में लगभग 427,000 समायोज्य सेटिंग्स थीं, जो एक संख्या है जो उसके आंतरिक मस्तिष्क की जटिलता का प्रतिनिधित्व करती है। जब प्रशिक्षण शुरू हुआ, तो मॉडल बिल्कुल वैसा ही व्यवहार करने लगा जैसा एक मशीन लर्निंग सिस्टम से अपेक्षित होता है: इसने उन उत्तरों को जल्दी से रट लिया जिन्हें इसने पहले देखा था, और अभ्यास समस्याओं पर लगभग पूर्ण स्कोर प्राप्त किया। हालांकि, नई, अनदेखी पहेलियों पर परीक्षण किए जाने पर, इसका प्रदर्शन यादृच्छिक अनुमान (random guessing) से बेहतर नहीं था। एक लंबे समय तक, मॉडल रटने की इस अवस्था में फंसा हुआ प्रतीत हुआ, जो सामान्यीकरण करने में असमर्थ था।
फिर, हजारों अतिरिक्त प्रशिक्षण चरणों के बाद, कुछ नाटकीय हुआ। मॉडल अचानक नए पहेलियों को सही ढंग से हल करने लगा, और यादृच्छिक अनुमान से लगभग पूर्ण सटीकता की ओर बढ़ गया। यह ग्रोकिंग का क्षण था। देरी चौंकाने वाली थी; मॉडल को उत्तरों को केवल रटने की तुलना में वास्तविक समझ प्राप्त करने के लिए लगभग तीन सौ गुना अधिक प्रशिक्षण चरणों की आवश्यकता थी। यह देखने के लिए कि क्या यह एक इत्तेफाक था या इन प्रणालियों का एक मौलिक गुण, शोधकर्ता ने विभिन्न आकारों के बारह अलग-अलग मॉडलों का परीक्षण किया, जो 90,000 सेटिंग्स वाले छोटे मॉडलों से लेकर 14 मिलियन से अधिक सेटिंग्स वाले विशाल मॉडलों तक थे। परिणामों ने दिखाया कि ग्रोकिंग किसी विशिष्ट आकार तक सीमित नहीं है। यह मध्यम आकार के मॉडलों में और फिर सबसे बड़े मॉडलों में भी दिखाई दिया, बशर्ते उन्हें पर्याप्त अभ्यास डेटा दिया गया हो। दिलचस्प बात यह है कि एक मध्य श्रेणी थी जहाँ मॉडल सीखने में विफल रहा, जो यह सुझाव देता है कि मस्तिष्क के आकार और आवश्यक डेटा के बीच का संबंध जटिल है और एक साधारण सीधी रेखा नहीं है।
यह पता लगाने के लिए कि मॉडल के मन के भीतर इस परिवर्तन के दौरान क्या हो रहा था, शोधकर्ता ने मॉडल द्वारा निर्णय लेने के लिए उपयोग किए जाने वाले आंतरिक संकेतों को करीब से देखा। उन्होंने पाया कि जैसे-जैसे मॉडल रटने से समझ की ओर बढ़ता है, उसकी आंतरिक भाषा बदल जाती है। यह सरल, सतही पैटर्न पर निर्भर करना बंद कर देता है और अपने ज्ञान को एक विशिष्ट प्रकार की गणितीय लय के इर्द-गिर्द व्यवस्थित करना शुरू कर देता है, ठीक वैसे ही जैसे ध्वनि तरंगों को अलग-अलग आवृत्तियों में विभाजित किया जा सकता है। इन आंतरिक संकेतों का वर्णन करने के लिए सरल समीकरणों की खोज करने वाली एक तकनीक का उपयोग करके, शोधकर्ता ने पाया कि मॉडल ने स्वतः ही त्रिकोणमितीय पैटर्न (trigonometric patterns)—साइन (sine) और कोसाइन (cosine) की तरंगों—का उपयोग करके समाधान का प्रतिनिधित्व करने के लिए सीखा था। यह एक गहन खोज थी क्योंकि मॉडल को इन तरंगों का उपयोग करने के लिए स्पष्ट रूप से नहीं सिखाया गया था; इसने पहेली को हल करने के सबसे कुशल तरीके के रूप में उन्हें स्वयं खोजा था।
अध्ययन में यह सुनिश्चित करने के लिए कठोर जाँच भी शामिल थी कि मॉडल केवल उपयोग की गई संख्याओं के विशिष्ट शॉर्टकट नहीं खोज रहा है। शोधकर्ता ने समस्या के एक अलग संस्करण पर मॉडलों का परीक्षण किया जहाँ नियम थोड़े अधिक जटिल थे और संख्याएँ अभाज्य (prime) थीं, जिससे कोई आसान शॉर्टकट खत्म हो गया। मॉडल अभी भी ग्रो (grok) कर गए, जिससे सिद्ध हुआ कि उन्होंने एक सामान्य नियम सीखा है न कि कोई विशिष्ट ट्रिक। इसके अलावा, जब मॉडलों का परीक्षण उन जनरेटरों पर किया गया जिन्हें उन्होंने पहले कभी नहीं देखा था, तब भी वे सफल रहे, जिससे पता चला कि उन्होंने वास्तव में प्रणाली के अंतर्निहित तर्क को सीख लिया है। शोध का सुझाव है कि समझ में इस अचानक उछाल की कुंजी एक विशिष्ट प्रशिक्षण तकनीक थी जिसने मॉडल के आंतरिक कनेक्शनों को सरल बनाने के लिए दबाव धीरे-धीरे बढ़ाया, जिससे उसे रटे हुए विवरणों को त्यागने और केवल आवश्यक संरचना को रखने के लिए मजबूर किया गया।
यह कार्य यह स्थापित करता है कि डिस्क्रीट लॉगरिदम कृत्रिम बुद्धिमत्ता के सीखने के तरीके का अध्ययन करने के लिए एक शक्तिशाली नया उपकरण है। यह प्रदर्शित करता है कि कठिन, व्युत्क्रम समस्याओं (inverse problems) के लिए भी, जहाँ कोई सरल नियम मौजूद नहीं है, न्यूरल नेटवर्क अंततः रटने से गहरे संरचनात्मक समझ की ओर संक्रमण कर सकते हैं। निष्कर्ष पुष्टि करते हैं कि यह संक्रमण कोई जादुई घटना नहीं है बल्कि एक मापने योग्य प्रक्रिया है जिसमें आंतरिक प्रस्तुतियों का कुशल, तरंग-जैसे पैटर्न में पुनर्गठन शामिल है। यद्यपि यह अध्ययन अपेक्षाकृत छोटी संख्याओं पर किया गया था और यह वास्तविक दुनिया के एन्क्रिप्शन को तोड़ने की समस्या को हल नहीं करता है, फिर भी यह सीखने की यांत्रिकी में एक स्पष्ट खिड़की प्रदान करता है। यह दिखाता है कि पर्याप्त समय और सही परिस्थितियों के साथ, ये प्रणालियाँ अतीत को रटने से आगे बढ़कर भविष्य को नियंत्रित करने वाले नियमों को समझने की ओर बढ़ सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।