Is Grokking Worthwhile? Functional Analysis and Transferability of Generalization Circuits in Transformers
यह शोध पत्र इस धारणा को चुनौती देता है कि "ग्रोकिंग" (grokking) तर्क करने की क्षमताओं में एक मौलिक बदलाव का प्रतिनिधित्व करता है, बल्कि यह प्रदर्शित करता है कि ग्रॉक्ड मॉडल केवल याद किए गए तथ्यों को मौजूदा निष्कर्ष पथों में एकीकृत करते हैं, बिना गैर-ग्रॉक्ड समकक्षों की तुलना में बेहतर स्थानांतरणीयता या संरचनात्मक तर्क की वास्तविक महारत हासिल किए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ा सवाल: क्या "ग्रोकिंग" (Grokking) का इंतज़ार करना सार्थक है?
कल्पना कीजिए कि आप एक रोबोट को दो चरणों वाली पहेली हल करना सिखा रहे हैं।
- चरण 1: "बराक की पत्नी कौन है?" (उत्तर: मिशेल)
- चरण 2: "मिशेल का जन्म कब हुआ था?" (उत्तर: 1964)
- लक्ष्य: "बराक की पत्नी का जन्म कब हुआ था?"
आमतौर पर, रोबोट (AI मॉडल) चरण 1 और चरण 2 को अलग-अलग करने में माहिर होते हैं, लेकिन वे अंतिम लक्ष्य में विफल हो जाते हैं। वे कड़ियों को जोड़ नहीं पाते। इसे "टू-हॉप रीजनिंग" (two-hop reasoning) का अभिशाप कहा जाता है।
हाल ही में, शोधकर्ताओं ने "ग्रोकिंग" नामक एक अजीब घटना का पता लगाया। यदि आप एक रोबोट को बहुत लंबे समय तक प्रशिक्षित करते हैं (उस समय भी, जब ऐसा लगता है कि उसने सब कुछ सीख लिया है), तो अचानक उसमें एक "क्लिक" होता है। वह अनुमान लगाना बंद कर देता है और इन पहेलियों को पूरी तरह से हल करने लगता है। ऐसा लगता है जैसे रोबोट ने अचानक एक नई सुपरपावर हासिल कर ली हो।
यह पेपर एक सरल प्रश्न पूछता है: क्या इस "क्लिक" के लिए इंतज़ार करना वास्तव में समय और पैसे के लायक है?
मुख्य निष्कर्ष ("अहा!" क्षण)
लेखकों ने यह देखने के लिए रोबोट के मस्तिष्क के भीतर गहराई से जांच की कि वह पहेलियों को कैसे हल कर रहा था। यहाँ उन्हें जो मिला वह है:
1. "पुल" पहले से ही वहाँ था
उपमा: कल्पना कीजिए कि एक निर्माण दल नदी के ऊपर एक पुल बना रहा है।
- पुराना दृष्टिकोण: हमें लगा कि निर्माण दल वर्षों के काम के बाद अचानक पुल बनाता है (वह "ग्रोकिंग" क्षण)।
- नया दृष्टिकोण: निर्माण दल ने वास्तव में बहुत पहले ही पुल का ढांचा बना लिया था। हालाँकि, परीक्षण करने के लिए उनके पास केवल कुछ ईंटें (डेटा) थीं। "ग्रोकिंग" चरण नया पुल बनाने के बारे में नहीं था; यह केवल इस बारे में था कि निर्माण दल धीरे-धीरे और अधिक ईंटों से खाली जगहों को भर रहा था जब तक कि पुल यातायात सहने के लिए पर्याप्त मजबूत नहीं हो गया।
पेपर क्या कहता है: "रीजनिंग पाथ" (तर्क पथ या पुल) लगभग तुरंत ही रोबोट के मस्तिष्क में मौजूद होता है। लंबा प्रशिक्षण काल केवल रोबोट को इतने विशिष्ट तथ्यों को याद करने में मदद करता है कि वह उस पथ का विश्वसनीय रूप से उपयोग कर सके। यदि आप शुरुआत से ही रोबोट को पर्याप्त अभ्यास डेटा देते हैं, तो वह पुल जल्दी बना लेता है और उतना ही अच्छा प्रदर्शन करता है जितना कि वह जिसने वर्षों तक "ग्रोक" होने का इंतज़ार किया।
2. "नकली" ग्रोकिंग अस्तित्व में है
उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है।
- असली ग्रोकिंग: छात्र गणित के सूत्र को समझता है और किसी भी नई समस्या को हल कर सकता है।
- नकली ग्रोकिंग: छात्र ने अभ्यास टेस्ट के विशिष्ट उत्तर रट लिए हैं। जब शिक्षक संख्याओं को थोड़ा बदल देते हैं, तो छात्र भ्रमित हो जाता है, भले ही उसने अभ्यास टेस्ट में पूर्ण अंक प्राप्त किए हों।
पेपर क्या कहता है: कभी-कभी, एक रोबोट ऐसा दिखता है जैसे उसने "ग्रोक" कर लिया है क्योंकि उसके टेस्ट स्कोर अचानक बढ़ जाते हैं। लेकिन यदि आप अंदर देखते हैं, तो उसने "पुल" (रीजनिंग सर्किट) नहीं बनाया। उसने केवल पैटर्न को रटा है। ये "नकली ग्रोक किए हुए" रोबोट विफल हो जाते हैं जब आप उन्हें नए, थोड़े अलग तथ्य देते हैं। वे स्मार्ट दिखते हैं, लेकिन वे वास्तव में तर्क नहीं कर सकते।
3. सुपरपावर का हस्तांतरण अच्छी तरह से नहीं होता
उपमा: कल्पना कीजिए कि एक शेफ जिसने एक बेहतरीन चॉकलेट केक बनाना सीख लिया है। आप उनसे उसी तर्क का उपयोग करके स्ट्रॉबेरी केक बनाने के लिए कहते हैं।
- अपेक्षा: उन्हें सामग्री बदलकर एक बेहतरीन स्ट्रॉबेरी केक बनाने में सक्षम होना चाहिए।
- वास्तविकता: शेफ चॉकलेट केक के लिए तो बहुत अच्छे हैं, लेकिन जब आप उन्हें एक नया फल देते हैं जिसका उन्होंने पहले कभी उपयोग नहीं किया है, तो वे संघर्ष करते हैं। उन्हें उस विशिष्ट फल को संभालने के लिए फिर से शुरुआत करनी पड़ती है।
पेपर क्या कहता है: भले ही एक रोबोट ने "ग्रोक" कर लिया हो और एक आदर्श रीजनिंग ब्रिज बना लिया हो, फिर भी वह स्वतः ही सभी तर्क का मास्टर नहीं बन जाता। यदि आप नए तथ्य (नई सामग्रियां) पेश करते हैं, तो रोबोट अक्सर अपने पुल का उपयोग करना भूल जाता है। उसे नए तथ्यों को जोड़ने के लिए फिर से लंबी प्रशिक्षण प्रक्रिया से गुजरना पड़ता है। उसने "सोचना" नहीं सीखा है; उसने केवल "इस विशिष्ट सेट की पहेलियों को हल करना" सीखा है।
निचोड़
क्या "ग्रोकिंग" के लिए इंतज़ार करना सार्थक है?
- यदि आपके पास बहुत कम डेटा है: हाँ, आपको इंतज़ार करना पड़ सकता है। रोबोट को इतने कम उदाहरणों के साथ पुल का उपयोग कैसे किया जाए, यह समझने के लिए उस अतिरिक्त समय की आवश्यकता होती है।
- यदि आपके पास प्रचुर मात्रा में डेटा है: नहीं, यह समय की बर्बादी है। यदि आप शुरुआत से ही रोबोट को पर्याप्त अभ्यास उदाहरण देते हैं, तो वह तर्क पथ (ब्रिज) जल्दी बना लेगा और उतना ही अच्छा प्रदर्शन करेगा जितना कि वह जिसने "क्लिक" के लिए वर्षों तक इंतज़ार किया।
मुख्य बात: ग्रोकिंग का "जादुई क्षण" सोचने के एक नए तरीके की अचानक खोज नहीं है। यह केवल रोबोट द्वारा पर्याप्त तथ्यों को याद करने की धीमी प्रक्रिया है ताकि वह उस तर्क पथ का उपयोग कर सके जो पहले से ही वहां मौजूद था। और उस जादुई क्षण के बाद भी, रोबोट पूरी तरह से नई स्थितियों में अपने तर्क को लागू करने में संघर्ष करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।