Mechanistic Interpretability of Discrete Logarithm Grokking: How Representation Determines the Internal Algorithm
यह शोध पत्र यह प्रदर्शित करता है कि डिस्क्रीट लॉगरिदम समस्या का इनपुट प्रतिनिधित्व मौलिक रूप से न्यूरल नेटवर्क द्वारा खोजी गई आंतरिक एल्गोरिदम को निर्धारित करता है, जो यह प्रकट करता है कि समस्या के वास्तविक गुणनखंडन के साथ बीजगणितीय संरेखण तीव्र सामान्यीकरण (ग्रोकिंग) के लिए एक पूर्व शर्त है और आवश्यक अंतःक्रिया-समृद्ध कम्प्यूटेशनल संरचनाएं प्रदर्शन में सुधार होने से बहुत पहले ही स्मृति निर्माण (मेमोराइजेशन) चरण के दौरान बन जाती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर विज्ञान के शांत कोनों में, शोधकर्ता यह समझने की कोशिश कर रहे हैं कि कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) वास्तव में कैसे सोचती है। वर्षों से, हम जानते हैं कि ये प्रणालियाँ जटिल पहेलियों को हल करना सीख सकती हैं, लेकिन यह प्रक्रिया अक्सर जादू जैसी लगती है: एक मॉडल लंबे समय तक बार-बार विफल हो सकता है, अचानक उत्तरों को याद कर सकता है, और फिर, एक अजीब से ठहराव के बाद, उन नई समस्याओं को हल करना शुरू कर देता है जिन्हें उसने पहले कभी नहीं देखा। यह घटना, जहाँ एक मशीन डेटा को केवल याद करने के बहुत बाद में किसी अवधारणा को "ग्रोक" (grok) करती हुई प्रतीत होती है, एक केंद्रीय रहस्य बन गई है। इस कोड को सुलझाने के लिए, वैज्ञानिक अक्सर गणितीय समस्याओं का उपयोग करते हैं जिनमें एक स्पष्ट, छिपी हुई संरचना होती है, बिल्कुल एक विशिष्ट चाबी वाले ताले की तरह। ऐसी ही एक समस्या 'डिस्क्रीट लॉगरिदम' (discrete logarithm) है, जो एक कंप्यूटर को एक गुणा प्रक्रिया को उलटने और एक छिपे हुए नंबर को खोजने के लिए कहती है। हालांकि यह अमूर्त लग सकता है, लेकिन यह उस प्रकार की तार्किक पहेली है जो न्यूरल नेटवर्क की आंतरिक कार्यप्रणाली को प्रकट करती है। इस विशिष्ट पहेली को हल करना सीखने के तरीके को देखकर, शोधकर्ता देख सकते हैं कि मशीन वास्तव में कौन सी आंतरिक रणनीतियाँ बनाती है और क्या जिस तरह से हम उसे समस्या दिखाते हैं, उससे उसके द्वारा खोजे गए समाधान में बदलाव आता है।
डेविड वेस्टरलुंड का एक नया अध्ययन इस जांच को एक कदम आगे ले जाता है और एक सरल लेकिन गहन प्रश्न पूछता है: क्या जिस तरह से हम कंप्यूटर को जानकारी प्रस्तुत करते हैं, वह उसके सोचने के तरीके को बदल देता है? यह जानने के लिए, शोधकर्ता ने आर्टिफिशियल इंटेलिजेंस मॉडलों को डेटा दिखाने के दो बहुत अलग तरीकों का उपयोग करके डिस्क्रीट लॉगरिदम समस्या को हल करने के लिए प्रशिक्षित किया। पहले तरीके में, मॉडल को कच्चे नंबर दिए गए, ठीक वैसे ही जैसे एक इंसान उन्हें एक पन्ने पर देख सकता है, बिना किसी विशेष संकेत के कि उनके पीछे की संरचना क्या है। दूसरे तरीके में, शोधकर्ता ने समस्या को मॉडल को दिखाने से पहले उसके प्राकृतिक गणितीय हिस्सों में तोड़ दिया, प्रभावी रूप से कंप्यूटर को एक पूर्व-वर्गीकृत टूलकिट थमा दी। परिणामों ने खुलासा किया कि इन दो दृष्टिकोणों ने मॉडलों को पूरी तरह से अलग आंतरिक एल्गोरिदम खोजने के लिए प्रेरित किया। कच्चे डेटा पर प्रशिक्षित मॉडल ने कनेक्शनों का एक जटिल, उलझा हुआ जाल विकसित किया जहाँ समस्या के विभिन्न हिस्से गहराई से एक-दूसरे में गुंथे हुए थे। इसके विपरीत, पूर्व-वर्गीकृत, संरचित डेटा दिए गए मॉडल ने एक स्वच्छ, अलग संगठन विकसित किया जहाँ समस्या के विभिन्न हिस्सों को स्वतंत्र रूप से संभाला गया था।
शायद सबसे आश्चर्यजनक खोज सीखने का समय था। शोधकर्ताओं ने पाया कि कच्चे-डेटा वाले मॉडल में जटिल, उलझी हुई संरचना वास्तव में सही उत्तर देना शुरू करने से बहुत पहले बनने लगी थी। हजारों चरणों तक, मॉडल के आंतरिक कनेक्शन इस जटिल पैटर्न में खुद को पुनर्गठित कर रहे थे जबकि उसके परीक्षण स्कोर निम्न स्तर पर अटके हुए थे। यह बहुत बाद में हुआ, जब यह आंतरिक संरचना पूरी तरह से बन गई थी, तभी मॉडल अचानक "क्लिक" हुआ और समस्या को सही ढंग से हल करने लगा। यह सुझाव देता है कि मशीन ने अपनी समझ प्रदर्शित करने से बहुत पहले ही समझने के लिए आवश्यक मशीनरी बना ली थी। अध्ययन ने यह भी दिखाया कि यह आंतरिक वास्तुकला केवल एक दुष्प्रभाव नहीं है बल्कि कार्य के लिए आवश्यक भी है। जब शोधकर्ताओं ने मॉडल के आंतरिक गणित के विशिष्ट हिस्सों को सर्जिकल तरीके से हटाया, तो सिस्टम पूरी तरह से विफल हो गया, जिससे यह सिद्ध हुआ कि ये विशिष्ट पैटर्न ही समाधान चलाने वाले वास्तविक इंजन थे।
अध्ययन ने इन मॉडलों का परीक्षण करने के संबंध में पिछले शोध के एक गलतफहमी को भी सुधारा। एक सामान्य तकनीक में डेटा के लेबल को उलटना शामिल था ताकि यह देखा जा सके कि क्या मॉडल संख्याओं के विशिष्ट क्रम पर निर्भर करता है। नए विश्लेषण ने साबित किया कि यह उलटने वाली विधि वास्तव में एक छल थी; क्योंकि मॉडल अपने स्वयं के प्रतीकों का शब्दकोश सीखता है, इसलिए केवल नंबरों का नाम बदलने से वास्तव में देखी जा रही अंतर्निहित गणितीय संरचना नहीं बदली। मॉडल अभी भी उसी संरचित समस्या को हल कर रहा था, बस अलग नामों के साथ। यह निष्कर्ष महत्वपूर्ण था क्योंकि इसने एक अधिक ईमानदार परीक्षण का मार्ग प्रशस्त किया। शोधकर्ताओं ने फिर नए परीक्षणों का एक पदानुक्रम बनाया, जिनमें से कुछ ने गणितीय संरचना को बरकरार रखा और अन्य ने इसे जानबूझकर तोड़ दिया। उन्होंने पाया कि मॉडल केवल तभी तेजी से समस्या को हल कर सकते हैं जब इनपुट समस्या के वास्तविक गणितीय "विभाजन" (partition) को सुरक्षित रखता है। यदि इनपुट समीकरण के हिस्सों के बीच के संबंध को उलझा देता था, तो मॉडल प्रशिक्षण डेटा को पूरी तरह से याद कर लेता लेकिन कभी भी नई समस्याओं को हल करना नहीं सीख पाता, भले ही उसे बहुत लंबे समय तक प्रशिक्षित किया गया हो।
अंततः, यह कार्य सुझाव देता है कि इनपुट प्रतिनिधित्व न केवल सीखने की गति को तेज या धीमा करता है, बल्कि यह उस एल्गोरिदम को भी मौलिक रूप से निर्धारित करता है जिसे मशीन खोजती है। जब समस्या को उसके प्राकृतिक गणितीय विभाजनों के सम्मान में प्रस्तुत किया जाता है, तो मशीन समाधान के लिए एक सरल, कुशल मार्ग खोज लेती है। जब समस्या को एक कच्चे, असंरचित तरीके से प्रस्तुत किया जाता है, तो मशीन को अंतराल को पाटने के लिए एक बहुत अधिक जटिल आंतरिक दुनिया बनाने के लिए मजबूर होना पड़ता है, और इसे उस जटिलता का उपयोग करना सीखने में बहुत अधिक समय लगता है। अध्ययन इस बात की पुष्टि करता है कि इन कृत्रिम प्रणालियों के लिए, समझ का मार्ग दी गई जानकारी की संरचना द्वारा निर्मित होता है। यह केवल इस बारे में नहीं है कि वे कितना डेटा देखते हैं, बल्कि यह भी है कि उस डेटा को कैसे व्यवस्थित किया गया है। मशीन केवल उत्तर नहीं सीखती; वह सोचने का एक विशिष्ट तरीका सीखती है जो प्रश्न के आकार द्वारा निर्धारित होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।