Are Arithmetic Heuristic Neurons Form-Invariant? A Mechanistic Analysis of Symbols, Text, and Code in LLMs
यह शोध पत्र यह प्रदर्शित करता है कि LLMs में अंकगणितीय गणना प्रतीकात्मक (symbolic), प्राकृतिक भाषा और कोड प्रारूपों के बीच "अनुमानित न्यूरॉन्स" (heuristic neurons) के एक साझा, रूप-अपरिवर्तनीय सेट पर निर्भर करती है, जो यह प्रकट करता है कि विभिन्न प्रारूपों में विफलताएं अलग-अलग आंतरिक सर्किटों के बजाय सक्रियण अवस्थाओं (activation states) से उत्पन्न होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को गणित करना सिखाने की कोशिश कर रहे हैं। आप सोच सकते हैं कि यदि रोबोट "4 + 5 = 9" जैसे सरल समीकरण का उपयोग करके संख्या जोड़ना सीख जाता है, तो वह उसी समस्या को हल करना अपने आप जान जाएगा यदि आप उसे एक कहानी सुनाएं ("टॉम के पास 4 सेब हैं, एलिस उसे 5 देती है...") या उससे इसे करने के लिए एक कंप्यूटर प्रोग्राम लिखने को कहें। लेकिन यहाँ एक मोड़ है: ये रोबोट, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, आश्चर्यजनक रूप से चंचल होते हैं। वे कहानी में उत्तर सही दे सकते हैं लेकिन जब आप उनसे कोड लिखने को कहें तो बुरी तरह विफल हो सकते हैं, भले ही गणित बिल्कुल वही हो। यह केवल एक गड़बड़ी नहीं है; यह एक रहस्य है कि ये मॉडल अपने डिजिटल दिमाग के भीतर कैसे "सोचते" हैं।
इसे समझने के लिए, हमें इसके अंदर झाँकने की आवश्यकता है। एक LLM को एक एकल विशाल मस्तिष्क के रूप में नहीं, बल्कि "न्यूरॉन्स" नामक छोटे श्रमिकों के एक विशाल शहर के रूप में सोचें। जब मॉडल किसी समस्या को हल करता है, तो भारी काम करने के लिए इन श्रमिकों के विशिष्ट समूह सक्रिय (लाइट अप) होते हैं। वैज्ञानिक इसे "मैकेनिस्टिक इंटरप्रिटेबिलिटी" कहते हैं—मूल रूप से, मशीन को रिवर्स-इंजीनियर करना ताकि देखा जा सके कि काम करने के लिए कौन से विशिष्ट गियर घूम रहे हैं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: जब रोबोट प्रतीकों के साथ गणित करने से शब्दों या कोड के साथ गणित करने में बदलता है, तो क्या वह एक पूरी नई टीम के श्रमिकों को काम पर लगाता है? या यह वही टीम है, जो बस इसलिए भ्रमित हो रही है क्योंकि निर्देश अलग दिख रहे हैं?
यह शोध पत्र इस रहस्य को एक जासूसी मामले की तरह सुलझाने के लिए तैयार किया गया है। शोधकर्ताओं ने एक ही गणितीय समस्या के तीन अलग-अलग संस्करण लिए—एक मानक समीकरण के रूप में लिखा गया, एक पायथन कंप्यूटर प्रोग्राम के रूप में, और एक प्राकृतिक भाषा की शब्द समस्या के रूप में—और तीन अलग-अलग Llama-3 मॉडलों में देखा कि कौन से न्यूरॉन्स सक्रिय हुए। उन्होंने पाया कि रोबोट विभिन्न प्रारूपों के लिए अलग-अलग टीमों का उपयोग नहीं कर रहा है। इसके बजाय, प्रति परत लगभग 50 से 100 न्यूरॉन्स का एक छोटा, सघन "कोर क्रू" (मुख्य दल) वास्तविक गणित करता है, चाहे आप सवाल कैसे भी पूछें।
यहाँ उनकी खोज का सबसे रोमांचक हिस्सा है: जब रोबोट एक प्रारूप (जैसे कोड) में समस्या को हल करने में विफल रहता है लेकिन दूसरे (जैसे शब्द समस्या) में सफल होता है, तो ऐसा इसलिए नहीं है क्योंकि उसके पास सही उपकरण नहीं हैं। बल्कि, यह केवल इसलिए है क्योंकि "कोर क्रू" को काम शुरू करने के लिए सही संकेत नहीं मिल रहा है। शोधकर्ताओं ने एक डिजिटल "ब्रेन ट्रांसप्लांट" करके इसे सिद्ध किया। उन्होंने सफल शब्द-समस्या वाले रन के सक्रियण संकेतों (activation signals) को लिया और उन्हें विफल कोड रन पर चिपका दिया। अचानक, फंसा हुआ रोबोट जोड़ और घटाव के लिए 97% से अधिक बार कोड की समस्या को सही ढंग से हल करने लगा!
यह सुझाव देता है कि रोबोट की विफलता ज्ञान की कमी या टूटे हुए सर्किट के कारण नहीं है; यह केवल इस बात का मामला है कि सही न्यूरॉन्स सही मूड में नहीं हैं। अध्ययन दिखाता है कि ये "अरिथमेटिक ह्यूरिस्टिक न्यूरॉन्स" "फॉर्म-इनवेरिएंट" (प्रारूप-अपरिवर्तनीय) हैं, जिसका अर्थ है कि चाहे गणित को प्रतीकों, कहानियों या कोड के रूप में प्रस्तुत किया जाए, वे समान विश्वसनीय कार्यकर्ता हैं। वे लगातार एक ही तरह की "रणनीतियों" के परिवारों से संबंधित होते हैं, जैसे यह जांचना कि क्या संख्याएँ एक निश्चित सीमा में हैं या विशिष्ट पैटर्न की तलाश करना। इसलिए, भले ही रोबोट एक ही सवाल पूछने के विभिन्न तरीकों से भ्रमित दिखाई दे, उसका आंतरिक गणित इंजन वास्तव में उल्लेखनीय रूप से सुसंगत और मजबूत है, जो काम पूरा करने के लिए केवल सही चिंगारी का इंतजार कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।