Arithmetic in the Wild: Llama uses Base-10 Addition to Reason About Cyclic Concepts
यह शोध पत्र प्रकट करता है कि Llama-3.1-8B चक्रीय अवधारणाओं (cyclic concepts) के बारे में तर्क उस अवधारणा की अवधि (period) के लिए विशिष्ट मॉड्यूलर अंकगणित को निष्पादित करके नहीं, बल्कि चक्रीय डोमेन में वापस मैप करने से पहले योगों की गणना करने के लिए फूरियर फीचर्स (Fourier features) और साझा MLP न्यूरॉन्स के एक विरल सेट द्वारा संचालित एक कार्य-अज्ञेय (task-agnostic) बेस-10 जोड़ तंत्र का पुन: उपयोग करके करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Arithmetic in the Wild" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके किया गया स्पष्टीकरण दिया गया है।
बड़ा सवाल: AI समय के बारे में कैसे "सोचता" है?
कल्पना कीजिए कि आपने एक बुद्धिमान AI से पूछा, "अगस्त के छह महीने बाद कौन सा महीना होगा?"
आप उम्मीद कर सकते हैं कि AI के पास एक विशेष "कैलेंडर मस्तिष्क" होगा जो 12 महीनों के एक घेरे की कल्पना करता है और बस पॉइंटर को छह कदम आगे घुमा देता है। इंसान अक्सर इसके बारे में इसी तरह सोचते हैं।
हालाँकि, शोधकर्ताओं ने पाया कि Llama-3.1-8B (एक विशिष्ट AI मॉडल) ऐसा नहीं करता है। इसके बजाय, यह एक "यूनिवर्सल कैलकुलेटर" का उपयोग करता है जो Base-10 (हमारी सामान्य संख्या प्रणाली) में बोलता है, भले ही प्रश्न महीनों, दिनों या घंटों के बारे में हो।
उपमा: द यूनिवर्सल ट्रांसलेटर (सार्वभौमिक अनुवादक)
AI को एक ऐसे अनुवादक के रूप में सोचें जो गणित में बहुत अच्छा है लेकिन भूगोल में बहुत खराब है।
- इनपुट (प्रश्न): आप पूछते हैं, "अगस्त के छह महीने बाद कौन सा महीना होगा?"
- AI का पहला कदम: यह इस तथ्य को अनदेखा कर देता है कि "अगस्त" एक महीना है। यह "अगस्त" को संख्या 8 में और "छह" को 6 में अनुवादित करता है।
- गणना (गणित): यह मानक जोड़ (addition) करता है: 6 + 8 = 14।
- यह "मॉड्यूलर अंकगणित" (जो कि 14 - 12 = 2 होता) नहीं करता है। यह केवल कच्चा योग (raw sum) प्राप्त करता है, जो कि 14 है।
- आउटपुट (उत्तर): यह संख्या 14 को लेता है और इसे वापस "महीने की भाषा" में अनुवादित करता है। चूंकि 14, 12 (वर्ष के अंत) से दो स्थान आगे है, इसलिए यह फरवरी कहता है।
आश्चर्य: AI "6 + 8 = ?" को हल करने के लिए उन्हीं "मैथ न्यूरॉन्स" का उपयोग करता है जिनका उपयोग वह "6 महीने बाद अगस्त" को हल करने के लिए करता है। इसके पास कोई अलग "महीना कैलकुलेटर" नहीं है; इसके पास बस एक विशाल "नंबर कैलकुलेटर" है जिसे यह हर चीज़ के लिए पुन: उपयोग करता है।
गुप्त सूत्र: "फूरियर" (Fourier) लय
AI इन संख्याओं का हिसाब कैसे रखता है? पेपर बताता है कि यह फूरियर फीचर्स (Fourier features) नामक चीज़ का उपयोग करता है।
उपमा: ड्रम सर्कल (ढोल का घेरा)
कल्पना कीजिए कि AI का आंतरिक मस्तिष्क ड्रमों से भरा एक कमरा है।
- कुछ ड्रम हर 2 सेकंड में बजते हैं।
- कुछ ड्रम हर 5 सेकंड में बजते हैं।
- कुछ ड्रम हर 10 सेकंड में बजते हैं।
- कुछ ड्रम हर 100 सेकंड में बजते हैं।
जब AI संख्याओं को जोड़ता है, तो वह केवल "1, 2, 3" नहीं गिनता। इसके बजाय, वह इन ड्रमों की लय (rhythm) को सुनता है।
- यदि योग 14 है, तो "10-सेकंड वाला ड्रम" एक बार बजा है, और "2-सेकंड वाला ड्रम" दो बार बजा है।
- AI इन लयों को जोड़कर यह जानता है कि वह 14 तक पहुँच गया है।
यह अजीब क्यों है?
यदि AI महीनों (12 का चक्र) के बारे में सोच रहा होता, तो आप उम्मीद करते कि वह "12-सेकंड वाले ड्रम" का उपयोग करेगा। लेकिन वह ऐसा नहीं करता। वह 10-सेकंड वाले ड्रम (और 2, 5, 20, 50, 100) पर टिका रहता है। वह महीनों को एक वृत्त (circle) की तरह नहीं, बल्कि एक सीधी रेखा पर संख्याओं की तरह मानता है, जब तक कि आखिरी सेकंड न आ जाए।
"जादुई 28" न्यूरॉन्स
शोधकर्ताओं ने AI के कोड की गहराई से जांच की (विशेष रूप से लेयर 18 में) और पाया कि एक छोटी, विशेष टीम इस गणित के लिए जिम्मेदार है।
- टीम: उस लेयर के हजारों में से केवल 28 न्यूरॉन्स (छोटे प्रोसेसिंग यूनिट) हैं।
- काम: ये 28 न्यूरॉन्स "एडिशन क्रू" (जोड़ने वाली टीम) हैं। ये वही हैं जो ड्रम की लय को सुन रहे हैं और संख्याओं को जोड़ रहे हैं।
- दक्षता (Efficiency): यह छोटी सी टीम (लेयर का लगभग 0.2%) जोड़ (addition) के लिए लगभग सारा भारी काम करती है, चाहे आप समय, दिनों या वास्तविक संख्याओं के बारे में पूछ रहे हों।
- विशेषज्ञता: ये 28 न्यूरॉन उनके "ड्रम रिदम" द्वारा समूहीकृत हैं। कुछ "पीरियड 2" टीम हैं (यह जाँचने के लिए कि संख्या सम है या विषम), कुछ "पीरियड 5" टीम हैं, और कुछ "पीरियड 10" टीम हैं। वे अंतिम योग बनाने के लिए मिलकर काम करते हैं।
"इको" (Echo) प्रभाव
पेपर में एक अजीब विशेषता भी देखी गई। जब AI "अगस्त के छह महीने बाद" (जो कि 14 है) की गणना करता है, तो वह कभी-कभी भ्रमित हो जाता है कि संख्या कितनी बड़ी है।
- वह जानता है कि उत्तर 14 है।
- लेकिन क्योंकि वह Base-10 में सोचने का इतना आदी है, इसलिए वह कभी-कभी यह भी सोचता है कि उत्तर 114 (14 + 100) भी हो सकता है।
- यह एक ऐसे व्यक्ति की तरह है जो जानता है कि समय 2:00 बजे हैं, लेकिन एक पल के लिए, वह यह भी सोचता है कि शायद 102:00 बजे हैं। AI अंततः सही विकल्प (फरवरी) चुन लेता है, लेकिन बड़ी संख्या का "इको" (गूँज) वहीं बना रहता है।
निष्कर्ष (Summary of Findings)
- कोई विशेष "कैलेंडर" मस्तिष्क नहीं: AI अगले महीने को खोजने के लिए वृत्त नहीं घुमाता है। यह सब कुछ संख्याओं में बदलता है, उन्हें जोड़ता है, और फिर वापस बदल देता है।
- Base-10 ही राजा है: 12 महीनों या 7 दिनों जैसे चक्रों के लिए भी, AI एक Base-10 प्रणाली (2, 5, 10 आदि के पीरियड) का उपयोग करता है।
- साझा मशीनरी: वही 28 छोटे न्यूरॉन हर चीज़ के लिए गणित करते हैं। वे एक सार्वभौमिक जोड़ इंजन (universal addition engine) हैं।
- ज्यामिति बनाम गणना (Geometry vs. Computation): भले ही AI महीनों को एक वृत्त (जैसे घड़ी का चेहरा) के रूप में प्रतिनिधित्व (represent) करता है, इसका मतलब यह नहीं है कि वह वृत्त का उपयोग करके गणना (calculate) करता है। वह संख्याओं की एक सीधी रेखा के रूप में गणना करता है और बिल्कुल आखिरी क्षण में वृत्त बनाता है।
संक्षेप में: AI एक प्रतिभाशाली अकाउंटेंट है जो हर चीज़ के लिए एक मानक कैलकुलेटर का उपयोग करता है, भले ही आप उससे एक ऐसे पहेली को हल करने के लिए कहें जो घड़ी की तरह दिखती हो। वह घड़ी को "घुमाता" नहीं है; वह बस गणित करता है और बताता है कि सुई को कहाँ होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।