Assign and Add: A Mechanistic Study of Compositional Arithmetic
यह शोध पत्र इस बात की जांच करता है कि कैसे छोटे ट्रांसफॉर्मर वेरिएबल असाइनमेंट और मॉड्यूलर एडिशन (modular addition) की एक नियंत्रित सेटिंग में कंपोजिशनल जनरलाइजेशन (compositional generalization) प्राप्त करते हैं, जो यह प्रकट करता है कि मॉडल प्रत्यक्ष और अप्रत्यक्ष दोनों इनपुट के लिए आंतरिक तंत्रों का पुन: उपयोग करते हैं और अनदेखे संयोजनों तक स्वाभाविक रूप से सामान्यीकरण करने के लिए विशिष्ट शिक्षण चरणों से गुजरते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन बहुत ही शाब्दिक (literal) रोबोट को गणित करना सिखा रहे हैं। आप चाहते हैं कि वह इस तरह की पहेली हल करे: "यदि 'A' 5 है और 'B' 10 है, तो A + B क्या है?"
पेचीदा बात यह है कि रोबोट ने पहले कभी 'A' और 'B' को ठीक इसी क्रम में नहीं देखा है, जबकि उसने संख्याओं को आपस में जुड़ते हुए (जैसे 5 + 10) या अन्य अक्षरों का अलग तरीकों से उपयोग होते हुए देखा है। बड़ा सवाल जो शोधकर्ताओं ने पूछा है वह यह है: रोबोट इन दो अलग-अलग कौशलों को जोड़ने के बारे में कैसे सीखता है—यह समझना कि एक अक्षर एक संख्या को दर्शाता है, और फिर वास्तव में गणित करना—ताकि वह एक बिल्कुल नई पहेली को हल कर सके जिसे उसने पहले कभी नहीं देखा?
यहाँ "Assign and Add" पेपर का सरल स्पष्टीकरण दिया गया है:
1. सेटअप: दो चरणों वाला नृत्य (A Two-Step Dance)
शोधकर्ताओं ने एक छोटा, सरल "मस्तिष्क" (एक न्यूरल नेटवर्क) बनाया और उसे एक विशिष्ट कार्य दिया। उन्होंने इसे ऐसे वाक्य दिए:
c=17, b=42, b+19=?
रोबोट को यह समझना था कि b वास्तव में 42 है, इसलिए गणित वास्तव में 42 + 19 है, और फिर उत्तर देना है।
यह देखने के लिए कि रोबोट ने कैसे सीखा, उन्होंने प्रशिक्षण को विभिन्न "फ्लेवर्स" (प्रकारों) की पहेलियों में विभाजित किया:
- आसान तरीका: केवल संख्याएँ (जैसे,
17 + 19 = ?)। - मध्यम तरीका: एक अक्षर और एक संख्या (जैसे,
b+19 = ?)। - कठिन तरीका: दो अक्षर (जैसे,
b+c = ?)।
2. सीखने के तीन चरण
रोबोट ने सब कुछ एक साथ नहीं सीखा। वह तीन अलग-अलग चरणों से गुजरा, जैसे एक छात्र विषय को चरण-दर-चरण सीखता है:
- चरण 1: गणित का उस्ताद (The Math Master)। सबसे पहले, रोबोट ने वास्तविक जोड़ करना सीखा। वह संख्याओं को जोड़ने में बहुत कुशल हो गया। इस स्तर पर, वह
17 + 19करने में बहुत अच्छा था लेकिन अक्षरों को देखकर पूरी तरह भ्रमित हो जाता था। यह एक कैलकुलेटर की तरह था जिसे वेरिएबल (variable) का अर्थ नहीं पता था। - चरण 2: अनुवादक (The Translator)। इसके बाद, रोबोट ने "असाइनमेंट" (assignment) कौशल सीखा। उसने यह समझना शुरू किया कि
c=17का मतलब क्या है और उसे याद रखना किcका अर्थ17है। उसने अक्षर को संख्या से बदलने का तरीका सीखा। - चरण 3: कंडक्टर (The Conductor)। अंत में, रोबोट ने इन दोनों कौशलों को एक साथ जोड़ना सीखा। उसे समझ आया, "ओह, मैं संख्याओं को खोजने के लिए अपने 'अनुवादक' कौशल का उपयोग कर सकता हूँ, और फिर जोड़ने के लिए अपने 'गणित के उस्ताद' कौशल का उपयोग कर सकता हूँ।"
आश्चर्य: रोबोट ने अनुवाद को पूरी तरह से समझने से पहले ही गणित सीख लिया था। वह अक्षरों को समझने में संघर्ष करते हुए भी जोड़ को पूरी तरह से कर सकता था!
3. रोबोट का "मस्तिष्क" कैसे काम करता है (तंत्र/Mechanism)
शोधकर्ताओं ने केवल अंतिम स्कोर को नहीं देखा; उन्होंने यह देखने के लिए रोबोट के "मस्तिष्क" के अंदर झाँका कि वह कैसे सोच रहा है। उन्होंने पाया कि दो विशिष्ट उपकरण मिलकर काम कर रहे थे:
- टूल A: "प्रीवियस टोकन" हेड (The Translator)।
कल्पना कीजिए कि एक रोबोटिक हाथ है जो वर्तमान आइटम से ठीक पहले वाली वस्तु को पकड़ने के लिए पीछे की ओर पहुँचता है। रोबोट के पहले लेयर में, उसने इस हाथ का उपयोग उस संख्या को पकड़ने के लिए किया जो एक अक्षर को सौंपी गई थी। यदि वहbदेखता है, तो वह पीछे की ओर देखता है कि वाक्य में पहलेbको कौन सी संख्या दी गई थी। - टूल B: "फूरियर" मैथ मॉड्यूल (The Calculator)।
दूसरे लेयर में, रोबोट जोड़ करने के लिए एक विशेष गणितीय ट्रिक (जिसमें तरंगें और पैटर्न शामिल हैं) का उपयोग करता है। यह मॉडुलर मैथ (modular math) करने का एक ज्ञात तरीका है (वह गणित जो घड़ी की तरह घूमता है)।
जादुई क्षण: रोबोट ने इन दोनों उपकरणों को जोड़ना सीख लिया। "अनुवादक" हाथ सही संख्याएँ पकड़ता है और उन्हें "कैलकुलेटर" मॉड्यूल को सौंप देता है। एक बार जुड़ जाने के बाद, रोबोट b + c को हल कर सकता है, भले ही उसने पहले कभी b और c को एक साथ जोड़ा न देखा हो। यह एक अनुवादक की तरह है जो "अक्षर" बोलता है और एक कैलकुलेटर की तरह है जो "संख्या" बोलता है, और अंत में उनके बीच एक पुल बनाना।
4. यह क्यों महत्वपूर्ण है
यह पेपर दिखाता है कि सामान्यीकरण (generalization) (नए समस्याओं को हल करना) कोई जादू नहीं है। यह तब स्वाभाविक रूप से होता है जब एक मॉडल छोटे, परमाणु कौशलों (जैसे संख्या जोड़ना और वेरिएबल्स खोजना) को सीखता है और फिर उन्हें एक साथ जोड़ने का तरीका खोज लेता है।
- "ग्रोकिंग" (Grokking) प्रभाव: शोधकर्ताओं ने एक घटना देखी जिसे "ग्रोकिंग" कहा जाता है। कभी-कभी रोबोट प्रशिक्षण डेटा को पूरी तरह से याद कर लेता है लेकिन नए परीक्षणों में विफल हो जाता है। फिर, अचानक, उसे "समझ" आ जाती है, और वह केवल उत्तरों को रटने के बजाय नियमों को समझने लगता है।
- परिणाम: क्योंकि रोबोट ने आंतरिक तंत्रों को अलग-अलग सीखा और फिर उन्हें एक साथ जोड़ा, वह उन पहेलियों को भी संभाल सका जिन्हें उसने प्रशिक्षण के दौरान उस स्थिति में नहीं देखा था जिसमें उन्हें रखा गया था।
सारांश उपमा (Summary Analogy)
एक शेफ (रसोइया) के रूप में रोबोट की कल्पना करें।
- पहले, वह सब्जियाँ काटना सीखता है (गणित)।
- फिर, वह एक रेसिपी कार्ड पढ़ना सीखता है जिसमें लिखा है "नीले कटोरे से प्याज लें" (वेरिएबल असाइनमेंट)।
- अंत में, वह इन्हें जोड़ना सीखता है: कार्ड पढ़ें, प्याज ढूँढें और फिर उसे काटें।
यह पेपर साबित करता है कि यदि आप एक शेफ को ये दोनों कौशल अलग-अलग सिखाते हैं, तो वे अंततः मिलकर वह व्यंजन बनाने का तरीका खोज लेंगे जिसे आपने उनसे पहले कभी बनाने के लिए नहीं कहा है। इन कौशलों का "संयोजन" (composition) ही रोबोट को स्मार्ट बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।