🤖 machine learning

Emergent Models: Intelligence from Tiny Substrates

यह शोध पत्र इमर्जेंट मॉडल्स (Emergent Models) को प्रस्तुत करता है, जो एक मशीन लर्निंग प्रतिमान है जहाँ सेलुलर ऑटोमेटा जैसे सरल, ओपन-एंडेड डायनेमिकल सबस्ट्रेट्स को उभरते हुए कम्प्यूटेशनल व्यवहारों के माध्यम से कार्यों को हल करने के लिए विकसित किया जाता है, जो यह प्रदर्शित करता है कि ऐसे न्यूनतम सिस्टम पारंपरिक डिफरेंशिएबल आर्किटेक्चर से परे लेटेंट यूनिवर्सलिटी और ग्लोबल जनरलाइजेशन प्राप्त कर सकते हैं।

मूल लेखक: Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

प्रकाशित 2026-08-17

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आर्टिफिशियल इंटेलिजेंस की दुनिया एक विशाल पुस्तकालय है। दशकों से, पुस्तकालयाध्यक्ष एक आदर्श बुकशेल्फ़ बनाने की कोशिश कर रहे हैं। उन्होंने लाखों किताबें (डेटा पॉइंट्स) शेल्फ (न्यूरल नेटवर्क) पर जमा की हैं और शेल्फ को यह अनुमान लगाना सिखाया है कि पिछली किताबों के आधार पर अगली किताब क्या होगी। यह तब बहुत अच्छा काम करता है जब आप उन किताबों के बारे में पूछते हैं जिन्हें आपने पहले देखा है, लेकिन यदि आप ऐसी कहानी के बारे में पूछते हैं जो अभी तक लिखी ही नहीं गई है, तो शेल्फ अक्सर केवल रैंडम अनुमान लगाता है या बकवास बातें बनाता है। ऐसा इसलिए है क्योंकि शेल्फ पैटर्न को याद रखने में तो बहुत अच्छा है, लेकिन उन नियमों को समझने में बुरा है जो वास्तव में उस कहानी को संचालित करते हैं।

एक अलग विचार में प्रवेश करें: क्या होगा अगर, एक विशाल बुकशेल्फ़ बनाने के बजाय, हम एक छोटा, स्व-चालित रोबोट बनाएँ जो इधर-उधर घूमकर समस्याओं को हल करना सीखता है? यह "इमर्जेंट मॉडल्स" (Emergent Models) की दुनिया है। इसे कंप्यूटर स्क्रीन पर खेले जाने वाले "लाइफ" (Life) के खेल की तरह समझें। आपके पास कोशिकाओं (cells) का एक ग्रिड है जो चालू या बंद हो सकता है। आप उन्हें एक सरल नियम देते हैं, जैसे "यदि दो पड़ोसी चालू हैं, तो चालू हो जाओ।" फिर, आप देखते हैं कि क्या होता है। कभी-कभी, उन सरल नियमों से अविश्वसनीय रूप से जटिल पैटर्न—जैसे स्पेसशिप या ग्लाइडर्स—उभरते हैं। वैज्ञानिक मुख्य सवाल यह पूछ रहे हैं कि: क्या हम इन छोटे, नियम-आधारित रोबोटों का उपयोग गणित और तर्क को हमारे विशाल बुकशेल्फ़ से बेहतर तरीके से सीखने के लिए कर सकते हैं? क्या केवल कुछ सौ "हिस्सों" वाला एक सिस्टम केक बनाने की गुप्त रेसिपी को समझ सकता है, बजाय इसके कि वह केवल सामग्री की एक सूची को याद रखे? यह शोध पत्र उसी प्रश्न की गहराई में जाता है, यह पता लगाता है कि क्या सरल, विकसित होने वाली प्रणालियाँ स्मार्ट, अधिक अनुकूलन योग्य AI की कुंजी हो सकती हैं।

वे सूक्ष्म आधार जो सोचते हैं (The Tiny Substrates That Think)

इस शोध पत्र के लेखक मशीन लर्निंग के बारे में सोचने का एक नया तरीका पेश करते हैं जिसे इमर्जेंट मॉडल्स (EMs) कहा जाता है। कल्पना कीजिए कि आपके पास एक खाली कैनवास (सबस्ट्रेट/आधार) है और एक अकेला, छोटा ब्रश है जो एक सरल नियम का पालन करता है, जैसे "एक कदम दाईं ओर बढ़ें और रंग बदलें।" पारंपरिक AI में, हम एक साथ लाखों ब्रशस्ट्रोक को समायोजित करके एक आदर्श चित्र बनाने की कोशिश करते हैं। इस नए दृष्टिकोण में, हम कैनवास और ब्रश सेट करते हैं, फिर उन्हें कुछ समय के लिए चलने देते हैं। हम ब्रश को यह नहीं बताते कि उसे क्या पेंट करना है; हम बस देखते हैं कि क्या कुछ समय तक चलने के बाद, जो उभरता हुआ पैटर्न बनता है, वह संयोग से किसी समस्या को हल करता है, जैसे दो संख्याओं को जोड़ना।

मूल विचार यह है कि बुद्धिमत्ता को शायद एक विशाल, जटिल मस्तिष्क की आवश्यकता नहीं है। इसके बजाय, यह एक सरल, दोहराव वाली प्रक्रिया से उभर सकती है, ठीक वैसे ही जैसे पक्षियों का एक झुंड बिना किसी आदेश के एक आदर्श फॉर्मेशन में चलता है। यहाँ "मस्तिष्क" केवल डेटा के ग्रिड पर बार-बार चलने वाला नियमों का एक छोटा सा सेट है।

"लेटेंट यूनिवर्सलिटी" का जादू (The Magic of "Latent Universality")

यह शोध पत्र एक आकर्षक अवधारणा प्रस्तावित करता है जिसे लेटेंट यूनिवर्सलिटी (Latent Universality) कहा जाता है। कल्पना कीजिए कि आपके पास एक यूनिवर्सल रिमोट कंट्रोल (प्रोग्राम) और एक टीवी (सबस्ट्रेट) है। अधिकांश AI में, आपको हर उस शो को देखने के लिए एक नया टीवी खरीदना पड़ता है जिसे आप देखना चाहते हैं। लेकिन लेटेंट यूनिवर्सलिटी में, टीवी स्थिर रहता है। आप केवल रिमोट कंट्रोल (ग्रिड की प्रारंभिक स्थिति) बदलते हैं। लेखक सुझाव देते हैं कि यदि आपके पास सही प्रकार का टीवी (एक विशिष्ट प्रकार का गणितीय ग्रिड) है, तो आप सैद्धांतिक रूप से केवल स्क्रीन पर शुरुआती पैटर्न को बदलकर इसे किसी भी गणना के लिए प्रोग्राम कर सकते हैं, बिना टीवी के आंतरिक वायरिंग को बदले।

वे गणितीय रूप से सिद्ध करते हैं कि यह सिद्धांत में संभव है। यदि आपके पास एक अनंत ग्रिड है और एक सरल नियम है, तो आप शुरुआती पैटर्न को इस तरह सेट कर सकते हैं कि वह एक कैलकुलेटर, एक शतरंज खिलाड़ी, या एक अनुवादक की तरह कार्य करे। "प्रोग्राम" केवल वह शुरुआती चित्र है जो आप ग्रिड पर बनाते हैं।

प्रयोग: क्रियाशील छोटे रोबोट (The Experiments: Tiny Robots in Action)

एक आदर्श, अनंत ग्रिड बनाना कठिन है, इसलिए शोधकर्ताओं ने इस विचार का परीक्षण "छोटे, सरल मॉडलों" के एक "चिड़ियाघर" के साथ किया। उन्होंने एक सुपर-इंटेलिजेंट AI बनाने की कोशिश नहीं की; वे केवल यह देखना चाहते थे कि क्या ये छोटे सिस्टम बुनियादी नियम सीख सकते हैं और फिर उन्हें बड़े, नए नंबरों पर लागू कर सकते हैं।

1. गणित के जादूगर (EM43)
उन्होंने कोशिकाओं की एक एक-आयामी पट्टी (जैसे डोमिनोज़ की एक लंबी रेखा) बनाई जिसमें एक सरल नियम था। उन्होंने इसे $x + 1$ या $x \times 2$ जैसे गणित करने के लिए सिखाया।

परिणाम: यह पूरी तरह से काम कर गया! मॉडल ने छोटे नंबरों (जैसे 1 से 30) पर नियम सीखा और फिर इसे उन विशाल नंबरों (जैसे 1,000 तक) पर त्रुटिहीन रूप से लागू किया जिन्हें उसने पहले कभी नहीं देखा था।
"अहा!" क्षण: जब उन्होंने देखा कि मॉडल समस्या को कैसे हल करता है, तो उन्हें ग्रिड पर चलते हुए सुंदर, दोहराव वाले ज्यामितीय पैटर्न दिखाई दिए। वे इसे "ज्यामितीय ग्रोकिंग" (geometric grokking) कहते हैं। यह ऐसा है जैसे मॉडल ने केवल उत्तर को याद नहीं किया; उसने एक दृश्य नृत्य (visual dance) की खोज की जो किसी भी संख्या के लिए काम करता है। यह कुछ ऐसा है जिसे पारंपरिक AI करने में संघर्ष करता है, विशेष रूप से दोहराव वाले पैटर्न जैसे कि "4 से विभाजित करने पर शेषफल क्या है?"

2. द गेम ऑफ लाइफ (GoL-EM)
इसके बाद, उन्होंने कॉनवे के 'गेम ऑफ लाइफ' का उपयोग किया, जो एक प्रसिद्ध सेलुलर ऑटोमेटन है जहाँ कोशिकाएं अपने पड़ोसियों के आधार पर जीवित रहती हैं या मर जाती हैं। उन्होंने इस सिस्टम को गणित करने और एक पोल (CartPole) को संतुलित करने के लिए सिखाने की कोशिश की।

परिणाम: यह $x + 1$ जैसी सरल गणित सीख सका, लेकिन यह बहुत नाजुक था। शुरुआती पैटर्न में छोटे बदलावों के कारण पूरा सिस्टम क्रैश हो गया। यह हवा के तूफान में ताश के घर को संतुलित करने जैसा था। हालांकि यह कुछ समय के लिए पोल को संतुलित कर सकता था, लेकिन यह बहुत स्थिर नहीं था। शोधकर्ताओं ने पाया कि सही शुरुआती पैटर्न की खोज करना लगभग रैंडम अनुमान लगाने जैसा था; सिस्टम इतना संवेदनशील था कि इसे सामान्य तरीके से "ट्रेन" करना कठिन था।

3. निरंतर शिक्षार्थी (CEM1D और CEM2D)
अंत में, उन्होंने उन मॉडलों का परीक्षण किया जो केवल "ऑन/ऑफ" स्विच के बजाय सुचारू, निरंतर संख्याओं (जैसे वास्तविक दुनिया के भौतिकी) का उपयोग करते हैं।

परिणाम: ये चीजें को नियंत्रित करने में बहुत बेहतर थे। 1D संस्करण एक पोल को बहुत अच्छी तरह से संतुलित कर सका, और 2D संस्करण एक ऐसी दुनिया में नेविगेट करना सीख सका जहाँ भोजन कभी-कभी जहर में बदल जाता है।
चुनौती: यहाँ तक कि ये स्मार्ट मॉडल भी संघर्ष कर रहे थे। कभी-कभी वे गोल-गोल घूमकर अटक जाते या जम जाते। वे बदलते वातावरण के अनुकूल होने में सक्षम थे, लेकिन वे पूर्ण नहीं थे। शोधकर्ताओं ने नोट किया कि ये मॉडल अभी भी बहुत नए हैं और आज के बड़े AI मॉडलों की तुलना में बहुत कम विश्वसनीय हैं।

इसका क्या अर्थ है (और क्या नहीं) (What This Means (and What It Doesn't))

यह शोध पत्र बहुत स्पष्ट है कि इसने क्या हासिल किया है और क्या नहीं। यह दावा नहीं करता कि इसने उस AI से बेहतर बनाया है जिसे आप फिल्मों या अपने फोन में देखते हैं। वास्तव में, यह स्वीकार करता है कि ये छोटे मॉडल वर्तमान में बड़े, जटिल मॉडलों की तुलना में बहुत कठिन और कम शक्तिशाली हैं।

हालाँकि, यह एक रोमांचक बात सुझाता है: कि वास्तविक बुद्धिमत्ता की कुंजी आकार (लाखों पैरामीटर्स होना) के बजाय पुनरावृत्ति (iteration) (एक सरल चरण को बार-बार दोहराना) हो सकती है। लेखक ने पाया कि जब ये छोटे मॉडल सीखते थे, तो वे केवल उत्तर को नहीं, बल्कि नियम को सीखते थे। इसने उन्हें उन नंबरों पर सही अनुमान लगाने की अनुमति दी जिन्हें उन्होंने पहले कभी नहीं देखा था, जिसे एक्सट्रपलेशन (extrapolation) कहा जाता है।

वे AI दक्षता के बारे में सोचने का एक नया तरीका भी पेश करते हैं। उनका सुझाव है कि सबसे अच्छे मॉडल वे हो सकते हैं जो बहुत कम "कठोर" भागों (नियमों) का उपयोग करते हैं लेकिन उन्हें लंबे समय तक (कई चरणों के लिए) चलाते हैं। यह आज के बड़े AI के विपरीत है, जो बहुत अधिक "कठोर" भागों का उपयोग करता है लेकिन केवल एक बार चलता है।

निष्कर्ष (The Bottom Line)

यह शोध पत्र एक मौलिक कदम है, जैसे कि पहली बार किसी ने काम करने वाला स्टीम इंजन बनाया हो। यह अभी कार नहीं है, और यह निश्चित रूप से अंतरिक्ष यान भी नहीं है। लेकिन यह सिद्ध करता है कि एक सरल, दोहराव वाली प्रणाली नियम सीख सकती है और नई स्थितियों में उन्हें लागू कर सकती है। शोधकर्ता दिखाते हैं कि केवल कुछ सौ पैरामीटर्स के साथ, एक सिस्टम नियम सीख सकता है और सरल रोबोट को नियंत्रित कर सकता है।

मुख्य बात यह है कि हम शायद AI को बहुत जटिल बना रहे हैं। बड़े और बड़े दिमाग बनाने के बजाय, शायद हमें छोटे, सरल सिस्टम बनाने चाहिए जिन्हें लंबे समय तक सोचने की अनुमति दी जाए। शोध पत्र सुझाव देता है कि स्मार्ट AI का मार्ग इन "इमर्जेंट" व्यवहारों में निहित हो सकता है, जहाँ बुद्धिमत्ता सरल नियमों से उत्पन्न होती है, ठीक वैसे ही जैसे जीवन सरल रसायन विज्ञान से विकसित होता है। यह एक आशावादी, चंचल और थोड़ी जंगली विचार है कि बुद्धिमत्ता का भविष्य सबसे छोटी, सरल चीजों में पाया जा सकता है।

तकनीकी सारांश: इमर्जेंट मॉडल्स (Emergent Models): सूक्ष्म सबस्ट्रेट्स से बुद्धिमत्ता

समस्या विवरण (Problem Statement)

पारंपरिक डीप लर्निंग, विशेष रूप से फीड-फॉरवर्ड न्यूरल नेटवर्क (FFNNs), अक्सर ग्लोबल जनरलाइजेशन (वैश्विक सामान्यीकरण) और एक्सट्रपलेशन (बहिर्वेशन) के साथ संघर्ष करते हैं। जबकि यूनिवर्सल एप्रोक्सिमेशन थ्योरम्स यह गारंटी देते हैं कि FFNNs कॉम्पैक्ट डोमेन पर कार्यों को यथासंभव सटीक रूप से अनुमानित कर सकते हैं, वे आमतौर पर ओपन डोमेन पर डेटा के अंतर्निहित जनरेटिव नियमों को पकड़ने में विफल रहते हैं। फलस्वरूप, सीमित रेंज पर प्रशिक्षित मॉडल अपने प्रशिक्षण वितरण से परे एक्सट्रपलेट करने में असमर्थ होते हैं (उदाहरण के लिए, ReLU नेटवर्क एसिम्प्टोटिक रूप से रैखिक हो जाते हैं, और सिगमॉइडल नेटवर्क स्थिरांकों की ओर अभिसरित होते हैं)।

इसके अलावा, हालिया रीजनिंग LLMs और रिकरेंट आर्किटेक्चर में कार्य यह सुझाव देते हैं कि पुनरावृत्ति (iterative) गणना सामान्यीकरण में सुधार करती है, फिर भी ये मॉडल विशाल पैरामीटर गणनाओं से बंधे हुए हैं और लंबी-अनुक्रम एक्सट्रपलेशन में भंगुरता प्रदर्शित करते हैं। यह शोध पत्र AI के "बिटर लेसन" (Bitter Lesson)—जो शीर्ष-स्तरीय इंजीनियरिंग के बजाय कंप्यूट के माध्यम से गणना का लाभ उठाने पर जोर देता है—को आर्टिफिशियल लाइफ के अंतर्दृष्टि के साथ जोड़ता है। यह ऐसे सबस्ट्रेट्स की आवश्यकता का सुझाव देता है जो सरल, स्थानीय नियमों द्वारा संचालित हों जहाँ जटिल व्यवहार पुनरावृत्ति के माध्यम से उभरते हैं। मुख्य प्रश्न यह है कि क्या न्यूनतम, स्थानीय-पुनरावर्ती कम्प्यूटेशनल सबस्ट्रेट्स वर्तमान न्यूरल आर्किटेक्चर की तुलना में काफी कम पैरामीटर्स के साथ उच्च वैश्विक अभिव्यंजना (global expressivity) और एक्सट्रपलेशन प्राप्त कर सकते हैं।

कार्यप्रणाली (Methodology)

इमर्जेंट मॉडल (EM) फ्रेमवर्क

लेखक इमर्जेंट मॉडल्स (EMs) को एक मशीन लर्निंग प्रतिमान के रूप में औपचारिक रूप देते हैं जहाँ मॉडलिंग को एक क्लोज्ड-फॉर्म इनपुट-आउटपुट मैप के रूप में नहीं, बल्कि सरल डायनेमिकल सिस्टम्स के भीतर कम्प्यूटेशनल व्यवहारों के उद्भव (emergence) के रूप में माना जाता है। एक EM को टुपल $M = (S, f, H, E, D, \oplus)$ के रूप में परिभाषित किया गया है:

लेटेंट स्टेट ( $S$ ): एक कॉन्फ़िगरेशन स्पेस (डिस्क्रीट या कंटीन्यूअस) जो मेमोरी के रूप में कार्य करता है।
अपडेट रूल ( $f$ ): एक स्थानीय ट्रांजिशन फंक्शन (जैसे सेलुलर ऑटोमेटा नियम) जिसे लेटेंट स्टेट पर पुनरावृत्त किया जाता है।
हाल्टिंग कंडीशन ( $H$ ): एक प्रेडिकेट जो यह निर्धारित करता है कि पुनरावृत्ति कब रुकती है।
इंटरफेस ( $E, D, \oplus$ ): एक एनकोडर, डिकोडर और कॉम्बाइनिंग ऑपरेटर जो बाहरी इनपुट/आउटपुट को लेटेंट स्टेट से जोड़ते हैं।
प्रोग्राम ( $p$ ): एक गैर-परेशान (non-perturbed) प्रारंभिक अवस्था। दिए गए इनपुट $x$ के लिए, प्रारंभिक अवस्था $s_0 = p \oplus E(x)$ के रूप में बनाई जाती है।

प्रशिक्षण दृष्टिकोण:
ग्रेडिएंट-आधारित बैकप्रोपैगेशन के विपरीत, EMs को इवोल्यूशनरी सर्च (जेनेटिक एल्गोरिदम) के माध्यम से प्रशिक्षित किया जाता है। सर्च स्पेस में शामिल हैं:

सॉफ्ट पैरामीटर्स: प्रोग्राम स्टेट $p$ (प्रारंभिक कॉन्फ़िगरेशन)। कुछ सेटिंग्स में, इसे मैक्रोस्टेप्स के दौरान स्टेट रिटेंशन (लैमार्किయన్ इनहेरिटेंस) के माध्यम से अपडेट किया जा सकता है।
हार्ड पैरामीटर्स: अपडेट नियम $f$ , हाल्टिंग कंडीशन $H$ , और इंटरफेस पैरामीटर्स। ये इन्फरेंस के दौरान स्थिर रहते हैं लेकिन प्रशिक्षण के दौरान अनुकूलित किए जाते हैं।
उद्देश्य एक ऐसी कॉन्फ़िगरेशन खोजना है जहाँ विकसित की गई ट्रैजेक्टरी, हाल्टिंग पर डिकोड होने पर, लक्षित कार्य को हल करे।

सैद्धांतिक आधार: लेटेंट यूनिवर्सलिटी (Latent Universality)

यह शोध पत्र लेटेंट यूनिवर्सलिटी की अवधारणा पेश करता है, जहाँ सबस्ट्रेट ( $S, f, H$ ) और इंटरफेस ( $E, D, \oplus$ ) स्थिर होते हैं, और केवल प्रोग्राम $p$ किसी भी आंशिक कम्प्यूटेबल फंक्शन को साकार करने के लिए बदलता है।

थ्योरम 1: लेखक सिद्ध करते हैं कि बाइनरी स्ट्रिंग इनपुट/आउटपुट के लिए, एक ऐसा इमर्जेंट मॉडल मौजूद है जहाँ एक निश्चित सबस्ट्रेट और इंटरफेस, केवल सीमित-सपोर्ट वाले प्रोग्राम स्टेट को बदलकर, किसी भी आंशिक कम्प्यूटेबल फंक्शन को कंप्यूट करने के लिए पर्याप्त है। यह उस यूनिवर्सल ट्यूरिंग मशीन की अवधारणा के अनुरूप है जहाँ प्रोग्राम और इनपुट को प्रारंभिक टेप कॉन्फ़िगरेशन में एनकोड किया जाता है।

प्रयोगात्मक सबस्ट्रेट्स (Experimental Substrates)

लेखक बिना किसी प्रतिस्पर्धी आर्किटेक्चर को इंजीनियर किए फ्रेमवर्क की व्यवहार्यता का परीक्षण करने के लिए न्यूनतम EM इंस्टेंशिएशन के एक "ज़ू" (zoo) का मूल्यांकन करते हैं:

EM43: 4 स्टेट्स प्रति सेल वाला एक 1D डिस्क्रीट सेलुलर ऑटोमेटा और एक लुकअप-टेबल नियम।
GoL-EM: कॉनवे के गेम ऑफ लाइफ (निश्चित नियम) में, जहाँ केवल प्रारंभिक ग्लाइडर कॉन्फ़िगरेशन (प्रोग्राम) को अनुकूलित किया जाता है।
CEM1D: एक कंटीन्यूअस-वैल्यूड 1D लैटिस जिसमें एक स्थानीय डिफरेंशियल इक्वेशन अपडेट नियम है।
CEM2D: एक कंटीन्यूअस 2D लैटिस जिसमें फास्ट एक्टिवेशन और स्लो मेमोरी फील्ड्स हैं, जिसमें ट्रेन करने योग्य पोर्ट लोकेशन्स शामिल हैं।

मुख्य परिणाम (Key Results)

1. अंकगणितीय एक्सट्रपलेशन (EM43)

कार्य: सरल पूर्णांक कार्यों ( $x+1, 2x, x \mod 4, \text{round}(x/3)$ ) को सीखना, जो $[0, 30]$ पर प्रशिक्षित और $[30, 1000]$ पर टेस्ट किया गया।
प्रदर्शन: EM43 ने सभी सिंगल-इनपुट कार्यों पर 100% सटीक-मैच सटीकता प्राप्त की, जिसमें आवधिक (periodic) फंक्शन जैसे $x \mod 4$ और दोलनी (oscillatory) फंक्शन जैसे $x \cdot (1 + x \mod 2)$ शामिल हैं।
अवलोकन: मॉडल्स ने "जियोमेट्रिक ग्रोकिंग" (geometric grokking) प्रदर्शित की, जहाँ जनरलाइजेशन को स्पेस-टाइम पैटर्न (जैसे शिफ्टिंग मार्कर्स) के रूप में साकार किया गया जो इनपुट स्केल बढ़ने पर भी वैध रहे।
सीमा: दो-इनपुट मल्टीप्लिकेशन टास्क ( $a \cdot b$ ) विफल रहा, जो वर्तमान सर्च सीमाओं या जटिल इंटरैक्शन के लिए अभिव्यंजना बाधाओं का सुझाव देता है।
दक्षता: सफल मॉडल्स ने केवल 70–110 पैरामीटर्स (140–220 बिट्स की जानकारी) का उपयोग किया, जिन्हें केवल 30 उदाहरणों पर प्रशिक्षित किया गया।

2. कंट्रोल टास्क (GoL-EM & CEM1D)

CartPole:
- GoL-EM: रैंडम बेसलाइन से काफी अधिक रिटर्न (औसत ~171, सर्वश्रेष्ठ ~417) प्राप्त किया, लेकिन मजबूती (robustness) के मामले में संघर्ष किया (54.5% नॉन-हाल्टिंग रेट) और मलबे के संचय के कारण स्टेट रिटेंशन से अस्थिरता आई।
- CEM1D: स्टेट रिटेंशन के साथ एक कंटीन्यूअस 1D मॉडल ने अधिकतम रिटर्न (734.93) के करीब प्रदर्शन किया, जो GoL-EM से बेहतर था। हालाँकि, यह कोणीय वेग (angular velocity) पर बहुत अधिक निर्भर था और प्रभावी ढंग से कार्ट पोजीशन को एकीकृत करने में विफल रहा, जिससे अंततः वह बाउंड्स से बाहर निकल गया।
Meta-Life (अनुकूलन):
- कार्य: एजेंटों को बदलते वातावरण में भोजन खोजने या जहर से बचने के लिए अनुकूलित होना है।
- परिणाम: दोनों CEM2D और एक डेंस मेमोरी-ऑगमेंटेड RNN (mRNN) बेसलाइन ने उच्च मेटा-स्कोर प्राप्त किया, जो सफल ऑनलाइन अनुकूलन का संकेत देता है।
- तुलना: mRNN तेजी से अभिसरित हुआ और थोड़ा उच्च स्कोर (0.82 बनाम 0.71) प्राप्त किया। CEM2D को लंबे प्रशिक्षण की आवश्यकता थी, लेकिन इसने दिखाया कि स्थानीय निरंतर गतिशीलता (local continuous dynamics) मेमोरी और अनुकूलन का समर्थन कर सकती है।
- विफलता मोड: संसाधनों की कमी होने पर दोनों मॉडल्स ने "रोटेटिंग अट्रैक्टर्स" (एक ही जगह घूमना) प्रदर्शित किए, जिसे ट्रेनिंग ऑब्जेक्टिव के घटते रिटर्न और फंसे हुए स्टेट से उबरने की कठिनाई के रूप में देखा गया।

मुख्य योगदान (Key Contributions)

इमर्जेंट मॉडल्स का औपचारिककरण: एक ऐसा ढांचा जो डायनेमिकल सिस्टम्स को ML मॉडल्स के रूप में मानता है जहाँ "प्रोग्राम" लेटेंट स्पेस में एक प्रारंभिक अवस्था है, जो फिक्स्ड अपडेट नियम और इंटरफेस से अलग है।
लेटेंट यूनिवर्सलिटी का प्रमाण: एक सैद्धांतिक प्रमाण कि एक निश्चित सबस्ट्रेट और इंटरफेस केवल प्रारंभिक प्रोग्राम स्टेट को बदलकर किसी भी कम्प्यूटेबल फंक्शन को कंप्यूट कर सकता है।
न्यूनतम सबस्ट्रेट्स का अनुभवजन्य सत्यापन: यह दिखाने का प्रमाण कि दर्जनों से सैकड़ों पैरामीटर्स के पैमाने पर स्थानीय-पुनरावर्ती गणना अंकगणितीय कार्यों पर सटीक एक्सट्रपलेशन प्राप्त कर सकती है और कंट्रोल/अनुकूलन व्यवहार का समर्थन कर सकती है।
जियोमेट्रिक ग्रोकिंग: एक घटना की पहचान जहाँ जनरलाइजेशन, अस्पष्ट वेट एडजस्टमेंट के बजाय, सबस्ट्रेट के स्पेस-टाइम इवोल्यूशन में स्थिर, व्याख्या योग्य ज्यामितीय पैटर्न के रूप में प्रकट होता है।
$q$ -रेशियो कंजेक्चर: एक परिकल्पना कि पैरामीटर्स और टेम्पोरल डेप्थ का अनुपात ( $q = N_{params} / \bar{T}$ ) जनरलाइजेशन और ट्रेनैबिलिटी के बीच ट्रेड-ऑफ को नियंत्रित करता है। कम $q$ (सरल नियम, गहरा पुनरावृत्ति) एल्गोरिथमिक कंप्रेशन और एक्सट्रपलेशन को बढ़ावा देता है, जबकि उच्च $q$ (बड़े नेटवर्क, उथला पुनरावृत्ति) मेमोराइजेशन को बढ़ावा देता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र स्वयं को एक प्रतिस्पर्धी आर्किटेक्चर के प्रस्ताव के बजाय एक मौलिक कार्य के रूप में प्रस्तुत करता है। इसका प्राथमिक महत्व है:

डिजाइन स्पेस का विस्तार: डिफरेंशिएबल फीड-फॉरवर्ड मैप्स से आगे बढ़कर सरल, ओपन-एंडेड फिजिकल-जैसे सबस्ट्रेट्स की खोज करना।
बुद्धिमत्ता का पुनर्निर्धारण: यह सुझाव देना कि बुद्धिमत्ता केवल न्यूरल आर्किटेक्चर के स्पष्ट इंजीनियरिंग के बजाय सरल स्थानीय नियमों और प्रारंभिक स्थितियों (एक "आर्टिफिशियल फिजिक्स") की परस्पर क्रिया से उत्पन्न हो सकती है।
मामूली दावे: लेखक स्पष्ट रूप से स्वीकार करते हैं कि उनके मॉडल्स अभी भी विशिष्ट कार्यों के लिए परिपक्व विधियों के मुकाबले प्रतिस्पर्धी नहीं हैं। वे प्रशिक्षण दक्षता, सर्च स्केलेबिलिटी (विशेष रूप से मल्टीप्लिकेशन जैसे जटिल कार्यों के लिए), और कंट्रोल सेटिंग्स में मजबूती की सीमाओं को स्वीकार करते हैं।
भविष्य की दिशाएँ: यह कार्य अभ्यास में लेटेंट-यूनिवर्सल रिजीम को साकार करने और विशेष रूप से लो- $q$ रिकर्सिव मॉडल्स के गैर-कॉन्वेक्स, नॉन-लोकल लैंडस्केप के लिए अनुकूलित ऑप्टिमाइजेशन मेथड्स के विकास का आह्वान करता है।

निष्कर्षतः, यह शोध पत्र बताता है कि भले ही वर्तमान में स्थानीय-पुनरावर्ती मॉडलिंग डीप लर्निंग के दो दशक पुराने स्तर के बराबर है, लेकिन अत्यंत सूक्ष्म सबस्ट्रेट्स की एक्सट्रपलेशन और अनुकूलन की क्षमता एक आशाजनक, कम खोजा गया मार्ग सुझाती है।