💻 computer science

Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories

यह शोध पत्र ENAP को प्रस्तुत करता है, जो एक द्वि-स्तरीय न्यूरो-सिंबोलिक ढांचा (bi-level neuro-symbolic framework) है जो विज़ुओमोटर प्रदर्शनों (visuomotor demonstrations) से एक व्याख्या योग्य मीली स्टेट मशीन (Mealy state machine) को अनुकूल रूप से इन्फर करता है ताकि एक निम्न-स्तरीय नियंत्रक (low-level controller) को निर्देशित किया जा सके, जिससे बिना किसी हस्तनिर्मित सिंबोलिक प्रायोरिटी (hand-crafted symbolic priors) या कार्य-विशिष्ट लेबल की आवश्यकता के, अत्याधुनिक एंड-टू-एंड नीतियों की तुलना में बेहतर सैंपल दक्षता और दीर्घ-अवधि कार्य प्रदर्शन प्राप्त होता है।

मूल लेखक: Yiyuan Pan, Xusheng Luo, Hanjiang Hu, Peiqi Yu, Changliu Liu

प्रकाशित 2026-03-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiyuan Pan, Xusheng Luo, Hanjiang Hu, Peiqi Yu, Changliu Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल लेगो (Lego) किला बनाना सिखा रहे हैं।

यदि आप पारंपरिक "एंड-टू-एंड" (End-to-End) AI का उपयोग करते हैं (जैसे वर्तमान लोकप्रिय मॉडल), तो यह रोबोट को बने हुए किले की एक विशाल, धुंधली फोटो देने और यह कहने जैसा है कि, "बस इसकी नकल करो।" रोबोट एक ही बार में हर एक पिक्सेल और मांसपेशियों की हरकत को याद करने की कोशिश करता है। यह सरल कार्यों के लिए ठीक काम करता है, लेकिन यदि आप इसे अलग रंग योजना या थोड़े अलग आकार वाला किला बनाने के लिए कहते हैं, तो यह भ्रमित हो जाता है। यह एक "ब्लैक बॉक्स" है—हमें नहीं पता कि इसने गलती क्यों की, और इसे सीखने के लिए हजारों उदाहरणों की आवश्यकता होती है।

यदि आप पुराने जमाने के "सिंबोलिक" (Symbolic) AI का उपयोग करते हैं, तो यह रोबोट को एक कठोर, हस्तलिखित निर्देश पुस्तिका देने जैसा है: "चरण 1: लाल ब्लॉक उठाएं। चरण 2: X की ओर बढ़ें। चरण 3: ब्लॉक रखें।" यह बहुत स्पष्ट और तार्किक है, लेकिन यदि रोबोट एक ब्लॉक गिरा देता है या मेज थोड़ी झुकी हुई होती है, तो यह तुरंत टूट जाता है। यह वास्तविक दुनिया के अनुकूल नहीं हो सकता क्योंकि इसके नियम बहुत सख्त हैं।

ENAP (इमर्जेंट न्यूरल ऑटोमेटन पॉलिसी - Emergent Neural Automaton Policy) एक "गोल्डिलॉक्स" (Goldilocks) समाधान है। यह एक ऐसा ढांचा है जो रोबोट को चलते समय अपना स्वयं का तर्क (logic) समझने के लिए प्रशिक्षित करता है।

यह कैसे काम करता है, इसे तीन सरल भागों में विभाजित किया गया है:

1. "डिटेक्टिव" चरण (कहानी खोजना)

रोबोट को निर्देश पुस्तिका देने के बजाय, हम उसे एक मानव विशेषज्ञ द्वारा किला बनाने का वीडियो दिखाते हैं। रोबोट उस वीडियो को देखता है और एक जासूस की तरह व्यवहार करता है।

उपमा: एक फिल्म देखते हुए यह महसूस करना कि, "ओह, अब नायक 'चेज़' (पीछा करने) के दृश्य में है," और फिर, "अब वे 'हाइड' (छिपने) के दृश्य में हैं।"
ENAP क्या करता है: यह अव्यवस्थित, निरंतर वीडियो डेटा को देखता है और स्वतः ही क्षणों को विशिष्ट "चरणों" (phases) या "मोड्स" (modes) में समूहित करता है। यह खोज निकालता है कि एक "रीच" (पहुंचना) चरण है, एक "ग्रास्प" (पकड़ना) चरण है, और एक "इन्सर्ट" (डालना) चरण है। इसे यह बताने की आवश्यकता नहीं है कि ये मौजूद हैं; यह उन्हें अपने आप ढूंढ लेता है।

2. "मैप मेकर" चरण (फ्लोचार्ट बनाना)

एक बार जब रोबोट इन चरणों की पहचान कर लेता है, तो वह एक फ्लोचार्ट (स्टेट मशीन) बनाता है।

उपमा: एक सबवे मैप (मेट्रो मानचित्र) के बारे में सोचें। स्टेशन चरण हैं (रीच, ग्रास्प, इन्सर्ट), और रेखाएं उनके बीच के संबंध हैं।
जादू: यह मानचित्र कठोर नहीं है। यदि रोबोट एक पेग डालने की कोशिश करता है और वह चूक जाता है (एक "विफलता"), तो मानचित्र जानता है कि दोबारा प्रयास करने के लिए "एलाइन" (संरेखित करना) स्टेशन पर वापस जाने के लिए एक "लूप" है। यह सीखता है कि गलतियां होती हैं और तार्किक अगला कदम "वापस जाकर फिर से कोशिश करना" है, न कि बस क्रैश हो जाना। इसे स्वायत्त विफलता रिकवरी (autonomous failure recovery) कहा जाता है।

3. "ड्राइवर" चरण (बारीक मोटर कौशल)

अब रोबोट के पास एक उच्च-स्तरीय मानचित्र (फ्लोचार्ट) है, लेकिन अभी भी उसे यह जानने की आवश्यकता है कि एक विशिष्ट ब्लॉक को उठाने के लिए अपनी उंगलियों को बिल्कुल कैसे चलाना है।

उपमा: फ्लोचार्ट वह GPS है जो आपको बताता है, "अगले चौराहे पर बाएं मुड़ें।" "ड्राइवर" वह वास्तविक हाथ है जो कार को स्टीयर करता है।
यह कैसे काम करता है: फ्लोचार्ट एक "कोर्स" (स्थूल) निर्देश देता है (जैसे, "हाथ को ब्लॉक की ओर ले जाएं")। फिर, एक छोटा, तेज़ न्यूरल नेटवर्क (रेसिडुअल नेटवर्क) उन सूक्ष्म, सटीक समायोजनों को जोड़ता है जिनकी आवश्यकता ब्लॉक को बिना गिराए पकड़ने के लिए होती है।

यह एक बड़ी बात क्यों है?

यह तेजी से सीखता है: क्योंकि रोबोट कार्य की संरचना (फ्लोचार्ट) को समझता है, इसलिए इसे हर एक गतिविधि को शून्य से याद करने की आवश्यकता नहीं होती है। यह शतरंज के नियमों को सीखने जैसा है, न कि हर संभावित खेल को रटने जैसा। शोध पत्र दिखाता है कि इसे अन्य शीर्ष तरीकों की तुलना में सीखने के लिए 39% कम डेटा पॉइंट्स की आवश्यकता होती है।
यह व्याख्या योग्य (Explainable) है: यदि रोबोट विफल होता है, तो हम फ्लोचार्ट को देख सकते हैं और कह सकते, "आह, यह 'एलाइन' लूप में फंस गया क्योंकि पेग टेढ़ा था।" हम देख सकते हैं कि वह क्यों विफल हुआ। पारंपरिक AI एक ब्लैक बॉक्स है; ENAP एक व्हाइट बॉक्स है जिसमें एक स्पष्ट मानचित्र है।
यह "क्या होगा अगर" को संभालता है: यदि आप कार्य को थोड़ा बदल देते हैं (जैसे, "ब्लॉकों को अलग क्रम में स्टैक करें"), तो रोबोट अक्सर अपने मौजूदा मानचित्र पर एक अलग रास्ता बस फॉलो कर सकता है, जबकि अन्य रोबोटों को शुरू से फिर से प्रशिक्षित करने की आवश्यकता होगी।

संक्षेप में

ENAP एक रोबोट लर्निंग सिस्टम है जो रोबोट को अपना स्वयं का निर्देश मैनुअल लिखने के साथ-साथ चलना सिखाता है। यह "बड़ी तस्वीर की सोच" (चरणों की योजना बनाना) को "मांसपेशियों की स्मृति" (हाथ हिलाना) से अलग करता है, जिससे रोबोट स्मार्ट, अनुकूलन योग्य और समझने में आसान बन जाता है, भले ही चीजें गलत हो जाएं।

यहाँ शोध पत्र "Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories" (ENAP) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रोबोट लर्निंग को लॉन्ग-होरिज़न (long-horizon) कार्यों तक स्केल करना एक महत्वपूर्ण चुनौती बनी हुई है। वर्तमान दृष्टिकोणों में एक द्वंद्व (dichotomy) दिखता है:

एंड-टू-एंड पॉलिसियाँ (जैसे VLA मॉडल): हालांकि ये लघु कार्यों के लिए प्रभावी हैं, लेकिन इनमें अक्सर स्ट्रक्चरल प्रायर्स (structural priors) की कमी होती है, जिसके परिणामस्वरूप "ब्लैक-बॉक्स" पॉलिसियाँ बनती हैं जो डेटा-गहन (data-intensive), अर्थपूर्ण रूप से अस्पष्ट और बहु-चरणीय तर्क (multi-stage reasoning) के लिए संघर्ष करती हैं।
पारंपरिक न्यूरो-सिंबोलिक विधियाँ: ये व्याख्यात्मकता (interpretability) और संरचना प्रदान करती हैं, लेकिन ये हस्तनिर्मित सिंबोलिक प्रायर्स (जैसे मैन्युअल रूप से परिभाषित टेम्पोरल लॉजिक प्रेडिकेट्स) पर बहुत अधिक निर्भर करती हैं, जो उनकी अनुकूलन क्षमता को सीमित करती हैं और विशेषज्ञ इंजीनियरिंग की आवश्यकता होती है।

मूल प्रश्न: बिना किसी मैनुअल लेबलिंग या पूर्व-निर्धारित प्रतीकों के, लो-लेवल कंट्रोल (System 1) के पर्सेप्चुअल फ्लो से हाई-लेवल प्लानिंग (System 2) की तार्किक संरचना स्वाभाविक रूप से कैसे उभर सकती है?

2. कार्यप्रणाली: ENAP फ्रेमवर्क (Methodology: The ENAP Framework)

ENAP (इमर्जेंट न्यूरल ऑटोमेटन पॉलिसी) एक द्वि-स्तरीय (bi-level) न्यूरो-सिंबोलिक फ्रेमवर्क प्रस्तावित करता है जो रॉ विसुमोटर डिमॉन्स्ट्रेशन से अनसुपरवाइज्ड तरीके से टास्क-लेवल स्टेट मशीन को पुनर्गठित करता है। यह एक डिस्क्रीट हाई-लेवल प्लानर को एक कंटीन्यूअस लो-लेवल कंट्रोलर के साथ जोड़ता है।

A. मुख्य आर्किटेक्चर (Core Architecture)

पॉलिसी को एक प्रोबेबिलिस्टिक मीली मशीन (PMM) और एक रेसिड्यूअल नेटवर्क के रूप में दर्शाया गया है:

हाई-लेवल (System 2): एक PMM ( $M = (Q, \Sigma, \Gamma, \delta, \lambda, q_0)$ $M = (Q, Σ, Γ, δ, λ, q_{0})$ ) जो लेटेंट टास्क फेजेस (states) और ट्रांज़िशन को कैप्चर करता है।
- स्टेट्स ( $Q$ ): डिस्क्रीट टास्क मोड्स (जैसे, "Reach," "Grasp")।
- ट्रांज़िशन ( $\delta$ ): ऑब्जर्वेशन के आधार पर मोड्स के बीच प्रोबेबिलिस्टिक ट्रांज़िशन।
- आउटपुट्स ( $\lambda$ ): प्रत्येक स्टेट-इनपुट पेयर के लिए कोर्स एक्शन प्रायर्स (मीन एक्शन्स)।
लो-लेवल (System 1): एक रेसिड्यूअल नेटवर्क ( $\pi_\psi$ $π_{ψ}$ ) जो कोर्स एक्शन प्रायर और वर्तमान ऑब्जर्वेशन को लेकर सटीक कंटीन्यूअस कंट्रोल एक्शन्स की भविष्यवाणी करता है।
- फाइनल एक्शन: $\hat{a}_t = a_{base} + \Delta a_t$ , जहाँ $a_{base}$ PMM से आता है और $\Delta a_t$ रेसिड्यूल है।

B. तीन-चरणीय पाइपलाइन (Three-Stage Pipeline)

यह फ्रेमवर्क इटरेटिव एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) प्रक्रिया (एल्गोरिदम 2) के माध्यम से कार्य करता है:

सिंबल एब्स्ट्रैक्शन (E-Step):
- एनकोडिंग: कंटीन्यूअस ऑब्जर्वेशन (इमेज + प्रोप्रियोसेप्शन) को एक न्यूरल एनकोडर ( $\phi_\theta$ ) का उपयोग करके फीचर वेक्टर्स $z_t$ में एनकोड किया जाता है।
- क्लस्टरिंग: एक एडैप्टिव क्लस्टरिंग एल्गोरिदम (HDBSCAN) इन फीचर्स को डिस्क्रीट सिम्बल्स ( $\Sigma$ ) में समूहित करता है, जो बिना लेबल के कंटीन्यूअस स्पेस को प्रभावी रूप से डिस्क्रीटाइज करता है।
- RNN एम्बेडिंग: एक RNN वेरिएबल-लेंथ हिस्ट्री सीक्वेंस (एक्शन्स और सिम्बल्स) को फिक्स्ड-साइज़ एम्बेडिंग्स ( $h_t$ ) में मैप करता है, जो डिस्क्रीट स्टेट्स के लिए कंटीन्यूअस सरोगेट के रूप में कार्य करते हैं। एक कंट्रास्टिव लॉस यह सुनिश्चित करता है कि एम्बेडिंग्स सैचुरेटेड सेंटर्स के आसपास क्लस्टर हों, जिससे स्टेट डिस्टिंक्शन आसान हो सके।
स्ट्रक्चर एक्सट्रैक्शन (Extended $L^*$ Algorithm):
- लेखकों ने एंग्लुन के $L^*$ एल्गोरिदम को कंटीन्यूअस डेटा के साथ और बिना ऑरेकल के काम करने के लिए विस्तारित किया है।
- सेल्फ-सुपरवाइज्ड मेंबरशिप क्वेरी (MQ): ऑरेकल को क्वेरी करने के बजाय, एल्गोरिदम डिमॉन्स्ट्रेशन डेटासेट को माइन करता है। यह जाँचता है कि क्या नए हिस्ट्री एम्बेडिंग्स मौजूदा सेंट्रॉइड्स के समानता थ्रेशोल्ड ( $\tau_{sim}$ ) के भीतर आते हैं। यदि नहीं, तो एक नया स्टेट जोड़ा जाता है (जो Closedness सुनिश्चित करता है)।
- नॉन-डिटरमिनिस्टिक इक्विलिवेंस क्वेरी (EQ): यह हाइपोथीसिस को वैलिडेट करने के लिए जाँचता है कि क्या टेस्ट ट्रेजेक्टरीज को PMM में कम से कम एक वैध पाथ द्वारा समझाया जा सकता है। यदि कोई ट्रेजेक्टरी विफल होती है, तो विफलता का कारण बनने वाले प्रीफिक्स को स्ट्रक्चर को रिफाइन करने के लिए काउंटर-एग्जांपल के रूप में जोड़ा जाता है।
- प्रूनिंग (Pruning): कॉम्पैक्ट ऑटोमेटन बनाने के लिए स्थिर फेजेस (सेल्फ-लूप्स) को मर्ज किया जाता है।
पॉलिसी ऑप्टिमाइजेशन (M-Step):
- PMM स्ट्रक्चर फिक्स होने के बाद, रेसिड्यूअल नेटवर्क और एनकोडर को बिहेवियर क्लोनिंग (BC) के माध्यम से फाइन-ट्यून किया जाता है।
- ऑब्जेक्टिव एक्सपर्ट एक्शन और प्रेडिक्टेड एक्शन के बीच एरर को कम करता है, जबकि एक रेगुलराइजेशन टर्म ( $L_{center}$ ) फीचर्स को क्लस्टर सेंटर्स के करीब रखता है ताकि स्ट्रक्चरल सेपरेबिलिटी बनी रहे।

3. प्रमुख योगदान (Key Contributions)

इमर्जेंट स्ट्रक्चर डिस्कवरी: ENAP पहला ऐसा फ्रेमवर्क है जो रॉ विसुमोटर ट्रेजेक्टरीज से सीधे एक मीली स्टेट मशीन को अनसुपरवाइज्ड तरीके से सीखता है, जिससे हैंड-क्राफ्टेड सिंबोलिक प्रायर्स या टास्क-स्पेसिफिक लेबल्स की आवश्यकता समाप्त हो जाती है।
द्वि-स्तरीय न्यूरो-सिंबोलिक पॉलिसी: यह डिस्क्रीट रीजनिंग (ऑटोमेटन के माध्यम से) और कंटीन्यूअस कंट्रोल (रेसिड्यूअल नेटवर्क के माध्यम से) को एकीकृत करता है, जो एक ऐसा प्रतिनिधित्व प्रदान करता है जो रोबोट के लिए काइनेमैटिक रूप से व्यवहार्य और मनुष्यों के लिए अर्थपूर्ण रूप से व्याख्या योग्य है।
रोबोटिक्स के लिए विस्तारित $L^*$ : यह पेपर एक नया अनुकूलन पेश करता है जो कंटीन्यूअस इनपुट, स्टोकेस्टिसिटी और ऑफलाइन डेटा माइनिंग को हैंडल करता है, जो फॉर्मल ऑटोमेटा लर्निंग और डीप रिइन्फोर्समेंट लर्निंग के बीच के अंतर को पाटता है।
सैद्धांतिक औचित्य (Theoretical Justification): लेखक एक कठोर व्युत्पत्ति (derivation) प्रदान करते हैं जो दिखाता है कि कैसे द्वि-स्तरीय आर्किटेक्चर बेलमैन इक्वेशन को फैक्टराइज़ करता है, जिससे ग्लोबल डायनेमिक्स को लोकल रेसिड्यूल्स से अलग करके फंक्शन एप्रोक्सिमेशन की जटिलता कम हो जाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग कॉम्प्लेक्स मैनिपुलेशन, लॉन्ग-होरिज़न TAMP, और रियल-वर्ल्ड कार्यों पर किए गए।

स्टेट-ऑफ-द-आर्ट (SoTA) के विरुद्ध प्रदर्शन:
- लो-डेटा रिजीम में, ENAP एंड-टू-एंड VLA पॉलिसियों (जैसे OpenVLA, $\pi_0$ ) की तुलना में सफलता दर में 27% तक बेहतर प्रदर्शन करता है।
- DualStackCube टास्क पर, ENAP ने केवल 22.9M पैरामीटर्स के साथ 76.0% सफलता प्राप्त की, जबकि OpenVLA (7.6B पैरामीटर्स) ने 69.8% हासिल की।
- लॉन्ग-होरिज़न TAMP (CALVIN) में, एक प्री-ट्रेंड VLA (FLOWER) से डिस्टिल्ड ENAP ने सीक्वेंशियल टास्क कंप्लीशन को 91.0% से बढ़ाकर 97.0% कर दिया।
सैंपल एफिशिएंसी (Sample Efficiency): ENAP केवल 25% ट्रेनिंग डेटा के साथ भी उच्च प्रभावकारिता बनाए रखता है, जो दर्शाता है कि निकाला गया PMM एक मजबूत इंडक्टिव बायस के रूप में कार्य करता है।
व्याख्यात्मकता और रिकवरी (Interpretability & Recovery):
- सीखे गए ऑटोमेटा ने लॉजिकल ब्रांचिंग (जैसे, ऑब्जेक्ट लोकेशन के आधार पर अलग-अलग ग्रैस्प रणनीतियों को चुनना) को सफलतापूर्वक पहचाना।
- स्वायत्त विफलता रिकवरी (Autonomous Failure Recovery): PMM ने त्रुटि होने पर पिछले स्टेट्स पर वापस जाने (जैसे, $q_2 \to q_1$ ) के लिए ट्रांज़िशन करना सीखा, जो एक ऐसा व्यवहार है जिसे स्पष्ट रूप से प्रोग्राम नहीं किया गया था बल्कि डेटा से उभरा (emergent) था।
जनरलाइजेशन (Generalization): मल्टी-मोडल कार्यों (कई लक्ष्यों की ओर धकेलना) में, ENAP ने विरोधी डेटा मोड्स को अलग-अलग टोपोलॉजिकल पाथ्स में सफलतापूर्वक विभाजित किया, जो मोनोलिथिक पॉलिसियों से बेहतर है जो अक्सर विरोधाभासी ग्रेडिएंट्स को औसत (average out) कर देती हैं।

5. महत्व (Significance)

यह कार्य जनरलाइज़ेबल और व्याख्या योग्य रोबोटिक इंटेलिजेंस की दिशा में एक महत्वपूर्ण कदम है।

अंतराल को भरना: यह हाई-लेवल कॉग्निटिव प्लानिंग और लो-लेवल सेंसरिमोटर कंट्रोल के बीच "अलाइनमेंट" की समस्या को हल करता है, जिससे संरचना मानव द्वारा थोपे जाने के बजाय डेटा से उभरती है।
डेटा दक्षता: समस्या को डिस्क्रीट फेजेस और कंटीन्यूअस रेसिड्यूल्स में विभाजित करके, यह जटिल, लॉन्ग-होरिज़न कार्यों को सीखने के लिए आवश्यक डेटा की मात्रा को काफी कम कर देता है।
सुरक्षा और विश्वास: स्पष्ट स्टेट मशीन एजेंट के निर्णय तर्क का एक पारदर्शी मानचित्र प्रदान करती है, जिससे ब्लैक-बॉक्स न्यूरल नेटवर्क की तुलना में औपचारिक सत्यापन (formal verification) और आसान डिबगिंग संभव होती है।

संक्षेप में, ENAP यह प्रदर्शित करता है कि जटिल रोबोटिक व्यवहारों को एक पदानुक्रमित, उभरती हुई संरचना (hierarchical, emergent structure) में विभाजित किया जा सकता है जो सिंबोलिक प्लानिंग की मजबूती को न्यूरल कंट्रोल के लचीलेपन के साथ जोड़ती है, जो अधिक कुशल और व्याख्या योग्य स्वायत्त एजेंटों के लिए मार्ग प्रशस्त करती है।