🤖 AI

Self-Supervised Bootstrapping of Action-Predictive Embodied Reasoning

यह शोध पत्र R&B-EnCoRe प्रस्तुत करता है, जो एक स्व-पर्यवेक्षित (self-supervised) ढांचा है जो एम्बोडीड रीजनिंग (embodied reasoning) को एक लेटेंट वेरिएबल के रूप में मानकर उसे बूटस्ट्रैप करता है ताकि इंटरनेट-स्केल ज्ञान से एक्शन-प्रेडिक्टिव रणनीतियों को आसवन (distill) किया जा सके, जिससे बिना किसी कठोर टेम्पलेट या बाहरी पुरस्कारों पर निर्भर रहे विभिन्न VLA मॉडलों में हेरफेर (manipulation), नेविगेशन और ड्राइविंग प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Milan Ganai, Katie Luo, Jonas Frey, Clark Barrett, Marco Pavone

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Milan Ganai, Katie Luo, Jonas Frey, Clark Barrett, Marco Pavone

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कोई कार्य करना सिखा रहे हैं, जैसे कि एक लाल मिर्च को पीली टोकरी में डालना। अतीत में, शोधकर्ताओं ने रोबोट को "सोचने" में मदद करने के लिए उसे एक सख्त, पूर्व-लिखित स्क्रिप्ट का पालन करने के लिए मजबूर करके प्रयास किया था। वे रोबोट को बताते थे: "पहले, कमरे में मौजूद हर चीज़ को देखो। दूसरा, तुम्हें दिखने वाली हर एक वस्तु की सूची बनाओ। तीसरा, मौसम के बारे में सोचो। चौथा, अपनी चाल की योजना बनाओ।"

समस्या यह है कि यह "एक ही आकार के लिए सभी" (one-size-fits-all) वाला स्क्रिप्ट अक्सर शोर (noise) से भरा होता है। रोबोट अपनी मानसिक शक्ति उस प्लेट और चम्मच को सूचीबद्ध करने में खर्च कर सकता है जिनका मिर्च से कोई लेना-देना नहीं है, या घर के अंदर होने पर मौसम के बारे में चिंता कर सकता है। यह रोबोट को वास्तविक लक्ष्य से विचलित करता है, जिससे वह धीमा हो जाता है और उसके विफल होने की संभावना बढ़ जाती है।

समाधान: R&B-EnCoRe

यह शोध पत्र एक नई विधि पेश करता है जिसे R&B-EnCoRe (Refine and Bootstrap Embodiment-specific Chain-of-Thought Reasoning) कहा जाता है। इसे एक स्मार्ट संपादक (smart editor) के रूप में समझें जो रोबोट को यह सीखने में मदद करता है कि क्या सोचना है, बजाय इसके कि उसे ठीक से क्या सोचना है।

यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

1. "विचार मंथन" चरण (Warmstarting)

कल्पना कीजिए कि आप किसी व्यंजन के लिए एकदम सही रेसिपी लिखने की कोशिश कर रहे हैं। आपको एक निश्चित रेसिपी देने के बजाय, आपको सामग्रियों का एक बड़ा थैला (तर्क संबंधी विचार) दिया जाता है जैसे "सभी वस्तुओं की सूची बनाएं," "चरणों की योजना बनाएं," "ग्रिपर की स्थिति की जांच करें," या "मौसम के बारे में सोचें।"

R&B-EnCoRe इन सामग्रियों को बेतरतीब ढंग से मिलाने से शुरू होता है। कभी-कभी यह रोबोट को केवल चरणों वाली रेसिपी देता है। कभी-कभी यह सभी वस्तुओं को सूचीबद्ध करने वाली रेसिपी देता है। कभी-कभी इसमें मौसम शामिल होता है, और कभी-कभी नहीं। इसे Reasoning Dropout कहा जाता है। यह एक शेफ की तरह है जो यह देखने के लिए हजारों अलग-अलग सामग्री संयोजनों को आजमा रहा है कि कौन सा वास्तव में व्यंजन का स्वाद बढ़ाता है।

2. "स्वाद परीक्षण" (Self-Supervised Refinement)

अब, रोबोट को कैसे पता चलेगा कि कौन सी रेसिपी सबसे अच्छी है? आमतौर पर, आपको एक मानव स्वाद-परीक्षक की आवश्यकता होगी जो कहे, "यह अच्छी है, वह बुरी है।" लेकिन रोब्वोटिक्स में, हमारे पास हर हरकत को देखते हुए एक मानव उपलब्ध नहीं होता है।

R&B-EnCoRe एक चतुर तकनीक का उपयोग करता है जिसे Importance Weighted Variational Inference कहा जाता है।

उपमा: कल्पना कीजिए कि रोबोट एक अपराध सुलझाने की कोशिश कर रहा है (कार्य)। वह इस बारे में कई अलग-अलग "सिद्धांतों" (reasoning traces) को उत्पन्न करता है कि क्या हुआ था।
परीक्षण: रोबोट फिर खुद से पूछता है: "यदि मैं सिद्धांत A का उपयोग करता हूँ, तो अपराधी को पकड़ने (कार्य को सही ढंग से करने) की कितनी संभावना है? यदि मैं सिद्धांत B का उपयोग करता हूँ, तो कितनी संभावना है?"
परिणाम: यह विधि स्वचालित रूप से प्रत्येक सिद्धांत के लिए एक "स्कोर" की गणना करती है। सिद्धांत जो रोबोट को सही क्रिया का अनुमान लगाने में मदद करते हैं, उन्हें उच्च स्कोर मिलता है। सिद्धांत जो केवल शोर (जैसे अप्रासंगिक वस्तुओं को सूचीबद्ध करना या मौसम के बारे में बात करना) हैं, उन्हें कम स्कोर मिलता है।

3. "अंतिम मेनू" (Bootstrapping)

एक बार जब रोबोट इन हजारों "सिद्धांतों" का परीक्षण कर लेता है, तो वह एक नया, परिष्कृत डेटासेट बनाता है। वह कम स्कोर वाले, विचलित करने वाले विचारों को फेंक देता है और केवल उच्च स्कोर वाले, सहायक विचारों को रखता है।

एक रोबोटिक हाथ के लिए: वह सीखता है कि "ग्रिपर कहाँ है" और "अगला उप-चरण क्या है" के बारे में सोचना महत्वपूर्ण है, लेकिन कमरे में मौजूद हर एक वस्तु को सूचीबद्ध करना समय की बर्बादी है।
चलने वाले रोबोट के लिए: वह सीखता है कि इलाके (affordances - जैसे फिसलन भरी बर्फ) के बारे में सोचना महत्वपूर्ण है, लेकिन "सामाजिक मानदंडों" या "मौसम" के बारे में सोचना अप्रासंगिक है।

रोबोट फिर इस नए, साफ "मेनू" के विचारों का उपयोग करके खुद को फिर से प्रशिक्षित करता है। वह केवल उन्हीं चीजों के बारे में सोचना सीखता है जो उसके विशिष्ट शरीर और कार्य के लिए मायने रखती हैं।

परिणाम: कम शोर, अधिक सफलता

शोध पत्र ने तीन बहुत ही अलग प्रकार के रोबोटों पर इसका परीक्षण किया:

रोबोटिक हाथ (Manipulation): रोबोट कार्य पूरा करने में 28% बेहतर हो गया। उसने अप्रासंगिक वस्तुओं को सूचीबद्ध करने में समय बर्बाद करना बंद कर दिया और मिर्च और टोकरी पर ध्यान केंद्रित किया।
चलने वाले रोबोट (Legged Navigation): रोबोटों ने अपने नेविगेशन स्कोर में 101% का सुधार किया। उन्होंने अप्रासंगिक विवरणों के बजाय इलाके (terrain) पर ध्यान केंद्रित करना सीखा (क्या यह फिसलन भरा है?)।
स्व-चालित कारें (Self-Driving Cars): कारों ने अपनी टक्कर दर में 21% की कमी की। उन्होंने विचलित करने वाले विचारों को अनदेखा करना और सड़क और अन्य कारों पर ध्यान केंद्रित करना सीखा।

मुख्य निष्कर्ष

शोध पत्र का दावा है कि "तर्क" (reasoning) को एक छिपे हुए चर (hidden variable) के रूप में मानकर जिसे रोबोट स्वयं खोज और अनुकूलित कर सकता है, हम ऐसे रोबोट बना सकते हैं जो अधिक स्मार्ट, तेज़ और कुशल हों। उन्हें हमारे द्वारा लिखे गए पूर्ण स्क्रिप्ट की आवश्यकता नहीं है। इसके बजाय, वे इंटरनेट के विशाल, अव्यवित ज्ञान को ले सकते हैं, शोर को फ़िल्टर कर सकते हैं, और काम पूरा करने के लिए ठीक वही सोच सकते हैं जो आवश्यक है।

संक्षेप में: R&B-EnCoRe रोबोट को अत्यधिक सोचने के बजाय सही चीजों के बारे में सोचना सिखाता है।

तकनीकी सारांश: क्रिया-भविष्यवाणी करने वाले एम्बोडीड रीजनिंग का स्व-पर्यवेक्षित बूटस्ट्रैपिंग (Self-Supervised Bootstrapping of Action-Predictive Embodied Reasoning)

समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडलों ने सामान्यज्ञ रोबोटिक नीतियों (generalist robot policies) के निर्माण के लिए इंटरनेट-स्केल फाउंडेशन मॉडल्स का सफलतापूर्वक लाभ उठाया है। हालाँकि, इन मॉडलों में चेन-ऑफ-थॉट (CoT) रीजनिंग को एकीकृत करना एक महत्वपूर्ण बाधा का सामना करता है: वर्तमान विधियाँ रीजनिंग प्रिमिटिव्स (जैसे, सभी दृश्य वस्तुओं को सूचीबद्ध करना, उच्च-स्तरीय योजनाएं, या संरचनात्मक सामर्थ्य/affordances) को निर्दिष्ट करने के लिए कठोर, "एक ही आकार सबके लिए" (one-size-fits-all) टेम्पलेट्स पर निर्भर करती हैं। ये टेम्पलेट अक्सर नीतियों को अप्रासंगिक या भटकाने वाली जानकारी को संसाधित करने के लिए मजबूर करते हैं, जो क्रिया भविष्यवाणी (action prediction) को खराब कर देता है।

एक मौलिक "एम्बोडमेंट-टू-रीजनिंग ग्राउंडिंग गैप" (embodiment-to-reasoning grounding gap) मौजूद है: इंटरनेट-स्केल इमेज-टेक्स्ट कॉर्पोरा पर प्रशिक्षित विज़न-लैंग्वेज मॉडल्स (VLMs) के विपरीत, रोबोटिक्स में दृष्टि और भाषा को विशिष्ट क्रियाओं से जोड़ने वाले इंटरनेट-स्केल डेटा का अभाव है। फलस्वरूप, भौतिक नियंत्रण के लिए प्रभावी रीजनिंग प्रक्रिया एक अवलोकित न होने वाला लेटेंट वेरिएबल (unobserved latent variable) बनी रहती है। कोई 'ओरेकल' नहीं है जो यह सत्यापित कर सके कि क्या एक विशिष्ट विचार वास्तव में एक गति को सूचित करता है, जिससे एक चक्रीय निर्भरता (circular dependency) उत्पन्न होती है जहाँ मजबूत प्रशिक्षण के लिए उच्च-गुणवत्ता वाली रीजनिंग की आवश्यकता होती है, फिर भी ऐसी रीजनिंग की पहचान करने के लिए एक सफल नीति की आवश्यकता होती है। वर्तमान दृष्टिकोण इसके साथ संघर्ष करते हैं, जो अक्सर अत्यधिक विस्तृत (verbose) रीजनिंग का सहारा लेते हैं जो इंटरनेट-स्केल ज्ञान को विशिष्ट रोबोटिक संदर्भों में ग्राउंड करने में विफल रहता है।

कार्यप्रणाली: R&B-EnCoRe

लेखक R&B-EnCoRe (Refine and Bootstrap Embodiment-specific Chain-of-Thought Reasoning) पेश करते हैं, जो एक ऐसा ढांचा है जो एम्बोडीड रीजनिंग को एक निश्चित एनोटेशन के रूप में नहीं, बल्कि एक लेटेंट वेरिएबल ( $Z$ ) के रूप में मानता है जिसे खोजा और अनुकूलित किया जाना है। यह विधि मॉडल को बिना किसी बाहरी रिवॉर्ड, वेरिफायर या मानव एनोटेशन के, स्व-पर्यवेक्षित रिफाइनमेंट के माध्यम से इंटरनेट-स्केल ज्ञान से रीजनिंग को बूटस्ट्रैप करने में सक्षम बनाती है।

यह ढांचा तीन चरणों में कार्य करता है:

1. रीजनिंग ड्रॉपआउट के माध्यम से वार्मस्टार्टिंग (Warmstarting via Reasoning Dropout)

विशिष्ट कार्यों के लिए रीजनिंग प्रिमिटिव्स के इष्टतम संयोजन की खोज करने के लिए, लेखक एक "वार्मस्टार्ट" डेटासेट ( $D_{warm}$ ) का निर्माण करते हैं, जो मॉडल को विविध रीजनिंग रणनीतियों के संपर्क में लाता है।

प्रिमिटिव्स (Primitives): हाइपोथेटिकल रीजनिंग प्रिमिटिव्स ( $\mathcal{R}$ ) का एक सेट परिभाषित किया गया है (जैसे, Plan, Visible Objects, Subtask, Move, Ego State)।
ड्रॉपआउट (Dropout): प्रत्येक प्रदर्शन (demonstration) $(C, A)$ के लिए, प्रत्येक प्रिमिटिव को स्वतंत्र रूप से एक निश्चित प्रायिकता $d$ के साथ शामिल करके या हटाकर सिंथेटिक ट्रेसेस (synthetic traces) उत्पन्न किए जाते हैं (Reasoning Dropout)। यह संक्षिप्त से लेकर विस्तृत तक के विभिन्न ट्रेसेस का एक विविध वितरण बनाता है, जिससे मॉडल को विभिन्न रणनीतियों का पता लगाने की अनुमति मिलती है।

2. प्रायर और पोस्टीरियर का संयुक्त प्रशिक्षण (Joint Training of Prior and Posterior)

एक एकल मॉडल दोहरी भूमिका निभाने के लिए प्रशिक्षित किया जाता है, जो वेरिएशनल ऑटोएनकोडर्स (VAEs) की एनकोडर-डिकोडर संरचना की नकल करता है:

प्रायर मॉडल ( $p(Z, A | C)$ ): यह संदर्भ $C$ दिए जाने पर रीजनिंग रणनीतियाँ $Z$ उत्पन्न करने और क्रिया $A$ की भविष्यवाणी करने के लिए प्रशिक्षित है। यह ऑनलाइन पॉलिसी का प्रतिनिधित्व करता है।
पोस्टीरियर मॉडल ( $q(Z | C, A)$ ): यह संदर्भ $C$ और ग्राउंड-ट्रुथ एक्शन $A$ दोनों की स्थिति में रीजनिंग उम्मीदवारों $Z$ को उत्पन्न करने के लिए प्रशिक्षित है। यह कार्यों को पश्चदृष्टि (hindsight) में समझाने के लिए एक प्रस्ताव वितरण (proposal distribution) के रूप में कार्य करता है।

3. इम्पोर्टेंस सैंपलिंग के माध्यम से रिफाइनमेंट और बूटस्ट्रैपिंग (Refinement and Bootstrapping via Importance Sampling)

मुख्य नवाचार इम्पोर्टेंस वेटेड ऑटोएनकोडर्स (IWAE) का उपयोग करके रीजनिंग वितरण को परिष्कृत करने में निहित है।

सैंपलिंग (Sampling): प्रत्येक प्रदर्शन के लिए, पोस्टीरियर $q(Z | C, A)$ से $K$ उम्मीदवार रीजनिंग ट्रेसेस सैंपल किए जाते हैं।
वेटिंग (Weighting): प्रत्येक ट्रेस के लिए इम्पोर्टेंस वेट्स की गणना की जाती है: $w(Z_k) = \frac{p(Z_k, A | C)}{q(Z_k | C, A)}$ ।
रीसैंपलिंग (Resampling): इन वेट्स के आनुपातिक एक कैटेगोरिकल डिस्ट्रीब्यूशन के आधार पर उम्मीदवारों में से एक सिंगल ट्रेस $Z^*$ को रीसैंपल किया जाता है।
सूचना लाभ (Information Benefit): सैद्धांतिक रूप से, यह प्रक्रिया उन रीजनिंग रणनीतियों को बढ़ाती है जो मॉडल के एक्शन डिस्ट्रीब्यूशन और एक्सपर्ट के डिस्ट्रीब्यूशन के बीच के अंतर (divergence) को कम करती हैं (सकारात्मक सूचना लाभ), जबकि भटकाने वाली रणनीतियों को दबा देती है।
बूटस्ट्रैपिंग (Bootstrapping): अंतिम VLA को इन परिष्कृत, उच्च-गुणवत्ता वाले एक्शन-प्रेडिक्टिव रीजनिंग ट्रेसेस के डेटासेट पर फिर से प्रशिक्षित किया जाता है, जिससे मैनुअल इंजीनियरिंग के बिना उच्च-गुणवत्ता वाले रीजनिंग ट्रेसेस प्राप्त होते हैं।

मुख्य योगदान (Key Contributions)

R&B-EnCoRe फ्रेमवर्क: एक विधि जो एम्बोडीड रीजनिंग को एक लेटेंट वेरिएबल के रूप में स्वरूपित करती है, जो इम्पोर्टेंस-वेटेड वेरिएशनल इन्फरेंस का उपयोग करके सिंथेटिक प्रायर से स्व-सुधार करने वाला एक ड्रॉप-इन ट्रेनिंग रेसिपी प्रदान करती है। यह "एक ही आकार सबके लिए" वाले ह्यूरिस्टिक्स और महंगे मानव एनोटेशन की आवश्यकता को समाप्त करता है।
स्व-पर्यवेक्षित फ़िल्टरिंग (Self-Supervised Filtering): यह दृष्टिकोण प्रभावी रूप से "डिस्ट्रैक्टर" जानकारी (जैसे, कार्य-अप्रासंगिक वस्तुओं के बाउंडिंग बॉक्स) को फ़िल्टर करता है और महत्वपूर्ण संकेतों (जैसे, लेग्ड रोबोट्स के लिए स्ट्रक्चरल अफोर्डेंस) को बढ़ाता है, जिसमें बाहरी रिवॉर्ड की आवश्यकता नहीं होती है। यह उच्च-गुणवत्ता वाले, व्याख्या योग्य (interpretable) रीजनिंग ट्रेसेस बनाता है जो आवश्यक संकेतों को शोर (noise) से अलग करते हैं।
क्रॉस-डोमेन वैलिडेशन (Cross-Domain Validation): इस विधि को 1B से 30B पैरामीटर्स तक के VLA आर्किटेक्चर का उपयोग करके मैनिपुलेशन (Franka Panda, WidowX), लेग्ड नेविगेशन (बाइपेडल, व्हील्ड, बाइसिकल, क्वाड्रुपेड), और ऑटोनॉमस ड्राइविंग में मान्य किया गया है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक तीन डोमेन में महत्वपूर्ण प्रदर्शन लाभ रिपोर्ट करते हैं:

मैनिप्युलेशन (LIBERO-90 & Bridgev2):
- उन मॉडलों की तुलना में मैनिपुलेशन सफलता दर में 28% की वृद्धि हासिल की जो बिना सोचे-समझे सभी उपलब्ध प्रिमिटिव्स के बारे में तर्क करते हैं।
- औसत उत्पन्न टोकन की संख्या को आधा कर दिया, जो अधिक संक्षिप्त रीजनिंग को दर्शाता है।
- ऑब्जेक्ट क्रिटिकैलिटी रेट (उन ट्रेसेस का प्रतिशत जहाँ सूचीबद्ध वस्तुएं कार्य-महत्वपूर्ण हैं) को 0.03% (सभी वस्तुओं को सूचीबद्ध करना) से बढ़ाकर 25.02% कर दिया।
- डिस्ट्रैक्शन (distractions) वाले आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सेटिंग्स में मजबूती प्रदर्शित की, जहाँ बेसलाइन मॉडल प्रदर्शन में गिरावट का सामना करते हैं।
लेग्ड नेविगेशन (NaviTrace):
- बाइपेडल, व्हील्ड, बाइसिकल और क्वाड्रुपेड एम्बोडिमेंट्स में नेविगेशन स्कोर (NaviTrace मेट्रिक) में 101% का सुधार हासिल किया।
- इसने मौसम के व्यक्तिपरक विवरण जैसे अप्रासंगिक प्रिमिटिव्स को सफलतापूर्वक हटा दिया, जबकि महत्वपूर्ण अफोर्डेंस और बाधा संबंधी रीजनिंग को बनाए रखा।
ऑटोनॉमस ड्राइविंग (nuScenes):
- बेसलाइन्स की तुलना में कोलिजन-रेट (collision-rate) मेट्रिक में 21% की कमी हासिल की।
- कम कोलिजन रेट बनाए रखते हुए ट्रैजेक्टरी प्रेडिक्शन एरर (L2 पाथ एरर) को कम किया।
- दिखाया कि इम्पोर्टेंस सैंपलिंग स्टेप में पोस्टीरियर सैंपल्स ( $K$ ) की संख्या बढ़ाने से प्रदर्शन में निरंतर सुधार होता है, जो 16 सैंपल्स के आसपास संतृप्त (saturate) हो जाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि R&B-EnCoRe एम्बोडीड रीजनिंग में चक्रीय निर्भरता को संबोधित करता है क्योंकि यह मॉडल को सफल नियंत्रण की भविष्यवाणी करने वाली रीजनिंग को निकालने (distill) की अनुमति देता है। रीजनिंग को एक लेटेंट वेरिएबल के रूप में मानकर और स्व-पर्यवेक्षित इम्पोर्टेंस वेटिंग का उपयोग करके, यह विधि मैनुअल एनोटेशन इंजीनियरिंग के बिना भौतिक निष्पादन में इंटरनेट-स्केल ज्ञान को ग्राउंड करती है।

लेखक इस बात पर जोर देते हैं कि इस दृष्टिकोण की प्रभावशीलता व्यक्तिगत गुणवत्ता के बजाय प्रारंभिक वार्मस्टार्ट प्रिमिटिव्स की विविधता और कवरेज पर निर्भर करती; इम्पोर्टेंस-सैंपलिंग स्टेप स्वचालित रूप से गैर-सूचनात्मक प्रिमिटिव्स को कम महत्व देता है। अंततः, R&B-EnCoRe ऐसे स्व-सुधारने वाली नीतियों के निर्माण को सक्षम बनाता है जो न केवल कार्य करने के लिए, बल्कि कार्य करने से पहले "सही प्रश्न पूछने" के लिए अपने प्रायर का लाभ उठाने के लिए सीखती हैं, जिससे कार्य सफलता और अनुमान दक्षता (verbose रीजनिंग को कम करके विलंबता/latency को कम करना) में महत्वपूर्ण सुधार होता है।