🤖 machine learning

Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret

यह शोध पत्र "मास्टर योर ओन एक्सपर्टाइज़" (MYOE) फ्रेमवर्क पेश करता है, जो प्रिफरेंस रिग्रेट (preference regret) की गणना करने के लिए एक क्वेयरेबल मिक्सचर-ऑफ-प्रिफरेंसेस स्टेट स्पेस मॉडल (QMoP-SSM) का उपयोग करता है, जिससे न्यूरोरोबॉट्स सीमित प्रदर्शन डेटा से जटिल व्यवहार सीख पाते हैं और पारंपरिक प्रदर्शन से सुदृढीकरण शिक्षण (reinforcement learning from demonstrations) में निहित डेटा की कमी और त्रुटि-संचय (error-compounding) की समस्याओं पर विजय प्राप्त कर पाते हैं।

मूल लेखक: Viet Dung Nguyen, Yuhang Song, Anh Nguyen, Jamison Heard, Reynold Bailey, Alexander Ororbia

प्रकाशित 2026-04-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Viet Dung Nguyen, Yuhang Song, Anh Nguyen, Jamison Heard, Reynold Bailey, Alexander Ororbia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अनाड़ी रोबोट को कॉफी बनाना सिखाने की कोशिश कर रहे हैं। अतीत में, वैज्ञानिक इसे दो तरीकों में से एक तरीके से करने की कोशिश करते थे:

"फोटोकॉपी" विधि (इमिटेशन लर्निंग - Imitation Learning): आप रोबोट को एक इंसान द्वारा कॉफी बनाने का वीडियो दिखाते हैं, और रोबोट हर हरकत की हूबहू नकल करने की कोशिश करता है। समस्या यह है कि यदि इंसान कोई छोटी सी गलती करता है (जैसे अपना हाथ थोड़ा हिलाना), तो रोबोट भी उसकी नकल करता है। फिर, क्योंकि रोबोट अब केंद्र से थोड़ा हट गया है, वह खुद को ठीक करने के लिए एक बड़ी गलती करता है, जिससे एक और बड़ी गलती हो जाती है। अंततः, रोबोट हर जगह कॉफी फैला देता है। इसे "कैस्केडिंग एरर" (Cascading Error) की समस्या कहा जाता है।
"प्रयास और त्रुटि" विधि (रीइन्फोर्समेंट लर्निंग - Reinforcement Learning): आप रोबोट को कहते हैं, "कॉफी बनाओ," और उसे दस लाख बार कोशिश करने देते हैं। यदि वह कॉफी गिरा देता है, तो उसे एक "खराब" संकेत मिलता है; यदि वह सफल होता है, तो उसे एक "अच्छा" संकेत मिलता है। समस्या यह है कि वास्तविक दुनिया में, आप रोबोट को दस लाख बार कॉफी गिराने नहीं दे सकते। इसमें बहुत समय लगता है, बहुत खर्च आता है, और शायद मशीन टूट सकती है। साथ ही, आपके पास आमतौर पर बहुत ही कम "विशेषज्ञ" डेटा होता है (शायद इंसान के केवल 5 वीडियो)।

यह पेपर एक नया फ्रेमवर्क पेश करता है जिसे MYOE ("मास्टर योर ओन एक्सपर्टाइज़" - Master Your Own Expertise) कहा जाता है। इसे ऐसे समझें कि आप रोबोट को उसका अपना सबसे अच्छा कोच बनने के लिए सिखा रहे हैं।

मुख्य विचार: "मानसिक पूर्वाभ्यास" कोच (The "Mental Rehearsal" Coach)

सिर्फ नकल करने या अंधे होकर अनुमान लगाने के बजाय, MYOE रोबोट के दिमाग के अंदर एक मानसिक सिम्युलेटर (mental simulator) होता है। यह कैसे काम करता है, इसके लिए एक सरल उदाहरण देखते हैं:

1. "दिन में सपने देखने वाला" इंजन (QMoP-SSM)

कल्पना कीजिए कि आप टेनिस खेलना सीख रहे हैं। आप केवल एक प्रो खिलाड़ी को देखते नहीं हैं; आप अपनी आँखें बंद करते हैं और कल्पना करते हैं कि आप गेंद को पूरी तरह से हिट कर रहे हैं। आप प्रक्षेपवक्र (trajectory), स्पिन और लैंडिंग स्पॉट की कल्पना करते हैं।

रोबोट भी ऐसा ही करता है। उसके पास QMoP-SSM नामक एक मॉडल है।

यह लक्ष्य को देखता है (जैसे, "दराज खोलें")।
यह सपनों की दुनिया में (daydreams/simulates) उस दराज को खोलने के हजारों संभावित तरीकों की कल्पना करता है।
महत्वपूर्ण बात यह है कि यह केवल इस बारे में सपने नहीं देखता कि क्या हुआ; यह सपने देखता है कि क्या होना चाहिए। यह अपने मन में एक "पसंदीदा पथ" (preferred path) बनाता है।

2. "पछतावे" का स्कोर (Preference Regret)

यही असली जादू है। पुराने दिनों में, यदि रोबोट विशेषज्ञ के वीडियो से भटक जाता था, तो उसे दंडित किया जाता था। लेकिन क्या होगा यदि इंसान का वीडियो वास्तव में थोड़ा अनाड़ी था?

MYOE रोबोट "प्रेफरेंस रिग्रेट" (Preference Regret) की अवधारणा का उपयोग करता है।

उपमा: कल्पना कीजिए कि आप गाड़ी चला रहे हैं। आपके पास एक GPS (विशेषज्ञ डेटा) है जो आपको बाएं मुड़ने के लिए कह रहा है। लेकिन आपका अपना आंतरिक मानचित्र (आपका सपना) कहता है कि बाएं मुड़ने से आप गड्ढे में टकरा जाएंगे, जबकि दाएं मुड़ना अधिक सुगम है।
गणना: रोबोट पूछता है, "यदि मैं GPS का पालन करता हूँ, तो मुझे अपने स्वयं के सुचारू, कल्पित पथ की तुलना में कितना 'पछतावा' (regret) होगा?"
परिणाम:
- यदि विशेषज्ञ का पथ अच्छा है, तो रोबोट उसका पालन करता है।
- यदि विशेषज्ञ का पथ अनाड़ी है (या यदि रोबोट ऐसी नई स्थिति में है जिसे विशेषज्ञ ने कभी नहीं देखा), तो रोबोट महसूस करता है, "अरे, विशेषज्ञ का पथ वास्तव में मेरे कल्पित पथ की तुलना में खराब है!" इसके बाद, वह विशेषज्ञ के वीडियो के अनाड़ी हिस्से को अनदेखा कर देता है और अपने बेहतर, कल्पित पथ का अनुसरण करता है।

यह अनिवार्य रूप से कहता है: "मैं विशेषज्ञ से सीखूँगा, लेकिन मैं केवल उन्हीं हिस्सों की नकल करूँगा जो समझ में आते हैं। यदि विशेषज्ञ कोई गलती करता है, तो मुझे उसका 'पछतावा' होगा और मैं खुद उसे ठीक कर लूँगा।"

3. सपनों का "मिश्रण" (The "Mixture" of Dreams)

कभी-कभी, किसी कार्य को करने का केवल एक ही तरीका नहीं होता। आप किसी दरवाजे को धक्का देकर, खींचकर या खिसकाकर खोल सकते हैं।
रोबोट का सपनों वाला इंजन केवल एक पथ की कल्पना नहीं करता; यह कई संभावित सफल पथों के मिश्रण (mixture) की कल्पना करता है। यह रोबोट को चीजों को करने के केवल एक अजीब तरीके पर अटकने से रोकता है (जिसे "मोड कोलैप्स" कहा जाता है)। यह उसके विकल्पों को खुला रखता है और सफलता के विभिन्न तरीकों की खोज करता है।

यह क्यों महत्वपूर्ण है (वास्तविक दुनिया का परीक्षण)

शोधकर्ताओं ने इसका परीक्षण वास्तविक रोबोटों (जैसे कि एक 7-हाथ वाले रोबोट और एक 4-हाथ वाले रोबोट) पर किया, जिनके पास बहुत सीमित डेटा (केवल इंसान के 5 छोटे वीडियो) था।

पुराना तरीका: रोबोट इंसान की नकल करने की कोशिश करते, वीडियो की छोटी गलतियों से भ्रमित हो जाते, और पूरी तरह विफल हो जाते।
MYOE तरीका: रोबोट ने 5 वीडियो देखे, वास्तविक लक्ष्य को समझने के लिए अपने "सपनों वाले दिमाग" का उपयोग किया, और फिर अपने मन में अभ्यास किया। जब उसने वास्तविक जीवन में कार्य करने की कोशिश की, तो उसने केवल नकल नहीं की; उसने अनुकूलन (optimize) किया। उसने इंसान की गलतियों को सुधारा और लक्ष्य तक पहुँचने का सबसे सुचारू रास्ता खोज लिया।

निष्कर्ष (The Bottom Line)

यह पेपर एक ऐसे रोबोट को देने के बारे में है जिसके पास भविष्य की कल्पना करने वाला दिमाग हो। एक बेजान फोटोकॉपी मशीन होने के बजाय जो दोषपूर्ण मूल की नकल करते हुए टूट जाती है, रोबोट एक स्मार्ट छात्र बन जाता है। वह शिक्षक (विशेषज्ञ डेटा) से सीखता है, लेकिन अपनी सहज बुद्धि (प्रेफरेंस मॉडल) का उपयोग करके गलतियों को सुधारता है और सर्वोत्तम संभव समाधान पाता है, भले ही उसके पास बहुत कम जानकारी हो।

संक्षेप में: यह रोबोट को "अपने स्वयं के विशेषज्ञता में महारत हासिल करना" सिखाता है, जिसमें वह सफलता के सपने देखता है और सबसे अच्छे पथ से भटकने पर "पछतावा" महसूस करता है, बजाय इसके कि वह केवल संभावित रूप से त्रुटिपूर्ण इंसान की आंख मूंदकर नकल करे।

यहाँ शोध पत्र "Optimizing Neurorobot Policy Under Limited Demonstration Data Through Preference Regret" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रोबोट रिइन्फोर्समेंट लर्निंग फ्रॉम डेमोंस्ट्रेशनेशन (RLfD) की दो महत्वपूर्ण सीमाओं को संबोधित करता है:

डेटा की कमी (Data Scarcity): अधिकांश RLfD एल्गोरिदम विशेषज्ञ डेटा (expert data) की प्रचुरता मानते हैं, जो वास्तविक दुनिया के परिदृश्यों में अवास्तविक है क्योंकि डेटा एकत्र करने की लागत और समय बहुत अधिक होता है।
कैस्केडिंग त्रुटियाँ (Cascading Errors/Covariate Shift): पारंपरिक इमिटेशन लर्निंग (IL) और बिहेवियर क्लोनिंग (BC) डेटा को स्वतंत्र और समान रूप से वितरित (i.i.d.) मानते हैं। ऑनलाइन निष्पादन के दौरान, नियोजन (planning) की छोटी त्रुटियाँ जमा हो जाती हैं, जिससे एजेंट प्रशिक्षित वितरण से हटकर अनपेक्षित अवस्थाओं (unobserved states) में चला जाता है, जिससे पॉलिसी विफल हो जाती है।
सब-ऑप्टिमल विशेषज्ञ डेटा (Suboptimal Expert Data): मौजूदा विधियाँ अक्सर विशेषज्ञ प्रदर्शनों की बिना सोचे-समझे नकल करती हैं, भले ही विशेषज्ञ डेटा शोर युक्त (noisy) या सब-ऑप्टिमल हो, जिससे वे वास्तविक पर्यावरणीय पुरस्कार (environmental reward) को अनुकूलित करने में विफल रहती हैं।

2. कार्यप्रणाली: MYOE फ्रेमवर्क (Methodology: The MYOE Framework)

लेखक "Master Your Own Expertise" (MYCE) फ्रेमवर्क प्रस्तावित करते हैं, जो एक सेल्फ-इमिटेशन लर्निंग दृष्टिकोण है जो एक्टिव इन्फरेंस (AIF), जेनेरेटिव वर्ल्ड मॉडल्स, और प्रेफरेंस रिग्रेट (Preference Regret) न्यूनीकरण को जोड़ता है।

A. मुख्य आर्किटेक्चर: QMoP-SSM

फ्रेमवर्क एक क्वेयरेबल मिक्सचर-ऑफ-प्रेफरेंसेस स्टेट स्पेस मॉडल (QMoP-SSM) का उपयोग करता है। यह एक जेनेरेटिव वर्ल्ड मॉडल है जो सीखने को दो समानांतर प्रक्रियाओं में विभाजित करता है:

रिप्रेजेंटेशन लर्निंग (Representation Learning): भविष्य की अवस्थाओं और पुरस्कारों की भविष्यवाणी करने के लिए अवलोकनों ( $o_t$ ) से दुनिया की छिपी हुई अवस्था ( $s^o_t$ ) का अनुमान लगाता है।
प्रेफरेंस लर्निंग (Preference Learning): सीखे गए लक्ष्यों ( $g_\theta$ ) और विशेषज्ञ प्रदर्शनों के आधार पर भविष्य के "पसंदीदा" अवस्था प्रक्षेपवक्रों ( $s^p_t$ ) की भविष्यवाणी करता है।

मॉडल को फ्री एनर्जी (Free Energy) को कम करने के लिए प्रशिक्षित किया जाता है, जिसमें शामिल है:

अनुमानित पोस्टीरियर और प्रायर के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करना (आश्चर्य या "surprise" को कम करना)।
अवलोकन और पुरस्कार भविष्यवाणी की सटीकता को अधिकतम करना।
प्रेफरेंस पोस्टीरियर और रिप्रेजेंटेशन पोस्टीरियर के बीच की दूरी को कम करना (यह सुनिश्चित करना कि एजेंट की कल्पित लक्ष्य वास्तविक सफल अवस्थाओं के अनुरूप हों)।

"मोड कोलैप्स" (जहाँ मॉडल केवल एक विशिष्ट प्रक्षेपव been (trajectory) सीखता है) को रोकने के लिए, SSM एक मिक्सचर ऑफ प्रेफरेंसेस का उपयोग करता है। यह स्टोकैस्टिक प्रेफरेंस डिस्ट्रीब्यूशन का एक संग्रह अनुमानित करता है, जिससे एजेंट एक ही लक्ष्य तक पहुँचने के विविध पथों की खोज कर सकता है और अन्वेषण (exploration) को बढ़ावा देने के लिए एंट्रॉपी को अधिकतम कर सकता है।

B. व्यवहार संबंधी सीखना: प्रेफरेंस रिग्रेट (Behavioral Learning: Preference Regret)

मुख्य नवाचार एक अंतर्निहित पुरस्कार संकेत के रूप में प्रेफरेंस रिग्रेट का परिचय है। केवल विशेषज्ञ कार्यों की नकल करने के बजाय, एजेंट अपने प्रेफरेंस मॉडल द्वारा अनुमानित पुरस्कारों और वास्तविक पर्यावरणीय पुरस्कारों के बीच के अंतर को कम करके अपनी पॉलिसी को अनुकूलित करता है।

कुल पुरस्कार संकेत ( $R_\tau$ ) को इस प्रकार तैयार किया गया है:
$R_\tau = \underbrace{r^o_\tau}_{\text{Env Reward}} - \underbrace{(r^p_\tau - r^o_\tau)}_{\text{Preference Regret}} + \alpha H[\text{Entropy}]$

प्रेफरेंस रिग्रेट टर्म: $(r^p_\tau - r^o_\tau)$ $(r_{τ}^{p} - r_{τ}^{o})$ पसंदीदा प्रक्षेपवक्र द्वारा अनुमानित पुरस्कार ( $r^p$ $r^{p}$ ) और वास्तविक देखे गए पुरस्कार ( $r^o$ $r^{o}$ ) के बीच का अंतर है।
- यदि एजेंट एक उच्च-गुणवत्ता वाले प्रेफरेंस से विचलित होता है, तो रिग्रेट नकारात्मक होता है (विचलन को दंडित करना)।
- यदि विशेषज्ञ प्रदर्शन सब-ऑप्टिमल है (अर्थात, वास्तविक पर्यावरणीय पुरस्कार $r^o$ , प्रेफरेंस अनुमान $r^p$ से अधिक है), तो रिग्रेट सकारात्मक हो जाता है। यह एजेंट को सब-ऑप्टिमल विशेषज्ञ को अनदेखा करने और उच्च पर्यावरणीय पुरस्कारों का पीछा करने के लिए प्रेरित करता है, जो प्रभावी रूप से "अंधा नकल" (blind imitation) की समस्या को हल करता है।
एंट्रॉपी टर्म: अवस्था वितरण (state distribution) की एंट्रॉपी को अधिकतम करके अन्वेषण (curiosity) को प्रोत्साहित करता है।

पॉली को जनरलाइज्ड एडवांटेज एस्टीमेशन (GAE) के साथ प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) का उपयोग करके प्रशिक्षित किया जाता है, जो संवर्धित पुरस्कार संकेत का उपयोग करके एक्टर-क्रिटिक नेटवर्क को अपडेट करता है।

3. मुख्य योगदान (Key Contributions)

QMoP-SSM: एक नवीन स्टेट स्पेस मॉडल जो विश्व प्रतिनिधित्व (world representations) और लक्ष्य-आधारित प्रेफरेंस प्रक्षेपवक्रों को संयुक्त रूप से सीखता है, जिससे एजेंट भविष्य की अवस्थाओं और लक्ष्यों की "कल्पना" कर सकता है।
प्रेफरेंस रिग्रेट मैकेनिज्म: एक नया अंतर्निहित पुरस्कार सूत्र जो एजेंट को विशेषज्ञों की नकल करने और पर्यावरणीय पुरस्कारों को अनुकूलित करने के बीच अनुकूल रूप से संतुलन बनाने की अनुमति देता है। यह एजेंट को आवश्यक होने पर सब-ऑप्टिमल विशेषज्ञ पथों से दूर ले जाकर कैस्केडिंग त्रुटियों को कम करता है।
मिक्सचर ऑफ प्रेफरेंसेस: SSM का एक विस्तार जो मोड कोलैप्स को रोकने और स्टेट स्पेस के विविध अन्वेषण को सुनिश्चित करने के लिए स्टोकैस्टिक डिस्ट्रीब्यूशन के मिश्रण का उपयोग करता है।
MYOE फ्रेमवर्क: ऑनलाइन RLfD के लिए एक पूर्ण एंड-टू-एंड सिस्टम जो अत्यंत सीमित डेटा (केवल 5 विशेषज्ञ एपिसोड) के साथ प्रभावी ढंग से कार्य करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 32 कार्यों के लिए तीन सिम्युलेटेड वातावरण (Franka Kitchen, Meta-World, Robosuite) और दो वास्तविक रोबोट प्लेटफॉर्म (7bot और PX100) में 32 कार्यों में MYOE का अत्याधुनिक बेसलाइन्स (DreamerV3-BC, PPO-BC, LAIfO, और विभिन्न सेल्फ-सुपरवाइज्ड BC वेरिएंट) के विरुद्ध मूल्यांकन किया।

सिमुलेशन प्रदर्शन:
- MYOE ने अधिकांश कार्यों में सभी बेसलाइन्स की तुलना में काफी उच्च सफलता दर (SR) प्राप्त की।
- उन कार्यों में जहाँ स्पार्स रिवॉर्ड या सब-ऑप्टिमल विशेषज्ञ डेटा था (जैसे, "M Button Press Wall"), बेसलाइन विधियाँ अक्सर पूरी तरह विफल रहीं (SR $\approx$ 0), जबकि MYOE सफल रहा।
- MYOE तेजी से अभिसरित (converge) हुआ, जिससे बेहतर सैंपल एफिशिएंसी का प्रदर्शन हुआ।
वास्तविक दुनिया का प्रदर्शन:
- केवल 5 प्रदर्शन एपिसोड (प्रत्येक 10 स्टेप्स) के साथ भौतिक रोबोटों (7bot और PX100) पर प्रयोगों में, MYOE ने "Reach" और "Block Picking" कार्यों में बेसलाइन्स को पछाड़ते हुए दिखाया।
- MYOE ने वास्तविक दुनिया के सेटअप में प्रेरित शोर और कैस्केडिंग त्रुटियों को सफलतापूर्वक संभाला, जबकि बेसलाइन्स पॉलिसी विचलन (policy divergence) से ग्रस्त हुए।
प्रेफरेंस रिग्रेट पर एब्लेशन (Ablation on Preference Regret): सैद्धांतिक विश्लेषण (लेम्मा 1) और अनुभवजन्य परिणाम पुष्टि करते हैं कि रिग्रेट मैकेनिज्म एजेंट को सब-ऑप्टिमल विशेषज्ञ प्रदर्शनों को अनदेखा करने और वास्तविक पर्यावरणीय पुरस्कारों को अधिकतम करने की अनुमति देता है।

5. महत्व (Significance)

यह कार्य न्यूरोरोबोटिक्स और सैंपल-एफिशिएंट RL में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

व्यावहारिकता: यह "डेटा की कमी" की समस्या को हल करता है, जिससे RLfD वास्तविक दुनिया में तैनाती के लिए व्यवहार्य हो जाता है जहाँ हजारों विशेषज्ञ प्रदर्शन एकत्र करना असंभव है।
मजबूती (Robustness): साधारण व्यवहार क्लोनिंग से आगे बढ़कर "प्रेफरेंस-रिग्रेट" आधारित अनुकूलन का उपयोग करके, सिस्टम शोर युक्त, सब-ऑप्टिमल या सीमित विशेषज्ञ डेटा के प्रति मजबूत है।
सैद्धांतिक एकीकरण: यह सफलतापूर्वक एक्टिव इन्फेंस (फ्री एनर्जी प्रिंसिपल) को आधुनिक डीप रिइन्फोर्समेंट लर्निंग के साथ जोड़ता है, जो एक जैविक रूप से प्रशंसनीय तंत्र प्रदान करता है कि कैसे एजेंट आंतरिक विश्वासों (वरीयताओं) और बाहरी वास्तविकता (पुरस्कारों) के बीच संतुलन बनाकर सीमित अनुभव से सीख सकते हैं।

शोध पत्र निष्कर्ष निकालता है कि हालांकि MYOE अधिकांश परिदृश्यों में उत्कृष्ट है, भविष्य के कार्य को अत्यंत सूक्ष्म दृश्य विवरणों (जैसे, छोटी वस्तुएं) को संभालने की मॉडल की क्षमता में सुधार करने और बेहतर टेम्पोरल डिपेंडेंसी निष्कर्षण के लिए अधिक उन्नत ऑटो-रिग्रेसिव मॉडल का उपयोग करने पर ध्यान केंद्रित करना चाहिए।