🤖 AI

Masked IRL: LLM-Guided Reward Disambiguation from Demonstrations and Language

यह शोध पत्र मास्क्ड IRL (Masked IRL) का प्रस्ताव देता है, जो एक ऐसा फ्रेमवर्क है जो प्राकृतिक भाषा निर्देशों से स्टेट-रेलेवेंस मास्क (state-relevance masks) को निकालने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे प्रदर्शनों (demonstrations) में अस्पष्टता दूर होती है और रोबोट के लिए रिवॉर्ड लर्निंग की सैंपल दक्षता, सामान्यीकरण और मजबूती में महत्वपूर्ण सुधार होता है।

मूल लेखक: Minyoung Hwang, Alexandra Forsey-Smerek, Nathaniel Dennler, Andreea Bobu

प्रकाशित 2026-04-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minyoung Hwang, Alexandra Forsey-Smerek, Nathaniel Dennler, Andreea Bobu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को आपको कॉफी का एक कप बनाना सिखा रहे हैं। आप रोबोट को यह दिखाने के लिए कि इसे कैसे करना है, खुद उसके हाथ को हिलाकर उसे दिखाते हैं (डेमोंस्ट्रेशन/प्रदर्शन) और साथ ही आप उसे कहते हैं, "लैपटॉप को गिराने से सावधान रहना।"

समस्या यह है कि रोबोट अविश्वसनीय रूप से शाब्दिक (literal) होते हैं और कभी-कभी थोड़े डरे हुए भी होते हैं। यदि आप उन्हें केवल गति दिखाते हैं, तो वे सोच सकते हैं, "ओह, मैं समझ गया! इंसान ने हाथ को एक वक्र (curve) में घुमाया। शायद सबसे महत्वपूर्ण बात यह सुनिश्चित करना है कि हाथ एक सटीक वृत्त (circle) बनाए!" वे लैपटॉप को पूरी तरह से अनदेखा कर सकते हैं और गलत विवरणों पर ध्यान केंद्रित कर सकते हैं, जैसे मेज का रंग या गति। इसे ओवरफिटिंग (overfitting) कहा जाता: रोबोट उस विशिष्ट "नृत्य" को सीख जाता है जो आपने किया था, लेकिन वास्तविक लक्ष्य को नहीं।

दूसरी ओर, यदि आप केवल कहते हैं, "दूर रहो," बिना उन्हें कुछ दिखाए, तो रोबोट भ्रमित हो जाता है। किससे दूर रहूँ? मेज से? इंसान से? कॉफी कप से?

समाधान: "मास्क्ड IRL" (Masked IRL)

MIT CSAIL के शोधकर्ताओं ने एक चतुर समाधान निकाला जिसे मास्क्स्ड IRL (इन्वर्स रिइन्फोर्समेंट लर्निंग) कहा जाता है। इसे एक रोबोट को स्मार्ट चश्मे और एक बुद्धिमान सहायक देने के रूप में समझें।

यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:

1. बुद्धिमान सहायक (LLM)

रोबोट के पास एक "दिमाग" है जो एक लार्ज लैंग्वेज मॉडल (LLM) से जुड़ा है—मूल रूप से, एक सुपर-स्मार्ट AI जो मानव भाषा और सामान्य ज्ञान को समझता है।

कार्य: जब आप "दूर रहो" जैसा निर्देश देते हैं, तो रोबोट का AI सहायक आपके प्रदर्शन (आपके द्वारा की गई गति) को देखता है और कहता है, "आह, मैंने देखा कि आपने हाथ को लैपटॉप से दूर ले जाया। आपने मेज से दूर नहीं हटाया। इसलिए, 'दूर रहो' का अर्थ है 'लैपटॉप से दूर रहो'।"
उपमा: यह एक शिक्षक की तरह है जो छात्र के उत्तरों को देख रहा है। यदि छात्र गलत उत्तर चुनता है लेकिन शिक्षक जानता है कि छात्र वास्तव में किसी विशिष्ट जाल से बचने की कोशिश कर रहा था, तो शिक्षक समझ सकता है कि छात्र का मतलब क्या था।

2. स्मार्ट चश्मे (स्टेट मास्क - State Masks)

एक बार जब AI सहायक यह समझ लेता है कि क्या महत्वपूर्ण है, तो वह रोबोट के लिए "स्मार्ट चश्मे" पहन लेता है।

कार्य: ये चश्मे एक मास्क (mask) बनाते हैं। वे रोबोट को बताते हैं: "लैपटॉप और अपने हाथ को देखो। मेज, फर्श और दीवारों के रंग को अनदेखा (ignore) करो। इस विशिष्ट कार्य के लिए वे चीजें मायने नहीं रखतीं।"
उपमा: कल्पना कीजिए कि आप एक भीड़ भरे कमरे में किसी विशिष्ट व्यक्ति को खोजने की कोशिश कर रहे हैं। एक सामान्य व्यक्ति हर किसी का चेहरा, उनके कपड़े और पृष्ठभूमि को देख सकता है। "स्मार्ट चश्मे" बाकी सभी को धुंधला कर देंगे सिवाय उस व्यक्ति के जिसे आप देख रहे हैं। यह रोबकार को अप्रासंगिक विवरणों (जैसे मेज के रंग) से विचलित होने से रोकता है।

3. प्रशिक्षण (The "Don't Care" Rule - "परवाह नहीं" नियम)

फिर रोबोट को एक विशेष नियम के साथ प्रशिक्षित किया जाता है: "यदि आप उन चीजों को बदलते हैं जिन्हें चश्मा अनदेखा करने के लिए कहता है (जैसे मेज), तो आपका स्कोर नहीं बदलना चाहिए।"

उपमा: कल्पना कीजिए कि आप केक बना रहे हैं। रेसिपी कहती है, "चीनी डालें।" यदि आप गलती से चीनी के बजाय एक चुटकी नमक डाल देते हैं, तो केक का स्वाद खराब हो जाता है। लेकिन यदि रेसिपी कहती है, "चीनी डालें, और कटोरे के रंग को अनदेखा करें," तो कटोरे का रंग बदलने से केक खराब नहीं होता है। रोबोट सीख जाता है कि कटोरे का रंग (अप्रासंगिक स्थिति) मायने नहीं रखता, इसलिए वह उस पर ध्यान देना बंद कर देता है।

यह एक बड़ी बात क्यों है?

इसे कम डेटा की आवश्यकता होती है: क्योंकि रोबोट अप्रासंगिक चीजों (जैसे मेज के रंग) के बारे में सीखने में समय बर्बाद नहीं कर रहा है, इसलिए वह बहुत तेजी से सीखता है। पेपर कहता है कि इसे पुराने तरीकों की तुलना में 4.7 गुना कम प्रदर्शनों (demonstrations) की आवश्यकता होती है। यह सड़क पर ध्यान केंद्रित करके ड्राइविंग सीखने जैसा है, न कि अन्य कारों के रंग पर।
यह अस्पष्ट निर्देशों को संभालता है: यदि आप कहते हैं "दूर रहो" (जो कि अस्पष्ट है), तो रोबोट यह अनुमान लगाने के लिए प्रदर्शन का उपयोग करता है कि आपका मतलब "लैपटॉप से दूर रहो" था। वह अटकता या भ्रमित नहीं होता।
यह वास्तविक दुनिया में काम करता है: उन्होंने इसे एक वास्तविक रोबोटिक हाथ पर टेस्ट किया, और यह पिछले तरीकों की तुलना में बेहतर काम करता है, तब भी जब निर्देश थोड़े अस्पष्ट हों या रोबोट की हरकतें एकदम सटीक न हों।

निष्कर्ष

मास्क्ड IRL एक रोबोट को कॉमन-सेंस फ़िल्टर देने जैसा है। यह क्या महत्वपूर्ण है यह समझने के लिए भाषा का उपयोग करता है, इसे कैसे करना है यह समझने के लिए प्रदर्शन का उपयोग करता है, और शोर (noise) को अनदेखा करने के लिए AI का उपयोग करता है। यह रोबोट को स्मार्ट, तेज़ सीखने वाला बनाता है जो वास्तव में समझ सकता है कि इंसान वास्तव में क्या चाहता है, भले ही हम इसे पूरी तरह से स्पष्ट न करें।

यहाँ ह्वांग एट अल. के शोध पत्र "Masked IRL: LLM-Guided Reward Disambiguation from Demonstrations and Language" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र इन्वर्स रिइन्फोर्समेंट लर्निंग (IRL) की मौलिक चुनौती को संबोधित करता है: मानव प्रदर्शनों (demonstrations) से रिवॉर्ड फंक्शन सीखना एक 'इल-पोस्ड' (ill-posed) समस्या है। एक एकल प्रदर्शन प्रक्षेपवक्र (trajectory) को अनंत रिवॉर्ड फंक्शन्स द्वारा समझाया जा सकता है।

मुख्य मुद्दा: प्रदर्शन यह दिखाते हैं कि कैसे कार्य करना है, लेकिन वे स्पष्ट रूप से यह नहीं बताते कि क्या महत्वपूर्ण है (उपयोगकर्ता का इरादा)। इसके परिणामस्वरूप, रिवॉर्ड मॉडल अप्रासंगिक अवस्था घटकों (state components) में स्पूरियस कोरिलेशन (spurious correlations) पर ओवरफिट हो जाते हैं (उदाहरण के लिए, एक रोबोट मेज से इसलिए बचता है क्योंकि मानव संयोगवश उसके पास था, न कि इसलिए कि मेज एक बाधा है)।
भाषा की भूमिका: प्राकृतिक भाषा निर्देश (जैसे, "लैपटॉप से दूर रहें") सैद्धांतिक रूप से इन प्राथमिकताओं को स्पष्ट कर सकते हैं। हालाँकि, मौजूदा भाषा-सशर्त विधियाँ निर्देशों को केवल एक कंडीशनिंग सिग्नल के रूप में मानती हैं और अप्रासंगिक अवस्थाओं को फ़िल्टर करने के लिए उनका पूरी तरह से उपयोग नहीं करती हैं।
अस्पष्टता का अंतर (The Ambiguity Gap): वास्तविक दुनिया के निर्देश अक्सर अधोनिर्धारित (underspecified) या अस्पष्ट होते हैं (जैसे, "दूर रहें" बिना यह बताए कि किससे दूर रहना है)। ऐसे अस्पष्ट टेक्स्ट पर सहज कंडीशनिंग करने से अविश्वसनीय रिवॉर्ड लर्निंग होती है।

2. कार्यप्रणाली: मास्क्ड IRL (Methodology: Masked IRL)

लेखक मास्क्ड इन्वर्स रिइन्फोर्समेंट लर्निंग (Masked IRL) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो प्रदर्शनों और भाषा के बीच के अंतर को पाटने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का लाभ उठाता है। यह पद्धति इस अंतर्दृष्टि पर आधारित है कि प्रदर्शन और भाषा एक-दूसरे के पूरक हैं: प्रदर्शन व्यवहार दिखाते हैं, जबकि भाषा प्रासंगिकता निर्दिष्ट करती है।

यह ढांचा तीन प्रमुख घटकों से बना है:

A. LLM-जनरेटेड स्टेट रिलिवेंस मास्क (LLM-Generated State Relevance Masks)

संपूर्ण स्टेट वेक्टर को प्रासंगिक मानने के बजाय, सिस्टम यह पता लगाने के लिए LLM का उपयोग करता है कि एक विशिष्ट निर्देश के लिए स्टेट वेक्टर के कौन से हिस्से प्रासंगिक हैं।

प्रक्रिया: एक प्रदर्शन प्रक्षेपवक्र ( $\tau$ ) और एक निर्देश ( $\ell$ ) दिए जाने पर, LLM एक बाइनरी मास्क $m \in \{0, 1\}^d$ आउटपुट करता है, जहाँ $d$ स्टेट डायमेंशन है। यदि स्टेट कंपोनेंट $j$ प्रासंगिक है तो $m(j)=1$ , अन्यथा $0$।
उदाहरण: निर्देश "लैपटॉप से दूर रहें" के लिए, LLM लैपटॉप की स्थिति को प्रासंगिक ($1 $) और मानव की स्थिति को अप्रासंगिक ($ 0$) पहचानता है।

B. इम्प्लिसिट मास्किंग लॉस (Implicit Masking Loss)

स्टेट डायमेंशन को स्पष्ट रूप से शून्य (zero out) करने के बजाय (जो मॉडल को त्रुटियों के प्रति नाजुक बना देता है), मास्क्ड IRL एक नवीन लॉस फंक्शन के माध्यम से इनवेरिएंस (invariance) को लागू करता है।

तंत्र: मॉडल को यह सुनिश्चित करने के लिए प्रशिक्षित किया जाता है कि अप्रासंगिक स्टेट कंपोनेंट्स (वे जहाँ $m(j)=0$ है) को बाधित करने से अनुमानित रिवॉर्ड में बदलाव न आए।
लॉस फंक्शन:
$\mathcal{L}_{mask}(\theta) = \mathbb{E} \left[ \sum_{j=1}^{d} (1 - m(j)) | r_\theta(s^{(j)} | \ell) - r_\theta(s | \ell) | \right]$
जहाँ $s^{(j)}$ वह स्टेट है जिसमें डायमेंशन $j$ में शोर (noise) जोड़ा गया है। यह मॉडल को अप्रासंगिक फीचर्स पर निर्भर होने के लिए दंडित करता है, जिससे यह मजबूत, कार्य-विशिष्ट फीचर्स सीखने के लिए मजबूर होता है।

C. LLM-आधारित विसंदिग्धाकरण (LLM-Based Disambiguation)

अस्पष्ट निर्देशों (जैसे, "दूर रहें") को संभालने के लिए, सिस्टम इरादे को स्पष्ट करने के लिए प्रदर्शन संदर्भ का उपयोग करता है।

प्रक्रिया: LLM को पर्यावरण का विवरण, अस्पष्ट निर्देश, प्रदर्शन प्रक्षेपवक्र और एक "रेफरेंस प्रक्षेपवक्र" (सबसे छोटा पथ) के साथ प्रॉम्प्ट किया जाता है।
तर्क (Reasoning): LLM प्रदर्शन और संदर्भ पथ के बीच के अंतर के बारे में तर्क करता है ताकि लापता संदर्भ (referent) की परिकल्पना की जा सके (उदाहरण के लिए, यह निष्कर्ष निकालना कि "दूर रहें" का अर्थ "मेज से दूर रहें" है क्योंकि रोबोट मेज से बचने के लिए सबसे छोटे पथ से हट गया था)।
आउटपुट: सिस्टम एक विसंदिग्ध निर्देश (जैसे, "मेज से दूर रहें") उत्पन्न करता है, जिसका उपयोग फिर स्टेट मास्क बनाने और रिवॉर्ड मॉडल को प्रशिक्षित करने के लिए किया जाता है।

D. रिवॉर्ड मॉडल आर्किटेक्चर (Reward Model Architecture)

मुख्य रिवॉर्ड मॉडल एक फीचर-वाइज लीनियर मॉड्यूलेशन (FiLM) का उपयोग करने वाला भाषा-सशर्त न्यूरल नेटवर्क है।

भाषा निर्देश को एक फ्रोजन T5 ट्रांसफार्मर के माध्यम से एम्बेडिंग $h_{lang}$ में एनकोड किया जाता है।
$h_{lang}$ स्केलिंग ( $\gamma$ ) और शिफ्टिंग ( $\beta$ ) पैरामीटर्स उत्पन्न करता है जो स्टेट इनपुट $s$ को एक MLP में पास करने से पहले उसे मॉड्यूलेट करते हैं।
कुल प्रशिक्षण उद्देश्य मैक्सिमम एंट्रॉपी IRL लॉस और मास्किंग लॉस को जोड़ता है:
$J(\theta) = \mathcal{L}_{IRL}(\theta) + \lambda \mathcal{L}_{mask}(\theta)$

3. मुख्य योगदान (Key Contributions)

भाषा-निर्देशित स्टेट रिलिवेंस मास्क: अप्रासंगिक स्टेट डायमेंशन को पहचानने और फ़िल्टर करने के लिए LLM का उपयोग करने वाला एक नवीन तंत्र, जो स्पूरियस कोरिलेशन पर ओवरफिटिंग को रोकता है।
इम्प्लिसिट मास्किंग लॉस: एक प्रशिक्षण उद्देश्य जो अप्रासंगिक स्टेट परटर्बेशन्स के प्रति इनवेरिएंस लागू करता है, जो नेइव एक्सप्लिसिट मास्किंग की तुलना में बेहतर मजबूती प्रदान करता है।
संदर्भगत विसंदिग्धाकरण (Contextual Disambiguation): एक LLM-आधारित पाइपलाइन जो प्रदर्शन डेटा के साथ संयुक्त रूप से तर्क करके अधोनिर्धारित भाषा निर्देशों को हल करती है।
एकीकृत ढांचा (Unified Framework): एक एकल भाषा-सशर्त रिवॉर्ड मॉडल जो प्रत्येक नए उपयोगकर्ता के लिए पुन: प्रशिक्षण की आवश्यकता के बिना विविध प्राथमिकताओं में सामान्यीकरण (generalize) कर सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने PyBullet में सिमुलेशन और वास्तविक दुनिया दोनों में एक 7-DoF फ्रैंका एमिका (Franka Emika) रोबोट आर्म पर टेबल, लैपटॉप और मानव से जुड़े ऑब्जेक्ट हैंडओवर कार्य के लिए मास्क्ड IRL का मूल्यांकन किया।

सैंपल दक्षता (Sample Efficiency): मास्क्ड IRL ने बेसलाइन भाषा-सशर्त IRL (LC-RL) की तुलना में 4.7 गुना कम प्रदर्शनों के साथ भी तुलनीय या बेहतर प्रदर्शन हासिल किया। यह प्रति प्राथमिकता केवल 5 प्रदर्शनों के साथ भी अच्छी तरह से सामान्यीकरण कर सका।
अस्पष्टता के प्रति मजबूती: अस्पष्ट निर्देशों (जैसे, "दूर रहें") के प्रयोगों में, विसंदिग्धाकरण पाइपलाइन ने अस्पष्ट टेक्स्ट का उपयोग करने की तुलना में स्टेट मास्क भविष्यवाणी के F1 स्कोर में 16.9% का सुधार किया। अंतिम रिवॉर्ड मॉडल ने टेस्ट प्राथमिकताओं पर बेसलाइन्स की तुलना में 21.4% अधिक औसत जीत दर (win rate) दिखाई।
सामान्यीकरण (Generalization): मास्क्ड IRL ने स्पार्स (sparse), मीडियम और डेंस (dense) रिवॉर्ड डेंसिटी केAcross बेहतर प्रदर्शन किया।
वास्तविक दुनिया का प्रदर्शन: भौतिक रोबोट पर, मास्क्ड IRL ने प्रदर्शित किया:
- उच्च औसत जीत दर।
- अप्रासंगिक स्टेट डायमेंशन को बाधित करने पर काफी कम रिवॉर्ड वेरिएंस (इनवेरिएंस को सिद्ध करता है)।
- बेसलाइन्स की तुलना में 44.8% से 59.4% कम रिग्रेट (regret), जो दर्शाता है कि इसने ऐसे रिवॉर्ड फंक्शन्स सीखे जो बेहतर अनुकूलित प्रक्षेपवक्रों की ओर ले जाते हैं।

5. महत्व (Significance)

यह कार्य मानव-रोबोट संपर्क (human-robot interaction) और सैंपल-कुशल लर्निंग में एक महत्वपूर्ण कदम है।

"क्या महत्वपूर्ण है" की समस्या का समाधान: यह केवल एक लेबल के रूप में भाषा का उपयोग करने से आगे बढ़कर इसे स्टेट स्पेस को फ़िल्टर करने के लिए एक संरचनात्मक मार्गदर्शक के रूप में उपयोग करता है, जो IRL में ओवरफिटिंग के मूल कारण को संबोधित करता है।
वास्तविक दुनिया के शोर को संभालना: प्रदर्शन संदर्भ के साथ LLM रीजनिंग को जोड़कर, सिस्टम मानव संचार में पाई जाने वाली स्वाभाविक अस्पष्टता और अधोनिर्धारण के प्रति मजबूत बनता है।
व्यावहारिक तैनाती: बहुत कम प्रदर्शनों के साथ मजबूत रिवॉर्ड फंक्शन सीखने की क्षमता इस दृष्टिकोण को वास्तविक दुनिया की रोबोटिक्स के लिए व्यवहार्य बनाती है, जहाँ मानव प्रदर्शनों के बड़े डेटासेट एकत्र करना महंगा और समय लेने वाला होता है।

संक्षेप में, मास्क्ड IRL प्रदर्शनों (व्यवहारात्मक डेटा) और भाषा (सिमेंटिक बाधाओं) की पूरक शक्तियों का लाभ उठाने के लिए LLMs का प्रभावी ढंग से उपयोग करता है ताकि अधिक डेटा-कुशल, सामान्यीकरण योग्य और अस्पष्टता के प्रति मजबूत रिवॉर्ड मॉडल बनाए जा सकें।