🤖 machine learning

Supervised Reward Inference

यह शोध पत्र सुपरवाइज्ड रिवॉर्ड इन्फरेंस (SRI) का प्रस्ताव करता है, जो एक सुपरवाइज्ड लर्निंग फ्रेमवर्क है जो व्यवहार मॉडल या वातावरण पर प्रतिबंधात्मक धारणाओं के बिना विविध, उप-इष्टतम (suboptimal) मानव व्यवहारों से पुरस्कारों का अनुमान लगाकर सैद्धांतिक रूप से एसिम्प्टोटिक बेयज़-ऑप्टिमैलिटी (asymptotic Bayes-optimality) प्राप्त करता है और अनुभवजन्य रूप से मौजूदा विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Will Schwarzer, Jordan Schneider, Philip S. Thomas, Scott Niekum

प्रकाशित 2026-07-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Will Schwarzer, Jordan Schneider, Philip S. Thomas, Scott Niekum

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "सुपरवाइज्ड रिवॉर्ड इन्फरेंस" (Supervised Reward Inference) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "खराब शिक्षक"

कल्पना कीजिए कि आप एक रोबोट को कॉफी का एक बेहतरीन कप बनाना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आप रोबोट को ठीक से बताएंगे कि "अच्छी कॉफी" का स्वाद कैसा होता है (रिवॉर्ड/इनाम)। लेकिन कभी-कभी, इंसान यह समझाने में खराब होते हैं।

अव्यवस्थित इंसान: कभी-कभी, एक इंसान रोबोट को कॉफी बनाना दिखाने की कोशिश करता है लेकिन पानी गिरा देता है, गलत बीन्स का उपयोग करता है, या बस अपने हाथों को अस्पष्ट रूप से हिलाकर कहता है "वहाँ"।
पुराना तरीका ("मन का पाठक"): पिछले तरीकों ने यह अनुमान लगाने की कोशिश की कि इंसान ने वे गलतियाँ क्यों कीं। उन्होंने माना कि इंसान पूर्ण होने की कोशिश कर रहा था लेकिन उसके हाथ "शोर वाले" (noisy) थे या उसका दिमाग "सीमित" था। उन्होंने इंसान की विचार प्रक्रिया को रिवर्स-इंजीनियर करने की कोशिश की।
- दोष: यदि इंसान वास्तव में किसी लक्ष्य को बताने के लिए हाथ हिला रहा था (जैसे कॉफी मशीन की ओर इशारा करना बिना उसे छुए), तो पुराने तरीके भ्रमित हो जाते थे। उन्होंने उस अव्यवस्थित व्यवहार को एक "पूर्ण लेकिन अनाड़ी" बॉक्स में फिट करने की कोशिश की, जिससे अक्सर रोबोट गलत चीज़ सीख जाता था।

नया समाधान: SRI ("पैटर्न पहचानने वाला")

लेखकों ने सुपरवाइज्ड रिवॉर्ड इन्फरेंस (SRI) नामक एक नई विधि प्रस्तावित की है।

यह अनुमान लगाने के बजाय कि इंसान ने गलतियाँ क्यों कीं, SRI इस समस्या को एक साधारण मिलान खेल (matching game) की तरह मानता है। यह कहता है:

"हमें यह समझने की ज़रूरत नहीं है कि इंसान का दिमाग कैसे काम करता है। हमें बस उदाहरणों का एक बड़ा ढेर चाहिए जहाँ हमें पता हो: यहाँ अव्यवस्थित व्यवहार है, और यहाँ सही लक्ष्य है।"

उपमा: "रेसिपी और गलती" की किताब
कल्पना कीजिए कि आपके पास एक कुकबुक (पाक पुस्तिका) है।

पुराना तरीका: आप एक ऐसे शेफ के बिखरे हुए निशानों को पढ़ने की कोशिश करते हैं जिसने टोस्ट जला दिया है और यह अनुमान लगाते हैं कि रेसिपी क्या होनी चाहिए थी कि वह चाकू कैसे पकड़ता है।
SRI तरीका: आपके पास एक किताब है जिसमें हर पन्ने पर दो कॉलम हैं।
- कॉलम A: शेफ के अव्यवस्थित प्रयास की एक फोटो (दूध गिरना, जला हुआ टोस्ट, हाथ हिलाना)।
- कॉलम B: उस व्यंजन के लिए वास्तविक, पूर्ण रेसिपी जिसे बनाने की वे कोशिश कर रहे थे।

SRI एक बहुत ही स्मार्ट छात्र है जो इन हजारों पन्नों को देखता है। यह बिखरी हुई फोटो (कॉलम A) को देखना और तुरंत पूर्ण रेसिपी (कॉलम B) का अनुमान लगाना सीख जाता है। इसे इस बात से कोई फर्क नहीं पड़ता कि शेफ ने दूध क्यों गिराया; यह बस पैटर्न सीख जाता है: "जब हाथ इस तरह हिलता है, तो लक्ष्य आमतौर पर वह होता है।"

यह कैसे काम करता है ("अनुवादक")

पेपर एक दो-चरणीय प्रक्रिया का वर्णन करता है, जो एक अनुवादक की तरह है:

टास्क एनकोडर ("सारांश बनाने वाला"): यह अव्यवस्थित प्रदर्शनों (रोबोटिक हाथ के खराब तरीके से हिलने के वीडियो) को देखता है और उन्हें एक एकल "टास्क आईडी" या "सारांश" में संकुचित कर देता है। यह एक 10 मिनट के अजीब नृत्य के वीडियो को एक नोट में बदलने जैसा है: "नृत्य: चा-चा।"
रिवॉर्ड मॉडल ("अनुवादक"): यह उस "टास्क आईडी" और समय के एक विशिष्ट क्षण (स्टेट) को लेता है और कहता है, "आह, इस विशिष्ट नृत्य की मुद्रा में, इनाम तब अधिक होता है जब आप यहाँ पैर उठाते हैं।"

यह एक बड़ी उपलब्धि क्यों है

लेखक तीन बड़ी जीत का दावा करते हैं:

1. यह "मनमाने" (Arbitrary) अव्यवस्था को संभालता है
यदि इंसान का व्यवहार बहुत अजीब था, तो पुराने तरीके विफल हो जाते थे। SRI तब भी काम करता है जब इंसान:

शोर वाला (Noisy) हो: बेतरतीब ढंग से हिल रहा हो।
भविष्यद्रष्टा (Psychic) हो: सही जगह संकेत देने के लिए जानबूझकर गलत जगह की ओर बढ़ रहा हो।
इशारा (Gesturing) कर रहा हो: कार्य करने के बजाय केवल लक्ष्य की ओर इशारा कर रहा हो (जैसे कॉफी मशीन की ओर इशारा करना बिना ब्रूइंग किए)।
परिणाम: SRI ने इन अजीब इशारों से लक्ष्य को लगभग उतना ही अच्छा सीखने में सफलता पाई जितना कि यदि रोबमाट ने पूर्ण प्रदर्शन देखा होता।

2. यह सैद्धांतिक रूप से पूर्ण है (लंबे समय में)
लेखकों ने भारी गणित का उपयोग करके यह सिद्ध किया कि यदि आप SRI को पर्याप्त डेटा देते हैं, तो यह "सर्वश्रेष्ठ संभव अनुमान लगाने वाला" बन जाता है।

उपमा: कल्पना कीजिए कि एक जासूस अपराध को सुलझाने की कोशिश कर रहा है। यदि उसके पास पर्याप्त सुराग हैं, तो SRI वह जासूस है जो अंततः एकमात्र तार्किक समाधान खोज लेगा जो सभी साक्ष्यों के अनुकूल है, चाहे सुराग कितने भी भ्रमित करने वाले क्यों न हों। यह गणितीय रूप से "बेयस-ऑप्टिमल" (Bayes-optimal) समाधान (सांख्यिकीय स्वर्ण मानक) होने का प्रमाण है।

3. यह वास्तविक रोबोट पर काम करता है
उन्होंने वास्तविक रोबोटिक कार्यों (जैसे रोबोटिक हाथ का किसी वस्तु तक पहुँचना या ब्लॉक उठाना) पर इसका परीक्षण किया।

यहाँ तक कि जब रोबोट को बहुत खराब, उप-इष्टतम (suboptimal) प्रदर्शन दिए गए (जैसे लक्ष्य के चारों ओर घूमता हुआ मानव हाथ), तब भी SRI ने लक्ष्य को समझ लिया और रोबोट को सफल होने के लिए सिखाया।
इसने पिछले "मन-पठन" (mind-reading) तरीकों की तुलना में बेहतर प्रदर्शन किया, विशेष रूप से तब जब मानव व्यवहार बहुत अजीब था।

"सीक्रेट सॉस": धारणाओं के ऊपर डेटा

इस पेपर का मूल दर्शन मानसिकता में बदलाव है:

पुराना तरीका: "आइए इंसान कैसे सोचते हैं इसका एक जटिल मॉडल बनाएं, और उम्मीद करें कि वह सही होगा।"
SRI तरीका: "आइए हम यह अनुमान लगाना छोड़ दें कि इंसान कैसे सोचते हैं। आइए बस कंप्यूटर को 'व्यवहार + सही लक्ष्य' का एक विशाल डेटासेट खिलाएं और कंप्यूटर को सीधे पैटर्न सीखने दें।"

यह एक ब्लैक बॉक्स को रिवर्स-इंजीनियर करने की कोशिश करने और केवल इनपुट और आउटपुट को देखने के बीच का अंतर है जब तक कि पैटर्न स्पष्ट न हो जाए।

सारांश

सुपरवाइज्ड रिवॉर्ड इन्फरेंस (SRI) एक ऐसी विधि है जो रोबोट को "अव्यवस्थित प्रयासों" को "सही उत्तरों" के साथ जोड़कर देखते हुए मानवीय लक्ष्यों को समझना सिखाती है। यह समझने की कोशिश करने के बजाय कि इंसान ने गलती क्यों की (एक मनोवैज्ञानिक बनने के बजाय), यह एक सुपर-लर्नर के रूप में कार्य करता है जो पैटर्न पहचानता है: "इस प्रकार का विशिष्ट अव्यवस्था आमतौर पर इस विशिष्ट लक्ष्य का संकेत देती है।"

पेपर यह सिद्ध करता है कि यह सरल, डेटा-संचालित दृष्टिकोण न केवल बनाने में आसान है, बल्कि पहले के जटिल तरीकों की तुलना में गणितीय रूप से श्रेष्ठ और मानवीय त्रुटियों के प्रति अधिक मजबूत भी है। यह वास्तविक रोबोट पर काम करता है, भले ही इंसान कार्यों का प्रदर्शन करने में बहुत खराब क्यों न हो।

तकनीकी सारांश: सुपरवाइज्ड रिवॉर्ड इन्फरेंस (SRI)

समस्या विवरण (Problem Statement)

रिवॉर्ड इन्फरेंस (इनाम का अनुमान लगाने) के पारंपरिक दृष्टिकोण, जैसे कि इनवर्स रिइंफोर्समेंट लर्निंग (IRL), आमतौर पर इस धारणा पर निर्भर करते हैं कि मानव प्रदर्शन (human demonstrations) एक विशिष्ट, ज्ञात व्यवहार मॉडल (जैसे कि नॉइजी ऑप्टिमलिटी या बाउंडेड रेशनैलिटी) के अनुसार उत्पन्न किए गए हैं। हालाँकि, वास्तविक दुनिया का मानव व्यवहार अक्सर खराब योजना, निष्पादन त्रुटियों, या केवल लक्ष्यों को संप्रेषित करने के लिए उपयोग किए जाने वाले जानबूझकर गैर-इष्टतम संकेतों के कारण उप-इष्टतम (suboptimal) होता है। मौजूदा तरीके तब संघर्ष करते हैं जब माना गया व्यवहार मॉडल गलत होता है, जिससे गलत रिवॉर्ड इन्फरेंस होता है। जबकि कुछ पूर्व कार्य डेटा से व्यवहार मॉडल सीखने का प्रयास करते हैं, वे अक्सर सीमाओं का सामना करते हैं, जैसे कि टैबुलर सेटिंग्स तक सीमित होना या मनमाने ढंग से उप-इष्टतम व्यवहारों को प्रभावी ढंग से संभालने में विफल रहना।

मुख्य समस्या यह है कि कैसे विविध प्रकार के मानव व्यवहारओं—जिनमें अत्यधिक उप-इष्टतम व्यवहार या केवल संचार के उद्देश्य से किए गए व्यवहार शामिल हैं—से रिवॉर्ड फंक्शन का अनुमान लगाया जाए, बिना किसी मजबूत और संभावित रूप से गलत व्यवहार मॉडल की धारणाओं पर निर्भर रहे।

कार्यप्रणाली: सुपरवाइज्ड रिवॉर्ड इन्फरेंस (SRI)

लेखक सुपरवाइज्ड रिवॉर्ड इन्फरेंस (SRI) प्रस्तावित करते हैं, जो रिवॉर्ड इन्फरेंस को एक सुपरवाइज्ड लर्निंग समस्या के रूप में पुनर्गठित करता है। व्यवहार मॉडल (जो रिवॉर्ड को एक्शन से मैप करता है) को सीखने और फिर उसे उलटने (inverting) के बजाय, SRI सीधे व्यवहार ट्राजेक्टरीज (trajectories) से रिवॉर्ड फंक्शन का मानचित्रण सीखने के लिए व्यवहार और ज्ञात ग्राउंड-ट्रुथ रिवॉर्ड्स के युग्मित (paired) डेटासेट का उपयोग करता है।

मुख्य ढांचा (Core Framework)

एक ऐसे डेटासेट को देखते हुए जहाँ प्रत्येक कार्य $k$ में शामिल है:

व्यवहार ट्राजेक्टरीज $\{\tau_{k,i}\}$ का एक सेट (जो मनमाने ढंग से उप-इष्टतम हो सकते हैं)।
उसी कार्य से लिए गए स्टेट-रिवॉर्ड पेयर्स $\{(s_{k,j}, r_{k,j})\}$ का एक सेट।

SRI एक न्यूरल नेटवर्क को प्रशिक्षित करता है जो दिए गए स्टेट $s$ के लिए रिवॉर्ड $r(s)$ की भविष्यवाणी करता है, जो व्यवहार ट्राजेक्टरीज पर आधारित (conditioned) होता है। इसके आर्किटेक्चर में दो मुख्य घटक हैं:

टास्क एनकोडर ( $f_{\theta_f}$ ): व्यवहार ट्राजेक्टरीज के एक सेट को एक निश्चित-आयामी टास्क एम्बेडिंग $\psi$ में एनकोड करता है। प्रयोगों में, यह ट्राजेक्टरी एनकोडिंग के लिए ट्रांसफॉर्मर और कई ट्राजेक्टरीज को पूलिंग करने के लिए सेट ट्रांसफॉर्मर का उपयोग करता है।
रिवॉर्ड मॉडल ( $g_{\theta_g}$ ): टास्क एम्बेडिंग $\psi$ और स्टेट $s$ को इनपुट के रूप में लेकर रिवॉर्ड वैल्यू की भविष्यवाणी करता है।

प्रशिक्षण का उद्देश्य डेटासेट पर प्रेडिक्टेड रिवॉर्ड्स और ग्राउंड-ट्रुथ रिवॉर्ड्स के बीच मीन स्क्वेर्ड एरर (MSE) को कम करना है:
$\arg \min_{\theta_f, \theta_g} \mathbb{E} \left[ L \left( g_{\theta_g}(S, f_{\theta_f}(\{\tau_n\})), R(S) \right) \right]$

सैद्धांतिक गारंटी (Theoretical Guarantees)

यह शोध पत्र प्रमाण प्रदान करता है कि SRI एसिम्प्टोटिकली बेयस-ऑप्टिमल (asymptotically Bayes-optimal) है। मानक मान्यताओं (कॉम्पैक्ट स्टेट/एक्शन स्पेस, बाउंडेड रिटर्न्स और पर्याप्त मॉडल क्षमता) के तहत, जैसे-जैसे डेटासेट का आकार अनंत की ओर बढ़ता है, इन्फर्ड रिवॉर्ड फंक्शन व्यवहार के पोस्टीरियर मीन (posterior mean) के साथ यूनिफॉर्मली कन्वर्ज होता है। फलस्वरूप, इस इन्फर्ड रिवॉर्ड से प्राप्त इष्टतम पॉलिसी, रिवॉर्ड्स के वास्तविक पोस्टीरियर वितरण के तहत अपेक्षित रिटर्न को अधिकतम करने वाली पॉलिसी की ओर अभिसरित होती है। यह किसी भी फिक्स्ड क्लास ऑफ बिहेवियर के लिए मान्य है, बशर्ते कि डिप्लॉयमेंट के समय व्यवहार का वितरण प्रशिक्षण वितरण के समान हो।

विस्तार (Extensions)

लेखक प्रदर्शित करते हैं कि यह सुपरवाइज्ड इन्फरेंस टेम्पलेट अन्य इंटेंट इन्फरेंस कार्यों में भी सामान्यीकृत (generalize) हो सकता है:

सुपरवाइज्ड गोल इन्फरेंस (SGI): व्यवहार से सीधे लेटेंट गोल रिप्रेजेंटेशन की भविष्यवाणी करना।
सुपरवाइज्ड एक्शन इन्फरेंस (SAI): व्यवहार और स्टेट से सीधे इष्टतम एक्शन की भविष्यवाणी करना।

मुख्य योगदान (Key Contributions)

नया ढांचा: SRI का परिचय, जो रिवॉर्ड इन्फरेंस को एक प्रत्यक्ष सुपरवाइज्ड लर्निंग कार्य के रूप में मानकर व्यवहार मॉडलिंग की आवश्यकता को समाप्त करता है।
सैद्धांतिक इष्टतमता: प्रमाण कि SRI, बिना व्यवहार मॉडल के ज्ञान के, मानक मान्यताओं के तहत रिवॉर्ड इन्फरेंस और अप्रेंटिसशिप लर्निंग के लिए एसिम्प्टोटिक बेयस-ऑप्टिमलिटी प्राप्त करता है।
उप-इष्टतमता के प्रति मजबूती: यह प्रदर्शित करना कि SRI अत्यधिक शोर (noisy), व्यवस्थित रूप से पक्षपाती (systematically biased) और यहाँ तक कि गैर-डेमोंस्ट्रेशन व्यवहारों (जैसे जेस्चर जो कभी कार्य पूरा नहीं करते) से भी सटीक रिवॉर्ड निकाल सकता है, जहाँ पारंपरिक IRL विधियाँ विफल हो जाती हैं।
सामान्यीकरण: SGI और SAI के रूप में ढांचे का विस्तार, जो सुपरवाइज्ड इंटेंट इन्फरेंस दृष्टिकोण की बहुमुखी प्रतिभा को दर्शाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो अलग-अलग बेंचमार्क पर SRI का मूल्यांकन किया:

1. मेटा-वर्ल्ड रोबोटिक्स टास्क (कंटिन्यूअस कंट्रोल)

सेटअप: कार्यों में रैंडमली डिस्ट्रीब्यूटेड गोल्स के साथ "Reach" और "Pick-Place" शामिल थे।
व्यवहार वर्ग (Behavior Classes): सिस्टम का परीक्षण पांच डेमोंस्ट्रेशन वर्गों पर किया गया, जिसमें नॉइजी एक्शन्स, व्यवस्थित रूप रूप से गलत ऑफसेट्स, और "जेस्चर" डेमोंस्ट्रेशन शामिल थे, जहाँ रोबोट लक्ष्य की ओर इशारा तो करता है लेकिन वस्तु को उठाता या रखता नहीं है।
निष्कर्ष:
- SRI ने केवल "जेस्चर" डेमोंस्ट्रेशन का उपयोग करके Pick-Place कार्यों पर लगभग सीलिंग परफॉर्मेंस (0.822 नॉर्मलाइज्ड गोल प्रॉक्सिमिटी) हासिल की, जबकि सभी इमिटेशन लर्निंग बेसलाइन्स (BC, GAIL, AIRL) विफल रहे (परफॉर्मेंस $\le 0$ )।
- SRI ने मनमाने ढंग से उप-इष्टतमता के प्रति मजबूती दिखाई, अत्यधिक शोर या व्यवस्थित रूप से पक्षपाती होने पर भी इष्टतम नीतियों का अनुमान लगाया।
- प्रदर्शन डेटा की मात्रा के साथ सुचारू रूप से स्केल हुआ, जो उच्च डेटा दक्षता दिखाता है।

2. शाह एट अल. (2019) ग्रिडवर्ल्ड बेंचमार्क (टेबुलर)

सेटअप: एक टैबुलर बेंचमार्क जो मनमाने उप-इष्टतम व्यवहार के लिए SRI की तुलना पूर्ववर्ती विधियों (जैसे शाह एट अल. (2019) से IP एल्गोरिदम) से करता है।
निष्कर्ष:
- SRI (पॉलिसी इनपुट लेने के लिए अनुकूलित) ने सभी डेमोंस्ट्रेटर क्लासेस (ऑप्टिमल, नाइव, सोफिस्टिकेटेड, मायोपिक, आदि) और उनके नॉइजी वेरिएंट्स में लगभग सीलिंग परफॉर्मेंस हासिल की।
- SRI ने स्टेट-ऑफ-द-आर्ट IP विधियों को मात दी या उनके बराबर रहा, जो सुझाव देता है कि सीधे इनवर्स मैप (पॉलिसी-टू-रिवॉर्ड) को सीखना, प्लानर को सीखने और फिर उसे उलटने की तुलना में अधिक प्रभावी है, यहाँ तक कि टैबुलर सेटिंग्स में भी।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि SRI, व्यवहार-मॉडल इंजीनियरिंग से डेटा-ड्रिवन सुपरवाइज्ड लर्निंग की ओर एक बदलाव का प्रतिनिधित्व करता है। व्यवहार को एक ऑप्टिमाइजेशन प्रयास के बजाय 'इन्टेंट' (इरादे) के संकेत के रूप में देखकर, SRI मॉडल मिसस्पेसिफिकेशन से जुड़ी भंगुरता (brittleness) को दरकिनार करता है।

लेखक इस बात पर जोर देते हैं कि:

SRI एक "सरल लेकिन शक्तिशाली समाधान" है जो मानक सुपरवाइज्ड लर्निंग तकनीकों का लाभ उठाता है।
यह विशिष्ट RL इंडक्टिव बायस (inductive biases) को डिजाइन करने की आवश्यकता के बिना, रिप्रेजेंटेशन लर्निंग और प्री-ट्रेंड मॉडल्स (जैसे ट्रांसफॉर्मर) के विकास का उपयोग करने की अनुमति देता है।
यह किसी भी फिक्स्ड बिहेवियर डिस्ट्रीब्यूशन के लिए सार्वभौमिक रूप से लागू है, बशर्ते प्रशिक्षण के दौरान पर्याप्त टास्क-इंडेक्स्ड रिवॉर्ड सुपरविजन उपलब्ध हो।
हालांकि वर्तमान प्रयोगों में प्रशिक्षण के लिए सिम्युलेटर रिवॉर्ड्स तक पहुंच मानी गई है, फ्रेमवर्क को भविष्य के विस्तार के लिए डिज़ाइन किया गया है जहाँ रिवॉर्ड्स का अनुमान स्पार्स एनोटेशन या प्रेफरेंस से लगाया जा सकता है।

पेपर निष्कर्ष निकालता है कि कम-बायस्ड (less-biased) लर्निंग एल्गोरिदम, पर्याप्त डेटा मिलने पर, रिवॉर्ड इन्फरेंस के लिए अधिक-बायस्ड (more-biased), मॉडल-आधारित दृष्टिकोणों से बेहतर प्रदर्शन कर सकते हैं, जो इस विचार का समर्थन करता है कि डेटा और कंप्यूटेशन को स्केल करना अक्सर हाथ से बनाए गए (hand-crafted) अनुमानों की तुलना में बेहतर परिणाम देता है।