🤖 machine learning

Language-Critique Imitation Learning from Suboptimal Demonstrations

यह शोध पत्र एक भाषा-आलोचना अनुकरण शिक्षण (language-critique imitation learning) ढांचे का प्रस्ताव करता है जो प्रगति, विफलताओं और सुधारों को स्पष्ट रूप से वर्णित करने के लिए संरचित प्राकृतिक भाषा फीडबैक का लाभ उठाता है, जिससे नीतियां उप-इष्टतम प्रदर्शनों (suboptimal demonstrations) से सीखते समय मौजूदा विधियों से बेहतर प्रदर्शन कर पाती हैं और अभिव्यंजक संकेतों को स्केलर मानों में सिमटने से बचा पाती हैं।

मूल लेखक: Chih-Han Yang, Dai-Jie Wu, Yun-Ping Huang, Ping-Chun Hsieh, Kenneth Marino, Shao-Hua Sun

प्रकाशित 2026-07-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chih-Han Yang, Dai-Jie Wu, Yun-Ping Huang, Ping-Chun Hsieh, Kenneth Marino, Shao-Hua Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कोई जटिल कार्य करना सिखाने की कोशिश कर रहे हैं, जैसे कि ब्लॉक्स को एक के ऊपर एक रखना या कार चलाना। आमतौर पर, आपको रोबोट को ठीक से दिखाने के लिए एक आदर्श मानव विशेषज्ञ की आवश्यकता होगी। लेकिन विशेषज्ञ महंगे होते हैं, और कभी-कभी आपके पास कुछ बेहतरीन प्रयासों के साथ-साथ बहुत सारे "ठीक-ठाक" प्रयास भी होते हैं।

इन मिले-जुले प्रयासों को रोबोट को दिखाने की समस्या यह है कि रोबोट भ्रमित हो जाता है। उसे नहीं पता कि कोई विशेष चाल अच्छी क्यों थी या बुरी क्यों थी। पारंपरिक तरीके इस समस्या को हल करने की कोशिश करते हैं, जैसे कि रोबोट को एक सरल स्कोर देना, जैसे कि "थम्स अप" या "थम्स डाउन", या 1 से 10 तक का कोई नंबर। इस शोध पत्र के लेखक तर्क देते हैं कि एक साधारण संख्या एक जटिल रेसिपी को समझाने के समान है जैसे केवल यह कहना कि "यह अच्छा है" या "यह बुरा है।" यह आपको यह नहीं बताता कि क्या सुधारना है।

मुख्य विचार: "भाषा कोच" (The Language Coach)

यह शोध पत्र पेश करता है कि रोबटों को सिखाने का एक नया तरीका क्या है जिसे लैंग्वेज-क्रिटीक इमिटेशन लर्निंग (Language-Critique Imitation Learning) कहा जाता है। रोबोट को एक साधारण स्कोर देने के बजाय, यह उसे एक भाषा कोच (language coach) देता है।

यह कैसे काम करता है, यहाँ एक सरल उदाहरण दिया गया है:

1. पुराना तरीका (स्कोरकार्ड)
कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। शिक्षक उत्तर पुस्तिका वापस करते समय उस पर केवल एक बड़ा लाल "C" लिख देता है। छात्र को पता चल जाता है कि वह असफल रहा है, लेकिन उसे यह पता नहीं चलता कि क्यों। क्या वह तारीखें भूल गया? क्या उसने शब्दों की वर्तनी गलत लिखी? क्या उसने प्रश्न को गलत समझा? छात्र अनुमान लगाने में फंस जाता है। रोबोटिक्स में, यह एक साधारण "रिवॉर्ड स्कोर" का उपयोग करने जैसा है। रोबोट जानता है कि एक क्रिया उप-इष्टतम (suboptimal) थी, लेकिन उसे यह नहीं पता कि उसे कैसे सुधारा जाए।

2. नया तरीका (भाषा कोच)
अब, कल्पना कीजिए कि शिक्षक उत्तर पुस्तिका वापस करते समय एक विस्तृत नोट देता है: "आपने तारीखें सही लिखीं, लेकिन आपने दूसरे पैराग्राफ के मुख्य तर्क को छोड़ दिया। साथ ही, अगली बार अपने निष्कर्ष को अधिक स्पष्ट रूप से लिखने का प्रयास करें।"

यह शोध पत्र रोबोट के लिए बिल्कुल यही करता है। यह रोबोट की क्रियाओं को लेता है और एक प्राकृतिक भाषा आलोचना (natural language critique) उत्पन्न करता है जो बताता है:

प्रगति (Progress): "आप वर्तमान में बॉक्स उठाने की कोशिश कर रहे हैं, लेकिन आपने अभी तक इसे पकड़ा नहीं है।"
गुणवत्ता (Quality): "यह चाल खराब थी क्योंकि आप बहुत तेज़ चले।"
सुधार (Correction): "अगला, आपको अपना हाथ धीरे से बाईं ओर ले जाना चाहिए।"

रोबोट कैसे सीखता है

शोधकर्ताओं ने एक प्रणाली बनाई जिसमें दो मुख्य भाग हैं:

लेबल जनरेटर (द स्क्रिप्टराइटर): यह भाग रोबोट की गतिविधियों को देखता है और वे सहायक नोट्स लिखता है। यह कार्य को तीन भागों में विभाजित करता है: आप कार्य में कहाँ हैं, क्या आपका कदम अच्छा था, और इसे कैसे ठीक किया जाए।
LLM-कैप्शनर (द ट्रांसलेटर): यह एक छोटा, स्मार्ट भाषा मॉडल है जो रोबोट की स्थिति को पढ़ना सीखता है और स्वचालित रूप से वे नोट्स लिखता है। यह एक सेतु के रूप में कार्य करता है, रोबोट के कच्चे डेटा को मानवीय सलाह में अनुवादित करता है।

एक बार जब रोबोट के पास ये "नोट्स" आ जाते हैं, तो वह केवल आदर्श चालों की नकल करने की कोशिश नहीं करता है। इसके बजाय, वह ऐसी चालें चलाने की कोशिश करता है जिनसे भाषा कोच से एक "अच्छा" नोट प्राप्त होगा। वह उन क्रियाओं से बचना सीखता है जिनसे "बुरा" नोट और सुधार की सलाह मिले।

यह एक बड़ी बात क्यों है

इस शोध पत्र का परीक्षण कई अलग-अलग कार्यों पर किया गया, जैसे कि भूलभुलैया (mazes) में नेविगेट करना या रोबोटिक हाथ की सटीक गतिविधियाँ। उन्होंने पाया कि:

यह साधारण स्कोर से बेहतर काम करता है: जब रोबोट के पास विस्तृत भाषा संबंधी सलाह थी, तो उसने केवल एक नंबर स्कोर की तुलना में तेज़ी से सीखा और कम गलतियाँ कीं।
यह "अव्यवस्थित" डेटा को अच्छी तरह से संभालता है: भले ही प्रशिक्षण डेटा अपूर्ण, उप-इष्टतम प्रयासों (जैसे कि एक छात्र जो ज्यादातर गलत उत्तर देता है) से भरा हो, भाषा कोच अभी भी उपयोगी हिस्सों को पहचान सकता है और रोबोट को बता सकता है कि उसे क्या सुधारना है।
यह जटिल कार्यों में मदद करता है: उन कार्यों के लिए जिनमें कई चरणों या बहुत सटीक गतिविधियों की आवश्यकता होती है (जैसे कि एक छोटे छेद में पेग डालना), भाषा संबंधी फीडबैक अत्यंत महत्वपूर्ण था। इसने रोबोट को कार्य के अंतिम परिणाम के बजाय कार्य की "कहानी" समझने में मदद की।

निचोड़

इस शोध पत्र को रोबोट को केवल ग्रेड (grade) देने के बजाय उसे कोच (coach) करने के रूप में देखें। प्राकृतिक भाषा का उपयोग करके यह समझाने के माध्यम से कि कोई चाल गलत क्यों थी और इसे कैसे ठीक किया जाए, रोबोट अपूर्ण डेटा से बहुत अधिक प्रभावी ढंग से सीख सकता है, जिससे वह बिना किसी पूर्ण मानव विशेषज्ञ की हर एक गतिविधि देखे, अधिक स्मार्ट और मजबूत बनता है।

तकनीकी सारांश: उप-इष्टतम प्रदर्शनों (Suboptimal Demonstrations) से भाषा-आलोचना अनुकरण शिक्षण (Language-Critique Imitation Learning)

समस्या विवरण

उप-इष्टतम प्रदर्शनों (suboptimal demonstrations) से इमिटेशन लर्निंग (IL), प्रचुर मात्रा में उपलब्ध, अपूर्ण प्रक्षेप पथों (trajectories) के साथ सीमित विशेषज्ञ डेटा का लाभ उठाकर मजबूत नीतियां सीखने का लक्ष्य रखती है। हालांकि, मौजूदा विधियां आमतौर पर उपयोगी व्यवहारों को शोर (noise) से अलग करने के लिए संकुचित स्केलर सुपरविजन संकेतों—जैसे कि कॉन्फिडेंस अनुमान, डिस्क्रिमिनेटर स्कोर, इम्पोर्टेंस वेट्स, या रिवॉर्ड्स—पर निर्भर करती हैं। लेखक तर्क देते हैं कि ये स्केलर संकेत स्वाभाविक रूप से सीमित हैं क्योंकि वे कार्य की प्रगति, विशिष्ट विफलता मोड, या सुधारात्मक कार्यों के संबंध में मध्यवर्ती तर्क को स्पष्ट रूप से व्यक्त नहीं कर सकते हैं। फलस्वरूप, वे उन संरचनात्मक सूचनाओं को कैप्चर करने में विफल रहते हैं जो लंबे समय तक चलने वाले (long-horizon) या मल्टीमॉडल कार्यों में आवश्यक होती हैं, जहाँ सफलता सूक्ष्म, चरण-विशिष्ट निर्णयों पर निर्भर करती है।

कार्यप्रणाली (Methodology)

यह शोध पत्र लैंग्वेज-क्रिटिक इमिटेशन लर्निंग का प्रस्ताव करता है, जो एक ऑफलाइन फ्रेमवर्क है जो स्केलर संकेतों के स्थान पर प्राकृतिक भाषा को एक संरचित सुपरविजन सिग्नल के रूप में उपयोग करता है। यह विधि तीन मुख्य घटकों से बनी है:

1. संरचित भाषा लेबल जनरेशन (Structured Language Label Generation)

मानव एनोटेशन या मुक्त-रूप (free-form) LLM जनरेशन की परिवर्तनशीलता और लागत से बचने के लिए, लेखक एक नियत लैंग्वेज लेबल जेनरेटर ( $\mu_g$ ) पेश करते हैं। किसी भी स्टेट-एक्शन पेयर $(s, a)$ के लिए, $\mu_g$ कार्य-विशिष्ट ह्यूरिस्टिक्स (जैसे, ऑब्जेक्ट डिस्टेंस, ग्रिपर स्टेटस) को निकालता है और उन्हें एक कंपोजिट भाषा लेबल $l$ उत्पन्न करने के लिए तीन विशिष्ट चयनकर्ताओं (selectors) को भेजता है:

कार्य प्रगति ( $<T>$ ): कार्य के वर्तमान सिमेंटिक चरण का वर्णन करता है (जैसे, "वस्तु के पास पहुंचना," "लक्ष्य की ओर बढ़ना")।
एक्शन ऑप्टिमैलिटी ( $<A>$ ): मूल्यांकन करता है कि क्या क्रिया वर्तमान संदर्भ में लाभकारी, अप्रभावी, या हानिकारक है (जैसे, "क्रिया अच्छी है," "क्रिया बुरी है")।
मूवमेंट गाइडेंस ( $<M>$ ): सूक्ष्म सुधारात्मक निर्देश प्रदान करता है (जैसे, "धीरे से दाईं ओर बढ़ें," "नीचे की ओर झुके")।

यह संरचित दृष्टिकोण सुनिश्चित करता है कि लेबल सुसंगत, पुनरुत्पादित (reproducible) और सीधे कंट्रोल टास्क के लिए प्रासंगिक हों, बिना विशेषाधिकार प्राप्त पर्यावरणीय जानकारी (privileged environmental information) पर निर्भर रहे।

2. डिफरेंशिएबल LLM-कैप्शनर ( $\mu_\phi$ )

एंड-टू-एंड पॉलिसी ऑप्टिमाइजेशन को सक्षम करने के लिए, $\mu_g$ द्वारा जनरेट किए गए डिस्क्रीट भाषा लेबल्स को एक डिफरेंशिएबल LLM-कैप्शनर ( $\mu_\phi$ ) में डिस्टिल किया जाता है। यह मॉडल, एक प्री-ट्रेंड LLM (विशेष रूप रूप से SmolLM2) और एक MLP प्रोजेक्टर पर आधारित है, जो स्टेट-एक्शन पेयर्स को स्ट्रक्चर्ड लैंग्वेज लेबल डिस्ट्रीब्यूशन में मैप करता है।

प्रशिक्षण (Training): $\mu_\phi$ को सामान्य डेटासेट (जिसमें विशेषज्ञ और उप-इष्टतम दोनों डेटा शामिल हैं) पर $\mu_g$ की नकल करने के लिए टोकन-लेवल क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके फाइन-ट्यून किया जाता है।
भूमिका (Role): प्रशिक्षित होने के बाद, $\mu_\phi$ एक फ्रोजन डिफरेंशिएबल क्रिटिक के रूप में कार्य करता है जो यह मूल्यांकन कर सकता है कि किसी पॉलिसी के एक्शन $\hat{a}$ द्वारा विशेषज्ञ के भाषा लेबल $l^E$ के उत्पन्न होने की संभावना कितनी है।

3. लैंग्वेज-क्रिटिक लॉस ( $L_{LC}$ )

मुख्य लर्निंग ऑब्जेक्टिव लैंग्वेज-क्रिटिक लॉस है, जो $\mu_\phi$ से प्राप्त स्ट्रक्चर्ड सिग्नल्स का उपयोग करके पॉलिसी $\pi_\theta$ को सीधे प्रशिक्षित करता है, बिना उन्हें स्केलर में कम किए।

तंत्र (Mechanism): यह लॉस उन पॉलिसी एक्शन्स को दंडित करता है जो विशेषज्ञ के भाषा लेबल को विशेषज्ञ के एक्शन की तुलना में कम संभावित बनाते हैं। इसे पॉलिसी के क्रॉस-एन्टीरोपी लॉस और विशेषज्ञ के क्रॉस-एन्टीरोपी लॉस के क्लिप्ड डिफरेंस के रूप में स्वरूपित किया गया है:
$L_{LC}(\pi_\theta, \pi_E) = [L_{CE}(\pi_\theta) - \text{sg}(L_{CE}(\pi_E))]_+$
जहाँ $[x]_+ = \max(x, 0)$ है और $\text{sg}$ स्टॉप-ग्रेडिएंट (stop-gradient) को दर्शाता है।
इंस्टैंशिएशन (Instantiations):
- LC-BC: स्टैंडर्ड फीडफॉरवर्ड बिहेवियर क्लोनिंग (BC) पर लागू होता है।
- LC-DP: डिफ्यूजन पॉलिसीज (Diffusion Policies) पर लागू होता है। चूंकि डिफ्यूजन मॉडल शोर के बजाय एक्शन्स प्रेडिक्ट करते हैं, इसलिए लॉस को वन-स्टेप रिकंस्ट्रक्टेड एक्शन $\hat{a}_0$ पर लागू किया जाता है। डिफ्यूजन स्टेप्स के योगदान को संतुलित करने के लिए एक टाइमस्टेप-डिपेंडेंट रीवेटिंग फैक्टर $\omega_k$ पेश किया गया है, जिससे यह सुनिश्चित होता है कि लॉस स्टैंडर्ड डिफ्यूजन ऑब्जेक्टिव के साथ संरेखित हो।

प्रमुख योगदान (Key Contributions)

फ्रेमवर्क: एक लैंग्वेज-क्रिटिक फ्रेमवर्क का परिचय जो उप-इष्टतम प्रदर्शनों से इमिटेशन लर्निंग के लिए प्राकृतिक भाषा को एक संरचित, नॉन-स्केलर सुपरविजन सिग्नल के रूप में उपयोग करता है।
एल्गोरिदम: LC-BC और LC-DP का विकास, जो बिहेवियर क्लोनिंग और डिफ्यूजन पॉलिसीज में क्रमशः भाषा-निर्देशित सुपरविजन को एकीकृत करते हैं।
सैद्धांतिक गारंटी: एक सैद्धांतिक प्रमाण जो दिखाता है कि लैंग्वेज-क्रिटिक गैप को मिनिमाइज करना, मानक मान्यताओं (लीनियर फीचर रियलाइजेबिलिटी और लैंग्वेज सफिशिएंसी) के तहत एक्सपर्ट-पॉलिसी परफॉरमेंस गैप को अपर-बाउंड करता है।
अनुभवजन्य सत्यापन (Empirical Validation): आठ विविध निरंतर-नियंत्रण (continuous-control) कार्यों (नेविगेशन, मैनिपुलेशन, गेमप्ले) में व्यापक मूल्यांकन, जो मजबूत बेसलाइन्स पर निरंतर बेहतर प्रदर्शन प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने आठ कार्यों पर अपने तरीकों का मूल्यांकन किया: MAZE, PARKING, SWEEP, BOX-CLOSE, BLOCKPUSH, PEGINSERT, HAMMER, और RELOCATE।

बेसलाइन्स के विरुद्ध प्रदर्शन: LC-BC और LC-DP ने लगातार मजबूत इमिटेशन लर्निंग बेसलाइन्स (जैसे, DemoDICE, DWBC, ILID) और ऑफलाइन RL विधियों (जैसे, CQL, TD3+BC, Decision Transformer, Diffusion Policy) को पछाड़ दिया या उनके बराबर रहे।
- मल्टीमॉडल (BLOCKPUSH) और प्रिसिजन-कंट्रोल (PEGINSERT, HAMMER) कार्यों में उल्लेखनीय लाभ देखे गए। उदाहरण के लिए, BLOCKPUSH पर, LC-BC ने सफलता दर को 34.4% (स्टैंडर्ड BC) से बढ़ाकर 47.2% कर दिया।
- प्रिसिजन टास्क PEGINSERT में, LC-DP ने स्टैंडर्ड डिफ्यूजन पॉलिसी पर स्पष्ट बढ़त बनाए रखी, जबकि LC-BC ने मामूली सुधार दिखाया, जो यह सुझाव देता है कि डिफ्यूजन पॉलिसीज इटरेटिव डिनोइजिंग के माध्यम से उच्च-स्तरीय भाषा मार्गदर्शन को बेहतर ढंग से एकीकृत करते हैं।
मिक्स्ड-क्वालिटी डेटा: विधि तब भी प्रभावी रही जब विशेषज्ञ डेटासेट पूरी तरह से अलग नहीं था, जिसमें मिश्रित डेटासेट से उप-इष्टतम डेटा को फ़िल्टर करने के लिए भाषा-आधारित ह्यूरिस्टिक्स का उपयोग किया गया।
एब्लेशन स्टडीज (Ablation Studies):
- स्ट्रक्चर्ड बनाम स्केलर: भाषा लेबल्स का उपयोग करने वाली विधियों ने उन वेरिएंट्स की तुलना में काफी बेहतर प्रदर्शन किया जिन्होंने लेबल्स को स्केलर रिवॉर्ड्स (LC-BC-reward) या डिस्क्रीट कैटेगोरिकल क्लासेस (LC-BC-classifier) में बदल दिया था, जो प्राकृतिक भाषा की अभिव्यक्ति को बनाए रखने के मूल्य की पुष्टि करता है।
- घटक महत्व (Component Importance): तीनों घटक ( $<T>, <A>, <M>$ ) पूरक पाए गए; किसी एक को हटाने से प्रदर्शन में गिरावट आई।
- लेबल स्रोत: ओपन-एंडेड VLM-जनरेटेड लेबल्स (जैसे, o4-mini से) की तुलना में स्ट्रक्चर्ड जेनरेटर $\mu_g$ बेहतर साबित हुआ, क्योंकि इसमें बेहतर सिमेंटिक कंसिस्टेंसी और फीचर एलाइनमेंट था, विशेष रूप से सूक्ष्म मूवमेंट गाइडेंस के लिए।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि प्राकृतिक भाषा एक शक्तिशाली और संरचित सुपरविजन का रूप है जो उप-इष्टतम डेटा से सीखने के लिए संकुचित स्केलर सिग्नल्स की तुलना में बेहतर है। कार्य की प्रगति, विफलता मोड और सुधारात्मक कार्यों का स्पष्ट रूप से वर्णन करके, भाषा लेबल वह संरचित सूचना प्रदान करते हैं जो जटिल, लंबे समय तक चलने वाले और मल्टीमॉडल वातावरण में पॉलिसी को निर्देशित करने के लिए आवश्यक है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण केवल भाषा का उपयोग एक वर्णनात्मक सहायता के रूप में नहीं करता है, बल्कि एक प्रत्यक्ष, डिफरेंशिएबल सुपरविजन सिग्नल के रूप में करता है जो अतिरिक्त पर्यावरणीय इंटरैक्शन या विशेषज्ञ डेटा की आवश्यकता के बिना मजबूत पॉलिसी लर्निंग को सक्षम बनाता है। उनके सैद्धांतिक परिणाम इस अनुभवजन्य सफलता को और पुख्ता करते हैं, जो दिखाते हैं कि प्रस्तावित ऑब्जेक्टिव एक्सपर्ट पॉलिसी के प्रदर्शन अंतराल को नियंत्रित करता है। यह कार्य सुझाव देता है कि भाषा प्रभावी रूप से सीमित विशेषज्ञ डेटा और प्रचुर उप-इष्टतम डेटा के बीच के अंतर को पाट सकती है, जो निरंतर नियंत्रण (continuous control) में मजबूत इमिटेशन लर्निंग के लिए एक स्केलेबल मार्ग प्रदान करती है।