🤖 machine learning

On the Sample Efficiency of Inverse Dynamics Models for Semi-Supervised Imitation Learning

यह शोध पत्र प्रदर्शित करता है कि इनवर्स डायनेमिक्स मॉडल (IDMs), विशेषज्ञ नीतियों की तुलना में कम-जटिलता और कम स्टोकेस्टिक हाइपोथीसिस क्लास के भीतर कार्य करके, सेमी-सुपरवाइज्ड इमिटेशन लर्निंग में बेहतर सैंपल दक्षता प्राप्त करते हैं, जिससे एक उन्नत लेटेंट एक्शन पॉलिसी लर्निंग एल्गोरिदम का प्रस्ताव मिलता है जिसे कई बेंचमार्क पर मान्य किया गया है।

मूल लेखक: Sacha Morin, Moonsub Byeon, Alexia Jolicoeur-Martineau, Sébastien Lachapelle

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sacha Morin, Moonsub Byeon, Alexia Jolicoeur-Martineau, Sébastien Lachapelle

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना या एक रोबोटिक हाथ चलाना सिखाने की कोशिश कर रहे हैं। आपके पास दो प्रकार का डेटा उपलब्ध है:

"गोल्ड स्टैंडर्ड" डेटा: वीडियो का एक छोटा ढेर जहाँ आप स्पष्ट रूप से देख सकते हैं कि रोबोट ने बिंदु A से बिंदु B तक पहुँचने के लिए क्या किया (क्रियाएँ)। यह महंगा और कठिन है क्योंकि इसके लिए एक मानव विशेषज्ञ को हर हरकत को रिकॉर्ड करना पड़ता है।
"वाइल्ड" डेटा: वीडियो का एक विशाल पहाड़ जो दिखाता है कि रोबोट A से B तक कैसे पहुँचा, लेकिन इसमें कोई लेबल नहीं है कि कौन से विशिष्ट बटन दबाए गए थे या हाथ कैसे हिला। यह प्राप्त करना आसान है (बस स्क्रीन रिकॉर्ड करें), लेकिन आपको यह नहीं पता कि रोबोट ने यह कैसे किया।

यह शोध पत्र सेमी-सुपरवाइज्ड इमिटेशन लर्निंग (Semi-Supervised Imitation Learning) नामक समस्या पर काम करता है। लक्ष्य यह है कि इस "गोल्ड स्टैंडर्ड" डेटा के छोटे ढेर और "वाल्ड" डेटा के विशाल पहाड़ का उपयोग करके रोबोट को केवल उस छोटे ढेर के उपयोग से बेहतर तरीके से सिखाया जाए।

पुराना तरीका बनाम नया तरीका

पुराना तरीका (बिहेवियर क्लोनिंग - Behavior Cloning):
इसे एक छात्र द्वारा पाठ्यपुस्तक रटने जैसा समझें। रोबोट एक स्थिति को देखता है (जैसे, "मुझे एक दीवार दिख रही है") और क्रिया को याद करने की कोशिश करता है ("बाएँ मुड़ें")। यह सीधे विशेषज्ञ की नकल करके सीखता है।

समस्या: यदि आपके पास पाठ्यपुस्तक के केवल कुछ ही पन्ने हैं (छोटा डेटा), तो छात्र इसे ठीक से याद नहीं कर पाता और एक थोड़ी अलग दिखने वाली दीवार देखने पर विफल हो जाता है।

नया तरीका (इनवर्स डायनेमिक्स मॉडल्स - IDM):
"अभी मुझे क्या करना चाहिए?" पूछने के बजाय, रोबोट एक अलग सवाल पूछता है: "यदि मैं यहाँ था, और अब मैं वहाँ हूँ, तो यहाँ पहुँचने के लिए मैंने क्या किया होगा?"
इसे इनवर्स डायनेमिक्स मॉडल (IDM) कहा जाता है। यह एक जासूस की तरह है जो अपराध स्थल ( "पहले" और "बाद" की स्थितियों) को देखकर यह पता लगाता है कि अपराधी (क्रिया) ने क्या किया था।

लेखक इस जासूस का उपयोग करने के दो मुख्य तरीके बताते हैं:

जासूस + मूवी मेकर (VM-IDM): आप एक "मूवी मेकर" (वीडियो मॉडल) को प्रशिक्षित करते हैं जो भविष्यवाणी करता है कि रोबोट आगे कहाँ जाएगा। फिर, आप यह पता लगाने के लिए जासूस का उपयोग करते हैं कि उस चाल का कारण क्या था।
लेबलर के रूप में जासूस (IDM Labeling): आप जासूस का उपयोग "वाइल्ड" डेटा के विशाल पहाड़ के लिए क्रियाओं का अनुमान लगाने के लिए करते हैं। एक बार जब पहाड़ को लेबल कर दिया जाता है, तो आप इस नए, विशाल डेटासेट पर रोबोट को प्रशिक्षित करते हैं।

बड़ी खोज: वे एक ही टीम हैं

लेखकों ने एक आश्चर्यजनक गणितीय तथ्य सिद्ध किया: यदि आपके पास अनंत मात्रा में "वाइल्ड" डेटा और सटीक मॉडल हैं, तो ऊपर दिए गए दोनों तरीके अंततः रोबोट को बिल्कुल एक ही चीज़ सिखाते हैं। वे इसे IDM-आधारित पॉलिसी (IDM-based policy) कहते हैं।

जासूस, छात्र से बेहतर क्यों है?

पेपर पूछता है: IDM विधि (डेक्टेक्टिव) सीधे नकल करने वाली विधि (बिहेवियर क्लोनिंग) की तुलना में तेजी से और बेहतर क्यों सीखती है, भले ही जासूस को एक कठिन गणितीय समस्या (दो स्थितियों से क्रियाओं की भविष्यवाणी करना) को हल करना पड़ता है?

लेखक इसे दो कारणों से समझाते हैं, बेहतरीन उपमाओं का उपयोग करते हुए:

1. "सरल पहेली" सिद्धांत (जटिलता - Complexity)

विशेषज्ञ (लक्ष्य): विशेषज्ञ की रणनीति (पॉलिसी) अविश्वसनीय रूप से जटिल हो सकती है। एक भूलभुलैया (maze) में, विशेषज्ञ को निकास तक पहुँचने के लिए एक लंबे, घुमावदार रास्ते को याद रखना पड़ता है।
जासूस (IDM): जासूस को केवल तत्काल कदम को समझने की आवश्यकता होती है। यदि आप (x,y) पर हैं और (x+1, y) पर पहुँच जाते हैं, तो क्रिया केवल "दाएँ" थी।
उपमा: एक पूरी उपन्यास (विशेषज्ञ का रास्ता) को याद करने की तुलना में केवल इस नियम को याद करना कि "यदि मैं दाईं ओर जाता हूँ, तो मैं दाईं ओर जाता हूँ" (जासूस का नियम) बहुत आसान है। क्योंकि "जासूस का नियम" सरल है, रोबोट बहुत कम उदाहरणों के साथ इसे सटीक रूप से सीख सकता है।

2. "कम अनुमान लगाने" का सिद्धांत (स्टोकेस्टिसिटी - Stochasticity)

विशेषज्ञ: कभी-कभी, एक विशेषज्ञ थोड़ा अनिश्चित हो सकता है। शायद वे 50% बार बाएँ मुड़ते हैं और 50% बार दाएँ, क्योंकि दोनों काम करते हैं। यह अनिश्चितता रोबोट के लिए सही उत्तर सीखना कठिन बना देती है।
जासूस: भले ही विशेषज्ञ अनिश्चित हो, लेकिन परिणाम अक्सर स्पष्ट होता है। यदि रोबोट "बाएँ" वाले कमरे में पहुँच जाता है, तो क्रिया निश्चित रूप से "बाएँ मुड़ना" ही रही होगी। जासूस को विशेषज्ञ के मूड का अनुमान लगाने की आवश्यकता नहीं है; वह केवल गति के भौतिक विज्ञान (physics) को देखता है।
उपमा: किसी ऐसे वक्ता से भाषा सीखना जो "सेब" के लिए हमेशा एक ही शब्द बोलता है (कम अनिश्चितता), उस व्यक्ति से सीखने की तुलना में आसान है जो कभी "सेब", कभी "लाल फल", तो कभी "कुरकुरी चीज़" कहता है (उच्च अनिश्चितता)। IDM विशेषज्ञ की अनिश्चितता को फ़िल्टर कर देता है, जिससे सीखने का संकेत अधिक स्पष्ट हो जाता है।

उन्होंने इसे साबित करने के लिए क्या किया?

लेखकों ने केवल बातें नहीं कीं; उन्होंने प्रयोग भी किए:

भूलभुलैया के खेल (Maze Games): उन्होंने दिखाया कि जटिल भूलभुलभैया में, "जासूस" विधि ने बहुत कम डेटा के साथ भूलभुलैया को पूरी तरह से हल करना सीख लिया, जबकि "छात्र" विधि संघर्ष करती रही।
वीडियो गेम्स (Procogen): उन्होंने इसे 16 अलग-अलग अटारी (Atari) शैली के खेलों पर परखा। "जासूस" विधियों (IDM Labeling और एक नया उन्नत संस्करण जिसे उन्होंने LAPO+ कहा) ने मानक "छात्र" विधि को लगातार हराया, विशेष रूप से तब जब डेटा कम था।
रोबोटिक्स (Push-T और LIBERO): उन्होंने इसे वास्तविक दुनिया के रोबोट कार्यों (T-आकार के ब्लॉक को धकेलना और वस्तुओं को हिलाना) पर लागू किया। फिर से, IDM-आधारित विधियाँ सीमित प्रदर्शनों से सीखने में अधिक कुशल थीं।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि इनवर्स डायनेमिक्स मॉडल्स वीडियो से सीखने के लिए एक अत्यंत कुशल उपकरण हैं।

"मुझे क्या करना चाहिए?" के बजाय "इन दो क्षणों के बीच क्या हुआ?" पर ध्यान केंद्रित करके, रोबोट दुनिया के अंतर्निहित नियमों को बहुत तेज़ी से सीख सकता है। यह एक बच्चे को गाड़ी चलाना सिखाने जैसा है: केवल एक विशिष्ट सड़क पर हर मोड़ को याद करने (बिहेवियर क्लोनिंग) के बजाय, उसे स्टीयरिंग और ब्रेकिंग के भौतिक विज्ञान (इनवर्स डायनेमिक्स) को सिखाना बेहतर है, जिससे वह बहुत कम अभ्यास के साथ किसी भी सड़क पर गाड़ी चला सकता है।

लेखक एक मौजूदा एल्गोरिदम का एक नया, बेहतर संस्करण भी प्रस्तावित करते हैं जिसे LAPO+ कहा जाता है, जो छिपी हुई क्रियाओं को डिकोड करने के लिए इस "जासूस" तर्क का उपयोग करता है, जिससे यह स्पष्ट होता है कि यह दृष्टिकोण कम डेटा के साथ बेहतर रोबोट लर्निंग की कुंजी है।

तकनीकी सारांश: सेमी-सुपरवाइज्ड इमिटेशन लर्निंग के लिए इनवर्स डायनेमिक्स मॉडल्स की सैंपल एफिशिएंसी पर

समस्या की परिभाषा

यह शोध पत्र सेमी-सुपरवाइज्ड इमिटेशन लर्निंग (SSIL) को संबोधित करता है, जो एक ऐसी स्थिति है जहाँ एक एजेंट को एक्शन-लेबल वाले विशेषज्ञ ट्राजेक्टरीज ( $D_L$ ) के एक छोटे डेटासेट और एक्शन-मुक्त (केवल स्टेट-ट्रांजिशन) ट्राजेक्टरीज ( $D_U$ ) के काफी बड़े डेटासेट से एक कंट्रोल पॉलिसी सीखनी होती है। जबकि बिहेवियर क्लोनिंग (BC) इमिटेशन के लिए एक मानक सुपरवाइज्ड लर्निंग दृष्टिकोण है, यह डेटा-हंग्री है और तब संघर्ष करता है जब लेबल वाला डेटा कम हो। हालिया SSIL विधियाँ एक इनवर्स डायनेमिक्स मॉडल (IDM) का उपयोग करती हैं जो स्टेट ट्रांजिशन्स $(s, s')$ से एक्शन का अनुमान लगाता है। ये विधियाँ आम तौर पर दो प्रतिमानों (paradigms) का पालन करती हैं:

VM-IDM: एक पॉलिसी बनाने के लिए $D_U$ पर प्रशिक्षित वीडियो मॉडल (VM) के साथ IDM को जोड़ना।
IDM लेबलिंग: $D_U$ को सिंथेटिक रूप से लेबल करने के लिए एक प्रशिक्षित IDM का उपयोग करना, और फिर संवर्धित (augmented) डेटासेट पर मानक BC लागू करना।
इनकी अनुभवजन्य सफलता के बावजूद, BC की तुलना में IDM-आधारित विधियों की बेहतर सैंपल एफिशिएंसी के सैद्धांतिक कारणों को आंशिक रूप से परिकल्पनाबद्ध (hypothesized) किया गया है (जैसे, IDM का "नॉन-कॉज़ल" होना या सरल होना)। यह कार्य इन विधियों को एकीकृत करने का प्रयास करता है और उनके प्रदर्शन के लिए एक कठोर सांख्यिकीय लर्निंग थ्योरी स्पष्टीकरण प्रदान करता है।

कार्यप्रणाली और सैद्धांतिक ढांचा

VM-IDM और IDM लेबलिंग का एकीकरण

लेखक पहले VM-IDM और IDM लेबलिंग के बीच एक सैद्धांतिक समानता स्थापित करते हैं। वे सिद्ध करते हैं कि अनंत अनलेबल डेटा ( $D_U$ ) और पर्याप्त मॉडल क्षमता की सीमा में, दोनों विधियाँ एक ही पॉलिसी पर अभिसरित (converge) होती हैं, जिसे IDM-आधारित पॉलिसी ( $\hat{\pi}_{v^*, \hat{h}}$ ) कहा जाता है।

VM-IDM: एक वीडियो मॉडल $\hat{v}(s' | s)$ से अगला स्टेट $\hat{s}'$ चुनता है और फिर एक IDM $\hat{h}(a | s, \hat{s}')$ से एक एक्शन $\hat{a}$ चुनता है।
IDM लेबलिंग: $D_U$ में ट्रांजिशन्स दिए गए होने पर IDM से लिए गए एक्शन्स के वितरण से मेल खाने के लिए एक पॉलिसी $\hat{\pi}$ को प्रशिक्षित करती है।
समानता: दोनों $\hat{\pi}(a|s) = \int \hat{h}(a|s, s') v^*(s'|s) ds'$ पर अभिसरित होते हैं, जहाँ $v^*$ वास्तविक वीडियो मॉडल है।

सैंपल एफिशिएंसी का सैद्धांतिक विश्लेषण

पेपर का तर्क है कि BC की तुलना में IDM लर्निंग की सैंपल एफिशिएंसी का लाभ ग्राउंड-ट्रुथ IDM ( $h^*$ ) बनाम ग्राउंड-ट्रुथ एक्सपर्ट पॉलिसी ( $\pi^*$ ) के संबंध में दो प्राथमिक कारकों से आता है:

कम जटिलता (Reduced Complexity): $h^*$ को दर्शाने के लिए आवश्यक हाइपोथीसिस क्लास अक्सर $\pi^*$ की तुलना में कम जटिलता वाली होती है।
- साक्ष्य: नियत (deterministic) मेज़ (maze) वातावरण में, विशेषज्ञ नीति $\pi^*$ को जटिल पाथ-प्लानिंग लॉजिक (उच्च जटिलता) की आवश्यकता हो सकती है, जबकि IDM $h^*$ को अक्सर स्टेट डिफरेंस $s' - s$ पर आधारित एक सरल लीनियर क्लासिफायर के रूप में व्यक्त किया जा सकता है।
- निहितार्थ: एक सरल फंक्शन ( $h^*$ ) को सीखने से बेहतर बायस-वेरिएंस ट्रेडऑफ मिलता है, जिससे कम लेबल वाले नमूनों के साथ उच्च प्रदर्शन संभव होता है।
कम स्टोकेस्टिसिटी (Reduced Stochasticity): ग्राउंड-ट्रुथ IDM अक्सर विशेषज्ञ नीति की तुलना में कम स्टोकेस्टिक होता है।
- साक्ष्य: भले ही एक विशेषज्ञ नीति $\pi^*$ स्टोकेस्टिक हो (उदाहरण के लिए, दो इष्टतम पथों में से किसी एक को समान संभावना के साथ चुनना), ट्रांजिशन $(s, s')$ अक्सर लिए गए एक्शन को विशिष्ट रूप से निर्धारित करता है। इस प्रकार, $h^*(a | s, s')$ नियत (deterministic) हो सकता है जबकि $\pi^*(a | s)$ नहीं।
- निहितार्थ: लक्ष्य वितरण में कम स्टोकेस्टिसिटी एस्टीमेटर के वेरिएंस को कम करती है, जिससे सीमित डेटा के साथ तेजी से अभिसरण (convergence) होता है।

प्रस्तावित एल्गोरिदम: LAPO+

यह देखते हुए कि IDM लर्निंग, BC की तुलना में अधिक सैंपल एफिशिएंट है, लेखक LAPO+ प्रस्तावित करते हैं, जो लेटेंट एक्शन पॉलिसी लर्निंग (LAPO) एल्गोरिदम का एक सुधरा हुआ संस्करण है।

मूल LAPO: (1) लेटेंट IDM (LIDM) और लेटेंट फॉरवर्ड डायनेमिक्स मॉडल (LFDM) को प्रशिक्षित करना; (2) LIDM आउटपुट की भविष्यवाणी करने के लिए एक लेटेंट पॉलिसी $\tilde{\pi}$ को प्रशिक्षित करना; (3) एक हेड $\phi$ का उपयोग करके $\tilde{\pi}$ को एक्शन्स में डिकोड करना।
LAPO+ संशोधन: यह अंतिम दो चरणों के क्रम को उलट देता है। एक लेटेंट पॉलिसी को डिकोड करने के बजाय, LAPO+ सीधे LIDM ( $\tilde{h}$ ) के ऊपर एक डिकोडिंग हेड $\phi$ सीखता है। यह प्रभावी रूप से LIDM को IDM लर्निंग के लिए एक प्री-ट्रेन्ड बैकबोन के रूप में मानता है, जिसके बाद वास्तविक एक्शन्स को लेटेंट एक्शन्स में मैप करने के लिए एक अंतिम BC स्टेप किया जाता है।

प्रयोगात्मक परिणाम

लेखक अपने दावों और प्रस्तावित विधियों का तीन बेंचमार्क के माध्यम से मूल्यांकन करते हैं: Procgen (16 अटरी-जैसे वातावरण), Push-T (रोबोटिक मैनिपुलेशन), और LIBERO-10 (लॉन्ग-होरिज़न रोबोट कार्य)।

1. सैद्धांतिक सत्यापन (मेज़/ग्रिड वर्ल्ड्स)

जटिलता: मेज़ वातावरण में, लो-कैपेसिटी VM-IDM मॉडल्स ने सीमित डेटा के साथ परफेक्ट टेस्ट एक्यूरेसी प्राप्त की, जबकि लो-कैपेसिटी BC विफल रहा। इसने पुष्टि की कि $h^*$ वास्तव में $\pi^*$ से सरल है।
स्टोकेस्टिसिटी: स्टोकेस्टिक एक्सपर्ट्स वाले वातावरण में, BC का प्रदर्शन विशेषज्ञ स्टोकेस्टिसिटी बढ़ने के साथ काफी गिर गया। इसके विपरीत, IDM-आधारित पॉलिसियाँ मजबूत रहीं क्योंकि प्रेरित (induced) IDM नियत (deterministic) बना रहा।

2. Procgen बेंचमार्क

IDM बनाम BC: IDM लेबलिंग ने 16 में से 9 वातावरणों में BC से कई गुना बेहतर प्रदर्शन किया, विशेष रूप से उन कार्यों में जिनमें "सरल" डायनेमिक्स थे (जैसे, bigfish, maze)।
LAPO+ प्रदर्शन: LAPO+ ने लो-डेटा रिजीम में मानक BC और मूल LAPO दोनों को लगातार पीछे छोड़ा। यह इस परिकल्पना को मान्य करता है कि IDM लर्निंग (LIDID बैकबोन के माध्यम से) के सैंपल एफिशिएंसी का लाभ उठाना लेटेंट एक्शन पॉलिसियों को बेहतर बनाता है।

3. मैनिपुलेशन टास्क (Push-T और LIBERO-10)

UVA के साथ VM-IDM: लेखकों ने यूनिफाइड वीडियो-एक्शन (UVA) आर्किटेक्चर का उपयोग किया। उन्होंने प्रदर्शित किया कि VM-IDM कॉन्फ़िगरेशन (UVA को VM और IDM दोनों के रूप में उपयोग करते हुए) के माध्यम से एक्शन सैंपलिंग करना, बहुत कम लेबल वाले प्रदर्शनों (जैसे, Push-T के लिए 10, LIBERO के लिए प्रति कार्य 2) के साथ भी, मानक पॉलिसी सैंपलिंग से बेहतर या उसके बराबर था।
सहसंबंध (Correlation): IDM-आधारित विधियों और BC के बीच प्रदर्शन का अंतर, सैद्धांतिक विश्लेषण में पहचाने गए जटिलता और स्टोकेस्टिसिटी कारकों के साथ सह-संबंधित था।

महत्व और दावे

यह पेपर दावा करता है कि यह एक एकीकृत सैद्धांतिक ढांचा प्रदान करता है जो यह समझाता है कि क्यों IDM-आधारित SSIL विधियाँ व्यवहार क्लोनिंग (Behavior Cloning) से बेहतर प्रदर्शन करती हैं। मुख्य योगदान हैं:

एकीकरण: यह सिद्ध करना कि अनंत अनलेबल डेटा के तहत VM-IDM और IDM लेबलिंग एक ही इष्टतम पॉलिसी पर अभिसरित होते हैं।
एफिशिएंसी का स्पष्टीकरण: IDM लर्निंग की सैंपल एफिशिएंसी को विशेषज्ञ नीति की तुलना में ग्राउंड-ट्रुथ IDM की कम जटिलता और कम स्टोकेस्टिसिटी के कारण बताना। यह भविष्यवाणी करने के लिए एक ढांचा प्रदान करता है कि कब IDM-आधारित विधियाँ सफल होंगी।
एल्गोरिद्मिक सुधार: LAPO+ को प्रस्तावित करना, जो IDM सैंपल एफिशिएंसी का लाभ उठाने के लिए लेटेंट एक्शन लर्निंग पाइपलाइन को पुनर्गठित करता है, जो लो-डेटा रिजीम में बेहतर प्रदर्शन प्रदर्शित करता है।
अनुभवजन्य सत्यापन: डिस्क्रीट (Procgen) और कंटीन्यूअस (Push-T, LIBERO) कंट्रोल टास्क में व्यापक प्रयोग जो IDM गुणों को प्रदर्शन लाभों के साथ जोड़ते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि IDM-आधारित पॉलिसियाँ शक्तिशाली हैं, लेकिन उनकी सफलता सार्वभौमिक नहीं है बल्कि पर्यावरण (डायनेमिक्स और एक्सपर्ट स्टोकेस्टिसिटी) के विशिष्ट सांख्यिकीय गुणों पर निर्भर करती है। वे सीमाओं को स्वीकार करते हैं, जैसे कि $D_U$ में क्यूरेटेड एक्सपर्ट डेटा की धारणा और VM-IDM सैंपलिंग की कम्प्यूटेशनल लागत, जो भविष्य के कार्य के लिए मार्ग सुझाते हैं।