🤖 machine learning

Difference-Aware Retrieval Policies for Imitation Learning

मूल लेखक: Quinn Pfeifer, Ethan Pronovost, Paarth Shah, Khimya Khetarpal, Siddhartha Srinivasa, Abhishek Gupta

प्रकाशित 2026-06-09

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

मूल लेखक: Quinn Pfeifer, Ethan Pronovost, Paarth Shah, Khimya Khetarpal, Siddhartha Srinivasa, Abhishek Gupta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को किसी इंसान के विशेषज्ञ द्वारा किए गए कार्य का वीडियो दिखाकर उसे चलना या कप उठाना सिखाने की कोशिश कर रहे हैं। इसे इमिटेशन लर्निंग (Imitation Learning) कहा जाता है।

इसे करने का मानक तरीका (जिसे बिहेवियर क्लोनिंग (Behavior Cloning) कहा जाता है) एक छात्र को पाठ्यपुस्तक रटवाने जैसा है। छात्र हजारों पन्नों का अध्ययन करता है कि "स्थिति A से क्रिया B होती है।" जब परीक्षा आती है, तो वह हर उस स्थिति के लिए उत्तर याद करने की कोशिश करता है जो उसने देखी है।

समस्या:
यदि छात्र शुरुआत में एक छोटी सी गलती कर देता है (जैसे, वह थोड़ा बाईं ओर अधिक कदम रख देता है), तो वह ऐसी स्थिति में पहुँच जाता है जो उसके पाठ्यपुस्तक में कभी नहीं दिखाई गई थी। क्योंकि उसने केवल विशिष्ट पृष्ठों को रटा था, वह घबरा जाता है। वह पागलों की तरह अनुमान लगाने लगता है, एक बड़ा कदम उठाता है, और गिर जाता है। तकनीकी शब्दों में, त्रुटियाँ "संचित" (compound) होती हैं, और रोबोट क्रैश हो जाता है क्योंकि उसे प्रशिक्षण डेटा से थोड़ी भिन्न स्थितियों को संभालने का कोई विचार नहीं होता है।

समाधान: DARP
यह पेपर एक नई विधि पेश करता है जिसे DARP (डिफरेंस-अवेयर रिट्रीवल पॉलिसीज) कहा जाता है। पूरी पाठ्यपुस्तक को रटने के बजाय, DARP रोबोट को एक "चीट शीट" (cheat sheet) और उसका उपयोग करने का एक विशिष्ट तरीका देता है।

DARP कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

1. "चीट शीट" (रिट्रीवल/प्राप्ति)

कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं, और आपको विशेषज्ञ की चालों वाले फ्लैशकार्ड्स का एक ढेर देखने की अनुमति है।

पुराना तरीका (BC): आप अपनी स्मृति से पूरी तरह से समस्या को हल करने की कोशिश करते हैं।
DARP का तरीका: जब आप किसी समस्या का सामना करते हैं (एक "क्वेरी स्टेट"), तो आप अपने फ्लैशकार्ड्स को जल्दी से स्कैन करते हैं ताकि आपकी वर्तमान स्थिति के सबसे समान दिखने वाले 3 या 5 उदाहरण खोज सकें।

2. "डिफरेंस" (अंतर) का कमाल (सीक्रेट सॉस)

यह सबसे महत्वपूर्ण हिस्सा है। यदि आप केवल समान फ्लैशकार्ड देखते हैं और उनका उत्तर कॉपी करते हैं, तो भी आप गलत हो सकते हैं क्योंकि आपकी स्थिति फ्लैशकार्ड के बिल्कुल समान नहीं है।

DARP रोबोट को अपने वर्तमान और फ्लैशकार्ड के बीच के अंतर को देखना सिखाता है।

उपमा: कल्पना कीजिए कि आप गोल्फ की गेंद को हिट करने की कोशिश कर रहे हैं।
- मानक BC: आप याद करते हैं, "जब गेंद यहाँ थी, तो मैंने ज़ोर से प्रहार किया था।"
- DARP: आप पिछले शॉट के समान शॉट को देखते हैं, लेकिन आप पूछते हैं: "मेरी गेंद पिछले शॉट की तुलना में 2 इंच दाईं ओर है। इसलिए, मुझे अपना प्रहार 2 इंच बाईं ओर समायोजित करना चाहिए।"

रोबोट यह अनुमान लगाना सीखता है: "इस समान उदाहरण के आधार पर, और यह जानते हुए कि मैं उससे कितना अलग हूँ, मुझे क्या समायोजित चाल चलनी चाहिए।"

3. "ग्रुप वोट" (एग्रीगेशन/एकत्रीकरण)

5 समान फ्लैशकार्ड खोजने और 5 समायोजित चालों की गणना करने के बाद, रोबोट केवल एक को नहीं चुनता। यह सभी 5 सुझावों का औसत (या एक स्मार्ट भारित औसत) लेता है।

यह क्यों मदद करता है: यदि एक फ्लैशकार्ड एक अजीब, झटकेदार चाल का सुझाव देता है क्योंकि वह एक थोड़ा खराब उदाहरण था, तो अन्य 4 "सामान्य" सुझाव उसे संतुलित कर देते हैं। यह रोबोट के व्यवहार को सुचारू बनाता है, जिससे उसकी अचानक, घबराहट भरी गलतियों को रोका जा सके जो क्रैश का कारण बनती हैं।

यह पेपर क्या दावा करता है

लेखकों ने रोबोटों पर इसका परीक्षण किया जो चलने (जैसे कूदने वाला रोबोट) या रसोई के कार्य (जैसे दराज बंद करना या सुई में धागा डालना) करने की कोशिश कर रहे थे।

परिणाम: DARP ने लगातार मानक "याद करने" वाली विधि को पछाड़ दिया। अपने परीक्षणों में, DARP का उपयोग करने वाले रोबोट बिना विफल हुए कार्य पूरा करने में 15% से 46% बेहतर थे।
जादू: उन्हें किसी नए डेटा, वास्तविक समय में सुधार करने वाले मानव शिक्षकों, या किसी विशेष सिम्युलेटर की आवश्यकता नहीं थी। उन्होंने उसी डेटा का उपयोग किया जिसका उपयोग पुराने तरीके ने किया था, लेकिन उसे अलग तरह से प्रोसेस किया।
सिद्धांत: पेपर बताता है कि यह विधि एक "स्मूथिंग फिल्टर" (smoothing filter) के रूप में कार्य करती है। यह रोबोट को उसके तर्क में अचानक, ऊबड़-खाबड़ उछाल बनाने से रोकती है, जिससे उसकी गतिविधियाँ स्थिर रहती हैं, भले ही वह थोड़ी अपरिचित स्थिति में कदम रख दे।

संक्षेप में: DARP रोबोट को छोटी गलती होने पर घबराने से रोकता है। अंधे होकर अनुमान लगाने के बजाय, यह अपने "पड़ोसियों" (समान पिछले उदाहरणों) को देखता है, उनसे अपने अंतर की गणना करता है, और एक सुरक्षित, सुचारू सुधार का औसत निकालता है।

तकनीकी सारांश: इमिटेशन लर्निंग के लिए डिफरेंस-अवेयर रिट्रीवल पॉलिसीज़ (DARP)

समस्या विवरण (Problem Statement)

पैरामीट्रिक इमिटेशन लर्निंग, जो बिहेवियर क्लोनिंग (BC) के माध्यम से की जाती है, अक्सर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) अवस्थाओं (states) के प्रति खराब सामान्यीकरण (generalization) से ग्रस्त होती है। जबकि BC विशेषज्ञ अवस्थाओं (expert states) पर सुपरवाइज्ड रिस्क को कम करता है, यह क्लोज्ड-लूप रोलआउट्स के दौरान स्टेट स्पेस के लो-डेंसिटी क्षेत्रों में वेरिएंस को नियंत्रित करने में विफल रहता है। छोटी त्रुटियां संचित (accumulate) होती हैं (कोवेरिएट शिफ्ट), जिससे एजेंट ऐसी अवस्थाओं में चला जाता है जहाँ सीखी गई पॉलिसी उच्च-वेरिएंस और अस्थिर व्यवहार उत्पन्न करती है, जिससे अक्सर कार्य विफल हो जाता है। इन संचित त्रुटियों को कम करने वाले मौजूदा समाधानों के लिए अतिरिक्त धारणाओं की आवश्यकता होती है, जैसे कि सिम्युलेटर, इंटरैक्टिव एक्सपर्ट फीडबैक, या सब-ऑप्टिमल डेटा की बड़ी मात्रा, जो केवल एक्सपर्ट स्टेट-एक्शन पेयर्स से सीखने वाले मानक BC शासन (regime) से परे जाते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र इमिटेशन लर्निंग के लिए डिफरेंस-अवेयर रिट्रीवल पॉलिसीज़ (DARP) पेश करता है, जो एक सेमी-पैरामीट्रिक रिट्रीवल-आधारित दृष्टिकोण है जो बिना किसी अतिरिक्त डेटा संग्रह या पर्यवेक्षण के इन सीमाओं को संबोधित करता है।

सैद्धांतिक आधार (Theoretical Foundation)

लेखक पहले यह स्थापित करते हैं कि पॉलिसी लर्निंग में लोकल कंसिस्टेंसी को लागू करना मैनिफोल्ड रेगुलराइजेशन (लैपलेसियन स्मूथिंग) के अनुरूप होता है। वे एक मैनिफोल्ड रेगुलराइज्ड इमिटेशन लर्निंग (MRIL) ऑब्जेक्टिव को परिभाषित करते हैं जो मानक BC लॉस में एक स्मूथनेस पेनल्टी जोड़ता है, जो पड़ोसी विशेषज्ञ अवस्थाओं के बीच उच्च-फ्रीक्वेंसी वेरिएशंस को दंडित करता है। सैद्धांतिक विश्लेषण (थ्योरम 1) यह प्रदर्शित करता है कि MRIL एस्टिमेटर वेरिएंस को कम करता है, लोकल लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) की गारंटी देता है, और वैनिला BC की तुलना में पॉलिसी स्थिरता में सुधार करता है।

आर्किटेक्चर के माध्यम से इनप्लिसिट रेगुलराइजेशन (Implicit Regularization via Architecture)

रेगुलराइज्ड ऑब्जेक्टिव को स्पष्ट रूप से ऑप्टिमाइज़ करने के बजाय (जिसके लिए हाइपरपैरामीटर $\lambda$ को ट्यून करने की आवश्यकता होती है), यह शोध पत्र इनप्लिसिट मैनिफोल्ड रेगुलराइज्ड इमिटेशन लर्निंग (iMRIL) का प्रस्ताव करता है। यह दृष्टिकोण लॉस फंक्शन के बजाय पॉलिसी आर्किटेक्चर को संशोधित करके लैपलेसियन स्मूथिंग के लाभ प्राप्त करता है।

तंत्र (Mechanism): एक सीधा मैपिंग $f(s)$ सीखने के बजाय, पॉलिसी प्रशिक्षण डेटासेट से रिट्रीव किए गए $k$ -निकटतम पड़ोसियों (k-nearest neighbors) के एक पड़ोस के आधार पर क्रियाएं (actions) का अनुमान लगाती है।
तुल्यता (Equivalence): लेखक सिद्ध करते हैं (थ्योरम 2) कि iMRIL, $\lambda \approx 1$ की प्रभावी स्मूथिंग स्ट्रेंथ के साथ एक पैरामीटर-फ्री लैपलेसियन रेगुलराइजेशन के समकक्ष है। नेबर एग्रीगेशन स्टेप k-NN ग्राफ पर एक फिक्स्ड लो-पास स्पेक्ट्रल फिल्टर के रूप में कार्य करता है, जो लो-फ्रीक्वेंसी मोड्स को संरक्षित करते हुए हाई-फ्रीक्वेंसी वेरिएंस को दबा देता है।

DARP एल्गोरिदम

DARP, iMRIL को स्थानीय ज्यामिति (local geometry) को कैप्चर करने के लिए डिज़ाइन किए गए एक विशिष्ट पैरामीट्राइजेशन के साथ कार्यान्वित करता है:

रिट्रीवल (Retrieval): एक क्वेरी स्टेट $s_q$ के लिए, एल्गोरिदम एक डिस्टेंस मेट्रिक के आधार पर एक्सपर्ट डेटासेट $D^*$ से $k$ -निकटतम पड़ोसी $(s^*_i, a^*_i)$ को रिट्रीव करता है।
डिफरेंस-अवेयर पैरामीट्राइजेशन (Difference-Aware Parameterization): मुख्य नवाचार न्यूरल नेटवर्क $f_\theta$ $f_{θ}$ के लिए इनपुट रिप्रेजेंटेशन है। केवल पड़ोसी स्टेट को प्रोसेस करने के बजाय, $f_\theta$ $f_{θ}$ एक टुपल लेता है जिसमें शामिल हैं:
- पड़ोसी स्टेट $s^*_i$
- पड़ोसी का एक्सपर्ट एक्शन $a^*_i$
- डिफरेंस वेक्टर $\Delta s_i = s^*_i - s_q$
  यह मॉडल को यह सीखने की अनुमति देता है कि क्वेरी स्टेट के सापेक्ष स्थानीय गड़बड़ी (perturbations) के तहत एक्सपर्ट एक्शन्स कैसे बदलते हैं।
एग्रीगेशन (Aggregation): नेटवर्क कैंडिडेट एक्शन्स $a'_i = f_\theta(s^*_i, a^*_i, \Delta s_i)$ उत्पन्न करता है। इन कैंडिडेट्स को एक परम्यूटेशन-इनवेरिएंट फंक्शन $g_\psi$ (जैसे, सिंपल एवरेजिंग, सेट ट्रांसफॉर्मर, या एक जेनेरेटिव मॉडल हेड) के माध्यम से एकत्रित किया जाता है ताकि अंतिम एक्शन प्रेडिक्शन $\hat{a}_q$ प्राप्त किया जा सके।
ट्रेनिंग (Training): मॉडल को मानक इमिटेशन लर्निंग ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है (एकग्रेटेड प्रेडिक्शन और एक्सपर्ट एक्शन के बीच विसंगति को कम करना), जिसके लिए मानक BC के अलावा किसी अतिरिक्त लॉस टर्म या हाइपरपैरामीटर की आवश्यकता नहीं होती है।

प्रमुख योगदान (Key Contributions)

नया एल्गोरिदम: DARP का परिचय, जो इमिटेशन लर्निंग को सीधे स्टेट-टू-एक्शन मैपिंग के बजाय क्वेरी स्टेट्स और रिट्रीव किए गए पड़ोसियों के बीच सापेक्ष अंतर के संदर्भ में पुन: पैरामीटराइज़ करता है।
सैद्धांतिक अंतर्दृष्टि: एक औपचारिक प्रमाण कि प्रस्तावित आर्किटेक्चर इनप्लिसिट रूप से लैपलेसियन स्मूथिंग करता है, जो स्पष्ट रेगुलराइजेशन टर्म के बिना वेरिएंस रिडक्शन और स्थिरता गारंटी प्रदान करता है।
सेमी-पैरामीट्रिक डिज़ाइन: एक विधि जो नॉन-पैरामीट्रिक लोकल मेथड्स (रिट्रीवल) की मजबूती को पैरामीट्रिक ग्लोबल लर्निंग की स्थिरता के साथ जोड़ती है, जो पूरी तरह से मानक BC शासन के भीतर काम करती है (कोई अतिरिक्त डेटा या फीडबैक नहीं)।
आर्किटेक्चरल विश्लेषण: महत्वपूर्ण घटकों की पहचान, विशेष रूप से डिफरेंस वेक्टर्स और परम्यूटेशन-इनवेरिएंट एग्रीगेशन की आवश्यकता, व्यापक एब्लेशन स्टडीज के माध्यम से।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक निरंतर नियंत्रण (MuJoCo), रोबोटिक मैनिपुलेशन (Robosuite, RoboCasa), और उच्च-आयामी विजुअल टास्क में DARP का मूल्यांकन करते हैं।

प्रदर्शन लाभ (Performance Gains): DARP लगातार स्टैंडर्ड बिहेवियर क्लोनिंग और अन्य बेसलाइन्स (लोकलली वेटेड रिग्रेशन और स्पष्ट रेगुलराइजेशन मेथड्स सहित) को पछाड़ता है। विविध डोमेन में सुधार 15% से 46% तक है।
- MuJoCo लोकोमोशन टास्क में, DARP ने BC की तुलना में काफी अधिक स्कोर प्राप्त किया (जैसे, Hopper पर ~3545 बनाम ~2313)।
- Robosuite और RoboCasa मैनिपुलेशन टास्क में, DARP ने वास्तविक दुनिया के फर्नीचर असेंबली परिदृश्यों में BC की सफलता दर को दोगुना कर दिया (92% बनाम 44%)।
सामान्यीकरण (Generalization): DARP उच्च-आयामी विजुअल फीचर्स (R3M एम्बेडिंग्स) और मल्टीमॉडल एक्शन डिस्ट्रीब्यूशन (जैसे, Gaussian Mixture Models, Diffusion Models) के साथ प्रदर्शन में सुधार बनाए रखता है।
एब्लेशन निष्कर्ष (Ablation Findings):
- डिफरेंस वेक्टर्स: डिफरेंस वेक्टर ( $\Delta s_i$ ) को हटाने से प्रदर्शन में काफी गिरावट आती है, जो पुष्टि करता है कि सापेक्ष परिवर्तनों को सीखना महत्वपूर्ण है।
- परम्यूटेशन इनवेरिएंस: एक परम्यूटेशन-डिपेंडेंट एग्रीगेटर का उपयोग करने से सफलता दर काफी कम हो जाती है।
- नेबर सिलेक्शन: रैंडम नेबर सिलेक्शन खराब प्रदर्शन करता है, जो सार्थक डिस्टेंस मेट्रिक्स के महत्व को प्रमाणित करता है।
डाइवर्जेंस विश्लेषण (Divergence Analysis): उन रोलआउट्स में जहाँ BC विफल होता है और DARP सफल होता है, डाइवर्जेंस का बिंदु तब होता है जब क्वेरी स्टेट OOD (लो स्टेट लाइकलीहुड) होता है लेकिन पड़ोसियों के सापेक्ष डिफरेंस वेक्टर इन-डिस्ट्रीब्यूशन (हाई डेल्टा लाइकलीहुड) रहता है। यह इस परिकल्पना का समर्थन करता है कि DARP का री-पैरामीट्राइजेशन OOD क्षेत्रों में प्रेडिक्शन स्थिरता में सुधार करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि DARP एक सामान्य, स्केलेबल आर्किटेक्चर प्रदान करता है जो स्वाभाविक रूप से जटिल रिप्रेजेंटेशन्स और एक्शन डिस्ट्रीब्यूशन तक विस्तार करता है। समस्या को लोकल नेबरहुड स्ट्रक्चर और रिलेटिव डिफरेंस पर ध्यान केंद्रित करने के लिए री-पैरामीटराइज़ करके, DARP लोकल मेथड्स की मजबूती और रेगुलराइज्ड ग्लोबल पॉलिसीज़ की स्थिरता को प्राप्त करता है, जो मौजूदा उन्नत तरीकों के कम्प्यूटेशनल या डेटा ओवरहेड के बिना होता है। लेखक का तर्क है कि यह दृष्टिकोण स्मूथिंग के एक पैरामीटर-फ्री रूप के रूप में कार्य करता है जो डेटासेट के लोकल डेंसिटी और ज्योमेट्री के अनुकूल होता है, जिससे BC पॉलिसीज का वेरिएंस काफी कम हो जाता है और डिस्ट्रीब्यूशन शिफ्ट के प्रति मजबूती बढ़ती है, जबकि यह पूरी तरह से मानक बिहेवियर क्लोनिंग धारणाओं का पालन करता है।