🤖 AI

Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning

यह शोध पत्र मैक्स-क्यू सिलेक्टिव इमिटेशन (Max-Q Selective Imitation) प्रस्तुत करता है, जो एक ह्यूमन-इन-द-लूप ऑनलाइन रीइन्फोर्समेंट लर्निंग विधि है जो मानव हस्तक्षेप को तेजी से एकीकृत करने और स्वायत्त आत्म-सुधार को त्वरित करने के लिए एमसी क्यू-चंक क्रिटिक्स (MC Q-chunk critics) को एक हार्ड विनर-टेक-ऑल एक्टर अपडेट के साथ जोड़ता है, जिससे मौजूदा बेसलाइन की तुलना में वास्तविक दुनिया और सिम्युलेटेड रोबोटिक कार्यों पर काफी तेज़ अभिसरण और उच्च सफलता दर प्राप्त होती है।

मूल लेखक: Zihang Wang, Yishan Wang

प्रकाशित 2026-08-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zihang Wang, Yishan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

करते-करते सीखने वाले रोबोटों को लंबे समय से एक कठिन विरोधाभास का सामना करना पड़ा है: उन्हें बेहतर होने के लिए चीज़ों को आज़माना पड़ता है, लेकिन आज़माने से अक्सर ऐसी गलतियाँ हो सकती हैं जो महंगी या खतरनाक हो सकती हैं। वास्तविक दुनिया में, जहाँ एक रोबोट नाजुक इलेक्ट्रॉनिक्स को असेंबल कर रहा हो या किसी अव्यवस्थित कमरे में नेविगेट कर रहा हो, एक छोटी सी चूक भी किसी पुर्जे को तोड़ सकती है या मशीन को नुकसान पहुँचा सकती है। इसे हल करने के लिए, इंजीनियरों ने 'ह्यूमन-इन-द-लूप लर्निंग' (human-in-the-loop learning) नामक एक सुरक्षा जाल विकसित किया है। इस दृष्टिकोण में, एक रोबोट अपने आप किसी कार्य को करने का प्रयास करता है, लेकिन एक इंसान उस पर बारीकी से नज़र रखता है और जब भी रोबोट अपने पथ से भटकता है, तो वह उसे सुधारने के लिए हस्तक्षेप करता है। रोबोट फिर इन सुधार के क्षणों को, अपने सफल प्रयासों के साथ, बाद में अध्ययन करने के लिए सहेज लेता है। लक्ष्य यह है कि रोबोट मानव की सहायता से तेज़ी से सीख सके और अंततः इतना कुशल बन जाए कि उसे अब उस सहायता की आवश्यकता ही न रहे। हालाँकि, एक रोबोट को इन दो ज़रूरतों के बीच संतुलन बनाना सिखाना—मानवीय सलाह को आत्मसात करना बिना उस पर निर्भर हुए, और मानवीय कौशल स्तर से आगे बढ़कर सुधार करना—एक कठिन चुनौती साबित हुआ है।

शोधकर्ता ज़िहांग वांग और यिशान वांग के एक नए अध्ययन ने इस संतुलन को संभालने का एक नया तरीका पेश किया है। उन्होंने एक प्रशिक्षण पद्धति विकसित की है जो एक रोबोट को पिछले सिस्टम की तुलना में बहुत तेज़ी से मानवीय सुधारों से सीखने की अनुमति देती है, जबकि यह भी सुनिश्चित करती है कि रोबोट सक्षम होने के बाद भी अपने कौशल को निखारना जारी रखे। उनके दृष्टिकोण का मूल भाग यह है कि रोबोट अपने अनुभवों को कैसे प्रोसेस करता है। पहले, भविष्य में होने वाली क्रिया के अनुमानित मूल्य (value) की भविष्यवाणी करने के बजाय, शोधकर्ताओं ने रोबोट को पूरे किए गए कार्यों के वास्तविक परिणामों को पीछे मुड़कर देखने की अनुमति दी। वे क्रियाओं को छोटे, सार्थक अनुक्रमों, या "चंक्स" (chunks) में समूहबद्ध करते हैं, और उन अनुक्रमों की वास्तविक सफलता की गणना इस आधार पर करते हैं कि वास्तव में क्या हुआ था। यह रोबोट को एक स्पष्ट और ईमानदार तस्वीर देता है कि कौन से मानवीय सुधार वास्तव में सहायक थे, बजाय इसके कि उस जानकारी को अनिश्चित भविष्यवाणियों के साथ धुंधला किया जाए।

दूसरा, और शायद अधिक चतुर हिस्सा, यह है कि रोबोट तय करता है कि आगे किससे सीखना है। कई प्रणालियों में, एक रोबोट मानव की सलाह और अपने वर्तमान व्यवहार का औसत निकालने की कोशिश कर सकता है, जिससे कभी-कभी भ्रम या ध्यान भटकने की स्थिति पैदा हो सकती है। इसके बजाय, शोधकर्ताओं ने रोबोट को एक सख्त न्यायाधीश की तरह कार्य करने के लिए प्रोग्राम किया। हर उस स्थिति के लिए जिसका वह सामना करता है, रोबोट दो विकल्पों की तुलना करता है: वह क्रिया जो वह अभी अपने आप पर करेगा, और एक विशिष्ट क्रिया जो उसने किसी मानव या पिछले प्रयास से सीखी है। फिर वह एक सरल प्रश्न पूछता है: "इन दोनों में से कौन सी क्रिया बेहतर है?" यदि मानवीय सुधार बेहतर है, तो रोबగా रोबोट उसकी नकल करता है। यदि रोबोट की अपनी वर्तमान क्रिया बेहतर है, तो वह अपनी योजना पर टिका रहता है। यह एक स्वाभाविक स्विच बनाता है: जब रोबोट अभी सीख रहा होता है, तो वह मानव के नेतृत्व का अनुसरण करता है; लेकिन जैसे ही रोबोट पिछले मानवीय सुधारों से बेहतर हो जाता है, वह मानव डेटा को देखना बंद कर देता है और पूरी तरह से अपने स्वयं के प्रदर्शन को सुधारने पर ध्यान केंद्रित करता है। यह रोबोट को उस पुराने डेटा की नकल करने में फंसने से रोकता है जो अब उसके लिए अप्रासंगिक हो चुका है।

शोधकर्ताओं ने इस पद्धति का परीक्षण दो तरीकों से किया: पहले कंप्यूटर सिमुलेशन में जैसे कि एक छेद में पेग डालना और एक वर्ग बनाना, और फिर एक वास्तविक भौतिक रोबोटिक आर्म पर जिसे एक USB ड्राइव उठाकर कंप्यूटर में लगाने का कार्य दिया गया था। सिमुलेशन में, इस नई पद्धति ने लगभग आधे घंटे के प्रशिक्षण में 96% से 99% की सफलता दर हासिल की। इसके विपरीत, एक अग्रणी पिछला तरीका, जिसे HIL-SERL कहा जाता है, समान सफलता स्तर तक पहुँचने में लगभग तीन से चार घंटे लगाता है। वास्तविक दुनिया के परीक्षण में अंतर और भी नाटकीय था। भौतिक रोबोट पर, नई पद्धति ने केवल 30 मिनट में 99% सफलता दर प्राप्त की। पुराने तरीके को अपने शिखर प्रदर्शन तक पहुँचने के लिए लगभग पाँच घंटे के प्रशिक्षण की आवश्यकता थी। यह रोबोट को उच्च स्तर की विश्वसनीयता तक प्रशिक्षित करने के लिए आवश्यक समय में दस गुना कमी को दर्शाता है।

अध्ययन ने अन्य मौजूदा तकनीकों के विरुद्ध भी उनके दृष्टिकोण की तुलना की, जिसमें पाया गया कि अधिकांश मौजूदा तकनीकें समान समय सीमा के भीतर उच्च सफलता दर तक पहुँचने में संघर्ष करती हैं। कुछ विधियाँ कम सफलता दर पर अटक गईं, जो मानव और रोबोट के मिश्रित डेटा से प्रभावी ढंग से सीखने में असमर्थ थीं, जबकि अन्य को बहुत अधिक समय लगा। शोधकर्ताओं ने नोट किया कि उनका तरीका इसलिए काम करता है क्योंकि यह उस सामान्य खामी से बचता है जहाँ रोबोट ऐसे डेटा से सीखने की कोशिश करते हैं जो उनके वर्तमान कौशल स्तर के लिए प्रासंगिक नहीं है। मानव सलाह और अपनी बढ़ती विशेषज्ञता के बीच चुनाव करने के लिए "विजेता-ले-सब" (winner-take-all) नियम का उपयोग करके, रोबोट उस भ्रम से बच जाता है जो अक्सर सीखने की गति को धीमा कर देता है। परिणाम बताते हैं कि मानव मार्गदर्शन और अपने स्वयं के बढ़ते कौशल के बीच कठोर चुनाव करने का यह विशिष्ट संयोजन, जटिल भौतिक कार्यों के लिए रोबोट को प्रशिक्षित करने का एक अत्यधिक कुशल तरीका है। हालाँकि शोधकर्ता स्वीकार करते हैं कि यह पद्धति रोबोट के आंतरिक मूल्यांकन की गुणवत्ता पर निर्भर करती है और प्रत्येक कार्य के लिए क्रिया अनुक्रमों की विशिष्ट लंबाई को ट्यून करने की आवश्यकता होती है, सिमुलेशन और वास्तविक हार्डवेयर दोनों में प्रदर्शन में वृद्धि पर्याप्त है। यह कार्य प्रदर्शित करता है कि सही सीखने की रणनीति के साथ, रोबोट मानवीय मार्गदर्शन को तेजी से आत्मसात कर सकते हैं और फिर स्वायत्त रूप से कार्यों में महारत हासिल करने के लिए आगे बढ़ सकते हैं, जिससे सक्षम, स्वायत्त मशीनों की राह काफी तेज हो जाती है।

तकनीकी सारांश: मानव-इन-द-लूप ऑनलाइन रोबोट लर्निंग के लिए मैक्स-क्यू सेलेक्टिव इमिटेशन (Max-Q Selective Imitation)

1. समस्या विवरण (Problem Statement)

वास्तविक दुनिया के रोबोट सुदृढीकरण शिक्षण (Reinforcement Learning - RL) को महत्वपूर्ण बाधाओं का सामना करना पड़ता है, जैसे कि इंटरैक्शन की लागत, संपर्क-युक्त विफलता मोड (contact-rich failure modes), और सुरक्षा-सीमित अन्वेषण (exploration)। ह्यूमन-इन-द-लूप (HIL) प्रोटोकॉल स्वायत्त रोलआउट्स (autonomous rollouts) को मानवीय हस्तक्षेपों (interventions) के साथ जोड़कर इन्हें कम करने का प्रयास करते हैं। हालांकि, इस व्यवस्था में प्रभावी शिक्षण के लिए दो प्रतिस्पर्धी आवश्यकताओं के बीच संतुलन बनाना आवश्यक है:

उपयोगी मानवीय सुधारों (interventions) का त्वरित ग्रहण (rapid uptake)।
मानवीय प्रदर्शन या हस्तक्षेप के स्तर से निरंतर सुधार (continued improvement)।

मौजूदा दृष्टिकोण दोनों को एक साथ संतुष्ट करने में संघर्ष करते हैं। व्यवहार क्लोनिंग (Behavioral cloning) स्थिर तो है लेकिन रूढ़िवादी (conservative) है। अनियंत्रित Q-मैक्सिमाइजेशन (Q-maximization) आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) ओवरएस्टिमेशन को आमंत्रित करता है। IQL या AWR जैसी विधियाँ डेटा सपोर्ट के भीतर ही अपडेट रखती हैं, लेकिन एक मिश्रित HIL बफर के तहत, वे नीति ( $\pi$ ) को बार-बार विषम सैंपल मोड्स (हस्तक्षेप बनाम स्वायत्त क्रियाएं) की ओर खींचती हैं। यह पॉलिसी डिस्ट्रीब्यूशन (जो रोबोट निष्पादित करता है) और टारगेट-सैंपल डिस्ट्रीब्यूशन (जिस पर लर्नर प्रशिक्षित होता है) के बीच एक निरंतर अंतर पैदा करता है, जिससे निष्पादन समय पर डिस्ट्रीबशन शिफ्ट और ट्रैकिंग त्रुटियां होती हैं। इसके विपरीत, SAC-शैली के HIL सिस्टम (जैसे HIL-SERL) पॉलिसी डिस्ट्रीब्यूशन के करीब रहते हैं, लेकिन वे हस्तक्षेप रिटर्न (intervention returns) का कम उपयोग करते हैं क्योंकि उनके टेम्पोरल डिफरेंस (TD) बैकअप वर्तमान नीति के बजाय सैंपल-एवरेज व्यवहार के तहत बूटस्ट्रैप करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-घटक प्रशिक्षण विधि प्रस्तावित करते हैं: MC Q-Chunk क्रिटिक और Max-Q सेलेक्टिव इमिटेशन।

2.1 MC Q-Chunk क्रिटिक

वर्तमान नीति के तहत TD बूटस्ट्रैपिंग (जो वैल्यू अनुमानों को वर्तमान $\pi$ की ओर पक्षपाती बनाता है) के बजाय, क्रिटिक सैंपल-एवरेज व्यवहार मूल्यांकन करता है।

चंक-लेवल स्कोरिंग: एक्शन स्पेस को होराइजन $h$ ( $a_{t:t+h-1}$ ) के चंक्स में विभाजित किया जाता है।
मोंटे कार्लो रिग्रेशन (Monte Carlo Regression): क्रिटिक $Q_\theta$ लॉग ट्राजेक्टरीज के मोंटे कार्लो (MC) रिटर्न्स ( $G_t$ ) पर सीधे चंक-लेवल वैल्यूज को रिग्रेट करता है।
$L_Q = \mathbb{E}_{(s_t, a_{t:t+h-1}, G_t) \sim \mathcal{B}} \left[ (Q_\theta(s_t, a_{t:t+h-1}) - G_t)^2 \right]$
लाभ: यह हस्तक्षेप ट्राजेक्टरीज को वर्तमान-पॉलिसी TD बैकअप के माध्यम से कमजोर किए बिना उन्हें सीधे क्रेडिट देता है। यह सुनिश्चित करता है कि उच्च-मूल्य वाले मानवीय सुधार एक्टर के लिए दृश्यमान बने रहें।
कार्यान्वयन: शुरुआती रैंकिंग शोर को कम करने के लिए, लेखक वैकल्पिक रूप से स्कोरिंग के लिए एक क्रिटिक एनसेम्बल मीन $\bar{Q}$ का उपयोग करते हैं, हालांकि मुख्य विधि एकल क्रिटिक पर निर्भर करती है।

2.2 Max-Q सेलेक्टिव इमिटेशन

एक्टर अपडेट मैकेनिज्म प्रत्येक स्थिति में दो उम्मीदवारों के बीच "हार्ड" चयन करके पॉलिसी-टारगेट गैप को संबोधित करता है:

$a_\pi$ : वर्तमान नीति $\pi(s)$ द्वारा प्रस्तावित क्रिया।
$a_b$ : रिप्ले बफर से एक सैंपल क्रिया (अक्सर एक हस्तक्षेप)।

टारगेट क्रिया $a^*$ को एक हार्ड विनर-टेक-ऑल नियम के माध्यम से चुना जाता है:
$a^* = \arg\max_{a \in \{a_\pi, a_b\}} Q_\theta(s, a)$

एक्टर को फिर इस हार्ड विनर की ओर सुपरवाइज्ड रिग्रेशन (व्यवहार क्लोनिंग) के माध्यम से अपडेट किया जाता है:
$L_\pi = \mathbb{E}_{s \sim \mathcal{B}} \left[ \| \pi_\phi(s) - a^* \|_2^2 \right]$

परिचालन गतिशीलता (Operational Dynamics):

हस्तक्षेप चरण (Intervention Phase): जब मानवीय हस्तक्षेपों के Q-वैल्यू वर्तमान नीति से अधिक होते हैं, तो एक्टर हस्तक्षेप की नकल करता है।
स्व-सुधार चरण (Self-Improvement Phase): जैसे-जैसे स्वायत्त नीति में सुधार होता है और उसके कार्यों ( $a_\pi$ ) के Q-वैल्यू बफर सैंपल्स से अधिक हो जाते हैं, $a^*$ लक्ष्य $a_\pi$ के साथ संरेखित हो जाता है।
गैप में कमी: यह तंत्र स्वचालित रूप से हस्तक्षेपों से सीखने से ऑन-पॉलिसी स्व-सुधार में स्विच करता है। इसे निष्पादन नीति के साथ टारगेट-सैंपल डिस्ट्रीब्यूशन को संरेखित करके किया जाता है, जिससे वह डिस्ट्रीब्यूशन शिफ्ट कम हो जाता है जो आमतौर पर HIL लर्निंग को प्रभावित करता है। महत्वपूर्ण रूप से, यह बिना किसी सॉफ्ट वेट या हाथ से ट्यून किए गए स्कोर थ्रेशोल्ड के किया जाता है।

3. प्रमुख योगदान (Key Contributions)

MC Q-Chunk क्रिटिक: एक क्रिटिक आर्किटेक्चर जो मोंटे कार्लो रिग्रेशन के माध्यम से मिश्रित HIL ट्राजेक्टरीज का मूल्यांकन करता है, जो $\pi$ -बूटस्ट्रैप्ड TD क्रिटिक्स की तुलना में हस्तक्षेप रिटर्न के उपयोग में सुधार करता है।
Max-Q सेलेक्टिव इमिटेशन: एक लेबल-फ्री, हार्ड-स्विचिंग एक्टर अपडेट जो उच्च-Q हस्तक्षेपों की नकल करने से ऑन-पॉलिसी स्व-सुधार में गतिशील रूप से परिवर्तित होता है, जिससे पॉलिसी-टारगेट-सैंपल गैप प्रभावी रूप से समाप्त हो जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): पेग इंसर्शन (Peg Insertion), स्क्वायर (Square) सिमुलेशन टास्क और एक रियल-रोबोट टास्क (USB पिक-एंड-इंसर्शन) पर उत्कृष्ट प्रदर्शन प्रदर्शित किया गया, जिससे स्थापित स्टेट-ऑफ-द-आर्ट बेसलाइन्स की तुलना में काफी तेजी से उच्च सफलता दर प्राप्त हुई।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिमुलेशन टास्क

विधि का मूल्यांकन HIL-SERL, MCBC (बिना Q-चंक के), EXPO, और E2HiL के विरुद्ध Peg Insertion और Square कार्यों पर किया गया।

Peg Insertion: ACT QChunk-MCBC वेरिएंट ने पहले चेकपॉइंट के बाद 0.32 घंटे (लगभग 4,400 स्टेप्स) के भीतर 99% सफलता प्राप्त की। इसके विपरीत, HIL-SERL को 100% सफलता तक पहुँचने के लिए लगभग 3.2 घंटे (100k स्टेप्स) की आवश्यकता थी।
Square: ACT QChunk-MCBC ने 0.38 घंटे में 99% सफलता प्राप्त की। HIL-SERL अंततः 100% तक पहुँचा, लेकिन केवल 3.85 घंटे के बाद।
तुलना: प्रतिस्पर्धी विधियों जैसे EXPO और E2HiL ने या तो काफी कम पीक सफलता दर (क्रमशः 30% और 10%) दिखाई या बहुत अधिक प्रशिक्षण समय की आवश्यकता पड़ी।

रियल-रोबोट टास्क

एक फ्रैंका-क्लास आर्म और रिस्ट कैमरा का उपयोग करके एक USB पिक-एंड-इंसर्शन कार्य किया गया।

सेटअप: 20 मानवीय प्रदर्शन (demonstrations), स्वायत्त रोलआउट, और मानवीय हस्तक्षेप।
प्रदर्शन: ACT QChunk-MCبC ने 30 मिनट (0.5 घंटे) में 99% सफलता प्राप्त की।
बेसलाइन: HIL-SERL को 100% सफलता तक अभिसरण (converge) करने के लिए लगभग 5 घंटे की आवश्यकता थी।
दक्षता: प्रस्तावित विधि ने HIL-SERL की तुलना में प्रशिक्षण समय में एक क्रम (order-of-magnitude) की कमी के साथ उच्च सफलता दर बनाए रखते हुए प्रदर्शन किया।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि प्रस्तावित विधि HIL लर्निंग में मानवीय सुधारों को अपनाने और स्वायत्त नीतियों को परिष्कृत करने के बीच मौलिक तनाव को सफलतापूर्वक संबोधित करती है। वैल्यू एस्टीमेशन (MC Q-chunk के माध्यम से) को पॉलिसी अपडेट (Max-Q Selective Imitation के माध्यम से) से अलग करके, सिस्टम:

जब फायदेमंद हों, तो हस्तक्षेपों को तेजी से ग्रहण करता है।
एक बार जब रोबोट की नीति ऐतिहासिक बफर डेटा से बेहतर हो जाती है, तो स्वचालित रूप से ऑन-पॉलिसी लर्निंग में परिवर्तित हो जाता है।
पॉलिसी-टारगेट-सैंपल गैप को समाप्त करता है, जिससे जटिल सॉफ्ट-स्विचिंग तंत्र या मैन्युअल हाइपरपैरामीटर ट्यूनिंग के बिना निष्पादन-समय डिस्ट्रीब्यूशन शिफ्ट कम होता है।

लेखक इस दृष्टिकोण को वास्तविक दुनिया के रोबोट लर्निंग के लिए एक व्यावहारिक समाधान के रूप में प्रस्तुत करते हैं जहाँ इंटरैक्शन बजट सीमित है और सुरक्षा सर्वोपरि है, यह प्रदर्शित करते हुए कि उच्च-प्रदर्शन वाली नीतियां घंटों के बजाय मिनटों में सीखी जा सकती हैं।

6. सीमाएं (Limitations)

लेखक कुछ सीमाओं को स्वीकार करते हैं:

क्रिटिक निर्भरता: स्विचिंग निर्णय क्रिटिक की गुणवत्ता पर निर्भर करता; शुरुआती शोर वाले Q-अनुमानों से उप-इष्टतम (suboptimal) टारगेट चयन हो सकता है (जिसे एनसेम्बल ट्रिक द्वारा आंशिक रूप से कम किया गया है)।
वैरिएंस (Variance): मोंटे कार्लो रिटर्न्स में TD बैकअप की तुलना में उच्च वैरिएंस होता है और स्थिर लक्ष्यों के लिए पर्याप्त एपिसोड पूर्णता की आवश्यकता होती है।
हाइपरपैरामीटर्स: चंक होराइजन $h$ अभी भी एक कार्य-निर्भर हाइपरपैरामीटर है।
दायरा: व्यापक मल्टी-टास्क मूल्यांकन और दो-कैंडिडेट इम्प्रूवमेंट ऑपरेटर का औपचारिक लक्षण वर्णन भविष्य के कार्य के लिए छोड़ दिया गया है।