🤖 machine learning

Scalable Dexterous Robot Learning with AR-based Remote Human-Robot Interactions

यह शोध पत्र कुशल हेरफेर (dexterous manipulation) के लिए एक स्केलेबल टू-फेज रोबोट लर्निंग फ्रेमवर्क प्रस्तुत करता है जो व्यवहार क्लोनिंग प्रीट्रेनिंग के लिए AR-आधारित रिमोट ह्यूमन डिमॉन्स्ट्रेशन और मौजूदा बेसलाइन्स की तुलना में तेज़ प्रशिक्षण, उच्च सफलता दर और बेहतर मजबूती प्राप्त करने के लिए कंट्रास्टिव लर्निंग-एन्हांस्ड रीइन्फोर्समेंट लर्निंग का लाभ उठाता है।

मूल लेखक: Yicheng Yang, Ruijiao Li, Lifeng Wang, Shuai Zheng, Shunzheng Ma, Keyu Zhang, Tuoyu Sun, Chenyun Dai, Jie Ding, Zhuo Zou

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yicheng Yang, Ruijiao Li, Lifeng Wang, Shuai Zheng, Shunzheng Ma, Keyu Zhang, Tuoyu Sun, Chenyun Dai, Jie Ding, Zhuo Zou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही अनाड़ी, हाई-टेक रोबोटिक हाथ को एक बोतल, एक स्पंजी बॉल या एक पावर ड्रिल जैसी नाजुक चीजों को उठाना सिखाने की कोशिश कर रहे हैं। यदि आप बस रोबोट को खुद से कोशिश करने, असफल होने और फिर से प्रयास करने के लिए छोड़ देते हैं, तो इसमें बहुत लंबा समय लगेगा और शायद चीजें टूट भी सकती हैं। यदि आप इसे बस एक इंसान द्वारा पूरी तरह से किए गए कार्य का वीडियो दिखाते हैं, तो वास्तविक दुनिया में चीजें अस्त-व्यस्त होने पर रोबोट भ्रमित हो सकता है।

यह शोध पत्र इन दक्ष रोबोटिक हाथों को पहले से कहीं अधिक तेज़ी से और सुरक्षित रूप से सिखाने के लिए एक चतुर "तीन-चरणीय रेसिपी" प्रस्तुत करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "रिमोट पपेट मास्टर" (AR टेलीऑपरेशन)

सबसे पहले, शोधकर्ताओं को यह जानने के लिए कि कार्य कैसे किया जाए, उच्च-गुणवत्ता वाले उदाहरणों की आवश्यकता थी, बिना रोबट के ठीक बगल में खड़े हुए।

उपमा: एक कठपुतली चलाने वाले (पपेटियर) की कल्पना करें जो एक विशेष प्रकार के "जादुई चश्मे" (ऑगमेंटेड रियलिटी या AR हेडसेट) पहने हुए है। कठपुतली चलाने वाला अपने चश्मे में रोबोट का एक आभासी संस्करण देखता है। जब कठपुतली चलाने वाला अपने वास्तविक हाथ को हिलाता है, तो रोबोट तुरंत उस गति की नकल करता है, जैसे कि एक छाया।
परिणाम: रोबोट इन गतिविधियों को "विशेषज्ञ डेटा" (expert data) के रूप में रिकॉर्ड करता है। यह एक विशाल रोबोटिक हाथ के पास खड़े होकर मैन्युअल रूप से उसे निर्देशित करने की तुलना में बहुत तेज़ और सुरक्षित है।

2. चरण एक: "क्रैम सेशन" (बिहेवियर क्लोनिंग)

इससे पहले कि रोबोट अपने आप सीखना शुरू करे, उसे कठपुतली चलाने वाले से प्राप्त डेटा का उपयोग करके एक "क्रैम सेशन" (रट्टा मारने का सत्र) मिलता है।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। अनुमान लगाने के बजाय, वह शिक्षक की उत्तर कुंजी से उत्तर याद करता है। इसे बिहेवियर क्लोनिंग कहा जाता है। रोबोट सीखता है, "जब मैं एक बोतल देखता हूँ, तो मेरा हाथ बिल्कुल वैसा ही दिखना चाहिए जैसा मानव का हाथ था।"
समस्या: यदि रोबोट केवल यही करता है, तो वह एक कठोर नकलची बन जाता है। यदि बोतल शिक्षक द्वारा दिखाए गए स्थान से थोड़ा अलग जगह पर है, तो रोबोट जम जाता है क्योंकि उसे अनुकूलित करना नहीं आता।

3. चरण दो: "सुरक्षा जाल के साथ कोच" (कॉन्ट्रास्टिव लर्निंग + RL)

यह इस शोध पत्र का मुख्य नवाचार है। अब रोबोट रीइन्फोर्समेंट लर्निंग (RL) पर स्विच करता है, जहाँ वह सफलता के लिए पुरस्कार और विफलता के लिए दंड प्राप्त करके सर्वोत्तम चालें समझने की कोशिश करता है। लेकिन इसे शिक्षक को भूलने या खतरनाक गलतियाँ करने से रोकने के लिए, वे इसमें दो विशेष उपकरण जोड़ते हैं:

"प्रोजेक्शन हेड" (द कम्पास/दिशा सूचक):
- उपमा: कल्पना कीजिए कि रोबमाट एक भूलभुलैया में दौड़ रहा है। "प्रोजेक्शन हेड" एक दिशा सूचक (कम्पास) की तरह है जो लगातार जांच करता है: "क्या मैं उस दिशा में बढ़ रहा हूँ जो विशेषज्ञ के पथ जैसा दिखता है?" यह रोबोट को विशेषज्ञ के सटीक कदमों की नकल करने के लिए मजबूर नहीं करता है, बल्कि यह धीरे से रोबोट को एक "अच्छे पथ" पर रहने के लिए प्रेरित करता है जो विशेषज्ञ के समान हो। यह रोबोट को पटरी से उतरने से रोकता है (एक समस्या जिसे "पॉलिसी कोलैप्स" कहा जाता है जहाँ रोबोट हार मान लेता है और यादृच्छिक, बेकार चीजें करने लगता है)।
"इवेंट-ड्रिवन रिवॉर्ड" (द सेफ्टी अलार्म/सुरक्षा अलार्म):
- उपमा: रोबोट को वस्तु को पकड़ने के लिए अंक मिलते हैं, लेकिन यदि वह मेज से टकराता है या वस्तु को वास्तव में उठाने के बिना उसे छूता है, तो उसे एक ज़ोरदार "बज़" सुनाई देता है और उसके अंक कट जाते हैं। यह रोबोट को सावधान और सटीक होना सिखाता है।

परिणाम: यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने इस पद्धति का परीक्षण एक कंप्यूटर सिमुलेशन (जैसे कि एक वीडियो गेम) में किया और फिर वास्तविक दुनिया में एक वास्तविक रोबोट पर किया।

गति: रोबोट ने अन्य तरीकों की तुलना में बहुत तेज़ी से सीखा। जबकि अन्य रोबोटों को सैकड़ों घंटों के परीक्षण और त्रुटि की आवश्यकता थी, इस पद्धति ने बहुत कम समय में काम पूरा कर लिया।
सफलता दर: रोबोट वस्तुओं को उठाने में बहुत अधिक सफल रहा।
मजबूती (Robustness): यहाँ तक कि जब वस्तुएं नई, कठिन स्थितियों में थीं, तब भी रोबोट अनुकूलित हो सका क्योंकि उसने कार्य के सिद्धांत को सीखा था, न कि केवल एक निश्चित गति को।

संक्षेप में: यह शोध पत्र दिखाता है कि डेटा एकत्र करने के लिए एक "रिमोट पपेटियर", शुरुआत करने के लिए एक "क्रैम सेशन" और मार्गदर्शन के लिए एक "स्मार्ट कम्पास" को मिलाकर, हम जटिल रोबोटिक हाथों को तेजी से, सुरक्षित रूप से और चीजों को तोड़े बिना नाजुक कार्य करने के लिए सिखा सकते हैं।

तकनीकी सारांश: AR-आधारित रिमोट ह्यूमन-रोबोट इंटरैक्शन के साथ स्केलेबल डेक्सट्रस रोबोट लर्निंग

समस्या विवरण

यह शोध पत्र डेक्सट्रस रोबोट आर्म-हैंड सिस्टम के भीतर हेरफेर (manipulation) कार्यों के लिए स्केलेबल लर्निंग की चुनौती को संबोधित करता है। इन प्रणालियों में उच्च डिग्री ऑफ फ्रीडम (DoFs) होते हैं, जिससे नियंत्रण डिजाइन जटिल हो जाता है। जबकि इमिटेशन लर्निंग (जैसे कि बिहेवियर क्लोनिंग) विशेषज्ञ प्रदर्शनों से तेजी से प्रक्षेपवक्र (trajectories) सीख सकती है, यह डेटा मिसमैच और संचयी त्रुटियों (compounding errors) से ग्रस्त होती है, जिससे प्रदर्शन में गिरावट आती है। इसके विपरीत, सुदृढीकरण लर्निंग (Reinforcement Learning - RL) स्केलेबिलिटी प्रदान करती है लेकिन इसके लिए व्यापक प्रशिक्षण समय की आवश्यकता होती है और इसमें "पॉलिसी कोलैप्स" का जोखिम होता है, जहाँ एजेंट प्रारंभिक विशेषज्ञ मार्गदर्शन को भूल जाता है। इसके अलावा, टेलीऑपरेशन के लिए उच्च गुणवत्ता वाले विशेषज्ञ प्रदर्शन एकत्र करना समय लेने वाला है, और इमिटेशन और RL को एकीकृत करने वाली मौजूदा विधियाँ अक्सर पॉलिसी कोलैप्स को रोकने या सीमित प्रदर्शन डेटा का कुशलतापूर्वक उपयोग करने में विफल रहती हैं।

कार्यप्रणाली (Methodology)

प्रस्तावित समाधान एक दो-चरणीय लर्निंग फ्रेमवर्क है जो डेटा संग्रह के लिए ऑगमेंटेड रियलिटी (AR) को, प्रीट्रेनिंग के लिए बिहेवियर क्लोनिंग (BC) को, और पॉलिसी ऑप्टिमाइज़ेशन के लिए कंट्रास्टिव लर्निंग-एन्हांस्ड RL को एकीकृत करता है।

1. AR-आधारित रिमोट ह्यूमन-रोबोट इंटरैक्शन सिस्टम

डेटा संग्रह की बाधा को दूर करने के लिए, लेखकों ने AR हेडसेट्स (विशेष रूप से HoloLens 2) का उपयोग करके एक टेलीऑपरेशन सिस्टम विकसित किया है।

आर्किटेक्चर: सिस्टम Unity प्लेटफॉर्म के माध्यम से WiFi या 5G पर AR हेडसेट और डेक्सट्रस रोबोट (Inspire हैंड के साथ CGXi-G6 आर्म) को जोड़ता है।
प्रक्रिया: एक विशेषज्ञ हाथ की मुद्राओं (poses) को ट्रैक करने के लिए AR हेडसेट पहनता है। इन मुद्राओं को रोबोट के किनेमैटिक्स में मैप किया जाता है, जिससे रोबोट दूरस्थ रूप से विशेषज्ञ के कार्यों को दोहरा पाता है।
डेटा संग्रह: यह सेटअप विशेषज्ञ प्रदर्शन डेटा ( $A_{expert} = \{(s^E_t, a^E_t)\}$ ) कैप्चर करता है जो लर्निंग पाइपलाइन के लिए आधार के रूप में कार्य करता है।

2. दो-चरणीय लर्निंग एल्गोरिदम

मुख्य एल्गोरिदम दो अलग-अलग चरणों में कार्य करता है:

चरण I: बिहेवियर क्लोनिंग (BC) प्रीट्रेनिंग

पॉलिसी नेटवर्क ( $\pi_\theta$ ) को नीति के कार्यों और विशेषज्ञ के प्रदर्शित कार्यों के बीच मीन स्क्वेर्ड एरर (MSE) को कम करने वाली रिग्रेशन समस्या को हल करके प्रीट्रेन किया जाता है।
यह चरण रोबोट की कंट्रोल पॉलिसी को विशेषज्ञ की प्राथमिकताओं के साथ संरेखित करता है, जो अगले RL चरण के लिए एक मजबूत इनिशियलाइजेशन प्रदान करता है।

चरण II: कंट्रास्टिव लर्निंग एम्पावर्ड RL

RL फॉर्मूलेशन: हेरफेर कार्य को एक सॉफ्ट एक्टर-क्रिटिक (SAC) समस्या के रूप में फ्रेम किया गया है, जो एंट्रॉपी-ऑगमेंटेड रिवॉर्ड के अपेक्षित योग को अधिकतम करता है।
रिवॉर्ड डिज़ाइन: कुल रिवॉर्ड $r(s_t, a_t)$ $r (s_{t}, a_{t})$ में शामिल हैं:
- मोशन स्मूथनेस: झटकेदार गतिविधियों को दंडित करता है।
- इवेंट-ड्रिवन रिवॉर्ड: एक पीसवाइज फंक्शन जो कार्य सफलता के लिए सकारात्मक रिवॉर्ड और टकराव या हाथ-वस्तु संपर्क की विफलता के लिए नकारात्मक रिवॉर्ड प्रदान करता है (सुरक्षा को बढ़ाता है)।
- हैंड पोज एडजस्टमेंट: हाथ और वस्तु के बीच ज्यामितीय संरेखण को प्रोत्साहित करता है।
कंट्रास्टिव लर्निंग और प्रोजेक्शन हेड: पॉलिसी कोलैप्स को रोकने और सैंपल एफिशिएंसी में सुधार के लिए, एक प्रोजेक्शन हेड (एक मल्टी-लेयर पर्सेप्ट्रॉन) पेश किया गया है।
- यह हेड एक ही स्टेट के लिए विशेषज्ञ के कार्यों ( $a^E_t$ ) और एक्टर द्वारा उत्पन्न कार्यों ( $a_t$ ) दोनों को एक लेटेंट स्पेस में मैप करता है।
- एक कंट्रास्टिव लॉस ( $L_{CL}$ ) को न्यूनतम किया जाता है ताकि विशेषज्ञ और एक्टर के क्रियाओं के प्रतिनिधित्व (कोसाइन सिमिलैरिटी) के बीच सहमति को अधिकतम किया जा सके।
- यह RL पॉलिसी को विशेषज्ञ-पसंदीदा स्टेट-एक्शन्स के करीब रहने के लिए बाध्य करता है, जो प्रभावी रूप से एक्सप्लोरेशन को निर्देशित करता है।
ट्रेनिंग लूप: Q-नेटवर्क, प्रोजेक्शन हेड और एक्टर नेटवर्क को संयुक्त रूप से अनुकूलित किया जाता है। प्रशिक्षण पूरा होने के बाद, प्रोजेक्शन हेड को हटा दिया जाता है, जिससे एक मजबूत पॉलिसी प्राप्त होती है।

मुख्य योगदान

AR-आधारित टेलीऑपरेशन सिस्टम: लेखकों ने विशेषज्ञ प्रदर्शन डेटा एकत्र करने के लिए एक सामान्य AR-आधारित सिस्टम बनाया है, जो Unity-आधारित एज सर्वर के माध्यम से विभिन्न AR हेडसेट्स और रोबोटिक सिस्टम के बीच संगतता सुनिश्चित करता है।
इमिटेशन और कंट्रास्टिव लर्निंग असिस्टेड RL: यह पेपर एक नया एल्गोरिदम प्रस्तावित करता है जो BC प्रीट्रेनिंग को कंट्रास्टिव लर्निंग मैकेनिज्म के साथ जोड़ता है। उन पिछले कार्यों के विपरीत जो RL फाइन-ट्यूनिंग के दौरान पॉलिसी कोलैप्स से पीड़ित हो सकते हैं, यह विधि विशेषज्ञ-पसंदीदा बाधाओं को लागू करने के लिए एक प्रोजेक्शन हेड का उपयोग करती है, जो सैंपल एफिशिएंसी और स्थिरता में महत्वपूर्ण सुधार करती है।
व्यापक सत्यापन: इस पद्धति को व्यापक भौतिक सिमुलेशन (PyBullet) और वास्तविक दुनिया के परीक्षणों के माध्यम से मान्य किया गया, जो मानक बेसलाइनों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

प्रयोगात्मक परिणाम

प्रस्तावित एल्गोरिदम का मूल्यांकन PPO, SAC, एडवांटेज वेटेड एक्टर-क्रिटिक (AWAC), और प्रस्तावित विधि के एक वेरिएंट (बिना कंट्रास्टिव लर्निंग के BC+SAC) के विरुद्ध किया गया।

सिमुलेशन प्रदर्शन: बोतल पकड़ने, डिफॉर्मेबल बॉल और ड्रिल से जुड़े कार्यों में, प्रस्तावित विधि ने उच्चतम औसत रिवॉर्ड और सफलता दर प्राप्त की।
- कन्वर्जेंस स्पीड: इसे PPO, SAC और AWAC की तुलना में कन्वर्ज होने के लिए काफी कम इटरेशन और समय की आवश्यकता थी। उदाहरण के लिए, बोतल पकड़ने के कार्य में, यह PPO के 210 इटरेशन (500 मिनट) की तुलना में 30 इटरेशन (75 मिनट) में कन्वर्ज हुआ।
- सफलता दर: प्रस्तावित विधि ने 95.70% (बोतल), 91.39% (बॉल), और 85.30% (ड्रिल) की सफलता दर हासिल की, जो सभी बेसलाइनों से बेहतर है।
वास्तविक दुनिया का प्रदर्शन: 50 वास्तविक दुनिया के परीक्षणों में, एल्गोरिदम ने सभी विधियों में उच्चतम सफलता दर बनाए रखी। हालांकि धारणा सीमाओं और ज्यामितीय जटिलता के कारण डिफॉर्मेबल ऑब्जेक्ट्स के लिए सफलता दर सिमुलेशन की तुलना में थोड़ी कम रही, लेकिन बोतल पकड़ने के कार्य ने न्यूनतम सिम-टू-रियल गैप दिखाया।
एब्लेशन स्टडी: अध्ययन ने पुष्टि की कि BC प्रीट्रेनिंग ट्रेनिंग समय को कम करने में प्रभावी है, जबकि कंट्रास्टिव लर्निंग का जुड़ना पॉलिसी कोलैप्स को दूर करने और प्रदर्शन को और बेहतर बनाने के लिए महत्वपूर्ण है।

महत्व और दावे

पेपर का दावा है कि डेक्सट्रस रोबोटिक मैनिपुलेशन के लिए इमिटेशन लर्निंग के साथ कंट्रास्टिव लर्निंग का एकीकरण एक नवीन योगदान है जिसे पहले नहीं किया गया है। इस कार्य का महत्व निम्नलिखित में निहित है:

स्केलेबिलिटी: यह विधि प्रशिक्षण प्रक्रिया को काफी तेज करती है और भारी मात्रा में विशेषज्ञ डेटा पर निर्भरता को कम करती है (प्रयोगों में प्रीट्रेनिंग के लिए केवल 15 विशेषज्ञ प्रक्षेपवक्र का उपयोग किया गया था)।
स्थिरता: यह प्रभावी रूप से पॉलिसी कोलैप्स के मुद्दे को संबोधित करता है, जो इमिटेशन पॉलिसी के RL फाइन-ट्यूनिंग में एक सामान्य विफलता मोड है।
व्यावहारिकता: AR-आधारित टेलीऑपरेशन सिस्टम विविध विशेषज्ञ डेटा एकत्र करने के लिए एक व्यवहार्य, कम लागत वाला तरीका प्रदान करता है, जो मानव विशेषज्ञता और रोबोटिक निष्पादन के बीच के अंतर को पाटता है।

लेखक निष्कर्ष निकालते हैं कि उनका मॉडल-फ्री एल्गोरिदम तेजी से कन्वर्ज होता है और मौजूदा बेसलाइनों की तुलना में उच्च सफलता दर प्राप्त करता है, जो डेक्सट्रस सिस्टम में सामान्य हेरफेर कार्यों के लिए एक मजबूत समाधान प्रदान करता है। लेखकों द्वारा सुझाया गया भविष्य का कार्य उच्च-सटीक ज्यामिति पुनर्निर्माण के माध्यम से सिम-टू-रियल ट्रांसफर में सुधार करना और दृष्टिकोण को मल्टी-एजेंट ड्यूल-आर्म सिस्टम तक विस्तारित करना है।