💻 computer science

Pro-HOI: Perceptive Root-guided Humanoid-Object Interaction

यह शोध पत्र Pro-HOI को प्रस्तुत करता है, जो अनुकूलित बॉक्स-वहन गतियों (optimized box-carrying motions), एक नवीन रूट-ट्रैजेक्टरी-कंडीशन्ड ट्रेनिंग पॉलिसी और एक निरंतर ऑब्जेक्ट एस्टीमेशन मॉड्यूल को संयोजित करने वाला रोबस्ट ह्यूमनॉइड लोको-मैनिपुलेशन के लिए एक सामान्यीकरण योग्य ढांचा है, ताकि जटिल वास्तविक दुनिया के परिदृश्यों में विश्वसनीय, दीर्घकालिक मानव-रोबोट संपर्क को सक्षम बनाया जा सके।

मूल लेखक: Yuhang Lin, Jiyuan Shi, Dewei Wang, Jipeng Kong, Yong Liu, Chenjia Bai, Xuelong Li

प्रकाशित 2026-03-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Yuhang Lin, Jiyuan Shi, Dewei Wang, Jipeng Kong, Yong Liu, Chenjia Bai, Xuelong Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक मानव रूपी (humanoid) रोबोट की कल्पना करें जो एक अनाड़ी लेकिन उत्साही नए कर्मचारी की तरह है। उसका बॉस (हाई-लेवल प्लानर) कहता है, "जाओ, वह डिब्बा उठाओ, मेज की ओर चलो, और उसे वहां रख दो।"

अतीत में, रोबोट को यह सिखाना एक पेशेवर डांसर के वीडियो को फ्रेम-दर-फ्रेम कॉपी करने के लिए एक छोटे बच्चे को चलने का अभ्यास कराने जैसा था। अगर बच्चा लड़खड़ा जाता, तो वह उठ नहीं पाता। अगर डिब्बा थोड़ी अलग जगह पर होता, तो वह जम जाता। वे बहुत कठोर थे और अचानक आए बदलावों को नहीं संभाल पाते थे।

Pro-HOI, इन रोबोट्स को प्रशिक्षित करने का एक नया और स्मार्ट तरीका है। इसे ऐसे समझें जैसे रोबोट को एक जीपीएस नेविगेशन सिस्टम के साथ-साथ एक सुपर-इंटरनेट-कनेक्टेड सेफ्टी नेट दिया गया हो।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "रूट" कंपास (जीपीएस)

अधिकांश रोबोट डिब्बा ले जाते हुए इंसान की हर एक मांसपेशी की हरकत को याद करने की कोशिश करते हैं। Pro-HOI कुछ अलग करता है। यह रोबोट को बताता है: "इस बात की चिंता मत करो कि तुम्हारे घुटने बिल्कुल कैसे मुड़ते हैं। बस इस पर ध्यान दो कि तुम्हारे गुरुत्वाकर्षण के केंद्र (तुम्हारे 'रूट') को कहाँ जाने की ज़रूरत है।"

उपमा: कल्पना कीजिए कि आप एक भीड़भाड़ वाली पार्टी में ड्रिंक्स की एक भारी ट्रे लेकर जा रहे हैं। आप यह नहीं सोचते कि "बायां घुटना 15 डिग्री मोड़ें, फिर दाहिना हाथ 30 डिग्री।" आप बस सोचते हैं, "मुझे मेज तक पहुँचने के लिए अपने शरीर को आगे बढ़ाना है, और मुझे अपनी ट्रे को सीधा रखना है।"
लाभ: क्योंकि रोबोट केवल अपने केंद्र की मंजिल की परवाह करता है, इसलिए वह डिब्बा ले जाते समय चल सकता है, दौड़ सकता है या बाधाओं से बच सकता है, भले ही रास्ता उस रास्ते से अलग हो जिसका उसने अभ्यास किया था। यह लचीला है, कठोर नहीं।

2. "डिजिटल ट्विन" सेफ्टी नेट

क्या होता है अगर रोबोट लड़खड़ा जाए और डिब्बा गिर जाए? पुराने दिनों में, रोबोट बस वहीं खड़ा रहता, भ्रमित होकर, क्योंकि डिब्बा अब उसके कैमरे की दृष्टि से बाहर था।

Pro-HOI के पास एक गुप्त हथियार है: एक डिजिटल ट्विन।

उपमा: कल्पना कीजिए कि रोबोट के पास उसके दिमाग के अंदर एक परफेक्ट वीडियो गेम सिमुलेशन में रहने वाला एक जुड़वा भाई है। जब असली रोबोट डिब्बा गिरा देता है, तो जुड़वा भाई तुरंत भौतिकी (physics) का अनुकरण करता है: "ठीक है, डिब्बा गिरा, फर्श से टकराया, और तीन फीट बाईं ओर लुढ़क गया।"
परिणाम: भले ही असली रोबोट का कैमरा अब डिब्बे को न देख पा रहा हो, "जुड़वा" को पता होता है कि वह ठीक कहाँ है। रोबोट फिर अपना सिर घुमाता है, डिब्बे को ढूँढता है, और उसे फिर से उठा लेता है। वह गलतियों से खुद को सुधारता है, ठीक वैसे ही जैसे एक इंसान करता है।

3. "कोई बाहरी उपकरण नहीं" का नियम

कई उन्नत रोबोट सिस्टम को काम करने के लिए पूरे कमरे में विशाल कैमरों और सेंसरों (जैसे मोशन-कैप्चर स्टूडियो) की आवश्यकता होती है। Pro-HOI को पूरी तरह से रोबोट के अपने "दिमाग" (उसकी पीठ पर लगा एक छोटा कंप्यूटर) और उसकी अपनी आँखों (कैमरों) पर चलने के लिए डिज़ाइन किया गया है।

उपमा: यह एक फिल्म अभिनेता के बीच अंतर करने जैसा है जिसे अभिनय करने के लिए एक पूर्ण क्रू, लाइट और ग्रीन स्क्रीन की आवश्यकता होती है, बनाम एक स्ट्रीट परफॉर्मर जो केवल एक टोपी और माइक्रोफ़ोन के साथ एक शानदार शो कर सकता है। Pro-HOI वह स्ट्रीट परफॉर्मर है; यह एक अव्यवस्थित वास्तविक दुनिया के घर में काम करने के लिए तैयार है, न कि केवल एक परफेक्ट लैब में।

यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने इसका परीक्षण एक वास्तविक रोबोट (Unitree G1) पर किया और पाया कि यह कर सकता है:

दौड़ते समय डिब्बे ले जाना (हाई-स्पीड चपलता)।
बिना डिब्बा गिराए बाधाओं के चारों ओर चलना।
गलती से गिरा हुआ डिब्बा उठाना और लगातार 15+ चक्रों के बाद भी काम जारी रखना।

संक्षेप में: Pro-HOI रोबोट्स को एक स्क्रिप्ट की नकल करने वाले कठोर कठपुतलियों की तरह नहीं, बल्कि कुशल इंसानों की तरह सिखाता है जो जानते हैं कि उन्हें कहाँ जाना है, वे इलाके के अनुसार ढल सकते हैं, और चीजें गलत होने पर अपनी गलतियों को खुद ठीक कर सकते हैं। यह उन रोबोट्स को हमारे घरों और कार्यस्थलों में वास्तव में मदद करने के योग्य बनाने की दिशा में एक बड़ा कदम है।

यहाँ शोध पत्र "Pro-HOI: Perceptive Root-guided Humanoid-Object Interaction" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ह्यूमनॉइड रोबोट वास्तविक दुनिया के वातावरण में विश्वसनीय ह्यूमनॉइड-ऑब्जेक्ट इंटरैक्शन (HOI) कार्यों, जैसे कि बक्से ले जाने, को निष्पादित करने में महत्वपूर्ण चुनौतियों का सामना करते हैं। मौजूदा विधियाँ तीन प्राथमिक सीमाओं से ग्रस्त हैं:

सामान्यीकरण का अभाव (Lack of Generalization): पारंपरिक मॉडल-आधारित विधियों के लिए सटीक डायनेमिक्स मॉडलिंग और कार्य-विशिष्ट अनुकूलन की आवश्यकता होती है, जो उन्हें अज्ञात परिदृश्यों में नाजुक बनाता है। सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण अक्सर विस्तृत संदर्भ गतियों या जटिल रिवॉर्ड इंजीनियरिंग पर निर्भर करते हैं, जो नई वस्तुओं की स्थिति या कार्य चरणों के अनुकूल होने की उनकी क्षमता को सीमित करते हैं।
सार्वभौमिक नियंत्रण इंटरफ़ेस का अभाव (Absence of a Universal Control Interface): अधिकांश मौजूदा HOI फ्रेमवर्क उच्च-स्तरीय योजनाकारों (high-level planners) के लिए एक मानकीकृत कमांड इंटरफ़ेस की कमी रखते हैं। यह ऑब्जेक्ट मैनिपुलेशन को एक साथ नेविगेशन और बाधा निवारण (obstacle avoidance) के साथ एकीकृत करना कठिन बनाता है।
खराब मजबूती और विफलता रिकवरी (Poor Robustness and Failure Recovery): वर्तमान प्रणालियों में अक्सर क्लोज्ड-लूप धारणा तंत्र (closed-loop perception mechanisms) की कमी होती है। यदि कोई रोबोट किसी वस्तु को गिरा देता है (विशेष रूप से कैमरा के दृश्य क्षेत्र से बाहर), तो वह विफलता का पता लगाने या वस्तु को पुनः पकड़ने में सक्षम नहीं होता, जिससे कार्य समाप्त हो जाता है।

2. कार्यप्रणाली: Pro-HOI फ्रेमवर्क (Methodology: Pro-HOI Framework)

लेखक Pro-HOI का प्रस्ताव करते हैं, जो एक सामान्यीकरण योग्य और मजबूत RL फ्रेमवर्क है जो मोशन ट्रैकिंग को ऑब्जर्वेशन स्पेस से अलग करता है और निरंतर ऑब्जेक्ट एस्टीमेशन को एकीकृत करता है।

A. रूट-गाइडेड पॉलिसी ट्रेनिंग (Root-Guided Policy Training)

पूरी बॉडी के संदर्भ मोशन को फीड करने के बजाय (जो सामान्यीकरण को सीमित करता है), Pro-HOI एक रूट-गाइडेड ऑब्जर्वेशन पैराडाइम का उपयोग करता है:

ऑब्जर्वेशन स्पेस (Observation Space): पॉलिसी केवल वांछित रूट ट्राजेक्टरी (स्थिति में विचलन $\Delta p$ और ओरिएंटेशन में विचलन $\Delta r$ ) और एक बाइनरी कॉन्टैक्ट स्टेट ( $c_t \in \{0, 1\}$ ) पर आधारित होती है।
रिवॉर्ड मैकेनिज्म (Reward Mechanism): संदर्भ गति (reference motion) का उपयोग विशेष रूप से एक रिवॉर्ड सिग्नल (ट्रैकिंग फिडेलिटी) के रूप में किया जाता है, न कि इनपुट ऑब्जर्वेशन के रूप में। यह पॉलिसी को जॉइंट एंगल्स की अंधाधुंध नकल करने के बजाय रूट मूवमेंट और टास्क स्टेट के बीच डायनेमिक कोरिलेशन सीखने के लिए मजबूर करता है।
लाभ (Benefits): यह डिज़ाइन जटिल रिवॉर्ड ट्यूनिंग की आवश्यकता को समाप्त करता है, रोबोट को मनमाने स्थानों पर वस्तुओं के साथ इंटरैक्ट करने की अनुमति देता है, और रूट ट्राजेक्टरी को उच्च-स्तरीय योजनाकारों के लिए एक सार्वभौमिक इंटरफ़ेस के रूप में स्थापित करता है।

B. डेटा तैयारी और अनुकूलन (Data Preparation & Optimization)

डेटासेट (Dataset): Xsens इनर्शियल सेंसर का उपयोग करके बॉक्स-कैरीइंग मोशन का एक कस्टम डेटासेट एकत्र किया गया और इसे Unitree G1 रोबोट पर रिटारगेट किया गया।
SDF लॉस ऑप्टिमाइजेशन (SDF Loss Optimization): रोबोट के हाथों और वस्तु के बीच मेश पेनिट्रेशन आर्टिफ़ेक्ट्स को हल करने के लिए, डेटा रिटारगेटिंग के दौरान एक साइंड डिस्टेंस फील्ड (SDF) लॉस लागू किया गया। यह सुनिश्चित करता है कि प्रशिक्षण शुरू होने से पहले संदर्भ गतियाँ भौतिक रूप से व्यवहार्य हों।

C. निरंतर ऑब्जेक्ट एस्टीमेशन और विफलता रिकवरी (Persistent Object Estimation & Failure Recovery)

अनजाने में गिरने जैसी वास्तविक दुनिया की अनिश्चितताओं को संभालने के लिए:

डिजिटल ट्विन मॉड्यूल (Digital Twin Module): यह रियल-टाइम ऑब्जेक्ट डिटेक्शन (FoundationPose) को एक फिजिक्स-आधारित सिम्युलेटर (MuJoCo) के साथ जोड़ता है।
ड्रॉप डिटेक्शन (Drop Detection): सिस्टम कॉन्टैक्ट स्टेट और रिलेटिव ऑब्जेक्ट पोज़ के बीच निरंतरता की निगरानी करता है। यदि वस्तु को पकड़े रहने की अपेक्षा की जाती है ( $c_t=1$ ) लेकिन पोज़ में महत्वपूर्ण विचलन होता है, तो ड्रॉप का पता चल जाता है।
री-ग्रैस्पिंग (Re-grasping): डिटेक्शन के बाद, डिजिटल ट्विन वस्तु के गिरने के प्रक्षेपवक्र (trajectory) का अनुकरण करता है ताकि उसके अंतिम विश्राम स्थान का अनुमान लगाया जा सके। इसके बाद रोबोट स्वायत्त रूप से अपनी दृष्टि (gaze) को समायोजित करता है और वस्तु को पुनः प्राप्त करने के लिए अपना पथ फिर से नियोजित करता है, भले ही वह कैमरा के दृश्य क्षेत्र से बाहर गिर गई हो।

D. सिस्टम आर्किटेक्चर (System Architecture)

हार्डवेयर (Hardware): Unitree G1 ह्यूमनॉइड रोबोट पर तैनात।
कंप्यूट (Compute): सभी मॉड्यूल (परसेप्शन, प्लानिंग, कंट्रोल) एक एकल NVIDIA Jetson NX पर ऑनबोर्ड चलते हैं।
सेंसर्स (Sensors): Intel D435i कैमरा और Mid-360 LiDAR का उपयोग करता है।
प्लानर (Planner): नेविगेशन और बाधा निवारण के लिए एक टास्क-स्पेसिफिक प्लानर (TEB) को एकीकृत करता है, जो पॉलिसी के लिए 6-DoF रूट ट्राजेक्टरीज उत्पन्न करता है।

3. मुख्य योगदान (Key Contributions)

रूट-गाइडेड RL फ्रेमवर्क: एक नया प्रशिक्षण प्रतिमान जो रूट कमांड को मोशन ट्रैकिंग रिवॉर्ड से अलग करता है। यह विस्तृत संदर्भ मोशंस या जटिल रिवॉर्ड इंजीनियरिंग के बिना सामान्यीकरण योग्य HOI प्राप्त करता है, और साथ ही नेविगेशन और मैनिपुलेशन के लिए उच्च-स्तरीय योजनाकारों के साथ सहज एकीकरण सक्षम करता है।
निरंतर ऑब्जेक्ट एस्टीमेशन (Persistent Object Estimation): एक डिजिटल ट्विन-आधारित मॉड्यूल जो ड्रॉप्स का स्वायत्त पता लगाने और वस्तुओं को पुनः पकड़ने में सक्षम बनाता है, जिससे असंरचित वातावरण में सिस्टम की विश्वसनीयता काफी बढ़ जाती है।
वास्तविक दुनिया में तैनाती (Real-World Deployment): एक पूर्ण, मजबूत HOI सिस्टम का पहला प्रदर्शन जो पूरी तरह से एक ह्यूमनॉइड रोबोट (Unitree G1) पर चलता है, जो लॉन्ग-होरिज़न निष्पादन (15+ लगातार चक्र) और सफल सिम-टू-रियल ट्रांसफर प्राप्त करता है।

4. प्रायोगिक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन सिमुलेशन (MuJoCo) और वास्तविक दुनिया के परिदृश्यों दोनों में Unitree G1 पर किया गया।

सामान्यीकरण (OOD Performance):
- OOD परीक्षणों (रैंडम ऑब्जेक्ट पोजीशन और ओरिएंटेशन) में, Pro-HOI ने 99.93% ग्रैस्प सफलता दर प्राप्त की, जो PhysHSI (82.54%) जैसे बेसलाइन से काफी बेहतर है।
- इसने नए परिदृश्यों में भी उच्च प्लेसमेंट सटीकता (त्रुटि < 7cm) बनाए रखी।
ट्रैकिंग फिडेलिटी (Tracking Fidelity):
- इस पद्धति ने एब्लेशन स्टडीज की तुलना में सबसे कम रूट पोजीशन एरर (RPE: 0.22m) और रूट ओरिएंटेशन एरर (ROE: 5.77 rad) प्राप्त किया, जो रूट ट्राजेक्टरीज के सटीक पालन को प्रदर्शित करता है।
मजबूती और रिकवरी (Robustness & Recovery):
- सिस्टम ने वास्तविक दुनिया में 15+ लगातार कैरीइंग साइकल सफलतापूर्वक पूरे किए।
- विफलता रिकवरी परीक्षणों में, डिजिटल ट्विन मॉड्यूल ने रोबोट को ड्रॉप का पता लगाने, नए स्थान का अनुमान लगाने और स्वायत्त रूप से वस्तु को पुनः पकड़ने में सक्षम बनाया।
डायनेमिक चपलता (Dynamic Agility):
- रोबोट ने 0.6 m/s तक की गति पर "रनिंग व्हाइलली कैरीइंग" कार्यों को सफलतापूर्वक किया, जो उच्च-डायनेमिक मोशन को संभालने की पॉलिसी की क्षमता को प्रदर्शित करता है।

5. महत्व (Significance)

Pro-HOI ह्यूमनॉइड रोबोट को नियंत्रित प्रयोगशाला प्रदर्शनों से व्यावहारिक, मानव-केंद्रित अनुप्रयोगों में संक्रमण करने की दिशा में एक महत्वपूर्ण मील का पत्थर है। सामान्यीकरण की समस्या (रूट-गाइडेड लर्निंग के माध्यम से) और विश्वसनीयता की समस्या (डिजिटल ट्विन-आधारित रिकवरी के माध्यम से) को हल करके, यह होल-बॉडी मैनिपुलेशन के लिए एक समग्र समाधान प्रदान करता है। बाहरी मोशन कैप्चर सिस्टम या क्लाउड कंप्यूटिंग के बिना एक मानक ह्यूमनॉइड रोबोट पर इस जटिल स्टैक को चलाने की क्षमता इसे लॉजिस्टिक्स, सर्विस और आपदा प्रतिक्रिया परिदृश्यों में वास्तविक दुनिया की तैनाती के लिए एक व्यवहार्य उम्मीदवार बनाती है।