← नवीनतम पेपर
💻 computer science

EgoSpot:Egocentric Multimodal Control for Hands-Free Mobile Manipulation

यह शोध पत्र EgoSpot प्रस्तुत करता है, जो बोस्टन डायनेमिक्स स्पॉट रोबोट के लिए एक नवीन हैंड्स-फ्री मल्टीमॉडल कंट्रोल फ्रेमवर्क है, जो शारीरिक रूप से अक्षम उपयोगकर्ताओं के लिए सुलभ, स्वाभाविक मोबाइल मैनिपुलेशन को सक्षम करने हेतु HoloLens 2 के माध्यम से आई गेज़ (आंखों की दृष्टि), हेड जेस्चर और वॉइस कमांड को एकीकृत करता है, और पारंपरिक जॉयस्टिक-आधारित नियंत्रण के तुलनीय प्रदर्शन प्राप्त करता है।

मूल लेखक: Ganlin Zhang, Deheng Zhang, Longteng Duan, Guo Han, Yuqian Fu, Danda Pani Paudel, Luc Van Gool, Eric Vollenweider

प्रकाशित 2026-03-23
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Ganlin Zhang, Deheng Zhang, Longteng Duan, Guo Han, Yuqian Fu, Danda Pani Paudel, Luc Van Gool, Eric Vollenweider

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को हाई-फाइव देना चाहते हैं, लेकिन आपके हाथ कॉफी का कप पकड़े हुए व्यस्त हैं, या शायद आप अपने हाथों का उपयोग बिल्कुल नहीं कर सकते। आमतौर पर, एक रोबोट से बात करने के लिए आपको एक रिमोट कंट्रोल, एक जॉयस्टिक, या कीबोर्ड की आवश्यकता होती है—ऐसे उपकरण जिनके लिए आपको पकड़ने और दबाने की आवश्यकता होती है। लेकिन क्या होगा यदि आप केवल उस जगह पर देख सकें जहाँ आप चाहते हैं कि रोबोट जाए, कुछ उठाने के लिए अपना सिर हिला सकें, और उसे क्या करना है यह बताने के लिए बोल सकें?

EgoSpot पेपर ठीक इसी बारे में है। यह एक नया तरीका है जिससे एक रोबोट डॉग (बोस्टन डायनेमिक्स स्पॉट) को विशेष स्मार्ट चश्मे (माइक्रोसॉफ्ट होलोलेंस 2) का उपयोग करके नियंत्रित किया जा सकता है, जिसे विशेष रूप से उन लोगों के लिए डिज़ाइन किया गया है जो अपने हाथों का उपयोग नहीं कर सकते।

यहाँ बताया गया है कि यह कैसे काम करता है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:

1. समस्या: "रिमोट कंट्रोल" की बाधा

अधिकांश रोबोट नियंत्रकों को एक वीडियो गेम कंट्रोलर की तरह समझें। आपको इसे पकड़ना होता है, बटन दबाने होते हैं और स्टिक को हिलाना होता है। यदि आपके पास कोई शारीरिक अक्षमता है जो आपके हाथ की गति को सीमित करती है, तो वह कंट्रोलर एक बंद दरवाजे की तरह है—आप बस उसके पार नहीं जा सकते। रोबोट से बात करने का वर्तमान तरीका हमारे हाथों पर बहुत अधिक केंद्रित है, जो इस तथ्य को अनदेखा करता है कि मनुष्य स्वाभाविक रूप से अपनी आँखों, सिर और आवाज़ से संवाद करते हैं।

2. समाधान: "EgoSpot" (रोबोट का नया मस्तिष्क)

शोधकर्ताओं ने EgoSpot नामक एक प्रणाली बनाई है। इसका नाम "एगोसेंट्रिक" (Egocentric) से आया है, जो एक फैंसी तरीका है यह कहने का कि "उस व्यक्ति के दृष्टिकोण से जहाँ चश्मा पहना गया है।"

इस प्रणाली में रोबोट बटन दबाने का इंतज़ार नहीं करता, बल्कि वह आपके स्वाभाविक रूप से कार्य करने का इंतज़ार करता है। यह आपके शरीर को ही रिमोट कंट्रोल के रूप में मानता है।

3. यह कैसे काम करता है: तीन जादुई उपकरण

यह प्रणाली तीन "जादुई उपकरणों" का उपयोग करती है जो एक ऑर्केस्ट्रा का नेतृत्व करने वाले कंडक्टर की तरह मिलकर काम करते हैं:

  • आँखें (लेज़र पॉइंटर):
    कल्पना कीजिए कि आप दीवार पर लेज़र पॉइंटर से इशारा कर रहे हैं। आप जहाँ भी देखते हैं, रोबोट डॉग जानता है कि आप कहाँ जाना चाहते हैं। यदि आप एक कुर्सी को देखते हैं, तो रोबमान कुर्सी की ओर चलता है। आपको "आगे बढ़ें" बटन दबाने की आवश्यकता नहीं है; आप बस देखते हैं, और रोबोट आपकी दृष्टि का अनुसरण करता है।
  • सिर (कठपुतली के धागे):
    रोबोट के हाथ को चलाने के लिए, आप अपने सिर को हिलाते हैं। यदि आप अपना सिर बाईं ओर झुकाते हैं, तो रोबोट का हाथ बाईं ओर झुक जाता है। यदि आप ऊपर की ओर सिर हिलाते हैं, तो हाथ ऊपर जाता है। यह ऐसा है जैसे रोबोट का हाथ एक कठपुतली है, और आपका सिर कठपुतली चलाने वाला है। रोबोट वास्तव में अपने हाथ के साथ आपके सिर की गतिविधियों की नकल कर रहा है।
  • आवाज़ (कमांड सेंटर):
    चूंकि आप मोड बदलने (जैसे "चलने" से "पकड़ने" में स्विच करना) के लिए अपने हाथों का उपयोग नहीं कर सकते, इसलिए आप अपनी आवाज़ का उपयोग करते हैं। आप बस कहते हैं, "आर्म मोड पर जाओ," या "वह बोतल उठाओ।" यह एक स्मार्ट असिस्टेंट (जैसे सिरी या एलेक्सा) से बात करने जैसा है, लेकिन संगीत बजाने के बजाय, रोबोट अपना शरीर हिला रहा है।

4. गुप्त नुस्खा (Secret Sauce): "साझा मानचित्र"

इस प्रोजेक्ट का सबसे कठिन हिस्सा यह सुनिश्चित करना था कि रोबोट और चश्मा अंतरिक्ष में चीजों के स्थान के बारे में एक ही भाषा बोलें।

  • उपमा: कल्पना कीजिए कि आप अपने चश्मे पर एक मानचित्र पहने हुए हैं, और रोबोट के मस्तिष्क में एक अलग मानचित्र है। यदि आप एक पेड़ की ओर इशारा करते हैं, तो आपका मानचित्र कहता है "पेड़ 5 कदम दूर है," लेकिन रोबोट का मानचित्र कह सकता है "पेड़ 10 कदम दूर है।"
  • समाधान: शोधकर्ताओं ने एक डिजिटल "जीपीएस एंकर" (जिसे Azure Spatial Anchors कहा जाता है) का उपयोग किया। यह कमरे में एक डिजिटल झंडा लगाने जैसा है जिसे चश्मा और रोबोट दोनों देख सकते हैं। यह सुनिश्चित करता है कि जब आप एक मेज की ओर देखते हैं, तो रोबोट उसी स्थान पर ठीक उसी मेज को देखता है, ताकि वह दीवार से न टकरा जाए या वस्तु को मिस न कर दे।

5. परिणाम: क्या यह अच्छा है?

टीम ने इसका परीक्षण 11 लोगों के साथ किया।

  • गति: पारंपरिक जॉयस्टिक की तुलना में चश्मे द्वारा नियंत्रित होने पर रोबोट थोड़ा धीमा था (कहीं जाने के लिए लगभग दोगुना समय लगा)।
  • अनुभव: हालाँकि, उपयोगकर्ताओं ने अनुभव को बहुत उच्च रेटिंग दी (5 में से 4 स्टार)।
  • निष्कर्ष: जबकि एक प्रो गेमर के लिए जॉयस्टिक तेज़ होता है, चश्मे वाली प्रणाली काम पूरा करने के लिए उतनी ही अच्छी है, लेकिन यह उन लोगों के लिए रास्ता खोलती है जो बिल्कुल भी जॉयस्टिक का उपयोग नहीं कर सकते। यह थोड़ी सी गति का त्याग करके बहुत अधिक स्वतंत्रता और सुलभता प्रदान करती है।

यह क्यों महत्वपूर्ण है

यह केवल एक रोबोट डॉग को इधर-उधर चलाने के बारे में नहीं है। यह गरिमा और स्वतंत्रता के बारे में है।
कल्पना कीजिए कि व्हीलचेयर पर बैठा एक व्यक्ति ऊंचे शेल्फ से किताब लेना चाहता है। EgoSpot के साथ, वे किताब की ओर देख सकते हैं, "इसे पकड़ो" कह सकते हैं, और रोबोट के हाथ को निर्देशित करने के लिए अपना सिर हिला सकते हैं। उन्हें मदद मांगने की आवश्यकता नहीं है; उन्हें किसी विशेष रिमोट की आवश्यकता नहीं है जिसे वे पकड़ नहीं सकते। वे बस अपनी प्राकृतिक इंद्रियों का उपयोग करते हैं।

संक्षेप में: EgoSpot आपकी आँखों, सिर और आवाज़ को रिमोट कंट्रोल में बदल देता है, जिससे रोबोट सभी के लिए सुलभ हो जाता है, चाहे उनकी शारीरिक क्षमता कुछ भी हो। यह ऐसा है जैसे रोबोट को एक "छठा सेंस" देना जो सीधे मानवीय इरादे को समझ सके।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →