← नवीनतम पेपर
💻 computer science

Towards Exploratory and Focused Manipulation with Bimanual Active Perception: A New Problem, Benchmark and Strategy

यह शोध पत्र रोबोटिक हेरफेर में विज़ुअल ऑक्लूजन (दृश्य अवरोध) को संबोधित करने के लिए एक्सप्लोरेटरी एंड फोकस्ड मैनिपुलेशन (EFM) समस्या को प्रस्तुत करता है, जिसमें EFM-10 बेंचमार्क और एक द्वि-हस्त सक्रिय धारणा (Bimanual Active Perception - BAP) रणनीति प्रस्तावित की गई है जो सक्रिय दृष्टि और बल संवेदन के लिए दोहरे-हाथ समन्वय का प्रभावी ढंग से लाभ उठाती है।

मूल लेखक: Yuxin He, Ruihao Zhang, Tianao Shen, Cheng Liu, Qiang Nie

प्रकाशित 2026-03-06
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Yuxin He, Ruihao Zhang, Tianao Shen, Cheng Liu, Qiang Nie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपनी जेब में उलझे हुए हेडफ़ोन को सुलझाने की कोशिश कर रहे हैं, लेकिन आपकी टॉर्च आपके माथे पर चिपकी हुई है और सीधे सामने की ओर इशारा कर रही है। जैसे ही आप अपने हाथों से अंदर हाथ डालते हैं, आपका सिर और हेडफ़ोन आपका रास्ता रोक देते हैं। आप जो कर रहे हैं उसे देख नहीं पा रहे हैं!

यह ठीक वही समस्या है जिसका सामना आधुनिक रोबोट करते हैं। जैसे-जैसे रोबट अधिक मानव जैसा (ट्राइपॉड के बजाय सिर पर कैमरों के साथ) होता जा रहा है, वे अक्सर किसी चीज़ तक पहुँचने के दौरान अपना ही दृश्य बाधित कर देते हैं।

यह पेपर इस समस्या को हल करने का एक नया तरीका पेश करता है, जिसे एक्सप्लोरेटरी एंड फोकस्ड मैनिपुलेशन (EFM) कहा जाता है। यहाँ इसका सरल विवरण दिया गया है:

1. समस्या: "अंधे" रोबोट

जब रोबोट कठिन कार्य करने की कोशिश करते हैं—जैसे कि एक छोटा USB केबल लगाना, अंधेरे दराज में एक विशिष्ट रंग का खिलौना ढूँढना, या एक कील ठोकना—तो वे अक्सर यह नहीं देख पाते कि वे क्या कर रहे हैं क्योंकि उनका अपना हाथ या वस्तु उनके रास्ते में आ जाती है।

  • पुराना तरीका: कुछ शोधकर्ताओं ने रोबोट को "सक्रिय गर्दन" (जैसे इंसान अपना सिर घुमाता है) देने की कोशिश की। लेकिन अधिकांश रोबोटों में लचीली गर्दन नहीं होती; उनके पास बस दो हाथ होते हैं।
  • नया विचार: क्यों न रोबोट के दूसरे हाथ को ही कैमरा बना लिया जाए?

2. समाधान: "बाइमैनुअल एक्टिव परसेप्शन" (BAP) रणनीति

लेखकों ने एक चतुर तकनीक निकाली है जिसे वे बाइमैनुअल एक्टिव परसेप्शन (BAP) कहते हैं। इसे एक इंसान द्वारा सूक्ष्म कार्य करने की तरह समझें:

  • "वर्कर" (काम करने वाला) हाथ: एक हाथ वास्तव में काम करता है (पेचकश पकड़ना, बॉक्स को धकेलना)।
  • "स्पॉटर" (देखने वाला) हाथ: दूसरा हाथ, जो व्यस्त नहीं है, एक कैमरा पकड़ता है और उसे सही कोण से देखने के लिए इधर-तैयार घुमाता है, ठीक वैसे ही जैसे कोई इंसान अपना सिर झुकाकर या अपना दूसरा हाथ हिलाकर बेहतर दृश्य पाने की कोशिश करता है।

यह रोबोट को बिना किसी विशेष गर्दन के, एक नए कोण से अपने काम को "देखने" की अनुमति देता है।

3. रोबोटों के लिए "जिम": EFM-10

इस विचार को परखने के लिए, टीम ने एक "जिम" (बेंचमार्क) बनाया जिसे EFM-10 कहा जाता है। इसमें 10 अलग-अलग चुनौतियाँ शामिल हैं जो रोबोट के लिए कठिन हैं क्योंकि उनमें से किसी में भी:

  • एक्सप्लोरेशन (खोज): "अलमारी में छिपा नीला खिलौना ढूँढें।" (आपको खोजने के लिए चारों ओर देखना पड़ता है)।
  • फोकस (केंद्रित दृष्टि): "इस छोटे से USB केबल को प्लग करें।" (आपको बहुत स्पष्ट, नज़दीकी दृश्य की आवश्यकता है)।
  • दोनों: "सही रंग का पोर्ट ढूँढें और उसके मिलान वाला केबल प्लग करें।"

4. ट्रेनिंग डेटा: BAPData

आप रोबोट को सिर्फ बताकर नहीं सिखा सकते कि उसे क्या करना है; आपको उसे दिखाना होगा। टीम ने एक असली रोबोट का उपयोग करके इंसानों द्वारा ये कार्य करने के 1,850 विशेषज्ञ प्रदर्शन (expert demonstrations) रिकॉर्ड किए।

  • गुप्त मंत्र: जब इंसान कार्य कर रहा था, तब उसने एक हाथ से काम किया और दूसरे हाथ से कैमरा पकड़ा, ताकि वह देख सके कि उसे ठीक कहाँ देखने की ज़रूरत है।
  • उन्होंने फोर्स सेंसर्स (स्पर्श की भावना) भी रिकॉर्ड किए। इससे रोबोट को यह जानने में मदद मिलती है कि वह बहुत ज़ोर तो नहीं लगा रहा है या प्लग अंततः सही से फिट हुआ है या नहीं।

5. उन्होंने क्या सीखा ( "आहा!" क्षण)

इस डेटा पर रोबोट को प्रशिक्षित करने के बाद, उन्हें कुछ दिलचस्प बातें पता चलीं:

  • "स्पॉटर" को हाथ को देखना चाहिए: यह पर्याप्त नहीं है कि "स्पॉटर" हाथ केवल वस्तु (जैसे कप) को देखे। उसे रोबोट के हाथ (ग्रिपर) को भी देखना ही चाहिए। यदि कैमरा केवल कप को देखता है, तो रोबोट भ्रमित हो जाता है कि उसे पकड़ने के लिए अपने हाथ को कैसे चलाना है। यह सुई में धागा पिरोने की तरह है जहाँ आप केवल धागे को देखते हैं, सुई को नहीं।
  • स्पर्श महत्वपूर्ण है: बहुत नाजुक कार्यों (जैसे USB प्लग करना) के लिए, रोबोट को प्रतिरोध को "महसूस" करने की आवश्यकता होती है। जब रोबोट ने स्पर्श की भावना का उपयोग किया, तो वह बहुत कोमल और सफल रहा, जिससे नाजुक हिस्सों के टूटने का खतरा टल गया।
  • वर्तमान रोबोट बेहतर हो रहे हैं, लेकिन पूर्ण नहीं हैं: टीम ने कई AI मॉडल का परीक्षण किया। कुछ मॉडल खिलौने खोजने में बहुत अच्छे हैं, लेकिन वे अभी भी प्लग लगाने जैसे सूक्ष्म विवरणों में संघर्ष करते हैं।

बड़ी तस्वीर

यह पेपर भविष्य के रोबोट सहायकों के लिए एक ब्लूप्रिंट है। महंगे रोबोट बनाने के बजाय जिनमें हिलने-डुलने वाली गर्दन हो, हम मौजूदा दो-हाथों वाले रोबोट को अपने खाली हाथ का उपयोग एक मोबाइल कैमरे के रूप में करके अधिक स्मार्ट बना सकते हैं।

संक्षेप में: यदि आप चाहते हैं कि एक रोबोट कठिन काम करे, तो उसे केवल सिर पर कैमरा न दें। उसे दूसरे हाथ पर दूसरा कैमरा दें, उसे सिखाएं कि वह जो छू रहा है उसे महसूस करे, और उसे अपने काम को हर कोण से देखने दें। ऐसा करने से ही आपको एक ऐसा रोबोट मिलेगा जो वास्तव में आपके हेडफ़ोन को बिना तोड़े ठीक कर सके।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →