← नवीनतम पेपर
🤖 AI

GeoProp: Grounding Robot State in Vision for Generalist Manipulation

GeoProp एक हल्का, प्लग-एंड-प्ले एडॉप्टर है जो ज्यामितीय प्रक्षेपण (geometric projection) और स्थानिक नमूनाकरण (spatial sampling) के माध्यम से प्रोप्रियोसेप्टिव अवस्था को विज़ुअल फीचर्स में स्पष्ट रूप से ग्राउंड करके सामान्यवादी रोबोटिक हेरफेर (robotic manipulation) को बढ़ाता है, जो न्यूनतम पैरामीटर ओवरहेड के साथ सिमुलेशन और वास्तविक दुनिया के कार्यों में नीति प्रदर्शन (policy performance) में महत्वपूर्ण सुधार करता है।

मूल लेखक: Guoyang Zhao, Quanhao Qian, Gongjie Zhang, Wenhao Li, Jiuniu Wang, Xiaowei Lu, Deli Zhao, Ran Xu

प्रकाशित 2026-07-09
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Guoyang Zhao, Quanhao Qian, Gongjie Zhang, Wenhao Li, Jiuniu Wang, Xiaowei Lu, Deli Zhao, Ran Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक रोबोट घर के काम करना सीखने की कोशिश कर रहा है, जैसे कि कप उठाना या फर्श पर झाड़ू लगाना। इसे करने के लिए, इसे दो प्रकार की जानकारी की आवश्यकता होती है:

  1. यह क्या देख रहा है: एक कैमरा फीड जो कमरे, कप और फर्श को दिखा रहा है।
  2. यह कहाँ है: इसके अपने शरीर के अंदर लगे सेंसर (प्रोपियोसेप्शन) जो इसे बता रहे हैं कि इसकी बांह और ग्रिपर 3D स्पेस में ठीक कहाँ हैं।

समस्या: "अनुवाद में खो जाने" का क्षण
अधिकांश वर्तमान रोबोटिक मस्तिष्क में, इस प्रकार की जानकारी को दो अलग-अलग बक्सों में रखा जाता है। रोबोट को कमरे की एक तस्वीर मिलती है और साथ ही संख्याओं की एक अलग सूची मिलती है जो कहती है, "मेरी बांह X, Y, Z निर्देशांकों पर है।"

लेख का तर्क है कि यह अलगाव एक शेफ को रसोई की फोटो देने और साथ में एक अलग नोट देने जैसा है जिसमें लिखा है, "चाकू बाईं ओर 3 फीट दूर है," लेकिन कभी भी फोटो में चाकू की ओर इशारा नहीं किया जाता। रोबोट को यह अनुमान लगाना पड़ता है कि वे संख्याएँ चित्र से कैसे संबंधित हैं। अक्सर, वह गलत अनुमान लगाता है, भ्रमित हो जाता है, और अपने शरीर के सेंसरों को पूरी तरह से अनदेखा करने की तुलना में खराब प्रदर्शन करता है।

समाधान: GeoProp (रोबोट की आँखों के लिए "जीपीएस")
लेखकों ने एक सरल एड-ऑन बनाया है जिसे GeoProp कहा जाता है। इसे एक स्मार्ट अनुवादक के रूप में समझें जो तुरंत रोबोट के शरीर के सेंसरों को कैमरा इमेज से जोड़ देता है।

यह इस प्रकार काम करता है, एक रचनात्मक उपमा का उपयोग करते हुए:

  • प्रोजेक्शन (उंगली से इशारा करना): केवल यह कहने के बजाय कि "मेरा हाथ यहाँ है," GeoProp रोबोट की 3D हाथ की स्थिति को गणितीय रूप से 2D कैमरा स्क्रीन पर प्रोजेक्ट करता है। यह बिल्कुल वैसा ही है जैसे रोबोट फोटो में उस स्थान पर अपनी उंगली सीधे रखता है जहाँ वास्तव में उसका हाथ है।
  • सैंपलिंग (ज़ूम इन करना): एक बार जब उसे पता चल जाता है कि फोटो में उसका हाथ ठीक कहाँ है, तो वह ग्रिपर के ठीक बगल के दृश्य विवरण (बनावट, रंग, आकार) प्राप्त करने के लिए उस विशिष्ट स्थान पर "ज़ूम इन" करता है। यह एक विशेष "स्टेट टोकन" बनाता है जो कहता है, "मेरा हाथ यहाँ है, और यहाँ यह देख रहा है।"
  • मॉड्यूलेशन (महत्वपूर्ण चीजों को हाइलाइट करना): इसके बाद यह रोबोट के ध्यान (अटेंशन) को "हाइलाइट" करने या समायोजित करने के लिए इस जानकारी का उपयोग करता है। कल्पना कीजिए कि एक शिक्षक आरेख के सबसे महत्वपूर्ण भाग को घेरने के लिए लाल मार्कर का उपयोग कर रहा है। GeoProp रोबोट के मस्तिष्क को बताता है, "पूरे बिखरे हुए कमरे को मत देखो; अपना ध्यान ठीक यहाँ केंद्रित करो, जहाँ तुम्हारा हाथ वस्तु को छू रहा है।"
  • लुक-अहेड (अगले कदम की भविष्यवाणी करना): गति में मदद करने के लिए, GeoProp यह अनुमान लगाता है कि वर्तमान गति के आधार पर एक सेकंड के बहुत छोटे हिस्से में हाथ कहाँ होगा। यह उस भविष्य के स्थान पर भी विजुअल फीचर्स को सैंपल करता है, जिससे रोबोट को यह "हेड्स-अप" मिलता है कि वह आगे कहाँ जा रहा है।

परिणाम: एक सरल सुधार जिससे बड़े लाभ मिलते हैं
लेखकों ने 67 विभिन्न कार्यों पर इसका परीक्षण किया, जिनमें सरल वीडियो गेम सिमुलेशन से लेकर घर में घूमते वास्तविक दुनिया के रोबोट तक शामिल थे।

  • सिमुलेशन में: जब उन्होंने मौजूदा रोबोटिक मस्तिष्क में GeoProp जोड़ा, तो सफलता दर एक प्रकार के रोबोट के लिए लगभग 8.7% और दूसरे के लिए 4.0% बढ़ गई।
  • वास्तविक दुनिया में: एक वास्तविक रोबोटिक आर्म (Mobile ALOHA) पर, इसने सफलता दर में 10.6% का सुधार किया।
  • लागत: इस भारी सुधार के साथ लगभग कोई अतिरिक्त "मस्तिष्क शक्ति" (ब्रेन पावर) नहीं लगी। इस एड-ऑन ने रोबोट के आकार को केवल 2-3% ही बढ़ाया।

यह क्यों मायने रखता है
लेख का दावा है कि रोबोट को अपने शरीर के सेंसरों को दृश्य जगत के साथ भौतिक रूप से संरेखित करने के लिए मजबूर करके (जियोमेट्रिक ग्राउंडिंग), रोबोट तेजी से सीखता है और कम गलतियाँ करता है। वह वस्तुओं के सापेक्ष अपने हाथ के स्थान का अनुमान लगाना बंद कर देता है और उसे "जानने" लगता है क्योंकि दृश्य प्रमाण वहीं मौजूद हैं, जो रोबोट के अपने शरीर से जुड़े हुए हैं।

उल्लिखित सीमाएँ
लेखक नोट करते हैं कि यह प्रणाली इस बात पर निर्भर करती है कि कैमरा सही ढंग से कैलिब्रेटेड है। यदि कैमरे को झटका लगता है या कमरे का रोबोट का आंतरिक मानचित्र थोड़ा भी गलत है, तो "इशारा करने वाली उंगली" लक्ष्य को चूक सकती है। साथ ही, यह वर्तमान में केवल हाथ के सिरे (एंड-इफेक्टर) को ट्रैक करता है, न कि प्रत्येक जोड़ या उंगली को व्यक्तिगत रूप से, इसलिए यह पूरे शरीर की गति वाले अत्यंत जटिल, सूक्ष्म कार्यों में संघर्ष कर सकता है।

संक्षेप में, GeoProp एक हल्का उपकरण है जो रोबोट को अपने शरीर के सेंसरों को अमूर्त संख्याओं के रूप में मानने के बजाय, उन्हें दृश्य दुनिया के लिए एक प्रत्यक्ष पॉइंटर के रूप में मानना सिखाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →