← नवीनतम पेपर
💻 computer science

RoboHitch: Learning Visual Affordance from Disordered Keypoints for Hitch Knots Tying

RoboHitch एक नवीन फ्रेमवर्क है जो रोबोटों को एक डायनेमिक ग्राफ और क्रॉस-अटेंशन के साथ कनवल्शनल ऑटोएनकोडर के माध्यम से अव्यवस्थित 3D कीपॉइंट्स (keypoints) और RGB छवियों को संलयित करके मानव प्रदर्शनों से हिच नॉट (hitch knot) बांधना सीखने में सक्षम बनाता है, जिससे सटीक टोपोलॉजिकल ट्रैकिंग की आवश्यकता समाप्त हो जाती है और जटिल सेल्फ-ऑक्लूजन (self-occlusions) को सफलतापूर्वक संभाला जा सकता है।

मूल लेखक: Jiahui Zuo, Boyang Zhang, Fumin Zhang

प्रकाशित 2026-05-26
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Jiahui Zuo, Boyang Zhang, Fumin Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को रस्सी में गांठ बांधना सिखाने की कोशिश कर रहे हैं। यह एक मशीन के लिए आश्चर्यजनक रूप से कठिन कार्य है। एक कठोर डिब्बे या कप के विपरीत, एक रस्सी लचीली होती है, वह मुड़ती है, और अक्सर अपने ही कुछ हिस्सों को कैमरे से छिपा लेती है (जिसे "सेल्फ-ऑक्लूजन" यानी स्व-आच्छादन कहा जाता है)।

यहाँ RoboHitch की कहानी है, जो रोबोट को गांठ बांधना सिखाने का एक नया तरीका है, जिसे सरल भाषा में समझाया गया है।

समस्या: रस्सी का "खोया हुआ क्रम" (The "Lost Order" of the Rope)

अधिकांश रोबोट रस्सी को नंबर वाले डिब्बों वाली एक ट्रेन की तरह मानकर गांठ बांधने की कोशिश करते हैं। उन्हें यह जानने की आवश्यकता होती है कि रस्सी का कौन सा हिस्सा "डिब्बा 1" है, कौन सा "डिब्बा 2" है, और इसी तरह आगे, ताकि वे उसके आकार को समझ सकें।

लेकिन वास्तविक दुनिया में, जब रस्सी उलझ जाती है या खुद के ऊपर से गुजरती है, तो रोबोट का कैमरा भ्रमित हो जाता है। वह क्रम का पता खो देता है। यह एक रेसिपी (विधि) का पालन करने जैसा है जब सामग्री फर्श पर बिखरी हुई हो और आप यह नहीं बता सकें कि कौन सा आटा है और कौन सा चीनी। यदि रोबोट "क्रम" खो देता है, तो वह आमतौर पर असफल हो जाता है।

समाधान: RoboHitch

RoboHitch के पीछे के शोधकर्ताओं ने रोबोट को रस्सी के क्रम की एक सटीक सूची रखने के लिए मजबूर करना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने रोबोट को एक ही समय में दो अलग-अलग तरीकों से रस्सी को देखना सिखाया, जैसे कि एक व्यक्ति अपनी आँखों और स्पर्श की भावना दोनों का उपयोग करता है।

1. "डॉट मैप" (ज्यामितीय दृश्य - Geometric View)
एक नंबर वाली सूची के बजाय, रोबोट रस्सी को बिखरे हुए बिंदुओं (कीपॉइंट्स) के एक बादल के रूप में देखता है। उसे क्रम की चिंता नहीं है; वह बस आकार को देखता है।

  • उपमा: आकाश में पक्षियों के झुंड को देखने की कल्पना करें। आपको यह जानने की आवश्यकता नहीं है कि कौन सा पक्षी #1 है और कौन सा #2 है ताकि आप समझ सकें कि झुंड एक घेरे में घूम रहा है। आप बस बिंदुओं के पैटर्न को देखते हैं। रोबोट इस पैटर्न को समझने के लिए एक विशेष "ग्राफ ऑटोएनकोडर" (एक स्मार्ट गणितीय उपकरण) का उपयोग करता है, बिना किसी सख्त क्रम की आवश्यकता के।

2. "फोटो" (दृश्य दृश्य - Visual View)
रोबोट दृश्य की एक मानक रंगीन फोटो (RGB इमेज) को भी देखता है। यह उसे बैकग्राउंड, उस खंभे को देखने में मदद करता है जिससे रस्सी बंधी है, और समग्र संदर्भ को समझने में मदद करता है।

  • उपमा: यह एक अस्त-व्यस्त कमरे की फोटो देखने जैसा है। आप हर वस्तु का सटीक 3D आकार नहीं देख सकते, लेकिन आप देख सकते हैं कि चीजें एक-दूसरे के सापेक्ष कहाँ हैं।

3. "अनुवादक" (क्रॉस-अटेंशन - The "Translator")
यही असली जादू है। रोबोट को "डॉट मैप" और "फोटो" दोनों को मिलाना होता है।

  • समस्या: यदि आप केवल एक फोटो को डॉट मैप के साथ जोड़ देते हैं, तो वे मेल नहीं खा सकते। डॉट्स कह सकते हैं "यहाँ पकड़ो," लेकिन फोटो कह सकती है "वह एक दीवार है।"
  • समाधान: शोधकर्ताओं ने एक "बाइडायरेक्शनल क्रॉस-अटेंशन" तंत्र बनाया। इसे एक अनुवादक के रूप में सोचें जो लगातार फोटो से पूछता है, "हे, इस बिंदु के पास क्या हो रहा है?" और डॉट मैप से पूछता है, "हे, इस फोटो का यह हिस्सा कैसा दिखता है?"
  • परिणाम: रोबोट उलझी हुई रस्सी के भ्रम को अनदेखा करना और 'एफॉर्डेंस' (affordance) पर ध्यान केंद्रित करना सीख जाता है—जो कि एक फैंसी शब्द है जिसका अर्थ है "यहाँ क्या क्रिया संभव है?" वह सीखता है: "मुझे इस विशिष्ट लूप को पकड़ना चाहिए और इसे वहाँ रखना चाहिए।"

इसने कैसे सीखा

रोबोट ने अनुभव और त्रुटि (trial and error) से नहीं सीखा (जिसमें बहुत समय लगता है)। इसके बजाय, इसने इंसानों द्वारा गांठ बांधने के 100 वीडियो देखे।

  • शोधकर्ताओं ने इंसान के अंगूठे और उंगली को ट्रैक करने के लिए सॉफ्टवेयर का उपयोग किया।
  • उन्होंने रोबोट को सिखाया: "जब इंसान अपने हाथ से यह करता है, तो रोबोट को इस बिंदु को पकड़ना चाहिए और उसे उस स्थान पर ले जाना चाहिए।"
  • रोबोट ने रस्सी की अगली स्थिति की भविष्यवाणी करना सीखा, बिना यह जाने कि रस्सी का "परफेक्ट" क्रम क्या है।

परिणाम

टीम ने इसे एक वास्तविक रोबोटिक आर्म (UR10) और ग्रिपर पर परखा।

  • सफलता दर: रोबोट ने हिच नॉट्स (खंभे से रस्सी बांधना) सफलतापूर्वक 84% बार बांधा। यह पिछले तरीकों से बेहतर है जिन्होंने रस्सी को पूरी तरह से ट्रैक करने की कोशिश की थी।
  • चुनौती: यह नरम नायलॉन की रस्सी के साथ बहुत अच्छा काम करता है। हालाँकि, जब उन्होंने इसे एक सख्त, प्लास्टिक की रस्सी (पॉलीप्रोपलीन) के साथ आजमाया, तो यह पूरी तरह से विफल रहा। सख्त रस्सी बहुत अधिक स्प्रिंग जैसी (springy) थी; वह गांठ बंधने से पहले ही वापस उछल गई। इससे पता चलता है कि रोबोट लचीली रस्सियों को संभालने में तो माहिर है, लेकिन अभी भी सख्त वस्तुओं के साथ संघर्ष करता है।

संक्षेप में

RoboHitch एक ऐसा रोबोट है जो रस्सी को एक ही समय में बिखरे हुए बिंदुओं के बादल और एक रंगीन फोटो के रूप में देखकर गांठ बांधता है। उलझी हुई रस्सी से भ्रमित होने के बजाय, यह एक स्मार्ट "अनुवादक" का उपयोग करता है ताकि यह पता लगाया जा सके कि कहाँ पकड़ना है और रस्सी को कहाँ रखना है, और यह सीधे इंसानों को देखकर सीखता है। यह रोबोट को लचीली वस्तुओं की अस्त-व्यस्त और अप्रत्याशित दुनिया को संभालने के लिए सिखाने की दिशा में एक कदम है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →