Visual Prompting for Robotic Manipulation with Annotation-Guided Pick-and-Place Using ACT

तकनीकी सारांश: ACT के साथ एनोटेशन-गाइडेड पिक-एंड-प्लेस का उपयोग करके रोबोटिक मैनिपुलेशन के लिए विजुअल प्रॉम्प्टिंग

समस्या विवरण
सुविधा स्टोर (convenience store) वातावरण में रोबोटिक पिक-एंड-प्लेस कार्यों को घने ऑब्जेक्ट अरेंजमेंट, बार-बार होने वाले ऑक्लूजन (occlusions), और वस्तुओं के गुणों (रंग, आकार, बनावट) की उच्च परिवर्तनशीलता के कारण महत्वपूर्ण बाधाओं का सामना करना पड़ता है। पूर्व-निर्धारित ह्यूरिस्टिक्स (heuristics), संरचित वातावरण, या व्यापक दृश्य विभाजन (scene segmentation) पर निर्भर पारंपरिक दृष्टिकोण अक्सर नए आइटम्स और गतिशील लेआउट के लिए आवश्यक अनुकूलन क्षमता की कमी रखते हैं। इसके अलावा, पारंपरिक चरण-दर-चरण योजनापन (planning) लंबी अवधि के कार्यों में त्रुटिपूर्ण हो सकता है, जिससे संचित त्रुटियों और विफलता की संभावना बढ़ जाती है।

कार्यप्रणाली
लेखक एक परसेप्शन-एक्शन पाइपलाइन का प्रस्ताव करते हैं जो एनोटेशन-गाइडेड विजुअल प्रॉम्प्टिंग को एक्शन चंकिंग विद ट्रांसफॉर्मर्स (ACT), जो कि एक इमिटेशन लर्निंग एल्गोरिदम है, के साथ जोड़ती है।

• विजुअल प्रॉम्प्टिंग (Visual Prompting): रोबोट को जटिल और व्यापक सीन पार्सिंग करने की आवश्यकता के बजाय, यह प्रणाली स्थानिक मार्गदर्शन प्रदान करने के लिए बाउंडिंग बॉक्स एनोटेशन का उपयोग करती है। ये एनोटेशन उठाने के लिए लक्षित वस्तु और प्लेसमेंट के लिए गंतव्य को स्पष्ट रूप से पहचानते हैं। सिस्टम दो इंटेल रियलसेन्स कैमरों (कलाई पर D435i और टेबल पर D415) का उपयोग करता है ताकि RGB और डेप्थ डेटा कैप्चर किया जा सके। बाउंडिंग बॉक्स के साथ संवर्धित RGB इमेज, न्यूरल नेटवर्क के लिए सीधे इनपुट के रूप में कार्य करती हैं।
• एक्शन चंकिंग विद ट्रांसफॉर्मर्स (ACT): मुख्य नियंत्रण एल्गोरिदम ACT है, जो कठोर, चरण-दर-चरण योजना के बजाय "चंक्ड" एक्शन सीक्वेंस (chunked action sequences) के पूर्वानुमान को प्रतिस्थापित करता है।
  • आर्किटेक्चर: मॉडल एक ट्रांसफॉर्मर-आधारित आर्किटेक्चर का उपयोग करता है। एक CVAE एनकोडर मानव प्रदर्शन डेटा (बिना इमेज के क्रियाएं और अवलोकन) को प्रोसेस करके एक लेटेंट वेरिएबल ($z$) उत्पन्न करता है। एक ट्रांसफॉर्मर डिकोडर फिर वर्तमान स्थिति, लेटेंट वेरिएबल और विजुअल इनपुट (बाउंडिंग बॉक्स के साथ RGB इमेज) के आधार पर भविष्य की क्रियाओं के एक अनुक्रम (एक "चंक") की भविष्यवाणी करता है।
  • प्रशिक्षण (Training): सिस्टम को टेलीऑपरेशन (3D स्पेस माउस) के माध्यम से एकत्र किए गए मानव प्रदर्शनों का उपयोग करके इमिटेशन लर्निंग के माध्यम से प्रशिक्षित किया जाता है। प्रशिक्षण का उद्देश्य अनुमानित और वास्तविक एक्शन चंक्स के बीच पुनर्निर्माण त्रुटि (reconstruction error) को कम करना है, जिसे KL डाइवर्जेंस टर्म द्वारा नियमित (regularize) किया जाता है।
• प्रायोगिक सेटअप: सिस्टम को एक यूनिवर्सल रोबट्स UR5e आर्म पर लागू किया गया था, जो एक रोबोटिक 2-फिंगर ग्रिपर से लैस है। सिमुलेटेड और वास्तविक दुनिया के सुविधा स्टोर सेटिंग में छह अलग-अलग उत्पाद श्रेणियों (जैसे नूडल बाउल्स, चोको बॉक्स, टी बॉटल्स) का उपयोग करके प्रयोग किए गए, जो विविध आकारों, बनावटों और सामग्रियों का प्रतिनिधित्व करते हैं।

प्रमुख योगदान

1. एनोटेशन-गाइडेड विजुअल प्रॉम्प्टिंग: रोबोटिक मैनिपुलेशन को निर्देशित करने के लिए बाउंडिंग बॉक्स-आधारित विजुअल प्रॉम्प्टिंग का परिचय। यह दृष्टिकोण दृश्य समझ की जटिलता को कम करता है जबकि हल्के और प्रभावी स्थानिक संकेतों के माध्यम से कार्य निष्पादन सुनिश्चित करता है।
2. ACT-आधारित अनुकूलन प्रणाली: मानव प्रदर्शनों से प्राप्त सुचारू, चंक्ड एक्शन सीक्वेंस को निष्पादित करने के लिए ACT को सक्षम बनाना, जो कठोर, वृद्धिशील योजना (incremental planning) पर निर्भर रहने के बजाय काम करता है।
3. व्यवस्थित मूल्यांकन ढांचा: विजुअल प्रॉम्प्टिंग और ऑब्जेक्ट विविधता रोबोटिक प्रदर्शन को कैसे प्रभावित करती है, इसका मूल्यांकन करने के लिए तीन प्रगतिशील स्तरों की कार्य जटिलता (सिंपल, कॉम्प्लेक्स और मोर कॉम्प्लेक्स परिदृश्य) के माध्यम से एक संरचित प्रायोगिक विश्लेषण।

परिणाम
सिस्टम का मूल्यांकन उत्पादों के 3x3 अरेंजमेंट वाले तीन परिदृश्यों में किया गया:

• सिंपल परिदृश्य (Simple Scenario): एक एनोटेटेड टारगेट के साथ नौ समान बॉक्स। सिस्टम ने 90% सफलता दर प्राप्त की, जो समान वातावरण में विश्वसनीयता प्रदर्शित करती है।
• कॉम्प्लेक्स परिदृश्य (Complex Scenario): एक एनोटेटेड टारगेट के साथ नौ विविध उत्पाद। वस्तुओं के गुणों (परावर्तकता, फिसलन) के कारण प्रारंभिक सफलता दर गिरकर 70% हो गई। विशेष रूप से विफलता के मामलों के लिए प्रदर्शन डेटा में 20% की वृद्धि करने के बाद, सिस्टम का प्रदर्शन काफी सुधर गया, और इस परिदृश्य में सभी उत्पाद श्रेणियों में 100% सफलता दर प्राप्त की।
• मोर कॉम्प्लेक्स परिदृश्य (More Complex Scenario): पिक और प्लेस दोनों स्थानों को एनोटेट करते हुए विभिन्न स्थितियों में नौ विविध उत्पाद। प्रारंभिक सफलता 70% थी। बढ़ी हुई कठिनाई के कारण, शोधकर्ताओं ने प्रत्येक उत्पाद के लिए दोगुना मानव-एनोटेटेड डेटा एकत्र किया। इस डेटा वृद्धि के बाद, प्रदर्शन में सुधार हुआ, हालांकि विशिष्ट उत्पाद श्रेणियां (जैसे परावर्तक चाय की बोतलें, फिसलन भरे जार) कठोर बॉक्स (90%) की तुलना में कम सफलता दर (80%) दिखाती रहीं।

विफलता विश्लेषण (Failure Analysis)
अध्ययन ने विशिष्ट विफलता मोड की पहचान की, जिसमें उंगलियों का मिसअलाइनमेंट, फिसलन (विशेष रूप से चिकनी सतहों पर) के कारण कमजोर पकड़, और प्लेसमेंट मिसअलाइनमेंट शामिल हैं। अटेंशन हीटमैप्स ने खुलासा किया कि ACT मॉडल सफलतापूर्वक पिक लोकेशन से प्लेस लोकेशन की ओर ध्यान केंद्रित करता है, और विजुअल प्रॉम्प्ट के आधार पर अपनी रणनीति को अनुकूलित करता है। हालांकि, परावर्तक सतहों या नरम बनावट वाली वस्तुओं ने निरंतर चुनौतियां पेश कीं, जिससे मिसअलाइनमेंट और ग्रैस्प विफलता हुई।

महत्व और दावे
यह पेपर दावा करता है कि विजुअल प्रॉम्प्टिंग को एक्शन चंकिंग के साथ जोड़ने से रोबोट वास्तविक दुनिया के मैनिपुलेशन कार्यों के लिए न्यूनतम लेकिन सूचनात्मक एनोटेशन को कुशलतापूर्वक व्याख्या करने और कार्य करने में सक्षम होते हैं। प्रस्तावित पद्धति एक अनुकूलन योग्य रोबोटिक सिस्टम बनाने की दिशा में एक कदम है जो बेहतर स्वायत्तता और मजबूती के साथ जटिल वस्तु विविधताओं को संभालने में सक्षम है।

लेखक अपने कार्य की सीमाओं के संबंध में एक विनम्र रुख बनाए रखते हैं। वे स्पष्ट रूप से स्वीकार करते हैं कि सिस्टम डेटा-डिमांडिंग है, जो विविध और उच्च-गुणवत्ता वाले मानव प्रदर्शन डेटा पर बहुत अधिक निर्भर है। फलस्वरूप, पेपर पर्याप्त प्रशिक्षण डेटा के बिना सार्वभौमिक सामान्यीकरण (universal generalization) का दावा नहीं करता है। भविष्य के कार्य को डेटा की कमी के तत्काल समाधान का दावा करने के बजाय, डेटा ऑग्मेंटेशन (data augmentation) के माध्यम से डेटासेट को कृत्रिम रूप से विस्तारित करने पर केंद्रित करने के रूप में पहचाना गया है। अध्ययन इस निष्कर्ष के साथ समाप्त होता है कि हालांकि यह दृष्टिकोण ग्रैस्प स्थिरता और प्लेसमेंट सटीकता को बढ़ाता है, इसकी प्रभावशीलता प्रशिक्षण प्रदर्शनों की गुणवत्ता और मात्रा से जुड़ी हुई है।