🤖 AI

Benchmarking Affordance Generalization with BusyBox

यह शोध पत्र BusyBox प्रस्तुत करता है, जो एक भौतिक बेंचमार्क है जिसे विज़न-लैंग्वेज-एक्शन (VLA) मॉडलों की परिचित भौतिक विशेषताओं वाले नवीन वस्तु विन्यासों (configurations) के साथ हेरफेर करने की क्षमता का परीक्षण करके उनकी अफॉर्डेंस सामान्यीकरण क्षमताओं को व्यवस्थित रूप से मूल्यांकन करने के लिए डिज़ाइन किया गया है, जबकि यह सामुदायिक अनुसंधान को सुगम बनाने के लिए ओपन-सोर्स CAD फ़ाइलें, इलेक्ट्रॉनिक्स निर्देश और एक प्रदर्शन डेटासेट भी प्रदान करता है।

मूल लेखक: Dean Fortier, Timothy Adamson, Tess Hellebrekers, Teresa LaScala, Kofi Ennin, Michael Murray, Andrey Kolobov, Galen Mullins

प्रकाशित 2026-02-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dean Fortier, Timothy Adamson, Tess Hellebrekers, Teresa LaScala, Kofi Ennin, Michael Murray, Andrey Kolobov, Galen Mullins

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नए गैजेट का उपयोग करना सिखा रहे हैं। आप उसे एक विशिष्ट बॉक्स दिखाते हैं जिसमें एक लाल बटन, एक नीला स्लाइडर और एक हरा नॉब है। रोबोट लाल बटन दबाना और नीला स्लाइडर खिसकाना सीख जाता है। लेकिन क्या होता है यदि आप उसी बॉक्स को लें, लाल बटन को उल्टा कर दें, नीले स्लाइडर को दूसरी तरफ ले जाएं, और हरे नॉब को एक स्विच के साथ बदल दें?

इस पेपर के अनुसार, आज के सबसे स्मार्ट रोबोट दिमाग भी पूरी तरह से भ्रमित हो जाते हैं। वे यह नहीं समझ पाते कि "यह चीज़ अभी भी एक बटन है," भले ही यह दिखने में अलग हो।

यह पेपर BusyBox को पेश करता है, जो ठीक इसी समस्या का परीक्षण करने के लिए डिज़ाइन किया गया एक भौतिक खिलौना है। यहाँ इसका सरल विवरण दिया गया है:

1. समस्या: "स्मार्ट" रोबोट लेकिन "कठोर" दिमाग

आज के रोबोट "कप उठाओ" या "दरवाजा खोलो" जैसे निर्देशों का पालन करने में बहुत अच्छे होते जा रहे हैं। लेकिन उन्हें अफोर्डेंस जनरलाइजेशन (affordance generalization) में संघर्ष करना पड़ता है।

उपमा: एक इंसान के बारे में सोचें जो एक नए ऑफिस में जाता है। वह एक पैनल देखता है जिसमें एक लाल बटन है। भले ही बटन अलग जगह पर हो या पैनल उल्टा हो, इंसान जानता है, "ओह, यह एक बटन है। मैं इसे दबा सकता हूँ।"
रोबोट का संघर्ष: वर्तमान रोबोट ऐसे व्यक्ति की तरह हैं जिसने केवल एक सफेद दीवार के ऊपरी-बाएँ कोने में लाल बटन देखा है। यदि आप बटन को नीचे-दाएँ ले जाते हैं या दीवार को तिरछा कर देते हैं, तो रोबोट सोचता है, "मुझे नहीं पता कि यह क्या है।" उसने बटन के स्थान और दिखावट को याद कर लिया है, न कि बटन के अवधारणा (concept) को।

2. समाधान: BusyBox

शोधकर्ताओं ने इस परीक्षण के लिए BusyBox नामक एक भौतिक उपकरण बनाया।

यह क्या है? यह छह इंटरचेंजेबल मॉड्यूल (जैसे लेगो ब्लॉक्स) से बना एक 3D-प्रिंटेड बॉक्स है। इसमें बटन, स्लाइडर, स्विच, तार, एक डायल और एक छोटी स्क्रीन है।
जादुई ट्रिक: आप इन मॉड्यूल्स को अनप्लग कर सकते हैं और उन्हें फिर से व्यवस्थित कर सकते हैं। आप बटनों को किनारे पर रख सकते हैं, डायल को उल्टा घुमा सकते हैं, या स्विच को पलट सकते हैं।
लक्ष्य: "अफोर्डेंस" (वे चीजें जो आप वस्तु के साथ कर सकते हैं) समान रहती हैं। बटन एक बटन ही रहता है, चाहे वह कहीं भी हो। परीक्षण यह है: क्या रोबोट बटन का उपयोग करना सीख सकता है जब वह एक नई, अजीब जगह पर हो?

3. प्रयोग: "शफल" (Shuffled) टेस्ट

टीम ने दो बहुत उन्नत रोबोट मॉडलों ( $\pi_0.5$ और GR00T-N1.6) को एक "मानक" BusyBox का उपयोग करना सिखाया। उन्होंने रोबोट्स को मनुष्यों द्वारा बॉक्स का उपयोग करने के 1,993 उदाहरण दिखाए (जैसे "हरा बटन दबाएं" या "नॉब को 4 पर घुमाएं")।

फिर, उन्होंने तीन परिदृश्यों में रोबोट्स का परीक्षण किया:

मूल बॉक्स (The Original Box): रोबोट उसी बॉक्स को देखता है जिस पर उसे प्रशिक्षित किया गया था। (परिणाम: रोबोटों ने अच्छा प्रदर्शन किया।)
"सेमी-शफल" बॉक्स (The "Semi-Shuffled" Box): कुछ हिस्सों को हिलाया या घुमाया गया। (परिणाम: रोबोटों ने विफल होना शुरू कर दिया।)
"पूरी तरह से शफल" बॉक्स (The "Fully Shuffled" Box): हर एक हिस्से को हिला दिया गया या पलट दिया गया। (परिणाम: रोबोट बुरी तरह विफल रहे।)

4. क्या हुआ?

परिणाम आश्चर्यजनक थे। भले ही रोबोटों को कार्यों (दबाने, खिसकाने) के लिए प्रशिक्षित किया गया था, वे दृश्य परिवर्तनों को नहीं संभाल सके।

"फ्रीज" प्रतिक्रिया: जब रोबोट ने एक नई जगह पर बटन देखा, तो वह अक्सर रुक गया, जैसे कि उसने उस वस्तु को पहचाना ही न हो।
"मेमोरी" त्रुटि: एक रोबोट उस जगह की ओर हाथ बढ़ाता रहा जहाँ बटन पहले हुआ करता था, इस बात को नजरअंदाज करते हुए कि बटन अब कहीं और है। यह वैसा ही था जैसे कोई व्यक्ति उस दरवाजे को खोलने की कोशिश कर रहा हो जिसे दूसरी दीवार पर स्थानांतरित कर दिया गया है, लेकिन वह बार-बार मूल दीवार की ओर ही हाथ बढ़ाता रहता है।
निष्कर्ष: रोबोट विशिष्ट दृश्यों को याद करने में उत्कृष्ट हैं, लेकिन वे यह समझने में बहुत खराब हैं कि "एक बटन एक बटन ही है" चाहे उसे कहीं भी रखा जाए।

5. यह क्यों महत्वपूर्ण है

लेखक केवल शिकायत नहीं कर रहे हैं; वे शोध समुदाय को इसे ठीक करने के लिए एक उपकरण दे रहे हैं।

ओपन सोर्स: उन्होंने ब्लूप्रिंट (CAD फाइलें) जारी की हैं ताकि कोई भी अपना BusyBox 3D प्रिंट कर सके।
डेटासेट: उन्होंने मनुष्यों द्वारा बॉक्स का उपयोग करने का वीडियो डेटा भी जारी किया है ताकि अन्य शोधकर्ता अपने रोबोटों को प्रशिक्षित कर सकें।
लक्ष्य: वे चाहते हैं कि रोबोट डेवलपर्स केवल विशिष्ट सेटअप को याद करने के बजाय, रोबोटों को वस्तुओं के कार्य (function) को समझना सिखाएं, ठीक वैसे ही जैसे इंसान करते हैं।

संक्षेप में: BusyBox रोबोटों के लिए एक "शफलिंग पहेली" है। यह साबित करता है कि हमारे रोबोट स्मार्ट तो हो रहे हैं, लेकिन उनमें अभी भी वह सामान्य समझ (common sense) की कमी है जिससे वे किसी उपकरण को पहचान सकें जब उसे मेज पर किसी दूसरी जगह रख दिया जाए। यह पेपर हमें उन्हें यह सबक सिखाने के उपकरण प्रदान करता है।

तकनीकी सारांश: BusyBox के साथ अफोर्डेंस जनरलाइजेशन (Affordance Generalization) का बेंचमार्किंग

समस्या विवरण

विज़न-लैंग्वेज-एक्शन (VLA) मॉडलों ने भाषा और विज़न स्पेस में आशाजनक सामान्यीकरण (generalization) क्षमताएं प्रदर्शित की हैं, जैसे कि नए निर्देशों को समझना या नए वातावरण में वस्तुओं को पहचानना। हालांकि, एक महत्वपूर्ण कमी अफोर्डेंस जनरलाइजेशन (affordance generalization) में बनी हुई है: एक रोबोट द्वारा परिचित भौतिक गुणों (जैसे बटन, स्विच, स्लाइडर) को दृश्य उपस्थिति और समान वस्तुओं के पूर्व अनुभव के आधार पर पहचानकर अपरिचित वस्तुओं का संचालन करने की क्षमता। जबकि मानव-निर्मित इंटरफेस इन तत्वों को मानकीकृत करने के लिए डिज़ाइन किए जाते हैं ताकि मानवीय सामान्यीकरण सुगम हो सके, वर्तमान VLA मॉडल नए भौतिक विन्यासों (physical configurations) में इन बुनियादी हेरफेर कौशल को स्थानांतरित करने में संघर्ष करते हैं, भले ही अंतर्निहित अफोर्डेंस (affordances) समान हों। मौजूदा बेंचमार्क अक्सर संपर्क-समृद्ध हेरफेर (contact-rich manipulation) या सिम्युलेटेड वातावरण पर ध्यान केंद्रित करते हैं जिनमें वास्तविक अफोर्डेंस जनरलाइजेशन का परीक्षण करने के लिए आवश्यक भौतिक खामियों और मॉड्यूलरिटी का अभाव होता है।

कार्यप्रणाली

BusyBox बेंचमार्क

लेखक BusyBox पेश करते हैं, जो VLA अफोर्डेंस जनरलाइजेशन के व्यवस्थित मूल्यांकन के लिए डिज़ाइन किया गया एक भौतिक, मॉड्यूलर और पुनर्गठित योग्य (reconfigurable) बेंचमार्क है।

डिज़ाइन: BusyBox में छह इंटरलॉकिंग मॉड्यूल शामिल हैं: एक डिस्प्ले (E Ink के साथ LED), बटन, स्लाइडर, एक नॉब (knob), स्विच और तार। इन घटकों को उच्च स्ट्रेंथ-टू-वेट रेश्यो सुनिश्चित करने के लिए 3D-प्रिंट किया गया है, जिससे वे मानक द्विपक्षीय (bimanual) रोबोटों (जैसे 750 ग्राम पेलोड सीमा वाला Mobile Aloha) द्वारा प्रबंधनीय बन सकें।
पुनर्गठन क्षमता (Reconfigurability): मॉड्यूल को समान अफोर्डेंस को बनाए रखते हुए अलग-अलग दृश्य विन्यास (visual configurations) बनाने के लिए बदला जा सकता है, घुमाया जा सकता है (90°, 180°, 270°) और पुनर्व्यवस्थित किया जा सकता है। पेपर मूल्यांकन के लिए तीन विशिष्ट विन्यास परिभाषित करता है:
1. कैनोनिकल (Canonical): डेटा संग्रह के लिए उपयोग किया जाने वाला मानक व्यवस्था।
2. सेमी-शफल (Semi-shuffled): कैनोनिकल सेटअप के सापेक्ष तीन मॉड्यूल (बटन, तार, डिस्प्ले) को स्थानांतरित या घुमाया गया है।
3. फुली शफल (Fully shuffled): कैनोनिकल सेटअप के सापेक्ष सभी पांच हेरफेर योग्य मॉड्यूल को स्थानांतरित या घुमाया गया है।
इंस्ट्रूमेंटेशन: सिस्टम में इलेक्ट्रॉनिक इंस्ट्रूमेंटेशन (Raspberry Pi 0, USB विस्तार, Arduino-आधारित सेंसर) शामिल है जो सभी नियंत्रणों (स्विच की स्थिति, स्लाइडर मान, तार की स्थिति) की स्थिति को 10 हर्ट्ज पर स्वचालित रूप से रिकॉर्ड करता है। यह केवल दृश्य अवलोकन पर निर्भर रहने के बजाय कार्य पूर्णता के सटीक सत्यापन की अनुमति देता है।

डेटा संग्रह

रोबोट प्लेटफॉर्म: एक ड्यूल-आर्म Trossen Mobile Aloha रोबोट, जो रिस्ट कैमरों से लैस है।
डेटासेट: लेखकों ने आठ टास्क फैमिली (बटन दबाना, स्लाइडर हिलाना, नॉब घुमाना, स्विच पलटना, तारों को खींचना/डालना, बॉक्स हिलाना, और हाथ की गति) को कवर करने वाले 1,993 टेलीऑपरेटेड प्रदर्शन (demonstrations) एकत्र किए।
प्रोटोकॉल: मजबूती सुनिश्चित करने के लिए, ऑपरेटर के सहज ज्ञान के बजाय एक स्क्रिप्ट के माध्यम से प्रारंभिक अवस्थाओं को रैंडमाइज किया गया था (स्लाइडर की स्थिति, स्विच की स्थिति, तार के विन्यास और बॉक्स के ओरिएंटेशन में भिन्नता)। टेलीऑपरेटरों ने कुशल और सक्रिय गति सुनिश्चित करने के लिए सख्त दिशानिर्देशों का पालन किया, जिसमें द्विपक्षीय कार्यों (जैसे स्विच पलटने के लिए बॉक्स को सहारा देना) के लिए विशिष्ट तकनीकें शामिल थीं।
एनोटेशन: सभी प्रदर्शनों को रंगों, स्थितियों और विशिष्ट ग्रिपर्स का संदर्भ देने वाले भाषा-एनोटेटेड निर्देशों के साथ लेबल किया गया है।

प्रयोगात्मक प्रोटोकॉल

लेखकों ने दो अत्याधुनिक, ओपन-वेट VLA मॉडलों का मूल्यांकन किया: $\pi_0.5$ और GR00T-N1.6।

फाइन-ट्यूनिंग: दोनों मॉडलों को विशेष रूप से कैनोनिकल BusyBox विन्यास से एकत्र किए गए डेटासेट पर फाइन-ट्यून किया गया था।
मूल्यांकन: फाइन-ट्यून किए गए मॉडलों का परीक्षण तीनों विन्यासों (कैनोनिकल, सेमी-शफल, फुली शफल) में 60 टास्क निर्देशों के एक निश्चित सेट पर किया गया।
सफलता का मानदंड: एक प्रयास तभी सफल माना जाता था यदि कार्य 30 सेकंड के भीतर पूरा हो जाता था और निर्देश में वर्णित नियंत्रणों के अलावा अन्य सभी नियंत्रण अपनी प्रारंभिक स्थिति में रहते थे। इस सख्त मानदंड ने "ओवर-सॉल्विंग" या सिस्टम के अन्य हिस्सों को बाधित करने की प्रक्रिया को दंडित किया।

मुख्य परिणाम

प्रयोग इन-डिस्ट्रीब्यूशन प्रदर्शन और अफोर्डेंस जनरलाइजेशन के बीच एक महत्वपूर्ण अंतर प्रकट करते हैं:

इन-डिस्ट्रीब्यूशन प्रदर्शन (कैनोनिकल): $\pi_0.5$ और GR00T-N1.6 दोनों ने कैनोनिकल विन्यास पर काफी अच्छा प्रदर्शन किया, जो यह दर्शाता है कि डेटासेट की गुणवत्ता और विविधता विशिष्ट कार्यों को सीखने के लिए पर्याप्त थी जब दृश्य स्थितियां प्रशिक्षण डेटा से मेल खाती थीं।
आउट-ऑफ-डिस्ट्रीब्यूशन प्रदर्शन (शफल): भले ही अफोर्डेंस प्रशिक्षण सेट के समान थे, फिर भी शफल किए गए विन्यासों पर प्रदर्शन में भारी गिरावट आई।
- सेमी-शफल: लक्षित मॉड्यूल (जैसे स्विच) के मूल स्थान पर रहने के बावजूद, सभी श्रेणियों में सफलता दर काफी गिर गई। लेखक अनुमान लगाते हैं कि मॉड्यूल के दृश्य पड़ोस (visual neighborhood) में बदलाव ने मॉडलों को भ्रमित कर दिया।
- फुली शफल: प्रदर्शन और भी गिर गया। GR00T-N1.6 कैनोनिकल सेटअप के प्रोप्रियोसेप्टिव मेमोरी (proprioceptive memory) के आधार पर मॉड्यूल की स्थिति का "भ्रम" (hallucinate) पैदा करने लगा, यानी वह हाथ वहां ले जाता जहां मॉड्यूल होना चाहिए था, न कि वहां जहां वह है। $\pi_0.5$ अप्रत्याशित विजुअल लेआउट का सामना करने पर अक्सर फ्रीज हो जाता था।
व्यवहार संबंधी अंतर: GR00T-N1.6 कार्य पूरा होने के बाद भी नियंत्रणों को समायोजित करना जारी रखने की प्रवृत्ति रखता था (कभी-कभी कार्य को "अन-सॉल्व" करना), जबकि $\pi_0.5$ अक्सर पूर्ण होने पर तुरंत रुक जाता था लेकिन विजुअल मिसमैच से उबरने में संघर्ष करता था।

मुख्य योगदान

BusyBox बेंचमार्क: बुनियादी अफोर्डेंस जनरलाइजेशन के मूल्यांकन के लिए एक भौतिक, ओपन-सोर्स बेंचमार्क, जिसमें 3D प्रिंटिंग के लिए पूर्ण CAD फाइलें और इलेक्ट्रॉनिक्स के लिए बिल ऑफ मैटेरियल्स शामिल हैं।
डेटासेट: कैनोनिकल BusyBox विन्यास पर 1,993 द्विपक्षीय हेरफेर प्रदर्शनों का भाषा-एनोटेटेड डेटासेट।
अनुभवजन्य बेसलाइन (Empirical Baselines): एक प्रयोगात्मक प्रोटोकॉल और बेसलाइन परिणाम जो यह प्रदर्शित करते हैं कि मजबूत ओपन-वेट VLAs ( $\pi_0.5$ , GR00T-N1.6) भी संघर्ष करते हैं जब दृश्य विन्यास बदलते हैं, जो भविष्य के सुधार के लिए एक प्रमुख क्षेत्र को उजागर करता है।

महत्व

यह पेपर तर्क देता है कि अफोर्डेंस जनरलाइजेशन एक मौलिक आवश्यकता है ताकि रोबोट मानव-निर्मित वातावरण में सुचारू रूप से कार्य कर सकें और उन्हें बुद्धिमान माना जा सके। यह प्रदर्शित करके कि वर्तमान शीर्ष-स्तरीय मॉडल सरल भौतिक पुनर्गठन के माध्यम से बुनियादी हेरफेर कौशल को सामान्य करने में विफल रहते हैं, यह कार्य VLA अनुसंधान में एक महत्वपूर्ण सीमा की पहचान करता है। BusyBox को आसानी से पुनरुत्पादित (reproducible) करने के लिए डिज़ाइन किया गया है ताकि समुदाय को इस विशिष्ट मेटा-स्किल में सुधार के लिए नए तरीकों को विकसित करने और उनका मूल्यांकन करने के लिए प्रोत्साहित किया जा सके। लेखक BusyBox को केवल एक टेस्टबेड के रूप में नहीं, बल्कि स्थानिक तर्क (spatial reasoning), मौखिक सुधार (verbal correction), और मानव-रोबोट संपर्क में प्रयोगों को प्रेरित करने वाले उपकरण के रूप में देखते हैं, जो गेम Keep Talking and Nobody Explodes से प्रेरणा लेता है।