LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

तकनीकी सारांश: LIBERO-PRO

समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल एम्बॉडीड एआई (embodied AI) के लिए एक केंद्रीय प्रतिमान बन गए हैं, फिर भी उनका मूल्यांकन काफी हद तक LIBERO बेंचमार्क पर निर्भर करता है। लेखक वर्तमान LIBERO प्रशिक्षण और मूल्यांकन विन्यास में एक गंभीर दोष की पहचान करते हैं: परीक्षण कार्य (test tasks) प्रशिक्षण कार्यों के लगभग समान हैं, जो केवल प्रारंभिक वस्तु अवस्थाओं में मामूली, अक्सर दृष्टिगत रूप से अदृश्य परिवर्तनों द्वारा भिन्न होते हैं।

यह सेटअप बढ़ा-चढ़ाकर किए गए प्रदर्शन अनुमानों (inflated performance estimates) की ओर ले जाता है। मानक LIBERO पर 90% से अधिक सफलता प्राप्त करने वाले मॉडल वास्तविक कार्य समझ या पर्यावरणीय धारणा के बजाय क्रिया अनुक्रमों (action sequences) और परिवेश लेआउट के रटकर याद करने (rote memorization) पर निर्भर होते हैं। गुणात्मक विश्लेषण निम्नलिखित व्यवस्थित विफलता मोड प्रकट करता है:

• दृश्य मतिभ्रम (Visual Hallucinations): असंबंधित वस्तुओं पर पकड़ बनाना या लक्ष्य वस्तुओं को हटा दिए जाने पर "हवा में पकड़ बनाना"।
• निर्देश संवेदनहीनता (Instruction Insensitivity): अर्थहीन या दूषित निर्देशों को अनदेखा करना और याद किए गए प्रक्षेपवक्रों (trajectories) के साथ आगे बढ़ना।
• स्थानिक भंगुरता (Spatial Fragility): जब वस्तुओं की स्थिति प्रशिक्षण वितरण से थोड़ी सी भी खिसक जाती है, तो तुरंत विफल हो जाना।
• संयोजन क्षमता का अभाव (Lack of Compositionality): सीखे गए उप-कार्यों (subtasks) को सुसंगत बहु-चरणीय व्यवहारों में संयोजित करने में असमर्थता।

परिणामस्वरूप, वर्तमान मूल्यांकन प्रोटोकॉल आधुनिक VLA आर्किटेक्चर की तर्कशक्ति, संयोजन क्षमता और सामान्यीकरण क्षमता का कठोरता से आकलन करने में विफल रहता है।

कार्यप्रणाली: LIBERO-PRO (Methodology: LIBERO-PRO)

इन सीमाओं को दूर करने के लिए, लेखक LIBERO-PRO पेश करते हैं, जो एक विस्तारित, प्लग-एंड-प्ले बेंचमार्क है जिसे उचित परिवर्तनों (perturbations) के तहत मॉडल प्रदर्शन को व्यवस्थित रूप से मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह ढांचा एक VLA कार्य $T = (l, e, G)$ को औपचारिक रूप देता है और चार ऑर्थोगोनल आयामों में नियंत्रित विविधताओं को पेश करता है:

1. हेरफेर की गई वस्तुएं (वस्तु विशेषता परिवर्तन): गैर-आवश्यक दृश्य गुणों (रंग, बनावट, आकार) को बदलना जबकि अर्थ संबंधी समानता बनाए रखना, या वस्तुओं को असंबंधित वस्तुओं से बदलना।
2. प्रारंभिक अवस्थाएं (स्थानिक विन्यास परिवर्तन): भौतिक रूप से प्रशंसनीय सीमाओं के भीतर वस्तुओं की पूर्ण और सापेक्ष स्थितियों को बदलना।
3. कार्य निर्देश (निर्देश परिवर्तन): अर्थ संबंधी विविधताओं (पैराफ्रेसिंग) और संरचनात्मक विविधताओं को पेश करना, जिसमें भाषा ग्राउंडिंग का परीक्षण करने के लिए अर्थहीन टोकन का इंजेक्शन शामिल है।
4. परिवेश (परिवेश परिवर्तन): पृष्ठभूमि, प्रकाश व्यवस्था और बनावट जैसे दृश्य संदर्भों को बदलना।

इसके अतिरिक्त, फ्रेमवर्क में कार्य परिवर्तन (प्रशिक्षण वितरण के भीतर लक्ष्य वस्तुओं या क्रियाओं को संशोधित करना) शामिल है और यह इन परिवर्तनों के बहु-आयामी यादृच्छिक संयोजनों का समर्थन करता है, जिसमें व्यवहार्यता सुनिश्चित करने के लिए क्रॉस-टाइप संयोजनों से केवल कार्य-स्तरीय परिवर्तनों को बाहर रखा गया है।

मूल्यांकन यह सुनिश्चित करने के लिए बाधाएं लागू करता है कि परिवर्तित कार्य अर्थपूर्ण और निष्पादन योग्य बने रहें, और नीति संवेदनशीलता (policy sensitivity) को स्पष्ट करने के लिए परिवर्तन परिमाण ($\delta_k$) को परिवर्तित करता है।

मुख्य योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

1. ओवरफिटिंग का अनुभवजन्य प्रदर्शन: लेखक इस बात का प्रमाण प्रदान करते हैं कि उच्च LIBERO स्कोर हस्तांतरणीय तर्क के बजाय प्रशिक्षण विन्यासों को याद करने से आते हैं, जो वर्तमान मूल्यांकन प्रथाओं में गंभीर खामियों को उजागर करता है।
2. LIBERO-PRO का परिचय: एक नया बेंचमार्क सूट जो कठोर, एकल- और बहु-आयामी मूल्यांकन का समर्थन करने के लिए वस्तु विशेषताओं, प्रारंभिक अवस्थाओं, कार्य निर्देशों और परिवेशों में व्यवस्थित रूप से डिज़ाइन किए गए परिवर्तनों को एकीकृत करता है।
3. व्यापक बेंचमार्किंग: LIBERO-PRO पर अत्याधुनिक मॉडलों (OpenVLA, Pi0, Pi0.5) का मूल्यांकन, जो महत्वपूर्ण प्रदर्शन गिरावट को दर्शाता है जो मूल प्रोटोकॉल की सीमाओं को रेखांकित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LIBERO-PRO सूट पर अग्रणी VLA मॉडलों (OpenVLA, Pi0, Pi0.5) का मूल्यांकन किया। परिणाम सामान्यीकृत सेटिंग्स के तहत लगभग पूर्ण प्रदर्शन पतन (near-complete performance collapse) का संकेत देते हैं:

• मानक बनाम सामान्यीकृत प्रदर्शन: जबकि मॉडल मानक LIBERO पर >90% सटीकता प्राप्त करते हैं, सामान्यीकृत LIBERO-PRO सेटिंग के तहत उनका प्रदर्शन गिरकर 0.0% हो जाता है।
• परिवर्तनों के प्रति संवेदनशीलता:
  • स्थिति परिवर्तन (Position Shifts): एक बार जब वस्तु का विस्थापन 0.2 यूनिट से अधिक हो जाता है, तो OpenVLA और Pi0 के लिए सफलता दर शून्य हो जाती है। यहाँ तक कि मजबूत Pi0.5 भी 0.4 यूनिट के बाद शून्य तक गिर जाता है।
  • वस्तु प्रतिस्थापन (Object Replacement): मॉडल अनुकूलित होने में विफल रहते हैं जब लक्ष्य वस्तुओं को असंबंधित वस्तुओं से बदल दिया जाता है, और अक्सर गलत वस्तुओं पर पकड़ बनाने लगते हैं।
  • निर्देश भ्रष्टाचार (Instruction Corruption): मॉडल अर्थहीन निर्देशों (जैसे, "fdsgfdsgsd") के बावजूद क्रियाएं निष्पादित करते हैं, जो भाषा ग्राउंडिंग की कमी को दर्शाता है।
  • कार्य संयोजन (Task Composition): मॉडल सरल उप-कार्यों को जटिल बहु-चरणीय निर्देशों में संयोजित करने में विफल रहते हैं, और इसके बजाय स्प्यूरियस (spurious) प्रक्षेपवक्र अंशों पर निर्भर रहते हैं।
• मॉडल अंतर: जबकि अधिकांश मॉडल गंभीर रूप से विफल होते हैं, Pi0.5 ने विशिष्ट कार्यों में थोड़ी बेहतर लचीलापन दिखाया (जैसे, स्थिति परिवर्तनों के तहत libero-goal में 0.38 सफलता दर बनाम अन्य के लिए 0), जो छिपी हुई सूक्ष्म क्षमतागत अंतरों को उजागर करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि VLA मूल्यांकन का वर्तमान "सामान्य मुद्रा" (common currency) - LIBERO - मौलिक रूप से त्रुटिपूर्ण है क्योंकि यह सामान्यीकरण के बजाय रटने को पुरस्कृत करता है। लेखक तर्क देते हैं कि 90% से अधिक रिपोर्ट की गई सटीकता वास्तविक बोध संबंधी ग्राउंडिंग या कार्य-स्तरीय तर्क को नहीं दर्शाती है।

LIBERO-PRO का महत्व इसके एक अधिक निष्पक्ष, अधिक विश्वसनीय और पुनरुत्पादक मूल्यांकन मानक प्रदान करने की क्षमता में निहित है। वर्तमान मॉडलों की शॉर्टकट फीचर-एक्शन सहसंबंधों (जैसे, कैनोनिकल सीन लेआउट और आवर्ती वस्तु स्थितियां) पर निर्भरता को उजागर करके, लेखक समुदाय से भ्रामक पद्धतियों को छोड़ने का आह्वान करते हैं। वे ऐसे मूल्यांकन प्रोटोकॉल की वकालत करते हैं जिनमें संरचित परिवर्तन शामिल हों ताकि यह सुनिश्चित हो सके कि रिपोर्ट की गई प्रगति मजबूत और सामान्यीकरण योग्य एम्बॉडीड इंटेलिजेंस की आवश्यकताओं के अनुरूप हो।