Metamorphic Testing of Vision-Language Action-Enabled Robots

यहाँ शोध पत्र "Metamorphic Testing of Vision–Language–Action–Enabled Robots" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र Vision-Language-Action (VLA) मॉडल्स के मूल्यांकन में Test Oracle Problem को संबोधित करता है। VLA मॉडल्स मल्टीमॉडल AI सिस्टम हैं जो प्राकृतिक भाषा के निर्देशों और विजुअल इनपुट को लो-लेवल रोबोटिक कंट्रोल एक्शन्स में अनुवादित करते हैं।

वर्तमान मूल्यांकन विधियाँ Symbolic Oracles पर अत्यधिक निर्भर हैं, जो यह सत्यापित करते हैं कि क्या रोबोट की अंतिम स्थिति एक पूर्व-निर्धारित सिम्बोलिक लक्ष्य (जैसे, "क्या ग्रिपर में सेब है?") से मेल खाती है। इन दृष्टिकोणों के दो महत्वपूर्ण सीमाएँ हैं:

1. गैर-सामान्यीकरण (Non-Generalizability): सिम्बोलिक ओरकल बनाने के लिए प्रत्येक निर्देश के लिए जटिल, कार्य-विशिष्ट परिभाषाओं की आवश्यकता होती है। चूंकि मानवीय निर्देश अत्यधिक परिवर्तनशील होते हैं (जैसे, "pick," "grab," "take"), सभी विविधताओं के लिए ओरकल बनाना कठिन है और यदि इसे LLMs के माध्यम से स्वचालित किया जाता है, तो इसमें त्रुटियों (hallucinations) की संभावना अधिक होती है।
2. गुणात्मक मूल्यांकन का अभाव (Lack of Qualitative Assessment): सिम्बोलिक ओरकल केवल यह जाँचते हैं कि क्या कार्य पूरा हुआ, न कि यह कि इसे कैसे किया गया। वे निष्पादन-स्तर (execution-level) की महत्वपूर्ण विफलताओं जैसे अस्थिर ग्रैस्प (unstable grasps), अक्षम प्रक्षेपवक्र (inefficient trajectories), टकराव (collisions), या असुरक्षित गतिविधियों का पता लगाने में विफल रहते हैं, भले ही अंतिम वस्तु की स्थिति सही हो।

2. कार्यप्रणाली (Methodology)

लेखक ओरकल समस्या को कम करने के लिए Metamorphic Testing (MT) का उपयोग करने का प्रस्ताव देते हैं। पूर्ण शुद्धता को सत्यापित करने के बजाय, MT यह सत्यापित करता है कि क्या एक स्रोत टेस्ट केस और संशोधित इनपुट वाले एक फॉलो-अप टेस्ट केस के आउटपुट के बीच विशिष्ट संबंध (Metamorphic Relations या MRs) बने रहते हैं।

A. प्रस्तावित ढांचा (Proposed Framework)

लेखक रोबोटिक प्रक्षेपवक्र (trajectories) के आधार पर दो Metamorphic Relation Patterns (MRPs) को परिभाषित करते हैं:

1. Trajectory Consistency (TC): ऐसे इनपुट परिवर्तन जो रोबोट के प्रक्षेपवक्र को नहीं बदलना चाहिए।
2. Trajectory Variation (TV): ऐसे इनपुट परिवर्तन जो प्रक्षेपवक्र में अनुमानित परिवर्तन उत्पन्न करने चाहिए।

B. पाँच व्युत्पन्न मेटामॉर्फिक संबंध (Five Derived Metamorphic Relations - MRs)

उपरोक्त पैटर्न से, पाँच विशिष्ट MRs को परिभाषित किया गया:

• MR1 (Synonym Substitution): क्रिया शब्दों को पर्यायवाची शब्दों से बदलना (जैसे, "Pick" $\to$ "Grab")। प्रक्षेपवक्र अपरिवर्तित रहना चाहिए ($d_F \lesssim \delta$)।
• MR2 (Non-Interfering Object Addition): वातावरण में अप्रासंगिक वस्तुएं जोड़ना। प्रक्षेपवget्य अपरिवर्तित रहना चाहिए।
• MR3 (Light Brightness Change): दृश्य प्रकाश व्यवस्था (illumination) में परिवर्तन करना। प्रक्षेपवक्र अपरिवर्तित रहना चाहिए।
• MR4 (Negation/Inversion): निर्देश को नकारना (जैसे, "Don't pick")। रोबोट स्थिर रहना चाहिए या प्रक्षेपवक्र में महत्वपूर्ण परिवर्तन होना चाहिए ($d_F \gtrsim \delta$)।
• MR5 (Target Object Relocation): लक्ष्य वस्तु को स्थानांतरित करना। प्रक्षेपवक्र वस्तु के विस्थापन के अनुपात में बदलना चाहिए ($\alpha \|\Delta p\| \lesssim d_F \lesssim \beta \|\Delta p\|$)।

नोट: $d_F$ प्रक्षेपवक्रों के Fréchet distance को दर्शाता है, और $\delta$ एक टॉलरेंस थ्रेशोल्ड है।

C. अनुभवजन्य अध्ययन सेटअप (Empirical Study Setup)

• मॉडेल्स: पाँच अत्याधुनिक VLA मॉडल्स (OpenVLA, $\pi_0$, SpatialVLA, GR00T-N1.5, EO-1)।
• रोबोट और कार्य: दो सिम्युलेटेड रोबोट (Google Robot, WidowX) चार कार्य (Pick Up, Move Near, Put On, Put In) कर रहे हैं।
• पैमाना (Scale): 1,864 सोर्स टेस्ट केस और 9,320 फॉलो-अप टेस्ट केस (कुल: 11,184 निष्पादन)।
• थ्रेशोल्ड्स: MR उल्लंघन को निर्धारित करने के लिए प्रक्षेपवक्र दूरी के पर्सेंटाइल के आधार पर तीन सख्ती स्तर (Strict, Medium, Low)।

3. मुख्य योगदान (Key Contributions)

1. रोबोटिक्स के लिए नवीन MRPs: Trajectory Consistency और Trajectory Variation पैटर्न का परिचय, जो कार्य-अज्ञेय (task-agnostic) हैं और विभिन्न VLA मॉडल्स और रोबोटों पर लागू किए जा सकते हैं।
2. पूरक मूल्यांकन रणनीति (Complementary Evaluation Strategy): यह प्रदर्शन करना कि MT और सिम्बोलिक ओरकल प्रतिस्पर्धी नहीं बल्कि पूरक हैं। सिम्बोलिक ओरकल कार्य पूर्णता को सत्यापित करते हैं, जबकि MT निष्पादन गुणवत्ता और मजबूती (robustness) को सत्यापित करता है।
3. विफलता वर्गीकरण (Failure Taxonomy): VLA विफलताओं के लिए एक नया वर्गीकरण विकसित करना, जिसे निम्नलिखित श्रेणियों में विभाजित किया गया है:
   • Manipulation: (जैसे, Grasping stability, placement)।
   • Motion: (जैसे, Trajectory sub-optimality, control instability, collisions)।
   • Planning & Reasoning: (जैसे, Incomplete tasks, incorrect action sequences)।
4. ओपन रेप्लिकेशन पैकेज: पुनरुत्पादकता (reproducibility) सुनिश्चित करने के लिए कोड, कॉन्फ़िगरेशन और निर्देश प्रदान करना।

4. परिणाम (Results)

अध्ययन ने मॉडल्स में पाए गए 7,899 विफलताओं का विश्लेषण किया:

• RQ1 (प्रभावशीलता): MT उन विफलताओं का पता लगाने में प्रभावी है जिन्हें सिम्बोलिक ओरकल मिस कर देते हैं।
  • Strict थ्रेशोल्ड पर, MT ने 3,527 अद्वितीय विफलताएं पकड़ीं (जो सिम्बोलिक ओरकल द्वारा नहीं पाई गईं)।
  • Medium थ्रेशोल्ड पर, MT और सिम्बोलिक ओरकल ने सबसे अच्छा संतुलन दिखाया, जिसमें महत्वपूर्ण ओवरलैप के साथ-साथ दोनों से अद्वितीय डिटेक्शन भी हुए।
  • Low थ्रेशोल्ड पर, MT ने मुख्य रूप से सिम्बोलिक डिटेक्शन को पुष्ट किया, सूक्ष्म व्यवहार संबंधी विचलन को पकड़ने में विफल रहा।
• RQ2 (MR तुलना):
  • MR2 (Non-Interfering Object Addition) अधिकांश मॉडल्स और कार्यों में विफलताओं का पता लगाने में सबसे प्रभावी था, जो यह दर्शाता है कि VLA मॉडल्स अक्सर अप्रासंगिक पर्यावरणीय अव्यवस्था (clutter) के प्रति संवेदनशील होते हैं।
  • MR4 (Negation) भी अत्यधिक प्रभावी था, जो सिमेंटिक समझ की कमजोरियों को उजागर करता है।
  • MR1 और MR3 (Synonyms और Lighting) ने मध्यम उल्लंघन दर दिखाई, जो लेक्सिकल और विजुअल परिवर्तनों के प्रति कुछ मजबूती का सुझाव देती है, लेकिन फिर भी विसंगतियों को प्रकट करती है।
• RQ3 (विफलता के प्रकार):
  • सिम्बोलिक ओरकल मुख्य रूप से Planning & Reasoning विफलताओं (जैसे, कार्य पूरा नहीं हुआ) का पता लगाते हैं।
  • मेटामॉर्फिक टेस्टिंग ने विशिष्ट रूप से Motion और Manipulation विफलताओं (जैसे, दोलनकारी गतिविधियाँ, टकराव, अस्थिर ग्रैस्प, अक्षम पथ) को उजागर किया, जो सफल कार्य पूर्णता के बावजूद खराब निष्पादन गुणवत्ता का परिणाम थे।

5. महत्व (Significance)

• बाइनरी सफलता से परे (Beyond Binary Success): यह शोध पत्र तर्क देता है कि VLA-सक्षम रोबोटों के लिए अनस्ट्रक्चर्ड वातावरण में सुरक्षित और विश्वसनीय होने के लिए, मूल्यांकन को केवल "क्या इसने वस्तु उठाई?" से आगे बढ़कर "क्या इसने इसे सुरक्षित और कुशलता से उठाया?" तक जाना चाहिए।
• स्केलेबिलिटी (Scalability): प्रस्तावित MRPs सामान्यीकरण योग्य हैं। सिम्बोलिक ओरकल के विपरीत, जिन्हें हर नए कार्य के लिए पुन: इंजीनियरिंग की आवश्यकता होती है, MT संबंधों को बिना किसी संशोधन के विभिन्न रोबोटों और कार्यों पर लागू किया जा सकता है।
• सुरक्षा और मजबूती (Safety & Robustness): "साइलेंट फेलियर्स" (कार्य पूर्ण लेकिन निष्पादन खराब) का पता लगाकर, MT सामान्यिस्ट रोबोटों के वास्तविक दुनिया में परिनियोजन (deployment) के लिए सुरक्षा आश्वासन की एक महत्वपूर्ण परत प्रदान करता है।
• मेथोडोलॉजिकल शिफ्ट: यह कार्य साइबर-फिजिकल सिस्टम्स (CPS) के लिए परीक्षण का एक नया मानक स्थापित करता है जहाँ ओरकल समस्या गंभीर है, और लक्ष्य-आधारित सत्यापन के साथ व्यवहार संबंधी निरंतरता जांच (behavioral consistency checks) को मिलाने वाले हाइब्रिड दृष्टिकोण की वकालत करता है।