Same Weights, Different Robot: A Deployment Safety View of VLA Policies

तकनीकी सारांश: समान भार, भिन्न रोबोट (Same Weights, Different Robot)

समस्या विवरण (Problem Statement)
विज़न-लैंग्वेज-एक्शन (VLA) नीतियों के वर्तमान परिनियोजन मॉडल (deployment models) न्यूरल नेटवर्क चेकपॉइंट (भार, टोकेनाइज़र, प्रॉम्प्ट) को नीति की पहचान और सुरक्षा समीक्षा की एकमात्र इकाई मानते हैं। यह शोध पत्र तर्क देता है कि यह धारणा एक महत्वपूर्ण "परिनियोजन-सुरक्षा अंतराल" (deployment-safety gap) पैदा करती है। व्यवहार में, एक VLA मॉडल सामान्यीकृत (normalized) एक्शन कोऑर्डिनेट्स आउटपुट करता है, जिन्हें भौतिक नियंत्रक कमांड में बदलने के लिए एक एक्शन अननॉर्मलाइजेशन (action unnormalization) चरण की आवश्यकता होती है। यह चरण मेटाडेटा (जैसे, डेटासेट-विशिष्ट क्वांटाइल सांख्यिकी) पर निर्भर करता है ताकि सामान्यीकृत मानों को वापस भौतिक इकाइयों में मैप किया जा सके।

मुख्य समस्या यह है कि समान मॉडल भार (weights) भिन्न निष्पादन योग्य रोबोट नीतियों (executable robot policies) को जन्म दे सकते हैं यदि अननॉर्मलाइजेशन के लिए उपयोग किया गया मेटाडेटा गलत हो। उदाहरण के लिए, एक संभावित समान मेटाडेटा कुंजी (जैसे, किसी अन्य कार्य सूट से सांख्यिकी) को प्रतिस्थापित करने से एक भिन्न भौतिक एक्शन लॉ (physical action law) प्राप्त होता है, भले ही मॉडल का आंतरिक आउटपुट अपरिवर्तित रहे। यह एक "साइलेंट इंटरफेस फेलियर" (silent interface failure) है जहाँ सुरक्षा ऑडिट चेकपॉइंट को प्रमाणित तो करता है, लेकिन उस वास्तविक निष्पादन योग्य नीति को मिस कर जाता है जो रोबोट कंट्रोलर तक पहुँच रही है।

कार्यप्रणाली (Methodology)
लेखक VLA नीति को केवल एक मॉडल के रूप में नहीं, बल्कि एक निष्पादन योग्य टुपल (executable tuple) $\Pi_{exec} = (f_\theta, I, Z, U_k, C)$ के रूप में औपचारिक रूप देते हैं, जहाँ:

• $f_\theta$: सीखा गया मॉडल।
• $I$: इमेज और लैंग्वेज प्रोसेसर।
• $Z$: सामान्यीकृत एक्शन प्रतिनिधित्व।
• $U_k$: मेटाडेटा कुंजी $k$ द्वारा चयनित एक्शन अननॉर्मलाइज़र।
• $C$: कंट्रोलर कन्वेंशन (ग्रिपर सिमेंटिक्स, कंट्रोल फ्रीक्वेंसी, आदि)।

दो परिनोजनों को तभी निष्पादन योग्य-तुल्य (executable-equivalent) माना जाता है जब वे सभी स्वीकार्य इतिहासों के तहत समान भौतिक एक्शन लॉ प्रेरित करते हैं। शोध पत्र प्रदर्शित करता है कि $k$ को बदलने से (जबकि $f_\theta, I, Z, C$ स्थिर रहते हैं) यह तुल्यता टूट जाती है।

इसे पता लगाने के लिए, लेखक क्वांटाइल-शैली के अननॉर्मलाइजर्स के लिए एक क्लोज्ड-फॉर्म मेटाडेटा मिसमैच ट्रांसफॉर्म (closed-form metadata mismatch transform) व्युत्पन्न करते हैं। यदि कोई परिनियोजन इच्छित कुंजी $k_c$ के बजाय प्रतिस्थापित कुंजी $k_w$ का उपयोग करता है, तो एक सामान्यीकृत एक्शन $z$ के लिए आयाम $i$ पर भौतिक एक्शन विस्थापन $\Delta_i$ है:
$$\Delta_i(z; k_c, k_w) = (q^{(w)}_{01,i} - q^{(c)}_{01,i}) + z_i [ (q^{(w)}_{99,i} - q^{(w)}_{01,i}) - (q^{(c)}_{99,i} - q^{(c)}_{01,i}) ]$$
यह ट्रांसफॉर्म नियत (deterministic) है और मॉडल इन्फरेंस से स्वतंत्र है। इसके आधार पर, वे ExecSpec का प्रस्ताव करते हैं, जो एक प्री-रोलआउट सर्टिफिकेट है जो मॉडल इन्फरेंस या सिमुलेशन रोलआउट की आवश्यकता के बिना, कैलिब्रेशन सेट पर एक्शन-स्पेस सिमेंटिक ड्रिफ्ट (मीन डिस्प्लेसमेंट, टेल डिस्प्लेसमेंट, एक्सिस एट्रीब्यूशन) को मापता है।

प्रमुख योगदान (Key Contributions)

1. निष्पादन योग्य नीति पहचान मानदंड (Executable Policy Identity Criterion): शोध पत्र एक ऐसी नीति पहचान को परिभाषित करता है जिसमें एक्शन-स्पेस मेटाडेटा शामिल है, यह सिद्ध करते हुए कि चेकपॉइंट की समानता भौतिक नीति की समानता के लिए पर्याप्त नहीं है।
2. क्लोज्ड-फॉर्म सर्टिफिकेट (Closed-Form Certificate): यह क्वांटाइल-शैली के अननॉर्मलाइजेशन मिसमैच के लिए एक सटीक, मॉडल-स्वतंत्र सर्टिफिकेट व्युत्पन्न करता है, जिससे रोलआउट से पहले ही सिमेंटिक ड्रिफ्ट का पता लगाया जा सकता है।
3. अनुभवजन्य साक्ष्य (Empirical Witnesses): लेखक चार LIBERO सूट्स (Goal, Spatial, Object, Long) में व्यापक रिप्ले साक्ष्य प्रदान करते हैं, जो दर्शाते हैं कि संभावित समान मेटाडेटा प्रतिस्थापन कार्य सफलता दर को बदलने के लिए पर्याप्त हैं।

परिणाम (Results)
लेखकों ने मेटाडेटा प्रतिस्थापन के प्रभाव को अलग करने के लिए रिप्लेड नॉर्मलाइज्ड ट्रैजेक्टरीज (replayed normalized trajectories) (मॉडल आउटपुट और प्रारंभिक स्थिति को स्थिर रखते हुए) का उपयोग करके प्रयोग किए।

• LIBERO-Goal: इच्छित कुंजी GOAL-B का उपयोग करते हुए, LONG-V2 को प्रतिस्थापित करने से छह नॉन-ग्रिपर आयामों पर 0.199 का मीन ड्रिफ्ट हुआ। इससे कार्य सफलता दर 28/28 (इच्छित) से घटकर 2/28 (प्रतिस्थापित) रह गई। एक डोज़-रिस्पॉन्स कर्व ने दिखाया कि जैसे-जैसे मेटाडेटा कुंजी सही से गलत की ओर इंटरपोलेट हुई, सफलता दर निरंतर घटती गई।
• LIBERO-Spatial: SPATIAL-V2 के स्थान पर LONG-V2 को प्रतिस्थापित करने से सफलता 26/26 से घटकर 0/26 हो गई।
• LIBERO-Object & Long: सभी संभावित समान प्रतिस्थापन पूर्ण प्रतिस्थापन के तहत सफलता को 0/28 (Object) या 0/23 (Long) तक कम कर देते हैं।
• नियंत्रण (Controls): शोध पत्र नो-ऑप फ़िल्टरिंग, रॉ बनाम करेक्ट रिप्ले आर्टिफैक्ट्स, ग्रिपर कन्वेंशन मिसमैच, और सिंथेटिक करप्शन जैसे सरल स्पष्टीकरणों को खारिज करता है। विफलताएं विशेष रूप से उन नॉन-ग्रिपर एक्शन आयामों द्वारा संचालित थीं जहाँ मेटाडेटा सांख्यिकी भिन्न थी।

महत्व और दावे (Significance and Claims)
शोध पत्र एक संकीर्ण परिनियोजन-सुरक्षा दृष्टिकोण (narrower deployment-safety view) का दावा करता है: एक्शन-स्पेस मेटाडेटा, निष्पादन योग्य नीति का एक महत्वपूर्ण घटक है और इसे मॉडल वेट के साथ वर्जन और चेक किया जाना चाहिए।

• सामान्य विफलता का दावा नहीं: लेखक स्पष्ट रूप से कहते हैं कि वे यह दावा नहीं कर रहे हैं कि सभी VLA परिनियोजन मेटाडेटा मिसमैच के कारण विफल होते हैं, न कि यह कि नॉर्मलाइजेशन ही एकमात्र छिपा हुआ खतरा है।
• हार्डवेयर सुरक्षा गारंटी नहीं: परिणाम सिमुलेशन रिप्ले पर आधारित हैं और क्लोज्ड-लूप या हार्डवेयर सुरक्षा को प्रमाणित नहीं करते हैं। वे हार्डवेयर विफलता दरों की भविष्यवाणी नहीं करते हैं।
• मुख्य अंतर्दृष्टि: महत्व एक छिपे हुए एक्शन-स्पेस सिमेंटिक्स लेयर की पहचान करने में निहित है। यदि कोई परिनियोजन अननॉर्मलाइज़र को बदलते हुए मॉडल को स्थिर रखता है, तो वह निष्पादन योग्य नीति को बदल देता है। इस मिसमैच का पता रोलआउट से पहले एक स्टैटिक सर्टिफिकेट के माध्यम से लगाया जा सकता है, जिससे उस नीति के परिनियोजन को रोका जा सकता है जो ऑडिट की गई नीति से सिमेंटिक रूप से भिन्न है।

शोध पत्र निष्कर्ष निकालता है कि पुनरुत्पादकता और सुरक्षा सुनिश्चित करने के लिए परिनियोजन मैनिफेस्ट में एक्शन अननॉर्मलाइजेशन कुंजियाँ, सांख्यिकी हैश और कंट्रोलर कन्वेंशन शामिल होने चाहिए, और इन क्षेत्रों को केवल कॉन्फ़िगरेशन विवरण के बजाय नीति ऑब्जेक्ट के अभिन्न अंग के रूप में माना जाना चाहिए।