💻 computer science

Uncovering Vulnerability of Vision-Language-Action Models under Joint-Level Physical Faults

यह शोध पत्र प्रदर्शित करता है कि विजन-लैंग्वेज-एक्शन मॉडल उन जॉइंट-लेवल भौतिक दोषों के प्रति संवेदनशील हैं जो एक्शन-टू-मोशन इंटरफ़ेस को बाधित करते हैं और J-PARC का प्रस्ताव करता है, जो एक हल्का रेसिडुअल कैलिब्रेशन फ्रेमवर्क है जो एक्शन को अनुकूल रूप से सुधारने और दोष-मुक्त प्रदर्शन से समझौता किए बिना मजबूती बहाल करने के लिए जॉइंट डायनेमिक्स से लेटेंट फॉल्ट रिजीम्स का अनुमान लगाता है।

मूल लेखक: Minsoo Jo, Taeju Kwon, Junha Chun, Youngjoon Jeong, Taesup Kim

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minsoo Jo, Taeju Kwon, Junha Chun, Youngjoon Jeong, Taesup Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी तस्वीर: जब रोबोट का शरीर "बीमार" हो जाता है

कल्पना कीजिए कि आपके पास एक शानदार, उच्च प्रशिक्षित शेफ (VLA मॉडल) है जो एक बिखरी हुई रसोई को देख सकता है, रेसिपी पढ़ सकता है, और सब्जियां काटने और बर्तन चलाने की योजना पूरी तरह से बना सकता है। यह शेफ इतना स्मार्ट है कि वह नई रेसिपी और अलग-अलग रसोई के लेआउट को भी संभाल सकता है।

हालाँकि, एक पेच है: शेफ अपने हाथों से खाना नहीं बनाता। वह वास्तविक काम करने के लिए एक रोबोटिक हाथ (Embodiment) को निर्देश देता है।

यह शोध पत्र एक ऐसा प्रश्न पूछता है जिसे पहले कभी टेस्ट नहीं किया गया था: क्या होगा अगर रोबोटिक हाथ बीमार हो जाए?

हो सकता है कि हाथ का कोई जोड़ (joint) फंस गया हो (जैसे जंग लगा हुआ कब्जा), केवल आधा ही हिल रहा हो (जैसे टूटा हुआ घुटना), या घर्षण (friction) के कारण बहुत सख्त हो गया हो (जैसे अर्थराइटिस वाला जोड़)। शेफ (AI) अभी भी सोचता है कि सब कुछ ठीक है और बिल्कुल वही निर्देश देता है। लेकिन क्योंकि हाथ टूटा हुआ है, चाकू सब्जी को मिस कर देता है, या बर्तन गिर जाता है।

यह पेपर दिखाता है कि ये "बीमार" हाथ रोबोट को विफल कर देते हैं, भले ही AI का दिमाग एकदम सही हो। इसे ठीक करने के लिए, लेखकों ने रोबोट के लिए एक "फिजिकल थेरेपिस्ट" बनाया जिसे J-PARC कहा जाता है।

समस्या: "टूटे हुए हाथ" का प्रभाव

शोधकर्ताओं ने परीक्षण किया कि जब एक रोबोटिक हाथ (जैसे फ्रैंका पांडा रोबोट) किसी कार्य को करने की कोशिश करता है (जैसे दराज में कटोरा रखना), तो विभिन्न जोड़ों को लॉक करने पर क्या होता है।

1. यह केवल "पहुंच न पाने" के बारे में नहीं है:
आप सोच सकते हैं कि यदि कोई जोड़ लॉक है, तो रोबोट लक्ष्य तक नहीं पहुँच पाएगा। लेकिन पेपर में कुछ अधिक सूक्ष्म पाया गया। भले ही रोबोट भौतिक रूप से लक्ष्य तक पहुँच सकता था, लेकिन उसकी गति "गलत" महसूस हो रही थी।

उपमा: कल्पना कीजिए कि आप भारी, सख्त बूट पहनकर एक सीधी रेखा पर चलने की कोशिश कर रहे हैं। आप अभी भी फिनिश लाइन तक पहुँच सकते हैं, लेकिन आपकी चाल इतनी अजीब हो जाती है कि आप लड़खड़ा जाते हैं, अपना संतुलन खो देते हैं और लक्ष्य से चूक जाते हैं। रोबोट की "चाल" (कैसे वह चलता है) घर्षण या लॉक के कारण बिगड़ जाती है, जिससे वह अपने रास्ते से भटक जाता है।

2. "ड्रिफ्ट" (भटकाव) का प्रभाव:
जब रोबोट टूटे हुए जोड़ के कारण एक छोटी सी गलती करता है, तो वह दुनिया का थोड़ा अलग दृश्य देखता है। AI दिमाग सोचता है, "ओह, मैं वहां नहीं हूं जहां मुझे होना चाहिए था," और इसे सुधारने की कोशिश करता है। लेकिन चूंकि हाथ अभी भी टूटा हुआ है, सुधार स्थिति को और बिगाड़ देता है।

उपमा: यह टायर पंचर वाली कार चलाने जैसा है। आप सीधे जाने के लिए बाएं मुड़ते हैं, लेकिन कार दाएं खिंचती है। आप और ज़ोर से बाएं मुड़ने की कोशिश करते हैं, लेकिन कार और ज़ोर से दाएं खिंचती है। अंततः, आप नियंत्रण खो देते हैं। रोबोट इस लूप में फंस जाता है जहाँ वह उस समस्या को ठीक करने की कोशिश करता है जिसे वह अपने टूटे हुए शरीर के साथ वास्तव में ठीक नहीं कर सकता।

3. अलग-अलग जोड़, अलग-अलग समस्याएं:
पेपर में पाया गया कि अलग-अलग जोड़ों को तोड़ने से अलग-अलग प्रकार की विफलताएं होती हैं।

उपमा: यदि आपका कंधा लॉक है, तो आप अपना हाथ ऊपर नहीं उठा सकते। यदि आपकी कलाई लॉक है, तो आप दरवाजे का हैंडल नहीं घुमा सकते। इसी तरह, "जॉइंट 0" (बेस) को लॉक करने से क्षैतिज (horizontal) गति बाधित होती है, जबकि "जॉइंट 4" (हाथ के पास) को लॉक करने से चीजों को पकड़ने में गड़बड़ी होती है। रोबोट बहुत विशिष्ट तरीकों से विफल होता है, यह इस पर निर्भर करता है कि कौन सा हिस्सा टूटा हुआ है।

समाधान: J-PARC (द "फिजिकल थेरेपिस्ट")

लेखकों ने J-PARC (Joint-level Physical-fault Aware Residual Calibrator) नामक एक नया सिस्टम बनाया है।

मुख्य AI (शेफ) को स्थिर (frozen) मान लें। आप शेफ को फिर से ट्रेन नहीं करना चाहते क्योंकि वे पहले से ही बेहतरीन खाना बनाना जानते हैं; आप बस हाथ को ठीक करना चाहते हैं।

J-PARC कैसे काम करता है:

जासूस (The Detective): J-PARC रोबोट की हालिया गतिविधियों पर नज़र रखता है। यह हाथ के हिलने के इतिहास को देखता है और पूछता है, "हे, कुछ अजीब लग रहा है। क्या हाथ सख्त है? क्या कोई जोड़ फंसा हुआ है? कौन सा?" यह बिना किसी मैनुअल के समझ जाता है कि "बीमारी" क्या है।
थेरेपिस्ट (The Therapist): एक बार जब इसे पता चल जाता है कि हाथ बीमार है, तो यह शेफ के निर्देशों में एक छोटा सा "धक्का" (nudge) जोड़ देता है।
- यदि शेफ कहता है, "हाथ को 10 सेमी आगे बढ़ाएं," और हाथ सख्त है, तो J-PARC कह सकता है, "ठीक है, लेकिन वास्तव में, कठोरता को दूर करने के लिए इसे 12 सेमी आगे धकेलें।"
- यह केवल पोजीशन (हाथ कहाँ जाता है) को ट्यून करता है, रोटेशन या ग्रिप को नहीं, क्योंकि उन्हें बिना हाथ को और नुकसान पहुँचाए ठीक करना कठिन है।
सुरक्षा जाल (The Safety Net): यदि हाथ स्वस्थ है, तो J-PARC कुछ नहीं करता। यह शांत रहता है। इसका मतलब है कि जब कोई खराबी नहीं होती, तो रोबोट बिल्कुल पहले की तरह ही काम करता है।

परिणाम: क्या यह काम करता है?

शोधकर्ताओं ने इसे दो तरीकों से परखा:

सिमुलेशन में (वीडियो गेम में): उन्होंने एक वर्चुअल रोबोट पर टूटे हुए जोड़ों (लॉक, सीमित रेंज, उच्च घर्षण) का अनुकरण किया।
- परिणाम: J-PARC के बिना, रोबोट अक्सर विफल हो गया। J-PARC के साथ, सफलता दर काफी बढ़ गई। यहाँ तक कि जब उन्होंने एक ऐसे "बीमारी" (घर्षण) का परीक्षण किया जिसे उसने पहले कभी नहीं देखा था, तब भी यह काम कर गया। यह ऐसा था जैसे थेरेपिस्ट नई चोट के लिए भी सही उपचार का अनुमान लगा सके।
वास्तविक दुनिया में (असली रोबोट): उन्होंने एक असली रोबोट आर्म (एक Trossen WidowX) को बाउल पिक-एंड-प्लेस कार्य के लिए टेस्ट किया। उन्होंने कार्य के दौरान भौतिक रूप से एक जोड़ को लॉक कर दिया।
- परिणाम: सामान्य रोबोट हर बार विफल रहा। J-PARC वाले रोबोट ने अधिकांश प्रयासों में सफलता प्राप्त की। वीडियो ने दिखाया कि J-PARC के बिना रोबोट का हाथ रास्ते से भटक जाता है, लेकिन J-PARC के साथ एक सुचारू, सफल पथ पर रहता है।

सारांश

यह पेपर साबित करता है कि रोबोट को "बीमार" शरीर देना उसकी कार्यों को करने की क्षमता को तोड़ देता है, भले ही उसका दिमाग एकदम सही हो। समाधान दिमाग को फिर से ट्रेन करना नहीं है, बल्कि एक स्मार्ट, हल्का स्तर (J-PARC) जोड़ना है जो एक फिजिकल थेरेपिस्ट के रूप में कार्य करता है। यह रोबोट की गतिविधियों को देखता है, जोड़ों में क्या गलत है इसका पता लगाता है, और निर्देशों को धीरे से समायोजित करता है, जिससे रोबोट को तब भी काम करने में मदद मिलती है जब उसके शरीर के हिस्से क्षतिग्रस्त हों।

तकनीकी सारांश: जॉइंट-लेवल फिजिकल फॉल्ट्स के तहत विजन-लैंग्वेज-एक्शन मॉडल्स की संवेदनशीलता को उजागर करना

समस्या विवरण

वास्तविक रोबोटिक सिस्टम में विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स की तैनाती एक महत्वपूर्ण मजबूती अंतराल (robustness gap) का सामना करती है: जबकि ये मॉडल सिमेंटिक और पर्सेप्चुअल विविधताओं के प्रति मजबूत सामान्यीकरण (generalization) प्रदर्शित करते हैं, वे अक्सर एम्बॉडिमेंट-साइड फॉल्ट्स (embodiment-side faults) के प्रति मजबूती की कमी रखते हैं। विशेष रूप से, VLA नीतियां यह मानती हैं कि रोबोट का शरीर अनुमानित क्रियाओं (predicted actions) को इच्छित गतियों में निष्ठापूर्वक परिवर्तित करता है। हालांकि, वास्तविक दुनिया के रोबोट जॉइंट-लेवल फिजिकल फॉल्ट्स के प्रति संवेदनशील होते हैं, जैसे कि एक्चुएटर डिग्रेडेशन, हार्डवेयर विफलताएं, सुरक्षा-निर्मित सीमाएं, टक्कर से हुआ नुकसान, और घर्षण के कारण होने वाली टूट-फूट।

ये फॉल्ट्स एक्शन-टू-मोशन इंटरफेस को बदल देते हैं, जिससे कमांड किए गए एक्शन, वास्तविक मोशन और उसके बाद के ऑब्जर्वेशन के बीच सीखे गए क्लोज्ड-लूप संबंध में व्यवधान उत्पन्न होता है। पारंपरिक एक्शन नॉइज़ (जो सीधे पॉलिसी आउटपुट को बाधित करती है) के विपरीत, जॉइंट-लेवल फिजिकल फॉल्ट्स स्वयं रोबोट की किनेमैटिक या डायनेमिक क्षमता को बदल देते हैं। फलस्वरूप, एक ही कमांड किया गया एक्शन प्रभावित जॉइंट और फॉल्ट की गंभीरता के आधार पर अलग-अलग वास्तविक अवस्थाएं (realized states) उत्पन्न कर सकता है। इसके परिणामस्वरूप एक क्लोज्ड-लूप निष्पादन बेमेल (closed-loop execution mismatch) होता है, जहाँ रोबोट VLA पॉलिसी द्वारा अपेक्षित नाममात्र (nominal) स्टेट ट्रजेक्टरी से भटक जाता है, जिससे संभावित रूप से अपूरणीय विफलताएं हो सकती हैं, भले ही कार्य भौतिक रूप से व्यवहार्य (feasible) बना रहे।

कार्यप्रणाली: J-PARC

इस संवेदनशीलता को संबोधित करने के लिए, लेखक जॉइंट-लेवल फिजिकल-फॉल्ट अवेयर रेसिडुअल कैलिब्रेटर (J-PARC) का प्रस्ताव करते हैं, जो एक लाइटवेट फ्रेमवर्क है जिसे बेस मॉडल को फाइन-ट्यून किए बिना एक फ्रोजन VLA पॉलिसी के ऊपर संचालित करने के लिए डिज़ाइन किया गया है।

मुख्य आर्किटेक्चर

J-PARC एक रेसिडुअल करेक्शन मॉड्यूल के रूप में कार्य करता है जो निष्पादन संदर्भ (execution context) के आधार पर VLA के एक्शन आउटपुट के ट्रांसलेशनल कंपोनेंट्स को एडजस्ट करता है।

इनपुट कॉन्टेक्स्ट: मॉड्यूल हाल के जॉइंट डायनेमिक्स और निष्पादन इतिहास ( $H_t$ ) को देखता है, जिसमें बेस एक्शन्स, एंड-इफेक्टर/ग्रिपर स्टेट्स, और कमांड किए गए बनाम निष्पादित एक्शन्स के बीच का अंतर शामिल है।
फॉल्ट रिजीम इन्फरेंस: एक प्री-ट्रेन्ड एनकोडर ( $g_\psi$ ) हाल के जॉइंट मोशन को प्रोसेस करके एक लेटेंट जॉइंट-फॉल्ट रिजीम ( $u_t$ ) का अनुमान लगाता है। यह एनकोडर फॉल्ट की उपस्थिति का पता लगाने और विशिष्ट प्रभावित जॉइंट को वर्गीकृत करने के लिए प्रशिक्षित किया गया है, लेकिन यह रेसिडुअल ट्रेनिंग चरण के दौरान फ्रोजन रहता है।
रेसिडुअल प्रेडिक्शन: एक ट्रांसफार्मर-आधारित रेसिडुअल कैलिब्रेटर ( $f_\theta$ ) बेस एक्शन चंक, निष्पादन इतिहास और अनुमानित फॉल्ट रिजीम को इनपुट के रूप में लेता है। यह विशेष रूप से ट्रांसलेशनल आर्म कमांड्स ( $\Delta x, \Delta y, \Delta z$ ) के लिए एक रेसिडुअल चंक ( $R_{\theta,t}$ ) प्रेडिक्ट करता है।
एक्शन करेक्शन: अंतिम निष्पादित एक्शन, बेस VLA एक्शन और प्रेडिक्टेड रेसिडुअल का योग होता है। अनावश्यक जॉइंट पुनर्गठन से बचने के लिए बेस पॉलिसी के रोटेशन और ग्रिपर कमांड्स को सुरक्षित रखा जाता है।

ट्रेनिंग स्ट्रैटेजी

J-PARC एक रेफरेंस-गाइडेड रेसिडुअल टारगेट दृष्टिकोण का उपयोग करता है:

डेटा कलेक्शन: सिस्टम फॉल्ट-फ्री रेफरेंस रोलआउट्स को उसी प्रारंभिक अवस्था से शुरू होने वाले लॉक-जॉइंट स्थितियों के तहत रोलआउट्स के साथ जोड़ता है।
टारगेट जनरेशन: एक "टीचर" मैकेनिज्म फॉल्ट-फ्री रेफरेंस ट्रजेक्टरी के विरुद्ध दोषपूर्ण निष्पादन अवस्था की तुलना करता है। यदि विचलन (deviation) एक थ्रेशोल्ड से अधिक हो जाता है, तो एंड-इफेक्टर को फॉल्ट-फ्री वेपॉइंट की ओर पुनर्निर्देशित करने के लिए टारगेट रेसिडुअल की गणना की जाती है। यदि विचलन एक "डेमोंस्ट्रेशन ट्यूब" के भीतर है, तो टारगेट रेसिदुअल शून्य होता है।
ऑप्टिमाइजेशन: रेसिडुअल कैलिब्रेटर को अपने प्रेडिक्टेड रेसिड्यूल और टीचर-जेनरेटेड टारगेट के बीच मीन स्क्वेर्ड एरर (MSE) को कम करने के लिए प्रशिक्षित किया जाता है, जबकि बेस VLA पॉलिसी और फॉल्ट एनकोडर फ्रोजन रहते हैं।

मुख्य योगदान

संवेदनशीलता की पहचान: यह पेपर जॉइंट-लेवेल फिजिकल फॉल्ट्स (लॉकिंग, रेंज लिमिट्स, बढ़ा हुआ घर्षण) को VLA परिनियोजन के लिए एक महत्वपूर्ण, विशिष्ट मजबूती चुनौती के रूप में स्थापित करता है, जो पर्सेप्चुअल या कमांड-स्पेस नॉइज़ से अलग है।
विषम प्रभावों का विश्लेषण: व्यापक विश्लेषण के माध्यम से, लेखक प्रदर्शित करते हैं कि फॉल्ट प्रभाव जॉइंट-डिपेंडेंट होते हैं। कार्य विषम रूप से घटते हैं इस आधार पर कि कौन सा जॉइंट प्रभावित है और कार्य में उसका उपयोग कैसे किया जा रहा है। इसके अलावा, प्रदर्शन में गिरावट व्यवहार्य (feasible) परिदृश्यों (जैसे, बढ़ा हुआ घर्षण) में भी होती है, जो इंगित करता है कि समस्या केवल भौतिक अव्यवहार्यता नहीं बल्कि एक क्लोज्ड-लूप निष्पादन बेमेल है।
J-PARC फ्रेमवर्क: एक लाइटवेट, रेसिडुअल कैलिब्रेशन फ्रेमवर्क का प्रस्ताव जो निष्पादन इतिहास से लेटेंट फॉल्ट रिजीम्स का अनुमान लगाता है और उसके अनुसार एक्शन्स को अनुकूलित करता है, जिससे बेस पॉलिसी के व्यवहार को फॉल्ट-फ्री वातावरण में सुरक्षित रखा जा सके।
अनुभवजन्य सत्यापन (Empirical Validation): LIBERO बेंचमार्क और वास्तविक हार्डवेयर (Trossen WidowX AI) पर प्रयोगों से पता चलता है कि J-PARC जॉइंट फॉल्ट्स के तहत सफलता दर में काफी सुधार करता है और साथ ही नाममात्र की स्थितियों में प्रदर्शन बनाए रखता है।

प्रयोगात्मक परिणाम

लेखकों ने दो फ्रोजन VLA बैकबोन (OpenVLA-OFT और $\pi_0.5$ ) पर LIBERO बेंचमार्क सूट्स के माध्यम से J-PARC का मूल्यांकन किया।

लॉक्ड जॉइंट फॉल्ट्स: जॉइंट-लॉकिंग स्थितियों के तहत, J-PARC ने औसत सफलता दर को 42.3% से 46.8% (OpenVLA-OFT) और 48.4% से 55.2% ( $\pi_0.5$ ) तक सुधार किया। उल्लेखनीय रूप से, इसने CIK (Constrained Inverse Kinematics) और RobustVLA जैसे बेसलाइन्स को पछाड़ दिया, जो लगातार प्रदर्शन सुधारने में विफल रहे या प्रदर्शन में गिरावट भी आई।
अनसीन फ्रिक्शन फॉल्ट्स: महत्वपूर्ण रूप से, J-طARC को केवल लॉक-जॉइंट डेटा पर प्रशिक्षित किया गया था। जब इसका परीक्षण बढ़े हुए जॉइंट फ्रिक्शन (एक अलग फॉल्ट मोड जो प्रशिक्षण के दौरान नहीं देखा गया था) पर किया गया, तब भी इसने औसत सफलता दर में सुधार किया (जैसे, OpenVLA-OFT के लिए 46.4% से 55.1%), जो अनसीन निष्पादन बेमेल के प्रति सामान्यीकरण को प्रदर्शित करता है।
फॉल्ट-फ्री प्रिजर्वेशन: फॉल्ट-फ्री वातावरण में, J-PARC ने बेस पॉलिसी के प्रदर्शन को सुरक्षित रखा, जिससे पुष्टि होती है कि रेसिडुअल मॉड्यूल सामान्य संचालन में हस्तक्षेप नहीं करता है।
रियल-वर्ल्ड वैलिडेशन: एक भौतिक रोबोट पर बाउल पिक-एंड-प्लेस कार्य करते समय, बेस पॉलिसी जॉइंट लॉक्स के तहत पूरी तरह विफल रही, जबकि J-PARC अधिकांश परीक्षणों में सफल रहा क्योंकि इसने एंड-इफेक्टर ट्रजेक्टरी को फॉल्ट-फ्री रेफरेंस पाथ के करीब रखा।

महत्व और दावे

यह पेपर तर्क देता है कि एम्बॉडिमेंट-साइड मजबूती विश्वसनीय VLA परिनियोजन के लिए एक आवश्यक शर्त है, न कि केवल एक माध्यमिक हार्डवेयर चिंता। लेखक दावा करते हैं कि:

वर्तमान मजबूती विधियाँ जो एक्शन नॉइज़ या पर्सेप्चुअल परटर्बेशन पर ध्यान केंद्रित करती हैं, वे उन निरंतर भौतिक फॉल्ट्स को संभालने के लिए अपर्याप्त हैं जो रोबोट के डायनेमिक्स को बदलते हैं।
कमांड किए गए एक्शन्स और वास्तविक मोशन के बीच का बेमेल समय के साथ जमा होता रहता है, जिसके लिए एडेप्टिव एक्शन कैलिब्रेशन की आवश्यकता होती है जो स्थिर बाधाओं के बजाय वर्तमान निष्पादन संदर्भ पर आधारित हो।
J-PARC एक व्यावहारिक, लाइटवेट समाधान प्रदान करता है जो बड़े VLA मॉडल्स को फाइन-ट्यून करने की कम्प्यूटेशनल लागत या व्यापक एडवरसेरियल ट्रेनिंग डेटा की आवश्यकता के बिना मजबूती को बढ़ाता है।

लेखक अपनी सीमाओं के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि उनका वास्तविक दुनिया का सत्यापन वर्तमान में सुरक्षा प्रतिबंधों के कारण विशिष्ट जॉइंट्स (4 और 5) और एक एकल कार्य तक सीमित है, और वर्तमान में विधि के लिए फॉल्ट-फ्री रेफरेंस ट्रजेक्टरीज तक पहुंच की आवश्यकता है। भविष्य के कार्य में ऑटोमैटिक रेफरेंस कंस्ट्रक्शन और व्यापक एक्शन स्पेस की खोज करने का सुझाव दिया गया है।