🤖 AI

Hide-and-Seek in Trajectories: Discovering Failure Signals for VLA Runtime Monitoring

यह शोध पत्र **Hide-and-Seek** को प्रस्तुत करता है, जो केवल प्रक्षेपवक्र-स्तर (trajectory-level) के लेबल का उपयोग करके विजन-लैंग्वेज-एक्शन (VLA) मॉडल के लिए विफलता-सूचक क्रियाओं को स्थानीयकृत करने और टेम्पोरल रूप से संरचित विफलता संकेतों को उत्पन्न करने वाला एक कोर्सली सुपरवाइज्ड (coarsely supervised) फ्रेमवर्क है, जिससे महंगे रीसैंपलिंग या स्टेप-लेवल एनोटेशन की आवश्यकता के बिना मजबूत, वास्तविक समय में विफलता का पता लगाना सक्षम होता है।

मूल लेखक: Seongheon Park, Wendi Li, Changdae Oh, Samuel Yeh, Zsolt Kira, Michael Hagenow, Sharon Li

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seongheon Park, Wendi Li, Changdae Oh, Samuel Yeh, Zsolt Kira, Michael Hagenow, Sharon Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को घर के काम करना सिखा रहे हैं, जैसे बर्तन हटाना या खाना बनाना। आप रोबोट को एक वीडियो देते हैं जिसमें एक इंसान उस काम को पूरी तरह से सही कर रहा है, और रोबोट उससे सीखता है। लेकिन कभी-कभी, रोबोट उस काम को करने की कोशिश करता है और असफल हो जाता है—शायद वह एक प्लेट गिरा देता है या सूप गिरा देता है। समस्या यह है कि आप यह ठीक से नहीं जानते कि रोबोट ने कब गड़बड़ी करना शुरू किया। आप केवल इतना जानते हैं कि पूरा प्रयास एक आपदा में समाप्त हुआ।

यह वही समस्या है जिसे "Hide-and-Seek in Trajectories" नामक पेपर हल करने की कोशिश करता है।

समस्या: "एक ही आकार सबके लिए" वाली गलती

वर्तमान में, यदि कोई रोबोट किसी कार्य में विफल हो जाता है, तो शोधकर्ता अक्सर पूरे प्रयास को ही "विफलता" के रूप में लेबल कर देते हैं। यह एक फिल्म देखने जैसा है जहाँ नायक अंत में लड़खड़ा जाता है, और फिर आप एक छात्र को बताते हैं, "इस फिल्म का हर एक दृश्य एक गलती थी।"

यह रोबोट के सीखने की प्रणाली के लिए भ्रमित करने वाला है। फिल्म की शुरुआत (रोबोट का कैबिनेट की ओर चलना) वास्तव में ठीक थी! लेकिन क्योंकि पूरी चीज़ को "खराब" लेबल किया गया है, रोबोट भ्रमित हो जाता है और सोचता है, "ओह, कैबिनेट की ओर चलना भी खतरनाक है।" यह बहुत सारा "शोर" (noise) पैदा करता है और रोबोट के लिए यह सीखना कठिन बना देता है कि वास्तव में क्या गलत हुआ था।

अन्य तरीके इसे ठीक करने के लिए एक सुपर-स्मार्ट AI (एक विज़न-लैंग्वेज मॉडल) का उपयोग करते हैं जो वीडियो को वास्तविक समय में देखता है और गलती देखते ही "रुको!" चिल्लाता है। लेकिन ये AI धीमे होते हैं, जैसे मैराथन दौड़ने की कोशिश करने वाला एक घोंघा, और वे अक्सर गलती होने का एहसास तब तक नहीं कर पाते जब तक कि बर्तन टूट ही नहीं जाता।

समाधान: "हाइड एंड सीक" (लुका-छिपी)

लेखक एक नया फ्रेमवर्क प्रस्तावित करते हैं जिसे Hide-and-Seek कहा जाता है। वे विफलता का पता लगाने को घास के ढेर में सुई खोजने के खेल की तरह मानते हैं।

सुई: वह विशिष्ट क्षण जब रोबोट विफल होना शुरू होता है (जैसे, ठीक वह सेकंड जब वह फिसलता है)।
घास का ढेर: वे सभी सामान्य, सफल क्रियाएं जो रोबोट ने फिसलने से पहले की थीं।
सुराग: एकमात्र सुराग जो आपके पास है वह अंतिम परिणाम है: "यह पूरा प्रयास विफल रहा।"

सिस्टम को यह पता लगाना होगा कि सुई कहाँ छिपी है, बिना किसी के उन्हें सटीक समय बताए।

यह कैसे काम करता है: दो सरल नियम

हर सेकंड को "खराब" लेबल करने के बजाय, सिस्टम उस बुरे क्षण को खोजने के लिए दो चतुर तरीकों (गणितीय नियमों) का उपयोग करता है:

"बेस्ट बनाम वर्स्ट" गेम (इंटर-ट्रैजेक्टरी):
कल्पना कीजिए कि आपके पास एक रोबोट के विफल होने का वीडियो है और एक रोबोट के सफल होने का वीडियो है। सिस्टम पूछता है: "विफल होने वाले वीडियो में सबसे संदिग्ध दिखने वाला क्षण कौन सा है?" फिर यह तुलना करता है कि सफल वीडियो का सबसे संदिग्ध दिखने वाला क्षण क्या है (शायद एक डगमगाहट जिससे सफल रोबोट ने खुद को संभाल लिया था)।
नियम सरल है: विफल होने वाले वीडियो का "बुरा" क्षण सफल वीडियो के "बुरे" क्षण की तुलना में अधिक बुरा दिखना चाहिए। यह सिस्टम को वास्तव में महत्वपूर्ण त्रुटियों पर ध्यान केंद्रित करने के लिए मजबूर करता है, न कि केवल सामान्य डगमगाहट पर।
"पहले और बाद का" गेम (इंट्रा-ट्रैजेक्टरी):
एक एकल विफल होने वाले वीडियो में, सिस्टम उस बिंदु की तलाश करता है जहाँ "बदतर होने का स्कोर" अचानक बढ़ जाता है। यह मानता है कि गलती से पहले, रोबोट ठीक काम कर रहा था, और गलती के बाद, चीजें बदतर हो गईं।
नियम यह है: स्पाइक (अचानक उछाल) के बाद का औसत "बदतर स्कोर" स्पाइक से पहले के स्कोर से अधिक होना चाहिए। यह सिस्टम को बिना किसी के घड़ी की ओर इशारा किए, ठीक उसी क्षण को पहचानने में मदद करता है जब मुसीबत शुरू हुई थी।

परिणाम: तेज़ और सटीक

लेखकों ने सिमुलेशन में रोबोट द्वारा कार्य करने और लैब में एक वास्तविक रोबोट आर्म पर इसका परीक्षण किया। उन्होंने अपने "Hide-and-Seek" तरीके की तुलना अन्य शीर्ष तरीकों से की।

यह अधिक स्मार्ट है: इसने पुराने "सब कुछ खराब लेबल करने" वाले तरीके की तुलना में विफलता के क्षणों को बहुत अधिक सटीकता से पाया।
यह तेज़ है: वीडियो-आधारित वॉचर्स की तरह धीमा नहीं, बल्कि यह तरीका अविश्वसनीय रूप से तेज़ है। यह वीडियो-आधारित वॉचर्स की तुलना में हजारों गुना तेज़ी से विफलताओं की जाँच कर सकता है, जो इसे वास्तविक समय के उपयोग के लिए व्यावहारिक बनाता है।
यह सामान्यीकरण (Generalize) करता है: यह उन कार्यों पर भी अच्छी तरह से काम करता है जिन्हें रोबोट ने पहले कभी नहीं देखा है, न कि केवल उन कार्यों पर जिनका उसने अभ्यास किया है।

मुख्य निष्कर्ष

"Hide-and-Seek" एक हल्का, तेज़ और स्मार्ट तरीका है जिससे रोबोट को वास्तविक समय में अपनी गलतियों को पहचानने के लिए सिखाया जा सकता है। एक खराब क्षण के लिए पूरे दिन को दोष देने के बजाय, यह रोबोट को केवल अंतिम परिणाम को एक संकेत के रूप में उपयोग करके, ठीक उसी सेकंड को पहचानने में मदद करता है जब चीजें गलत हुईं। यह रोबोट को वास्तविक दुनिया में अधिक सुरक्षित और विश्वसनीय बनाता है।

तकनीकी सारांश: ट्रैजेक्टरीज में लुका-छिपी (Hide-and-Seek)

समस्या विवरण

विज़न-लैंग्वेज-एक्शन (VLA) मॉडलों ने रोबोटों को प्राकृतिक भाषा के निर्देशों का पालन करने और विविध कार्यों में सामान्यीकरण (generalize) करने में महत्वपूर्ण क्षमता प्रदर्शित की है। हालाँकि, वास्तविक दुनिया के वातावरण में उनका परिनियोजन (deployment) निष्पादन विफलताओं (execution failures) के प्रति संवेदनशीलता के कारण बाधित होता है, जिससे विनाशकारी परिणाम (जैसे, वस्तुओं को गिरा देना) हो सकते हैं। निष्पादन के दौरान इन विफलताओं का पता लगाना मजबूती (robustness) के लिए महत्वपूर्ण है।

वर्तमान विफलता पहचान विधियाँ दो प्राथमिक सीमाओं का सामना करती हैं:

सुपरविजन लागत (Supervision Cost): स्टेप-लेवल विफलता एनोटेशन (यह पहचानना कि त्रुटि का सटीक टाइमस्टैम्प क्या है) प्राप्त करना महंगा और स्केल करना कठिन है, विशेष रूप से लंबे समय तक चलने वाले, स्टोकेस्टिक ट्रैजेक्टरीज के लिए। मौजूदा दृष्टिकोण जो ट्रैजेक्टरी-लेवल लेबल पर निर्भर करते हैं, अक्सर इन लेबलों को हर टाइमस्टेप पर समान रूप से प्रसारित करते हैं। यह "यूनिफॉर्म प्रोपेगेशन" सामान्य क्रियाओं को भी विफलता के रूप में गलत लेबल कर देता है, जिससे काफी लेबल शोर (label noise) उत्पन्न होता है और स्थानीयकृत विफलता संकेतों को धुंधला कर दिया जाता है।
कंप्यूटेशनल व्यावहारिकता (Computational Practicality): एक्शन रीसैंपलिंग या बाहरी विज़न-लैंग्वेज मॉडल (VLM) जजों पर निर्भर रहने वाली विधियाँ अत्यधिक अनुमान ओवरहेड (inference overhead) का कारण बनती हैं, जो रीयल-टाइम परिनियोजन को रोकती हैं। इसके अलावा, कई मौजूदा डिटेक्टर फिक्स्ड टास्क के लिए स्पेशलिस्ट पॉलिसियों के लिए डिज़ाइन किए गए हैं, जो ओपन-वर्ल्ड सेटिंग्स में जनरललिस्ट VLAs की प्रयोज्यता को सीमित करते हैं।

मुख्य चुनौती जिसका समाधान किया गया है वह है कोर्सली सुपरवाइज्ड फेलियर डिटेक्शन (Coarsely Supervised Failure Detection): केवल ट्रैजेक्टरी-लेवल आउटकम लेबल्स (सफलता/विफलता) का उपयोग करके एक फाइन-ग्रेन्ड, प्रति-स्टेप विफलता डिटेक्टर को सीखना।

कार्यप्रणाली: लुका-छिपी (Hide-and-Seek)

लेखक Hide-and-Seek प्रस्तावित करते हैं, जो एक हल्का रनटाइम विफलता पहचान ढांचा है जो इस समस्या को एक कोर्सली सुपरवाइज्ड लर्निंग टास्क के रूप में मानता है। विधि का नाम इस रूपक (metaphor) के लिए रखा गया है कि विफलता संकेत एक ट्रैजेक्टरी के भीतर बड़े पैमाने पर सामान्य व्यवहार के बीच "छिपे" होते हैं, और डिटेक्टर को केवल ट्रैजेक्टरी-लेवल आउटकम का सुराग उपयोग करके उन्हें "खोजना" (seek) होगा।

मुख्य ढांचा (Core Framework)

यह ढांचा एक अनुक्रमिक डिटेक्टर $f_\phi$ सीखता है जो एक ट्रैजेक्टरी प्रीफिक्स $\tau_{\le t}$ (जिसमें आंतरिक एक्शन एम्बेडिंग शामिल हैं) को एक स्केलर विफलता स्कोर $s_t \in [0, 1]$ में मैप करता है। ट्रैजेक्टरी लेबल को समान रूप से असाइन करने के बजाय, यह विधि विफलता-संकेतक क्रियाओं को स्थानीयकृत करने के लिए दो पूरक स्तरों पर एक कॉन्ट्रास्टिव ऑब्जेक्टिव (contrastive objective) का उपयोग करती है:

इंटर-ट्रैजेक्टरी कॉन्ट्रास्टिव लॉस ( $\mathcal{L}_{inter}$ ):
- लक्ष्य: एक विफलता ट्रैजेक्टरी में सबसे अधिक विफलता-संकेतक क्रिया को एक सफल ट्रैजेक्टरी में सबसे अधिक विफलता-समान क्रिया (हार्डेस्ट फॉल्स पॉजिटिव) से अलग करना।
- तंत्र: विफलता ( $\tau_f$ ) और सफलता ( $\tau_s$ ) ट्रैजेक्टरी के एक जोड़े के लिए, लॉस यह सुनिश्चित करता है कि $\tau_f$ में अधिकतम विफलता स्कोर $\tau_s$ में अधिकतम स्कोर से मार्जिन $m_r$ से अधिक हो।
- प्रभाव: यह मॉडल को सबसे प्रमुख विफलता संकेतों पर ध्यान केंद्रित करने के लिए निर्देशित करता है बिना यह धारणा बनाए कि वे कहाँ होते हैं, जिससे यह अनुकूल रूप से महत्वपूर्ण स्टेप की खोज करता है।
इंट्रा-ट्रैजेक्टरी कॉन्ट्रास्टिव लॉस ( $\mathcal{L}_{intra}$ ):
- लक्ष्य: एक विफलता ट्रैजेक्टरी के भीतर टेम्पोरल डायनेमिक्स को आकार देना ताकि प्री-फेलियर (सामान्य) और पोस्ट-फेलियर चरणों को अलग किया जा सके।
- तंत्र: विधि एक प्रॉक्सी विफलता ऑनसेट $t_{onset}$ को सबसे तीव्र स्कोर वृद्धि के बिंदु ( $\arg\max_t (s_t - s_{t-1})$ ) के रूप में परिभाषित करती है। लॉस $t_{onset}$ के बाद के औसत स्कोर को $t_{onset}$ से पहले के औसत स्कोर से मार्जिन $m_o$ से अधिक होने के लिए प्रोत्साहित करता है।
- प्रभाव: यह कोर्स ट्रैजेक्टरी-लेवल सुपरविजन को एक टेम्पोरल रूप से संरचित सिग्नल में बदल देता है, यह सुनिश्चित करता है कि स्कोर सामान्य निष्पादन के दौरान कम रहे और विफलता ऑनसेट पर तेजी से बढ़े।

कुल ऑब्जेक्टिव $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$ है।

रनटाइम मॉनिटरिंग

अनुमान (inference) के दौरान, डिटेक्टर प्रत्येक टाइमस्टेप पर एक स्कोर $s_t$ उत्पन्न करता है। विफलता अलार्म निर्धारित करने के लिए, सिस्टम फंक्शनल कॉन्फॉर्मल प्रेडिक्शन (CP) का उपयोग करता है। एक होल्ड-आउट कैलिब्रेशन सेट (सफल ट्रैजरी का) से एक समय-परिवर्तनीय थ्रेशोल्ड $\zeta_t$ बनाया जाता है। यह गारंटी देता है कि किसी भी नए सफल रोलआउट के लिए, ट्रैजेक्टरी-लेवल फॉल्स अलार्म दर उपयोगकर्ता द्वारा निर्दिष्ट महत्व स्तर $\alpha$ द्वारा सीमित है। विफलता की घोषणा उस शुरुआती टाइमस्टेप पर की जाती है जहाँ $s_t \ge \zeta_t$ होता है।

आर्किटेक्चर

डिटेक्टर $f_\phi$ एक हल्का सीक्वेंस मॉडल (डिफ़ॉल्ट: सिंगल-लेयर LSTM) है जो VLA के एक्शन टोकन या हेड से निकाले गए एक्शन एम्बेडिंग को प्रोसेस करता है। टेम्पोरल रिडंडेंसी को कम करने के लिए, लेखक एवरेज पूलिंग के साथ नॉन-ओवरलैपिंग स्लाइडिंग विंडो एग्रीगेशन का उपयोग करते हैं।

प्रमुख योगदान

नया ढांचा: Hide-and-Seek का परिचय, जो कोर्सली सुपरवाइज्ड लर्निंग और एम्बोडीड फेलियर डिटेक्शन के बीच के अंतर को पाटता है, जिससे केवल ट्रैजेक्टरी-लेवल सुपरविजन से विफलता-संकेतक क्रियाओं की खोज संभव होती है।
कॉन्ट्रास्टिव ऑब्जेक्टिव डिज़ाइन: एक डुअल-लॉस मैकेनिज्म (इंटर- और इंट्रा-ट्रैजेक्टरी) जो ट्रैजेक्टरीज के बीच और उनके भीतर विफलता संकेतों को अलग करता है, जो प्रभावी रूप से कोर्स सुपरविजन को बिना स्टेप-लेवल एनोटेशन के टेम्पोरल रूप से संरचित सिग्नल्स में बदल देता है।
व्यापक मूल्यांकन: तीन प्रतिनिधि VLA पॉलिसियों (OpenVLA (ऑटोरेग्रेसिव), $\pi_0$ , और $\pi_0.5$ (फ्लो-मैचिंग)) का उपयोग करके सिमुलेशन बेंचमार्क (LIBERO-10, VLABench) और एक वास्तविक रोबोटिक प्लेटफॉर्म (UFactory xArm 6) पर व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन 12 बेसलाइन्स के विरुद्ध किया गया, जिसमें OOD डिटेक्शन विधियाँ, मल्टी-सैंपलिंग दृष्टिकोण और क्लासिफायर-आधारित विधियाँ (जैसे, SAFE) शामिल हैं।

प्रदर्शन: Hide-and-Seek देखे गए और अनदेखे दोनों कार्यों पर सभी मेट्रिक्स (बैलेंस्ड एक्यूरेसी, वेटेड एक्यूरेसी, टाइम-वेटेड एक्यूरेसी) पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।
- LIBERO-10 पर OpenVLA के साथ, यह देखे गए कार्यों पर सबसे मजबूत क्लासिफायर बेसलाइन (SAFE-MLP) से bACC में +6.8% और अनदेखे कार्यों पर +7.2% बेहतर प्रदर्शन करता है।
- VLABench पर $\pi_0.5$ के साथ, यह देखे गए कार्यों पर TWA में SAFE-MLP से +8.1% और अनदेखे कार्यों पर +10.8% आगे निकल जाता है।
- वास्तविक दुनिया के प्रयोगों में, यह देखे गए और अनदेखे कार्यों में स्थिर प्रदर्शन बनाए रखता है, अनदेखे कार्यों पर SAFE-MLP पर +11.7% bACC गेन प्राप्त करता है।
दक्षता: एक VLM-आधारित रनटाइम मॉनिटर (Qwen3-VL-8B) की तुलना में, Hide-and-Seek >2,000× तेज़ है (0.001s बनाम 2.343s प्रति स्टेप) जबकि +13.1% अधिक सटीकता प्राप्त करता है।
एब्लेशन स्टडीज (Ablation Studies):
- यूनिफॉर्म लेबलिंग: प्रस्तावित विधि एक बेसलाइन से काफी बेहतर प्रदर्शन करती है जो सभी टाइमस्टेप्स को समान रूप से ट्रैजेक्टरी लेबल असाइन करती है (+19.4% bACC on OpenVLA), यह पुष्टि करती है कि यूनिफॉर्म प्रोपेगेशन लेबल शोर पेश करता है।
- आर्किटेक्चर: रिकरेंट बैकबोन (LSTM, GRU) MLPs और Transformers से बेहतर प्रदर्शन करते हैं, जो टेम्पोरल कॉन्टेक्स्ट को मॉडल करने के लाभ का सुझाव देते हैं।
- लॉस कंपोनेंट्स: दोनों $\mathcal{L}_{inter}$ और $\mathcal{L}_{intra}$ आवश्यक हैं; $\mathcal{L}_{inter}$ अकेले अच्छा प्रदर्शन करता है, लेकिन दोनों को मिलाने से निरंतर सुधार मिलता है।

महत्व और दावे

पेपर का दावा है कि Hide-किए-Seek एम्बोडीड AI में रीयल-टाइम विफलता निगरानी के लिए एक व्यावहारिक, हल्का समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

एनोटेशन लागत को समाप्त करना: यह महंगे, स्टेप-लेवल विफलता एनोटेशन की आवश्यकता को समाप्त करता है, जो केवल ट्रैजेक्टरी-लेवल आउटकम पर निर्भर करता है जो स्वाभाविक रूप से उपलब्ध है।
सामान्यीकरण (Generalization): यह अनदेखे कार्यों और विभिन्न VLA आर्किटेक्चर (ऑटोरेग्रेसिव और फ्लो-मैचिंग) के प्रति मजबूत सामान्यीकरण प्रदर्शित करता है, जो विशेषज्ञ-केंद्रित पूर्व विधियों की एक प्रमुख सीमा को संबोधित करता है।
वास्तविक दुनिया की व्यवहार्यता: भारी अनुमान ओवरहेड (रीसैंपलिंग या VLM जजों के विपरीत) से बचकर और कॉन्फॉर्मल प्रेडिक्शन के माध्यम से एक अनुकूल सटीकता-समय व्यापार (accuracy-timeliness trade-off) प्राप्त करके, यह वास्तविक दुनिया के रोबोटिक सिस्टम में मजबूत परिनियोजन को सक्षम बनाता है।

लेखक इस कार्य को कमजोर रूप से पर्यवेक्षित (weakly supervised) लर्निंग प्रतिमानों और एम्बोडीड एजेंट सुरक्षा की विशिष्ट चुनौतियों के बीच एक नवीन संबंध के रूप में प्रस्तुत करते हैं, जो विश्वसनीय VLA परिनियोजन के लिए एक स्केलेबल पथ प्रदान करता है।