🤖 AI

ActFovea: Runtime Safeguarding for VLA Policies via Spatiotemporal Visual-Action Consistency

ActFovea एक प्लग-एंड-प्ले रनटाइम सेफगार्डिंग फ्रेमवर्क है जो विजुअल ओवरले और एक्शन ड्रिफ्ट जैसे व्यवधानों के विरुद्ध विजन-लैंग्वेज-एक्शन (VLA) पॉलिसियों की मजबूती को बढ़ाता है, जो अंतर्निहित पॉलिसी को संशोधित किए बिना विफलताओं का पता लगाने और रिकवरी या सेफ-स्टॉप तंत्र को ट्रिगर करने के लिए स्थानिक-काल्पनिक (spatiotemporal) विजुअल-एक्शन निरंतरता को लागू करता है।

मूल लेखक: Wenda Yu, Tianshi Wang, Fengling Li, Xin Li, Jingjing Li, Lei Zhu

प्रकाशित 2026-08-03

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenda Yu, Tianshi Wang, Fengling Li, Xin Li, Jingjing Li, Lei Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को घर के काम करना सिखा रहे हैं, जैसे कपड़े तह करना या सैंडविच बनाना। आप रोबोट को हर एक हरकत के लिए प्रोग्राम नहीं करते; इसके बजाय, आप उसे एक "दिमाग" देते हैं जो दुनिया को देख सके, आपकी बातों को समझ सके और यह तय कर सके कि आगे क्या करना है। इसे विजन-लैंग्वेज-एक्शन (VLA) पॉलिसी कहा जाता है। यह एक रोबोट को एक सुपर-स्मार्ट असिस्टेंट देने जैसा है जो एक बिखरे हुए कमरे की तस्वीर देखता है, आपसे "साफ करो" सुनता है, और फिर चीजों को उठाने के लिए अपने हाथों को कैसे हिलाना है, इसका निर्णय लेता है।

लेकिन पेचीदा हिस्सा यह है कि इस असिस्टेंट के काम करने के लिए, उसकी आँखें (कैमरा), उसके शरीर की स्थिति का अहसास (सेंसर्स), और उसकी हरकतें (एक्शन्स) सभी पूरी तरह से तालमेल में होने चाहिए। यदि कैमरा एक ऐसे कप की तस्वीर दिखाता है जो वास्तव में तीन सेकंड पुराना है, या यदि रोबोट को लगता है कि उसने कप पकड़ा हुआ है लेकिन उसका हाथ वास्तव में खाली है, तो रोबोट भ्रमित हो जाएगा। वह हवा में हाथ मारने की कोशिश कर सकता है या चीजों को गिरा सकता है। यह शोध पत्र इस समस्या पर ध्यान केंद्रित करता है कि क्या होता है जब यह सटीक तालमेल टूट जाता—जब रोबोट की वास्तविकता ग्लिच (glitch), देरी या दृश्य भ्रम (visual illusions) से प्रभावित होती है। लक्ष्य एक ऐसा सुरक्षा कवच (safety net) बनाना है जो रोबोट के क्रैश होने से पहले उसे पकड़ ले, बिना उसके दिमाग को फिर से प्रशिक्षित किए या उसके व्यक्तित्व को बदले।

मैट्रिक्स में गड़बड़ी: मिलिए ActFovea से

मिलिए ActFovea से, जो रोबोटिक दिमागों के लिए एक नया "गार्जियन एंजल" (रक्षक देवदूत) है। एक VLA पॉलिसी को एक प्रतिभाशाली लेकिन थोड़े अनुभवहीन शेफ (रसोइया) के रूप में सोचें जो एक जटिल भोजन बनाने की कोशिश कर रहा है। शेफ रेसिपी का पालन करने में बहुत अच्छा है, लेकिन अगर कोई काउंटर पर रखी सामग्री को बदल दे, ताजी सब्जियों की डिलीवरी में देरी कर दे, या शेफ को उस बर्तन को चलाते रहने के लिए कहे जो पहले ही खाली हो चुका है, तो शेफ एक आपदा बना सकता है।

ActFovea एक अत्यंत सतर्क 'सू-शेफ' (सहायक रसोइया) की तरह है जो मुख्य शेफ के ठीक बगल में खड़ा है। इसका काम खाना बनाना नहीं है; इसका काम शेफ, सामग्री और टाइमर को देखना और यह सुनिश्चित करना है कि सब कुछ आपस में मेल खा रहा है। यदि शेफ एक ऐसी गाजर काटने की कोशिश करता है जो वहां है ही नहीं, या यदि कैमरा फीड कल के लंच की एक स्थिर तस्वीर पर अटक गई है, तो ActF-ovea हस्तक्षेप करेगा और कहेगा, "रुको, ठहरो! यहाँ कुछ गलत है।"

ActFovea का जादू यह है कि इसे खाना बनाना सीखने की आवश्यकता नहीं है। यह रोबोट के दिमाग को फिर से प्रशिक्षित नहीं करता या उसके कोड को नहीं बदलता। इसके बजाय, यह एक "प्लग-एंड-प्ले" सुरक्षा परत के रूप में कार्य करता है। यह रोबोट की आँखों और हाथों के बीच बैठता है, यह जाँचता है कि जो रोबोट देख रहा है, जो वह महसूस कर रहा है और जो वह करने की योजना बना रहा है, क्या वे सभी एक ही कहानी बता रहे हैं।

यह मुसीबत को कैसे पहचानता है

शोधकर्ताओं ने पाया कि रोबोट चार विशिष्ट और चालाकी भरे तरीकों से विफल हो सकते हैं, और ActFovea को उन सभी को पकड़ने के लिए डिज़ाइन किया गया है:

"लेंस पर स्टिकर" (विजुअल ओवरले): कल्पना कीजिए कि किसी ने रोबोट के कैमरा लेंस के एक हिस्से पर स्थायी स्टिकर लगा दिया है। रोबोट उस हैंडल को पकड़ने की कोशिश कर सकता है जो वास्तव में स्टिकर से ढका हुआ है। ActFovea नोटिस करता है कि जब रोबोट हिलता है तो "स्टिकर" नहीं हिलता, जिससे उसे पता चलता है कि इमेज दूषित (corrupted) है।
"धीमा इंटरनेट" (विजुअल डिले): कभी-कभी वीडियो फीड लैग करती है। रोबोट एक स्थान पर कप देखता है, लेकिन जब तक वह अपना हाथ बढ़ाता है, तब तक कप हिल चुका होता है। ActFovea जाँच करता है कि क्या तस्वीर "ताज़ा" है या यह एक पुराना स्नैपशॉट है, और वह रोबोट की अपेक्षाओं को उसी के अनुसार समायोजित करता है।
"डिफ्टिंग हैंड" (एक्शन ड्रिफ्ट): रोबोट एक कप उठाने के लिए एक सुचारू पथ की योजना बनाता है, लेकिन किसी ग्लिच के कारण, उसका हाथ रास्ते से भटकने लगता है। ActFovea नियोजित गति की निगरानी करता है और वास्तविक दृश्य के साथ तुलना करता है। यदि हाथ दीवार की ओर भटक रहा है, तो वह हस्तक्षेप करता है।
"फ्रोजन स्क्रीन" (रीप्ले): यह सबसे डरावना है। कल्पना कीजिए कि कैमरा फीड एक साफ मेज की एक सिंगल फ्रेम पर अटक गई है, भले ही रोबोट वास्तव में एक गंदे कमरे में हो। रोबोट बार-बार एक ऐसी मेज को साफ करने की कोशिश करता है जो पहले से ही साफ है। ActFovea महसूस करता है कि छवि बिल्कुल नहीं बदली है और रोबोट भ्रम (hallucinating) का शिकार हो रहा है।

"फोविया" ट्रिक: जहाँ ज़रूरी है वहीं देखना

सबसे शानदार बात यह है कि ActFovea दुनिया को कैसे देखता है। पूरी तस्वीर को एक पर्यटक की तरह देखने के बजाय, यह एक्शन-कंडीशन्ड फोविएशन (Action-Conditioned Foveation) का उपयोग करता है।

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं। आपको बैकग्राउंड में घास की हर एक पत्ती देखने की ज़रूरत नहीं है; आपको केवल यह देखने की ज़रूरत है कि आपका कैरेक्टर कूदने वाला है। ActFovea भी वही करता है। यह रोबोट के अपने शरीर (kinematics) के ज्ञान और अपनी चालों का उपयोग करके स्क्रीन पर एक "स्पॉटलाइट" बनाता है। यह छवि के उच्च-डेफिनिशन, महत्वपूर्ण हिस्सों (जैसे वह कप जिसे वह पकड़ने वाला है) को एकदम स्पष्ट रखता है, जबकि उबाऊ बैकग्राउंड को धुंधला कर देता है या अनदेखा कर देता है।

यदि रोबोट एक कप की ओर बढ़ रहा है, तो स्पॉटलाइट कप का पीछा करती है। यदि रोबोट अपना हाथ हिला रहा है, तो स्पॉटलाइट हाथ के पथ का पीछा करती है। यह यह पहचानने में बहुत आसान बनाता है कि कहीं कुछ गलत तो नहीं है। यदि "स्पॉटलाइट" एक ऐसा कप देखती है जो रोबोट की अपेक्षा के अनुसार नहीं हिल रहा है, या यदि स्पॉटलाइट के हिलने के दौरान बैकग्राउंड स्थिर रहता है, तो अलार्म बज जाता है।

बचाव योजना: ठीक करें या रुकें?

जब ActFovea किसी समस्या का पता लगाता है, तो वह केवल घबराता नहीं है। इसके पास दो-चरणीय योजना है:

चरण 1: क्या हम इसे ठीक कर सकते हैं?
यदि समस्या देरी या छोटा विजुअल ग्लिच है, तो ActFovea इमेज को "हील" करने की कोशिश करता है। यह पिछले कुछ सेकंड के वीडियो का उपयोग करके अनुमान लगा सकता है कि दृश्य कैसा होना चाहिए, या यह इमेज से नकली स्टिकर हटाने की कोशिश कर सकता है। फिर यह रोबोट के दिमाग से पूछता है: "यदि मैं आपको यह साफ की हुई तस्वीर दूँ, तो क्या आप एक सुरक्षित चाल चलेंगे?" यदि रोबोट सहमत होता है, तो ActFovea उसे आगे बढ़ने देता है।

चरण 2: सुरक्षित स्टॉप (Safe Stop)।
यदि समस्या बहुत बड़ी है—जैसे कि यदि कैमरा पूरी तरह से जम गया है और रोबोट को पता ही नहीं है कि वह कहाँ है—तो ActFovea जानता है कि इसे ठीक करने की कोशिश करना खतरनाक है। इस स्थिति में, यह एक "सेफ फेलियर" (सुरक्षित विफलता) को ट्रिगर करता है। यह धीरे से रोबोट के हाथों को रोकता है, उन्हें अपनी जगह पर थाम लेता है, और प्रतीक्षा करता है। रोबोट के लिए हाथ-पैर चलाने और कुछ तोड़ने से बेहतर है कि वह स्थिर रहे और कुछ न करे।

परिणाम: दिन बचाना

शोधकर्ताओं ने $\pi_0$ नामक एक लोकप्रिय रोबोट ब्रेन का उपयोग करके 40 अलग-अलग रोबोट कार्यों पर ActFovea का परीक्षण किया। परिणाम प्रभावशाली थे:

विजुअल ग्लिच: जब उन्होंने कैमरा लेंस पर नकली स्टिकर लगाए, तो बिना मदद के रोबोट की सफलता दर गिरकर 49.3% रह गई। ActFovea के साथ, यह बढ़कर 90.3% हो गई। इसका मतलब है कि ActFovea ने उन 93.7% कार्यों को बचा लिया जो अन्यथा विफल हो जाते।
देरी और ड्रिफ्ट: जब वीडियो धीमा था या रोबोट का हाथ भटकने लगा, तो ActFovea ने क्रमशः सफलता दर में 9.8% और 7.0% का सुधार किया, जबकि जब सब कुछ ठीक चल रहा था तब भी इसने बेहतरीन काम किया।
फ्रोजन स्क्रीन: सबसे खराब स्थिति में, जहाँ कैमरा फीड पूरी तरह से फ्रीज हो गई थी, ActFovea ने कभी भी रोबोट को क्रैश नहीं होने दिया। उन 100% मामलों में, इसने रोबोट को समय रहते रोक दिया, जिससे "अनप्रोटेक्टेड फेलियर्स" (असुरक्षित विफलताएं) को रोका गया जहाँ रोबोट खुद को या वातावरण को नुकसान पहुँचा सकता था।

यह क्यों मायने रखता है

सबसे रोमांचक बात यह है कि ActFovea बिना रोबोट के दिमाग को बदले काम करता है। आपको रोबोट को फिर से प्रशिक्षित करने या उसे नए कौशल सिखाने की आवश्यकता नहीं है। आप बस इस सुरक्षा परत को ऊपर से जोड़ देते हैं। यह एक स्मार्ट लेकिन अनाड़ी रोबोट को सुरक्षा चश्मा और एक रिफ्लेक्सिव गार्डियन देने जैसा है जो जानता है कि कब हस्तक्षेप करना है।

यह शोध पत्र दिखाता है कि यह जाँचकर कि क्या रोबोट की आँखें, शरीर और क्रियाएं एक ही कहानी बता रही हैं, हम इन रोबोटों को बहुत अधिक सुरक्षित और विश्वसनीय बना सकते हैं। चाहे वह कारखाने में रोबोट हो, घरेलू सहायक हो, या मेडिकल डिवाइस, ActFovea सुझाव देता है कि हम एक ऐसा भविष्य बना सकते हैं जहाँ रोबोट न केवल अच्छा काम करते हैं, बल्कि यह भी जानते हैं कि चीजें बिगड़ने से पहले कब रुकना है और मदद मांगनी है।

तकनीकी सारांश: ActFovea

समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) पॉलिसियों ने विजुअल ऑब्जर्वेशन और लैंग्वेज इंस्ट्रक्शन्स को सीधे रोबोटिक एक्शन्स में मैप करके रोबोटिक मैनिपुलेशन में मजबूत प्रदर्शन प्रदर्शित किया है। हालांकि, ये पॉलिसियाँ रनटाइम व्यवधानों (runtime disturbances) के प्रति संवेदनशील होती हैं जो विजुअल ऑब्जर्वेशन, रोबोट के प्रोप्रियोसेप्टिव स्टेट्स और निष्पादित (executed) एक्शन्स के बीच स्थानिक-कालिक संरेखण (spatiotemporal alignment) को तोड़ देते हैं।

वर्तमान VLA पॉलिसियाँ अक्सर "एक्शन चंक्स" (कंट्रोल सीक्वेंस) की भविष्यवाणी करती हैं ताकि इन्फरेंस को सुव्यवस्थित किया जा सके और टेम्पोरल कोहेरेंस को बढ़ावा दिया जा सके। हालांकि यह कुशल है, लेकिन यह डिज़ाइन क्लोज्ड-लूप सिस्टम के निरंतर संरेखण पर एक निर्भरता पैदा करता है। जब यह संरेखण बाधित होता है, तो पॉलिसी उस विजुअल साक्ष्य पर कार्य कर सकती है जो अब रोबोट की भौतिक स्थिति के अनुरूप नहीं है। पेपर में चार विशिष्ट रनटाइम व्यवधानों की पहचान की गई है जो इस निरंतरता का उल्लंघन करते हैं:

लोकलाइज्ड विजुअल ओवरलेज़ (Localized Visual Overlays): स्थानिक भ्रष्टाचार (spatial corruption) जहाँ कार्य-प्रासंगिक इमेज साक्ष्य को संशोधित किया जाता है।
विजुअल फीडबैक डिले (Visual Feedback Delay): टेम्पोरल मिसअलाइनमेंट जहाँ ऑब्जर्वेशन वर्तमान रोबोट स्टेट से पीछे रह जाते हैं।
एक्शन-चंक ड्रिफ्ट (Action-Chunk Drift): प्रक्षेपवक्र विचलन (trajectory deviations) जहाँ निष्पादित मोशन उस स्टेट से भटक जाता है जो देखे गए दृश्य द्वारा समर्थित है।
फ्रोजन-ऑब्जर्वेशन रिप्ले (Frozen-Observation Replay): पुराने फ्रेम्स का निरंतर पुनरावृत्ति (replay), जो ताज़ा विजुअल ग्राउंडिंग को समाप्त कर देता है।

मौजूदा रनटाइम सुरक्षा उपाय अक्सर विशिष्ट व्यवधान परिवारों (जैसे ज्यामितीय बाधाएं या विजुअल डिस्ट्रैक्टर्स) के लिए विशेष होते हैं या पूर्व-निर्धारित रूढ़िवादी प्रतिक्रियाओं पर निर्भर करते हैं जो अनावश्यक रूप से वैध व्यवहार को दबा सकते हैं या रिकवरेबल (recoverable) और अनरिकवरेबल (unrecoverable) अवस्थाओं के बीच अंतर करने में विफल हो सकते हैं। एक ऐसे एकीकृत ढांचे की आवश्यकता है जो विसंगतियों का पता लगा सके, रिकवरेबिलिटी निर्धारित कर सके और मूल पॉलिसी को फिर से प्रशिक्षित किए बिना उपयुक्त सुरक्षा उपायों को निष्पादित कर सके।

कार्यप्रणाली: ActFovea

ActFovea एक प्लग-एंड-प्ले रनटाइम सुरक्षा ढांचा (plug-and-play runtime safeguarding framework) है जिसे फ्रोजन VLA पॉलिसियों पर संचालित होने के लिए डिज़ाइन किया गया है। यह पॉलिसी पैरामीटर्स को संशोधित नहीं करता है और न ही इसके लिए रीट्रेनिंग की आवश्यकता है। इसके बजाय, यह चार मुख्य घटकों वाले पाइपलाइन के माध्यम से ऑब्जर्वेशन-एक्शन इंटरफेस में हस्तक्षेप करता है:

1. एक्शन-कंडीशन्ड फोविएशन (Action-Conditioned Foveation)

पारंपरिक इमेज-केंद्रित फोविएशन के विपरीत, ActFovea रोबोट के प्रत्याशित इंटरेक्शन से जुड़े डायनेमिक "प्रिजर्व रीजन्स" (preserve regions) का निर्माण करता है।

तंत्र (Mechanism): रोबोट किनेमैटिक्स, प्रोप्रियोसेप्टिव स्टेट्स और एक्शन हिस्ट्री का उपयोग करके, सिस्टम कैमरा व्यू पर एक कॉन्टैक्ट सेंटर (contact center) और एक मोशन कॉरिडोर (motion corridor) प्रोजेक्ट करता है।
संचालन: यह एक मास्क बनाता है जो इन इंटरेक्शन-क्रिटिकल क्षेत्रों में हाई-फिडेलिटी विजुअल डेटा को सुरक्षित रखता है जबकि कार्य-अप्रासंगिक बैकग्राउंड कंटेंट को दबा (desensitizing) देता है। यह सुनिश्चित करता है कि कंसिस्टेंसी मॉनिटरिंग वर्तमान भौतिक ट्रांजिशन के लिए सबसे प्रासंगिक साक्ष्य पर ध्यान केंद्रित करे।

2. स्पैटियोटेम्पोरल कंसिस्टेंसी मॉनिटरिंग (Spatiotemporal Consistency Monitoring)

एक कंसिस्टेंसी मॉनिटर यह मूल्यांकन करता है कि विजुअल मोशन और ऑब्जर्वेशन की नवीनता (freshness) ज्यामितीय, प्रोप्रियोसेप्टिव और एक्शन ट्रांजिशन के साथ संरेखित है या नहीं।

मेट्रिक्स: यह ऑब्जर्व्ड और प्रोजेक्टेड कॉन्टैक्ट सेंटर्स के बीच की दूरी, इमेज डिस्प्लेसमेंट में दिशात्मक सहमति, टाइमस्टैम्प हेल्थ और लैग एस्टीमेशन के आधार पर रिस्क स्कोर की गणना करता है।
रिस्क स्टेट: सिस्टम इन स्कोर को एक रिस्क स्टेट ( $R_t$ ) में एकत्रित करता है और व्यवधान के प्रकार (जैसे डिले, ड्रिफ्ट, ओवरले) और, महत्वपूर्ण रूप से, रिकवरेबिलिटी स्टेट (recoverability state) का अनुमान लगाने के लिए एक डिटरमिनिस्टिक राउटर का उपयोग करता है। यह रिकवरेबल व्यवधानों (सीमित डिले, लोकलाइज्ड ओवरले) और अनरिकवरेबल अवस्थाओं (निरंतर फ्रोजन रिप्ले) के बीच अंतर करता है।

3. डिस्टर्बेंस-कंडीशन्ड रिकवरी एंड वेरिफिकेशन (Disturbance-Conditioned Recovery and Verification)

रिकवरेबल व्यवधानों के लिए, ActFovea कैंडिडेट ऑब्जर्वेशन का एक बैंक बनाता है और निष्पादन से पहले एक्शन चंक्स को सत्यापित करता है।

स्पेशियल रिकवरी (Spatial Recovery): लोकलाइज्ड ओवरले के लिए, यह ऑप्टिकल फ्लो और ब्लेंडिंग एस्टीमेट का उपयोग करके वर्तमान इमेज को एक क्लीन रेफरेंस के साथ संरेखित करके क्लीन रीजन को पुनर्निर्मित करता है।
टेम्पोरल रिकवरी (Temporal Recovery): विजुअल डिले के लिए, यह अनुमानित लैग के आधार पर ऑब्जर्वेशन को किनेमैटिक रेफरेंस की ओर ट्रांसलेट करता है।
एक्शन वेरिफिकेशन (Action Verification): प्रत्येक कैंडिडेट ऑब्जर्वेशन फ्रोजन पॉलिसी से एक एक्शन चंक को प्रेरित करता है। एक वेरिफायर इन चंक्स को दिशा, परिमाण, स्मूथनेस और ड्रिफ्ट के आधार पर स्कोर करता है। केवल वे चंक्स जो वेरिफिकेशन थ्रेशोल्ड को पार करते हैं, उन्हें ही निष्पादित किया जाता है।
कैंडिडेट एक्सपेंशन (Candidate Expansion): सिस्टम केवल तभी कैंडिडेट के लिए खोज को एडैप्टिवली बढ़ाता है (जैसे, रॉ बनाम रिपेयर्ड ऑब्जर्वेशन की तुलना करना) जब साक्ष्य इसकी पुष्टि करें, जिससे अनावश्यक पॉलिसी कॉल्स से बचा जा सके।

4. रिस्क-एडैप्टिव एक्जीक्यूशन एंड सेफ फेल्योर (Risk-Adaptive Execution and Safe Failure)

यदि सिस्टम यह निर्धारित करता है कि फ्रेश पर्सेप्चुअल ग्राउंडिंग को रिकवर नहीं किया जा सकता है (जैसे, निरंतर फ्रोजन-ऑब्जर्वेशन रिप्ले के दौरान), तो यह रिकवरी से बाउंडेड सेफ फेल्योर (bounded safe failure) की ओर बढ़ जाता है।

तंत्र: असफल रिकवरी का प्रयास करने के बजाय, सिस्टम एक "होल्ड" स्टेट लागू करता है, मोशन को शून्य तक दबा देता है या एक क्लिप्ड रिवर्स एक्शन निष्पादित करता है।
परिणाम: यह सुनिश्चित करता है कि रोबोट स्टेल (stale) या दूषित डेटा पर कार्य करने के बजाय एक सुरक्षित टर्मिनल स्टेट में प्रवेश करे, जिससे अनबाउंडेड विचलन को रोका जा सके।

मुख्य योगदान (Key Contributions)

पेपर तीन प्राथमिक योगदानों का दावा करता है:

इनकंसिस्टेंसी का फॉर्मलाइजेशन: इसने स्पेशियल करेप्शन, टेम्पोरल मिसअलाइनमेंट, एक्शन-ट्रैजेक्टरी ड्रिफ्ट और ऑब्जर्वेशन रिप्ले को विजुअल एविडेंस, प्रोप्रियोसेप्टिव ट्रांजिशन और एक्शन हिस्ट्री में संयुक्त रूप से ग्राउंडेड स्पैटियोटेम्पोरल विजुअल-एक्शन कंसिस्टेंसी के उल्लंघन के रूप में फॉर्म्युलेट किया है।
एकीकृत प्लग-एंड-प्ले फ्रेमवर्क: इसने एक रनटाइम सुरक्षा ढांचा विकसित किया है जो एक्शन-कंडीशंड फोविएशन, डिस्टर्बेंस-कंडीशंड ऑब्जर्वेशन रिकवरी, एक्शन-चंक वेरिफिकेशन और रिकवरेबिलिटी-अवेयर सेफ फेल्योर को जोड़ता है। महत्वपूर्ण रूप से, यह मूल VLA पॉलिसी को फिर से प्रशिक्षित किए या संशोधित किए बिना संचालित होता है।
व्यापक मूल्यांकन: यह $\pi_0$ पॉलिसी का उपयोग करके 40 LIBERO टास्क के माध्यम से नियंत्रित क्लोज्ड-लूप मूल्यांकन प्रदान करता है, जो कई प्रकार के व्यवधानों से रिकवरी, क्लीन-टास्क पर प्रदर्शन का संरक्षण और अनरिकवरेबल स्थितियों के तहत समय पर सेफ फेल्योर को प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने $\pi_0$ पॉलिसी पर चार LIBERO सूट्स (Spatial, Object, Goal, और 10) के साथ 2,000 कुल एपिसोड्स में ActFovea का मूल्यांकन किया।

लोकलाइज्ड विजुअल ओवरलेज़: ActFovea ने सफलता दर को 49.3% (Base VLA) से बढ़ाकर 90.3% कर दिया, जिससे प्रदर्शन के नुकसान का 93.7% रिकवर हुआ।
विजुअल फीडबैक डिले: सफलता में 9.8 प्रतिशत अंक का सुधार हुआ (76.2% से 86.0%)।
एक्शन-चंक ड्रिफ्ट: सफलता में 7.0 प्रतिशत अंक का सुधार हुआ (83.1% से 90.1%)।
फ्रोजन-ऑब्जर्वेशन रिप्ले: सभी ट्रायल्स में, ActFovea ने 0% अनप्रोटेक्टेड फेलियर्स के साथ समय पर सेफ फेल्योर को ट्रिगर किया। इसके विपरीत, बेस पॉलिसी इन एपिसोड्स में कार्यों को पूरा करने में 96.95% विफल रही।
अनडिस्टर्बड परफॉरमेंस: फ्रेमवर्क ने क्लीन टास्क पर प्रदर्शन को बनाए रखा या थोड़ा सुधारा (93.0% Base VLA के मुकाबले 93.8%), जो दर्शाता है कि सुरक्षा उपाय सामान्य संचालन को बाधित नहीं करता है।

एब्लेशन स्टडीज (Ablation Studies) से पता चला कि:

एक्शन वेरिफिकेशन टेम्पोरल और एक्शन-साइड रिकवरी के लिए केंद्रीय तंत्र है; इसे हटाने से ड्रिफ्ट और डिले परिदृश्यों में लाभ काफी कम हो गया।
ऑब्जर्वेशन रिकवरी (रिकवरी बैंक और स्पेशियल रिस्टोरेशन) विजुअल ओवरलेज़ को संभालने के लिए महत्वपूर्ण है; इसे हटाने से ओवरले परिदृश्यों में सफलता में भारी गिरावट आई।
थ्रेट टाइपिंग (रिकवरेबिलिटी का निर्धारण) साक्ष्य को सही ढंग से रूट करने के लिए आवश्यक है; इसके बिना, सिस्टम रिकवरेबल डिले और अनरिकवरेबल रिप्ले के बीच अंतर करने में विफल रहता है।

महत्व और दावे (Significance and Claims)

पेपर ActFovea को VLA पॉलिसियों के लिए एक व्यावहारिक समाधान के रूप में प्रस्तुत करता है। यह तर्क देता है कि स्पैटियोटेम्पोरल विजुअल-एक्शन कंसिस्टेंसी रनटाइम पर बिना रीट्रेनिंग के VLA पॉलिसियों के सुरक्षित और मजबूत परिनियोजन (deployment) को सक्षम बनाती है।

इसका महत्व निम्नलिखित क्षमताओं में निहित है:

रिकवरेबिलिटी को अलग करना: किसी भी विसंगति पर गति को रोकने वाले रूढ़िवादी दृष्टिकोणों के विपरीत, ActFovea यह निर्धारित करता है कि क्या विसंगति की प्रकृति के आधार पर न्यायसंगत रिकवरी संभव है।
एकीकृत रक्षा: यह एक ही लूप के भीतर कई अलग-अलग विफलता मोड (स्पेशियल, टेम्पोरल और एक्शन-साइड) को संबोधित करता है, जिससे प्रत्येक के लिए विशेष डिटेक्टर की आवश्यकता नहीं होती।
सेफ फेल्योर: यह सुनिश्चित करता है कि जब रिकवरी असंभव हो (जैसे, निरंतर रिप्ले), तो सिस्टम एक बाउंडेड सेफ फेल्योर में ट्रांजिशन करे, जिससे रोबोट को हैलुसिनेटेड या स्टेल स्टेट्स पर कार्य करने से रोका जा सके।