Sintesi Tecnica: Hide-and-Seek nelle Traiettorie

Definizione del Problema

I modelli Vision-Language-Action (VLA) hanno dimostrato un potenziale significativo nel consentire ai robot di seguire istruzioni in linguaggio naturale e di generalizzare attraverso compiti diversificati. Tuttavia, la loro implementazione in ambienti reali è ostacolata dalla suscettibilità ai fallimenti di esecuzione, che possono portare a esiti catastrofici (ad esempio, far cadere oggetti). Rilevare questi fallimenti durante l'esecuzione è critico per la robustezza.

Gli attuali metodi di rilevamento dei fallimenti affrontano due limitazioni primarie:

1. Costo della Supervisione: Ottenere annotazioni a livello di step (identificare l'esatto timestamp di un errore) è costoso e difficile da scalare, in particolare per traiettorie a lungo termine e stocastiche. Gli approcci esistenti che si affidano a etichette a livello di traiettoria spesso propagano queste etichette uniformemente a ogni timestep. Questa "propagazione uniforme" etichetta erroneamente azioni normali che precedono il fallimento come fallimenti, introducendo un sostanziale rumore nelle etichette e oscurando i segnali di fallimento localizzati.
2. Praticità Computazionale: I metodi che si affidano al campionamento delle azioni o a giudici esterni basati su Vision-Language Model (VLM) comportano un overhead di inferenza proibitivo, impedendo l'implementazione in tempo reale. Inoltre, molti rilevatori esistenti sono progettati per policy specialistiche su compiti fissi, limitando la loro applicabilità ai VLA generalisti in contesti open-world.

La sfida centrale affrontata è il Rilevamento dei Fallimenti con Supervisione Grossolana (Coarsely Supervised Failure Detection): apprendere un rilevatore di fallimenti fine-grained, per singolo step, utilizzando solo etichette di esito a livello di traiettoria (successo/fallimento) senza alcuna annotazione a livello di step.

Metodologia: Hide-and-Seek

Gli autori propongono Hide-and-Seek, un framework leggero per il rilevamento dei fallimenti durante l'esecuzione che tratta il problema come un compito di apprendimento a supervisione grossolana. Il metodo prende il nome dalla metafora secondo cui i segnali di fallimento sono "nascosti" (hide) tra un comportamento largamente normale all'interno di una traiettoria, e il rilevatore deve "cercarli" (seek) usando solo l'esito della traiettoria come indizio.

Framework Core

Il framework apprende un rilevatore sequenziale $f_\phi$ che mappa un prefisso di traiettoria $\tau_{\le t}$ (composto da embedding di azione interni) a uno score di fallimento scalare $s_t \in [0, 1]$. Inveve di assegnare uniformemente l'etichetta della traiettoria, il metodo impiega un obiettivo contrastivo a due granularità complementari per localizzare le azioni indicative di fallimento:

1. Perdita Contrastiva Inter-traiettoria ($\mathcal{L}_{inter}$):

   • Obiettivo: Distinguere l'azione più indicativa di fallimento in una traiettoria di fallimento dall'azione che più somiglia a un fallimento (falso positivo più difficile) in una traiettoria di successo.
   • Meccanismo: Per una coppia di traiettorie di fallimento ($\tau_f$) e di successo ($\tau_s$), la perdita impone che il valore massimo di fallimento in $\tau_f$ superi il valore massimo in $\tau_s$ di un margine $m_r$.
   • Effetto: Questo guida il modello a concentrarsi sui segnali di fallimento più salienti senza assumere dove essi avvengano, scoprendo adattivamente lo step critico.

2. Perdita Contrastiva Intra-traiettoria ($\mathcal{L}_{intra}$):

   • Obiettivo: Modellare la dinamica temporale all'interno di una traiettoria di fallimento per separare le fasi pre-fallimento (normali) e post-fallimento.
   • Meccanismo: Il metodo definisce un proxy di inizio del fallimento $t_{onset}$ come il punto di massimo incremento dello score ($\arg\max_t (s_t - s_{t-1})$). La perdita incoraggia lo score medio dopo $t_{onset}$ a superare lo score medio prima di $t_{onset}$ di un margine $m_o$.
   • Effetto: Questo converte la supervisione grossolana a livello di traiettoria in un segnale temporalmente strutturato, assicurando che gli score rimangano bassi durante l'esecuzione normale e aumentino bruscamente all'inizio del fallimento.

L'obiettivo totale è $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$.

Monitoraggio in Runtime

Durante l'inferenza, il rilevatore produce uno score $s_t$ ad ogni timestep. Per determinare un allarme di fallimento, il sistema utilizza la Predizione Conforme Funzionale (Functional Conformal Prediction - CP). Una soglia variabile nel tempo $\zeta_t$ viene costruita da un set di calibrazione tenuto da parte composto da traiettorie di successo. Ciò garantisce che, per qualsiasi nuova esecuzione riuscita, il tasso di falsi allarmi a livello di traiettoria sia limitato da un livello di significatività $\alpha$ specificato dall'utente. Un fallimento viene dichiarato al primo timestep in cui $s_t \ge \zeta_t$.

Architettura

Il rilevatore $f_\phi$ è un modello di sequenza leggero (default: LSTM a singolo strato) che elabora gli embedding delle azioni estratti dal token o dalla testa d'azione del VLA. Per mitigare la ridondanza temporale, gli autori utilizzano l'aggregazione tramite finestra scorrevole non sovrapposta con average pooling.

Contributi Chiave

1. Framework Innovativo: Introduzione di Hide-and-Seek, che colma il divario tra l'apprendimento a supervisione debole e il rilevamento dei fallimenti nell'embodied AI, consentendo la scoperta di azioni indicative di fallimento partendo dalla sola supervisione a livello di traiettoria.
2. Design dell'Obiettivo Contrastivo: Un meccanismo di doppia perdita (inter- e intra-traiettoria) che distingue i segnali di fallimento tra le traiettorie e all'interno di esse, convertendo efficacemente la supervisione grossolana in segnali temporalmente strutturati senza annotazioni a livello di step.
3. Valutazione Esaustiva: Valutazione estesa su benchmark di simulazione (LIBERO-10, VLABench) e su una piattaforma robotica reale (UFactory xArm 6) utilizzando tre politiche VLA rappresentative: OpenVLA (autoregressiva), $\pi_0$, e $\pi_0.5$ (flow-matching).

Risultati Sperimentali

Il metodo è stato valutato contro 12 baseline, inclusi metodi di rilevamento OOD, approcci di multi-campionamento e metodi basati su classificatori (ad es., SAFE).

• Performance: Hide-and-Seek raggiunge le prestazioni state-of-the-art in tutti i parametri (Balanced Accuracy, Weighted Accuracy, Time-weighted Accuracy) sia su compiti visti che non visti.
  • Su LIBERO-10 con OpenVLA, supera la più forte baseline di classificazione (SAFE-MLP) di +6.8% in bACC sui compiti visti e di +7.2% sui compiti non visti.
  • Su VLABench con $\pi_0.5$, supera SAFE-MLP di +8.1% in TWA sui compiti visti e di +10.8% sui compiti non visti.
  • Negli esperimenti nel mondo reale, mantiene prestazioni stabili tra compiti visti e non visti, ottenendo un guadagno di +11.7% in bACC rispetto a SAFE-MLP sui compiti non visti.
• Efficienza: Rispetto a un monitor runtime basato su VLM (Qwen3-VL-8B), Hide-and-Seek è >2.000 volte più veloce (0.001s vs 2.343s per step) ottenendo al contempo un'accuratezza superiore di +13.1%.
• Studi di Ablazione:
  • Etichettatura Uniforme: Il metodo proposto supera significativamente una baseline che assegna uniformemente le etichette di traiettoria a tutti i timestep (+19.4% bACC su OpenVLA), confermando che la propagazione uniforme introduce rumore nelle etichette.
  • Architettura: I backbone ricorrenti (LSTM, GRU) superano MLP e Transformer, suggerendo il beneficio della modellazione del contesto temporale.
  • Componenti della Perdita: Sia $\mathcal{L}_{inter}$ che $\mathcal{L}_{intra}$ sono necessari; $\mathcal{L}_{inter}$ da solo funziona bene, ma la combinazione di entrambi produce miglioramenti costanti.

Significato e Rivendicazioni

L'articolo sostiene che Hide-and-Seek fornisca una soluzione pratica e leggera per il monitoraggio dei fallimenti in tempo reale nell'IA embodied. La sua importanza risiede in:

• Eliminazione dei Costi di Annotazione: Elimina la necessità di costose annotazioni di fallimento a livello di step, affidandosi esclusivamente all'esito a livello di traiettoria che è naturalmente disponibile.
• Generalizzazione: Dimostra una forte generalizzazione a compiti non visti e a diverse architetture VLA (autoregressiva e flow-matching), affrontando una limitazione chiave dei precedenti metodi focalizzati su specialisti.
• Viabilità nel Mondo Reale: Evitando un pesante overhead di inferenza (a differenza del resampling o dei giudici VLM) e ottenendo un favorevole compromesso tra accuratezza e tempestività tramite la predizione conforme, abilita un deployment robusto in sistemi robotici reali.

Gli autori pongono questo lavoro come una nuova connessione tra i paradigmi di apprendimento a supervisione debole e le sfide specifiche della sicurezza degli agenti embodied, offrendo una via scalabile verso un deployment affidabile dei VLA.