I-FailSense: Towards General Robotic Failure Detection with Vision-Language Models

1. Il Problema: Rilevamento dei Fallimenti Robotici e Disallineamento Semantico

Il lavoro affronta una sfida critica nella robotica operativa in ambienti aperti: la capacità di un robot di rilevare autonomamente i propri fallimenti senza supervisione esterna. Sebbene i recenti modelli Vision-Language (VLM) abbiano migliorato notevolmente la pianificazione delle attività e il ragionamento spaziale, rimangono limitati nel riconoscere i propri errori.

Il paper identifica una categoria di fallimenti spesso trascurata ma fondamentale: gli errori di disallineamento semantico (Semantic Misalignment Errors).

• Errori di Controllo: Sono errori "bassi" dove il robot fallisce fisicamente (es. non riesce ad afferrare un oggetto, lo lascia cadere). Questi sono relativamente facili da rilevare visivamente.
• Errori di Disallineamento Semantico: Il robot esegue un'azione semanticamente significativa e fisicamente corretta, ma incoerente con l'istruzione linguistica. Ad esempio, l'istruzione è "solleva il blocco blu", ma il robot solleva il blocco rosso.
  • Sfida: Rilevare questi errori richiede un allineamento profondo tra l'istruzione testuale, la dimensione spaziale dell'interazione e la dimensione temporale del movimento del robot, un compito in cui i VLM generici faticano.

2. Metodologia: Il Framework I-FailSense

Gli autori propongono I-FailSense, un framework open-source basato su VLM progettato specificamente per il rilevamento dei fallimenti. L'approccio si articola in due fasi principali e include la creazione di dataset dedicati.

A. Costruzione dei Dataset (DSMF)

Per addestrare il modello su errori di disallineamento semantico, gli autori hanno creato i dataset DSMF (Semantic Misalignment Failures) partendo da benchmark esistenti (come CALVIN e DROID):

• Esempi Positivi: Traiettorie di esperti abbinate alla loro istruzione originale corretta.
• Esempi Negativi: Le stesse traiettorie di esperti vengono abbinate a istruzioni diverse ma appartenenti alla stessa categoria di compito (es. "solleva il blocco rosso" invece di "solleva il blocco blu"). Questo crea scenari in cui il comportamento è logico ma semanticamente errato rispetto all'input.

B. Architettura e Addestramento (Pipeline in Due Stadi)

I-FailSense si basa su un VLM di base (PaliGemma2-mix-3B) e utilizza una strategia di post-addestramento efficiente:

1. Fase 1: Fine-Tuning Efficiente (LoRA):

   • Il VLM di base viene adattato al compito di rilevamento dei fallimenti utilizzando LoRA (Low-Rank Adaptation) sui moduli linguistici e ri-addestrando lo strato di proiezione MLP.
   • La maggior parte dei pesi del modello pre-addestrato rimane congelata per preservare le conoscenze generali.
   • L'input è una traiettoria di osservazione (aggregata in un'unica immagine multi-frame) e un obiettivo semantico (testo).

2. Fase 2: Arbitrato Grounded (FS Blocks):

   • Vengono aggiunte delle Teste di Classificazione Leggere chiamate FS Blocks (FailSense blocks) attaccate a diversi livelli interni del modello linguistico del VLM.
   • Ogni blocco FS analizza le rappresentazioni interne a un certo livello di astrazione del ragionamento.
   • Meccanismo di Voto: Le previsioni di tutti i blocchi FS e l'output finale del VLM vengono aggregati tramite un meccanismo di voto ponderato (ensemble). Questo permette di combinare diverse sfumature di ragionamento per una decisione finale più robusta.

3. Contributi Chiave

1. Dataset per Disallineamento Semantico: Creazione di dataset specifici (DSMF-CALVIN, DSMF-DROID) che sfidano i modelli a distinguere tra azioni fisicamente corrette ma semanticamente errate.
2. I-FailSense: Un'architettura innovativa che separa la capacità generativa/espositiva del VLM di base da un modulo di classificazione discriminativo addestrato su rappresentazioni interne multiple.
3. Generalizzazione Zero-Shot e Few-Shot: Dimostrazione che l'addestramento su errori semantici permette di rilevare anche errori di controllo e di trasferire le capacità in nuovi ambienti di simulazione e nel mondo reale con minimo adattamento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset simulati (CALVIN, RLBench/AHA) e reali (DROID).

• Rilevamento di Disallineamento Semantico (In-Distribution):

  • I-FailSense raggiunge un'accuratezza del 90,6% su DSMF-CALVIN, superando significativamente i VLM zero-shot (es. GPT-4o ~57%, Qwen2.5-VL ~69%).
  • Migliora notevolmente il Precision-Recall gap rispetto ai modelli zero-shot, riducendo i falsi positivi.

• Generalizzazione agli Errori di Controllo (Out-of-Distribution):

  • Addestrato solo su errori semantici, I-FailSense ottiene un 89% di accuratezza sul dataset AHA (che contiene prevalentemente errori di controllo), superando di 19 punti percentuali i modelli AHA addestrati direttamente su quel dataset.
  • Motivazione: Imparare ad allineare istruzioni e traiettorie per errori semantici fornisce segnali forti anche per rilevare errori di controllo (dove l'azione manca o è sbagliata).

• Trasferimento Sim-to-Real (Mondo Reale):

  • Sui dati reali (DSMF-DROID), il trasferimento diretto da simulazione mostra un calo di recall.
  • Tuttavia, un fine-tuning minimo dei soli blocchi FS su dati reali (o una combinazione di dati simulati e reali) porta a un'accuratezza del 74%, superando i modelli zero-shot più grandi (come Qwen2.5-VL-7B) pur avendo metà dei parametri.
  • Nel mondo reale, l'uso di due punti di vista (egocentrico ed exocentrico) migliora le prestazioni rispetto a un singolo punto di vista, a causa della maggiore complessità e dei distrattori.

5. Significato e Impatto

Il lavoro di I-FailSense rappresenta un passo avanti significativo verso agenti robotici autonomi e robusti:

• Superamento dei Limiti dei VLM: Dimostra che i VLM generici non sono sufficienti per il rilevamento critico dei fallimenti senza un adattamento specifico e un'architettura dedicata.
• Efficienza: L'approccio basato su LoRA e blocchi di classificazione leggeri permette di ottenere prestazioni superiori a modelli molto più grandi, rendendo la soluzione scalabile.
• Versatilità: La capacità di generalizzare da errori semantici a errori di controllo e da simulazione a realtà fisica suggerisce che il rilevamento del fallimento può essere appreso come una competenza fondamentale trasferibile, riducendo la necessità di raccogliere enormi quantità di dati di fallimento specifici per ogni scenario.

In sintesi, I-FailSense fornisce un metodo efficace per dotare i robot della capacità di "auto-valutazione", un prerequisito essenziale per l'apprendimento continuo e l'adattamento in ambienti reali non strutturati.