Your Vision-Language-Action Model Already Has Attention Heads For Path Deviation Detection

1. Il Problema: Allucinazioni nei Modelli VLA

I modelli Vision-Language-Action (VLA) hanno dimostrato un grande potenziale nella navigazione robotica, permettendo agli agenti di ragionare su istruzioni linguistiche complesse e contesti visivi per generare azioni di navigazione continue. Tuttavia, questi modelli ereditano le croniche allucinazioni tipiche dei Large Language Models (LLM).

• La sfida: Quando un agente accumula storie visive lunghe seguendo istruzioni multi-step, errori nel ragionamento visivo o nell'ancoraggio linguistico possono portare a una deriva della traiettoria, alla selezione di sottobiettivi errati e, infine, a deviazioni catastrofiche dal percorso pianificato.
• Limiti delle soluzioni attuali: I metodi esistenti per rilevare queste deviazioni si basano su:
  • Euristiche post-facto (es. rilevamento di collisioni fisiche o stagnazione della posizione), che intervengono troppo tardi.
  • Moduli critici esterni addestrati specificamente, che richiedono costi computazionali aggiuntivi e fine-tuning.
  • LLM esterni pesanti chiamati via API per il ragionamento, che introducono latenze inaccettabili per il tempo reale.

2. La Scoperta: "Navigation Heads"

Gli autori hanno scoperto che un modello VLA congelato (frozen) contiene già meccanismi interni capaci di rivelare se la navigazione è correttamente ancorata alla realtà.

• Navigation Heads ($H_{nav}$): Analizzando la struttura interna del modello, hanno identificato un piccolo sottoinsieme di testine di attenzione (attention heads) che catturano naturalmente la causalità spaziotemporale tra le sequenze visive storiche e le istruzioni linguistiche.
• Comportamento: Durante una navigazione corretta, queste testine mostrano una progressione strutturata di attenzione che traccia il movimento dell'agente attraverso l'istruzione. Quando l'agente devia, questa struttura si degrada in modo caratteristico.
• Efficienza: Sorprendentemente, monitorando solo 3 testine su oltre 1000 disponibili, è possibile rilevare le deviazioni con un overhead computazionale quasi nullo, senza addestrare nuovi parametri.

3. Metodologia: Framework di Rilevamento e Recupero

Il sistema proposto è un framework gerarchico che integra rilevamento delle anomalie e recupero sicuro, implementato su un robot fisico.

A. Rilevamento delle Anomalie (Training-Free)

1. Selezione delle Testine: Vengono identificate le testine di navigazione ($H_{nav}$) massimizzando due criteri: allineamento spaziotemporale (coerenza tra immagini e testo) e sensibilità alle anomalie cognitive (divergenza nella distribuzione dell'attenzione tra stati normali e anomali).
2. Monitoraggio in Tempo Reale: Il sistema calcola l'entropia media dell'attenzione di queste testine.
   • Viene calcolato un punteggio di entropia relativa ($R_t$) confrontando l'entropia corrente con una media mobile.
   • Un picco improvviso nell'entropia indica una dispersione dell'attenzione, segnalando un'imminente fallimento di navigazione.
3. Logica di Stato: Utilizzando un meccanismo di "pazienza" (P), il sistema conferma lo stato di anomalia solo se il punteggio supera una soglia ($\tau$) per P step consecutivi, riducendo i falsi positivi.

B. Recupero e Controllo a Basso Livello (RL)

Una volta rilevata una deviazione:

1. Bypass del VLA: Il modello VLA pesante viene disattivato immediatamente per evitare di generare ulteriori comandi errati.
2. Attivazione della Policy RL: Viene attivata una politica di Reinforcement Learning (RL) leggera e addestrata specificamente per l'evitamento degli ostacoli.
3. Rollback Sicuro: La policy RL esegue un "rollback" (ritorno) lungo il percorso più breve verso l'ultimo stato verificato come sicuro ($C_{safe}$), utilizzando mappe di costo (costmaps) derivate da LiDAR per evitare collisioni durante il recupero.

C. Implementazione Robotica

• Hardware: Robot AgileX Scout 2.0 con Jetson AGX Orin, LiDAR RS-LiDAR e camera ZED 2i.
• Software: Integrazione in ROS 2.
• Localizzazione: Utilizzo di Fast-LIVO2 (fusione LiDAR-IMU-Visuale) eseguito sulla CPU per preservare la GPU per il modello VLA, garantendo una stima della posizione precisa per il recupero.
• Smoothing: Un filtro cinematico applica limiti di accelerazione per garantire stabilità fisica ai comandi di velocità.

4. Risultati Sperimentali

Rilevamento delle Deviazioni (VLN-CE R2R)

• Performance: Utilizzando solo 3 testine di attenzione, il sistema raggiunge un tasso di rilevamento delle deviazioni (EDR) del 44,6% con un tasso di falsi positivi (FER) basso dell'11,7%.
• Confronto: Supera significativamente le euristiche basate su regole (come il rilevamento di stagnazione o collisioni), che hanno tassi di recupero (recall) molto bassi (<40%) e falliscono nel rilevare deviazioni prima che si verifichino incidenti fisici.
• Generalizzazione: Il metodo funziona bene anche su dataset diversi (RxR) senza ri-addestramento.

Performance della Policy RL

• Evitamento Ostacoli: In ambienti simulati densi (IsaacLab), la policy RL ha raggiunto un tasso di successo (SR) dell'87,3%, superando di quasi 30 punti percentuali i migliori pianificatori locali classici (come APF e TEB) e mantenendo bassi tassi di collisione (10,6%) e timeout.
• Robustezza: La policy gestisce efficacemente ostacoli dinamici e layout complessi dove i metodi reattivi classici falliscono.

Valutazione nel Mondo Reale

• Il sistema è stato testato su un robot fisico in ambienti reali.
• Ha dimostrato la capacità di rilevare allucinazioni del VLA in tempo reale, interrompere l'esecuzione errata e far tornare il robot al punto sicuro tramite il percorso più breve, evitando ostacoli durante il recupero.
• Overhead Computazionale: L'aggiunta del modulo di rilevamento aumenta la latenza di inferenza di soli ~20 ms per passo, rendendo il sistema adatto al tempo reale.

5. Contributi Chiave e Significato

1. Identificazione dei "Navigation Heads": Prima dimostrazione che un modello VLA congelato possiede internamente indicatori interpretabili per la stabilità della navigazione, eliminando la necessità di moduli di monitoraggio esterni addestrati.
2. Framework Training-Free: Un sistema di rilevamento anomalie che non richiede parametri aggiuntivi da addestrare, sfruttando direttamente i pesi di attenzione esistenti.
3. Pipeline di Recupero Ibrida: Integrazione efficace tra un pianificatore ad alto livello (VLA) e un controllore reattivo a basso livello (RL), garantendo sia l'intelligenza semantica che la sicurezza fisica.
4. Validazione Reale: Dimostrazione pratica su un robot fisico che il sistema è robusto, efficiente e pronto per il deployment in ambienti dinamici reali, superando i limiti delle simulazioni.

Conclusione:
Questo lavoro offre una soluzione pratica e efficiente al problema delle allucinazioni nella navigazione robotica basata su VLA. Sfruttando l'intelligenza già presente all'interno del modello, permette di costruire agenti incarnati (embodied agents) auto-monitoranti, capaci di rilevare i propri errori e recuperare autonomamente, un passo fondamentale verso la diffusione affidabile dei robot in ambienti non strutturati.