VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions

Titolo: VLN-NF: Navigazione Visione-Linguaggio Consapevole della Fattibilità con Istruzioni a Premessa Falsa

1. Il Problema

La Navigazione Visione-Linguaggio (VLN) è un compito robotico fondamentale in cui un agente deve muoversi in un ambiente 3D parzialmente osservabile seguendo istruzioni in linguaggio naturale.

• Limitazione attuale: I benchmark VLN convenzionali (come R2R, RxR, REVERIE) assumono implicitamente che ogni istruzione sia fattibile e che l'oggetto target esista effettivamente nella posizione descritta.
• Realtà operativa: Nel mondo reale, gli utenti possono commettere errori (es. "prendi il piatto sul tavolo in cucina" quando il piatto è in salotto). Queste istruzioni sono semanticamente corrette ma fattualmente errate (false premesse).
• Conseguenze: Gli agenti attuali tendono a "allucinare" la presenza dell'oggetto o a cercare indefinitamente, poiché non sono addestrati a riconoscere l'assenza di un target e a dichiarare esplicitamente "NOT-FOUND" (Non Trovato) dopo aver raccolto prove sufficienti.
• Sfida tecnica: In un ambiente 3D parzialmente osservabile, l'assenza di un oggetto non può essere confermata da una singola vista; richiede un'esplorazione attiva e una verifica basata sull'evidenza.

2. Metodologia e Proposte

Il paper introduce tre pilastri principali: un nuovo dataset, una nuova metrica di valutazione e un nuovo framework architetturale.

A. Il Dataset: VLN-NF (Vision-and-Language Navigation - Not Found)

• Costruzione: VLN-NF è costruito partendo dal dataset REVERIE. Viene utilizzata una pipeline scalabile per trasformare istruzione fattibili in istruzione a premessa falsa:
  1. Rewriter (LLM): Un Large Language Model riscrive l'istruzione sostituendo l'oggetto target originale con un oggetto plausibile ma assente dalla stanza specifica (es. sostituire "tazza" con "piatto").
  2. Verifier (VLM): Un Vision-Language Model verifica che l'oggetto sostituito non sia effettivamente presente in nessuna vista della stanza target.
  3. Qualità: La pipeline produce istruzioni linguisticamente naturali ma fattualmente errate, con un tasso di errore umano inferiore al 2%.
• Struttura: Ogni episodio include una coppia: un'istruzione originale fattibile (FOUND) e una versione riscritta non fattibile (NF), condividendo lo stesso contesto di navigazione (stesso scan, punto di partenza e stanza target).

B. Metrica di Valutazione: REV-SPL

Le metriche VLN standard (come SPL) falliscono in questo contesto perché premiano l'efficienza del percorso più breve, incoraggiando comportamenti degeneri come fermarsi prematuramente o dichiarare "Non Trovato" senza esplorare.

• Proposta: Viene introdotto REV-SPL (Reach–Explore–Verify SPL).
• Componenti:
  1. Raggiungimento (Reach): L'agente deve arrivare nella stanza target.
  2. Esplorazione (Explore): Viene definita una "protocollo di esplorazione di riferimento" (basato su TSP o esplorazione greedy) per calcolare la copertura degli oggetti nella stanza.
  3. Verifica (Verify): L'agente deve prendere la decisione corretta (FOUND o NOT-FOUND).
• Funzionamento: La metrica penalizza l'interruzione prematura e ricompensa la copertura della stanza e la correttezza della decisione finale, bilanciando efficienza e completezza dell'esplorazione.

C. Il Framework: ROAM (Room-Object Aware Movement)

Per affrontare la sfida, gli autori propongono un framework ibrido a due stadi:

1. Room-Level Navigator (Navigatore a Livello di Stanza):
   • Utilizza un modello supervisionato (basato su DUET) addestrato solo con etichette di stanza (senza bisogno di annotazioni di traiettoria di esplorazione interna).
   • Obiettivo: Guidare l'agente in modo robusto fino all'ingresso della stanza target.
2. In-room Explorer (Esploratore Interno alla Stanza):
   • Una volta nella stanza, un agente basato su LLM/VLM (es. GPT-3.5/4o o NavGPT) gestisce l'esplorazione.
   • Ruolo: Raccolta di prove, verifica della presenza dell'oggetto e decisione finale.
3. Componente FREE (Free-space Raycasting Estimation Engine):
   • Per compensare la scarsa intuizione geometrica degli LLM, viene introdotto un modulo che stima la "distanza di spazio libero" (clearance) in ogni direzione tramite raycasting su mappe di profondità.
   • Questo segnale geometrico guida l'esplorazione verso aree più grandi e inesplorate, migliorando la copertura.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti sulla split val_unseen di VLN-NF.

• Performance di ROAM: ROAM ottiene il punteggio migliore con 6.1 REV-SPL.
• Confronto con Baseline:
  • Supervisionato (DUET): 4.2 REV-SPL. Sebbene arrivi bene nella stanza, spesso non esplora a sufficienza per confermare l'assenza.
  • LLM-based (NavGPT, MapGPT, SoM): Punteggi molto bassi (1.0 - 3.2 REV-SPL). Gli agenti puramente basati su LLM faticano a raggiungere la stanza corretta (basso Reach SR) o si perdono nell'esplorazione.
• Miglioramento: ROAM supera la baseline supervisionata del 45%, dimostrando che l'approccio ibrido (navigazione supervisionata + esplorazione guidata da LLM con segnali geometrici) è la soluzione ottimale.
• Ablation Study: L'aggiunta del modulo FREE aumenta la copertura degli oggetti e il punteggio REV-SPL, confermando l'importanza dei segnali geometrici per guidare l'esplorazione.

4. Contributi Chiave

1. Task e Dataset: Introduzione di VLN-NF, il primo benchmark che valuta la capacità degli agenti di gestire istruzioni a premessa falsa richiedendo un'esplorazione basata su prove e un output esplicito "NOT-FOUND".
2. Valutazione: Proposta di REV-SPL, una metrica che scoraggia l'abbandono prematuro e valuta la qualità della decisione e l'efficienza dell'esplorazione.
3. Metodo: Sviluppo di ROAM, un framework ibrido che combina navigazione supervisionata a livello di stanza con esplorazione guidata da LLM/VLM, potenziata da un motore di stima dello spazio libero (FREE).
4. Risultati: Dimostrazione empirica che gli agenti VLN esistenti falliscono in scenari di istruzioni inaffidabili, mentre l'approccio proposto risolve efficacemente il problema.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso la robustezza operativa dei robot domestici e degli agenti embodied.

• Realismo: Sposta il focus da scenari ideali (ogni comando è corretto) a scenari realistici dove gli errori umani sono comuni.
• Sicurezza: Insegna agli agenti a dire "non so" o "non trovato" in modo giustificato, evitando azioni inutili o allucinazioni.
• Futuro: Apre la strada a strategie di recupero (es. chiedere chiarimenti all'utente) e a una maggiore affidabilità nei sistemi di navigazione autonomi in ambienti complessi.

In sintesi, il paper dimostra che per navigare in modo intelligente in un mondo imperfetto, un agente non deve solo seguire le istruzioni, ma deve anche verificare la fattibilità delle stesse attraverso l'esplorazione attiva e il ragionamento critico.