VLD: Visual Language Goal Distance for Reinforcement Learning Navigation

1. Il Problema

L'addestramento di politiche di navigazione end-to-end per sistemi robotici, partendo direttamente da dati visivi per prevedere azioni, si è rivelato intrinsecamente difficile. Le sfide principali includono:

• Divario Sim-to-Real: Le politiche addestrate in simulazione spesso falliscono quando trasferite nel mondo reale a causa delle differenze nelle rappresentazioni visive e fisiche.
• Scarsità di dati annotati: Gli approcci basati sull'apprendimento per imitazione richiedono grandi quantità di dati etichettati (traiettorie con azioni specifiche), che sono costosi e difficili da raccogliere su larga scala.
• Limitazioni dei dati esistenti: I dataset esistenti spesso soffrono di bias (es. movimento prevalentemente in avanti) e non sfruttano segnali specifici dell'effettore (propriocezione) o obiettivi multimodali (testo).

2. Metodologia: Il Framework VLD

Gli autori propongono un framework scalabile che disaccoppia l'apprendimento della percezione dall'apprendimento della politica di controllo. L'approccio si articola in due fasi principali:

A. Apprendimento del Predittore di Distanza (VLD)

Invece di addestrare la politica direttamente sugli input sensoriali grezzi, viene prima addestrato un predittore di distanza "self-supervised" su dati video su larga scala (internet-scale).

• Obiettivo: Prevedere il numero di passi temporali necessari per raggiungere un obiettivo, dato l'osservazione corrente e un obiettivo (immagine o testo).
• Architettura:
  • Utilizza encoder pre-addestrati e congelati: DINOv2 per le immagini e CLIP per il testo.
  • Un decoder Transformer calcola la distanza tra l'osservazione corrente e l'obiettivo.
  • Output: Una stima della distanza temporale ($\hat{t}$) e un punteggio di confidenza ($\hat{c}$).
• Funzione di Perdita: Viene utilizzata una perdita basata su una miscela Gaussiana di inlier-outlier (Negative Log-Likelihood). Questo permette al modello di gestire l'ambiguità intrinseca della distanza temporale (es. la distanza da una camera da letto a una cucina varia in base all'appartamento) assegnando bassa confidenza a casi ambigui e alta confidenza a casi chiari.
• Dati: Addestrato su 3.000 ore di dati provenienti da simulazioni (Habitat), video "in-the-wild" (YouTube) e dataset di robot reali.

B. Addestramento della Politica RL

La politica di navigazione (basata su Reinforcement Learning) viene addestrata in simulazione, ma non utilizza direttamente le immagini come input per la decisione finale.

• Input della Politica: Riceve segnali geometrici privilegiati (distanza reale dall'obiettivo) durante l'addestramento, ma con rumore iniettato.
• Funzione di Rumore (GeoNoise): Poiché il predittore VLD reale è rumoroso e ambiguo, viene addestrato un piccolo MLP per simulare la distribuzione dell'errore del predittore VLD basandosi su caratteristiche di sovrapposizione geometrica (Projection Success Ratio) e pose relative. Questo prepara la politica a gestire l'incertezza che incontrerà durante il deployment.
• Deployment: Al momento dell'uso, il segnale geometrico privilegiato viene sostituito dalle previsioni del modello VLD (immagine o testo). La politica impara a navigare basandosi su questo segnale scalare di "distanza verso l'obiettivo".

3. Contributi Chiave

1. Framework Scalabile VLD: Un metodo per addestrare predittori di distanza visione-linguaggio su dati reali su larga scala, superando approcci precedenti come ViNT e VIP.
2. Valutazione tramite Coerenza Ordinale: Introduzione di una nuova metodologia di valutazione basata sul coefficiente di correlazione di rango di Kendall ($\tau$). Invece di valutare solo il successo della politica finale, si misura se il predittore di distanza ordina correttamente le coppie di osservazioni (cioè se la distanza stimata diminuisce man mano che ci si avvicina all'obiettivo), indipendentemente dal valore assoluto.
3. Disaccoppiamento Percezione-Controllo: Un'architettura che combina la robustezza del controllo RL (addestrato in simulazione su segnali geometrici) con la comprensione semantica scalabile appresa dai dati internet, facilitando un trasferimento sim-to-real efficace.

4. Risultati Sperimentali

Valutazione della Funzione di Distanza

• Coerenza Ordinale: VLD supera significativamente i baseline (ViNT, VIP) nella capacità di ordinare correttamente le distanze temporali, ottenendo un $\tau$ di 0.82 su Habitat (vs 0.67 di ViNT-Tuned).
• Robustezza: Il modello mantiene prestazioni solide anche quando l'obiettivo non è visibile (mancanza di sovrapposizione visiva), dimostrando una capacità di generalizzazione a lungo raggio.
• Multimodalità: Il modello supporta obiettivi sia visivi che testuali. Sebbene le prestazioni con solo testo siano inferiori rispetto alle immagini (a causa della minore precisione del linguaggio naturale), rimangono superiori ai baseline e superiori al caso casuale.

Navigazione e Trasferimento Sim-to-Real

• Simulazione (Gibson): Sostituendo il segnale privilegiato con le previsioni VLD, la politica mantiene un tasso di successo del 73.1% (rispetto al 95.8% con dati perfetti), dimostrando una forte resilienza al rumore.
• Realtà (TurtleBot4): Il trasferimento su un robot fisico è il risultato più significativo.
  • La politica guidata da VLD ha raggiunto un tasso di successo del 93.3% nel mondo reale.
  • Al contrario, un approccio basato su immagini diretto (FGPrompt-EF), che ottiene il 92.3% in simulazione, crolla al 60.0% nel mondo reale.
  • Questo dimostra che l'approccio disaccoppiato è molto più robusto alle variazioni di dominio visivo tra simulazione e realtà.

5. Significato e Implicazioni

Il lavoro di VLD rappresenta un passo importante verso la creazione di politiche di navigazione robuste e scalabili.

• Superamento del collo di bottiglia dell'annotazione: Dimostra che è possibile apprendere rappresentazioni spaziali utili senza etichette di azione, sfruttando la struttura temporale dei video.
• Ponte Sim-to-Real: Il disaccoppiamento tra la percezione (appresa su dati reali) e il controllo (addestrato su segnali geometrici simulati con rumore realistico) risolve efficacemente il problema del divario visivo, permettendo a politiche addestrate in simulazione di funzionare bene su robot fisici.
• Multimodalità: Abilita la navigazione basata su comandi linguistici naturali, rendendo i robot più accessibili e versatili in ambienti non strutturati.

In sintesi, VLD offre una via alternativa e scalabile per la navigazione robotica, trasformando la previsione della distanza in un segnale di controllo robusto che integra la comprensione semantica su larga scala con il controllo motorio preciso.