💻 computer science

VEGA: Learning Navigation VLAs from In-the-Wild Egocentric Video with Geometric Trajectory Supervision

VEGA introduce un metodo per l'addestramento di modelli di navigazione Vision-Language-Action da video egocentrici non etichettati ricostruendo la geometria locale della scena per generare traiettorie consapevoli degli ostacoli per la supervisione, ottenendo miglioramenti significativi nell'evitamento delle collisioni e nei tassi di successo rispetto ai baseline esistenti.

Autori originali: Gershom Seneviratne, Yohan Abeysinghe, Jianyu An, Vaibhav Shende, Dinesh Manocha

Pubblicato 2026-06-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Gershom Seneviratne, Yohan Abeysinghe, Jianyu An, Vaibhav Shende, Dinesh Manocha

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot come camminare attraverso una stanza affollata senza urtare sedie, persone o tavoli. Di solito, per insegnare questo a un robot, è necessario o:

Registrare un essere umano che cammina attraverso quella stessa stanza mentre il robot osserva, oppure
Programmare manualmente il robot per evitare ostacoli specifici.

Entrambe le opzioni sono lente, costose e difficili da scalare. Non puoi registrare un essere umano che cammina in ogni possibile stanza del mondo.

Entra in scena VEGA.

I ricercatori dietro questo articolo hanno ideato un modo intelligente per insegnare ai robot come navigare utilizzando miliardi di video "in the wild" (ovvero video reali) trovati su internet (come persone che camminano nelle loro case, sentieri escursionistici o strade trafficate). Questi video sono ottimi perché mostrano ambienti reali, disordinati e ingombranti, ma hanno un grosso problema: non dicono al robot dove andare o come evitare i mobili. Sono solo video "privi di azione".

Ecco come VEGA trasforma quei video casuali in un insegnante di navigazione, utilizzando alcuni passaggi creativi:

1. Il trucco della "Mappa Mentale"

Per prima cosa, VEGA osserva un singolo fotogramma di un video e utilizza un'IA speciale per costruire una mappa mentale 3D della stanza. Capisce dove si trova il pavimento, dove ci sono le pareti e dove si trovano gli ostacoli (come un tavolino da caffè o un cane). Crea una "mappa di sicurezza" che sa esattamente quanto spazio è disponibile per camminare.

2. Il gioco del "E se...?"

Una volta costruita la mappa, VEGA gioca al gioco del "E se...?":

E se il robot volesse andare verso quella sedia rossa?
E se volesse andare verso la porta?
E se volesse semplicemente camminare verso un punto vuoto sul tappeto?

Per ogni possibile destinazione, VEGA utilizza un pianificatore matematico per calcolare il percorso perfetto e sicuro per arrivarci senza colpire nulla. Lo fa milioni di volte, creando una vasta libreria di coppie "Obiettivo + Percorso Sicuro".

3. Il robot "Studente"

Ora, VEGA addestra il cervello di un robot (chiamato un modello VLA o Vision-Language-Action). Questo robot studente guarda il video originale e vede il "Percorso Sicuro" che VEGA ha calcolato.

La lezione: "Ecco cosa vedi (il video), ecco dove vuoi andare (l'obiettivo) e ecco il percorso sicuro che dovresti seguire."
Il risultato: Il robot impara a guardare una scena, comprendere un obiettivo (come "vai in cucina" o "vai verso quel quadro") e individuare istantaneamente un percorso sicuro, semplicemente guardando il feed della telecamera. Non ha più bisogno della mappa 3D una volta addestrato; usa solo i suoi occhi e il suo cervello.

Perché è una grande novità?

Pensa a come si impara a guidare.

Il vecchio modo: Impari a guidare solo avendo un istruttore di guida seduto accanto a te in una macchina specifica su una strada specifica, che ti dice esattamente quando svoltare.
Il modo VEGA: Guardi milioni di ore di filmati da dashcam da tutto il mondo. Usi un computer per individuare le "linee di guida perfette" per ogni possibile destinazione in quei video. Poi addestri il tuo cervello a imitare quelle linee perfette.

I Risultati

I ricercatori hanno testato questo metodo su un vero robot in stanze disordinate e ingombre con ostacoli in movimento. Rispetto ad altri navigatori robotici di alto livello:

Successo: Il robot ha raggiunto la sua destinazione molto più spesso (almeno il 150% in più).
Sicurezza: Si è scontrato con le cose il 66% in meno delle volte.
Spazio: Si è lasciato più spazio per manovrare, evitando passaggi stretti il 60% in più.

Hanno anche creato un test gigante chiamato VEGA-Bench (con 250.000 scene e 5 milioni di obiettivi) per dimostrare che il loro metodo funziona meglio della concorrenza nel prevenire collisioni e raggiungere obiettivi specifici.

In breve: VEGA prende il caos della libreria video di internet, lo trasforma in un "manuale di sicurezza" strutturato usando la geometria, e insegna ai robot come navigare nel mondo reale senza aver bisogno di costose sessioni di addestramento registrate manualmente.

Riepilogo Tecnico: VEGA – Apprendimento della Navigazione tramite VLA da Video Egocentrici In-the-Wild con Supervisione di Traiettoria Geometrica

Problema

I modelli Vision-Language-Action (VLA) hanno mostrato un potenziale significativo nella manipolazione robotica sfruttando dataset diversificati su larga scala. Tuttavia, la scalabilità di questi modelli alla navigazione di robot mobili a terra rimane un collo di bottiglia critico. I dataset di navigazione esistenti sono scarsi, fornendo tipicamente una singola traiettoria per scena verso un obiettivo implicito o esplicito. Questa mancanza di supervisione densa non riesce a insegnare alle policy come le traiettorie percorribili varino in base a diversi obiettivi, configurazioni di ostacoli e punti di partenza all'interno dello stesso ambiente. Di conseguenza, le policy apprese mostrano spesso una debole correlazione con l'obiettivo (goal grounding), una scarsa capacità di evitamento degli ostacoli a breve distanza e comportamenti insicuri in scene affollate.

Sebbene i dataset di guida autonoma offrano scala, essi si rivolgono ad ambienti strutturati e non catturano il disordine centrato sugli oggetti a breve distanza tipico dei robot mobili generici. Al contrario, raccogliere dati sufficienti da robot teleoperati per coprire l'immenso spazio di ambienti, obiettivi e layout di ostacoli non è scalabile. Sebbene i video egocentrici su larga scala (ad esempio, tour a piedi, registrazioni domestiche) siano abbondanti e contengano ricche osservazioni visive della navigazione nel mondo reale, essi mancano delle azioni esplicite del robot, del condizionamento all'obiettivo e delle traiettorie consapevoli degli ostacoli necessarie per l'apprendimento della policy.

Metodologia: VEGA

Gli autori propongono VEGA (Vision-language navigation from Egocentric Video with Geometric Action supervision), un framework che trasforma video egocentrici non etichettati e privi di azioni in un segnale di supervisione scalabile per l'addestramento di VLA per la navigazione. L'innovazione principale è l'uso della ricostruzione della geometria della scena esclusivamente durante l'addestramento per generare traiettorie consapevoli degli ostacoli, che vengono poi distillate in una policy basata sulla visione che richiede solo osservazioni RGB e obiettivi durante l'inferenza.

1. Pipeline di Generazione dei Dati

VEGA elabora video egocentrici non etichettati attraverso le seguenti fasi:

Ricostruzione della Geometria Monoculare: Utilizzando il modello di fondazione MoGe-2, il sistema ricostruisce una mappa di punti 3D metrica densa ( $P_t$ ) da ogni fotogramma RGB. Un piano di base locale viene adattato tramite RANSAC, e i punti vengono ruotati per allinearli con il sistema di coordinate del robot.
Costruzione dell'ESDF Consapevole della Visibilità: Il sistema proietta la mappa di punti livellata in un dominio Bird's-Eye-View (BEV). Distingue tra spazio libero noto ( $X_{free}$ ), spazio occupato ( $X_{occ}$ ) e spazio non osservato ( $X_{unk}$ ) tramite raytracing. Viene calcolato un Campo di Distanza Euclidea (ESDF), dove i valori positivi indicano una distanza di sicurezza e i valori negativi indicano ostacoli o regioni sconosciute.
Ancoraggio Multimodale dell'Obiettivo:
- Obiettivi basati su Oggetti: Florence-2 rileva gli oggetti e genera bounding box. Questi vengono proiettati sul piano del suolo per creare waypoint spaziali ( $g_{wp}$ ), allineati con obiettivi testuali e di regione d'immagine.
- Obiettivi in Spazio Libero: Waypoint ausiliari vengono campionati dallo spazio libero osservato per fornire supervisione per posizioni percorribili arbitrarie.
Generazione della Traiettoria: Un pianificatore Model Predictive Path Integral (MPPI) genera traiettorie di waypoint consapevoli degli ostacoli verso questi obiettivi. Il pianificatore ottimizza il raggiungimento dell'obiettivo, l'evitamento delle collisioni, la distanza di sicurezza, lo sforzo di controllo e la fluidità utilizzando l'ESDF. Se un obiettivo è irraggiungibile, viene selezionata la migliore traiettoria parziale.

2. Architettura del Modello e Addestramento

VEGA addestra un VLA di flow-matching per predire chunk di waypoint 2D locali.

Architettura: Basata sull'architettura VLA $\pi_{0.5}$ , combina un backbone vision-language pre-addestrato con un esperto di azione a flow-matching. Supporta obiettivi testuali, d'immagine e di waypoint tramite encoder specifici.
Obiettivo di Addestramento: Il modello impara a predire un campo vettoriale che trasforma campioni di rumore in traiettorie target. A differenza dei metodi che predicono un singolo output deterministico, il flow matching permette alla policy di modellare distribuzioni di azione multimodali, catturando il fatto che più percorsi distinti possono essere fattibili per la stessa coppia osservazione-obiettivo.
Inferenza: Al momento del deployment, la policy richiede solo osservazioni RGB e una specifica dell'obiettivo. Non necessita di sensori di profondità online, LiDAR o mappatura geometrica esplicita, poiché il ragionamento geometrico è stato distillato nei pesi della policy durante l'addestramento.

Contributi Chiave

Addestramento VLA con Supervisione Geometrica: Un paradigma che distilla il comportamento di navigazione consapevole degli ostacoli da video egocentrici in-the-wild, privi di azioni e senza necessità di etichette di azione manuali o dimostrazioni robotiche.
Dataset di Traiettorie Multimodali su Larga Scala: Un dataset costruito contenente circa 5 milioni di traiettorie condizionate dall'obiettivo allineate con annotazioni testuali, di regione d'immagine e di waypoint spaziali, accompagnate da nuvole di punti 3D ricostruite ed ESDF.
VEGA-Bench: Una nuova suite di valutazione composta da 250k scene e 5 milioni di target multimodali, progettata per valutare rigorosamente il progresso verso l'obiettivo, i tassi di collisione e la distanza dagli ostacoli.
Validazione nel Mondo Reale: Evidenza empirica che dimostra la trasferibilità dell'approccio a robot fisici.

Risultati e Valutazione

Gli autori hanno valutato VEGA rispetto ai migliori baselines (OmniVLA, NaVILA e $\pi_{0.5}$ ) su VEGA-Bench e in prove nel mondo reale.

Performance su VEGA-Bench: VEGA ha ottenuto un progresso verso l'obiettivo comparabile ai baseline, ma ha ridotto significativamente i tassi di collisione e migliorato la distanza dagli ostacoli. Nello specifico, ha ridotto le collisioni del 33,0% e migliorato la distanza dagli ostacoli del 17,9% rispetto al baseline più forte.
Prove su Robot nel Mondo Reale: Implementato su un robot quadrupede in ambienti affollati con ostacoli statici e dinamici, VEGA ha dimostrato miglioramenti sostanziali:
- Tasso di Successo: Migliorato di almeno il 150,0%.
- Evitamento delle Collisioni: Riduzione delle collisioni di almeno il 66,7%.
- Distanza dagli Ostacoli: Migliorata di almeno il 60,0%.
Grounding dell'Obiettivo: L'analisi qualitativa e quantitativa ha mostrato che VEGA si condiziona con successo su obiettivi specifici (testo, immagine o waypoint), evitando il "collasso del modo" (mode collapse) osservato nei baseline, dove le policy generano percorsi simili indipendentemente dall'obiettivo.

Significato e Rivendicazioni

Il paper afferma che la supervisione geometrica derivata dal video fornisce un segnale scalabile ed efficace per l'addestramento di VLA per la navigazione consapevole degli ostacoli. Sfruttando l'abbondanza di video egocentrici e utilizzando la geometria solo come insegnante durante l'addestramento, VEGA colma il divario tra le capacità di ragionamento semantico dei VLA e i requisiti di sicurezza geometrica della pianificazione classica. Questo approccio elimina la necessità di costosa raccolta di dati robotici su larga scala, consentendo al contempo policy che generalizzano a complessi e affollati ambienti del mondo reale.

Limitazioni e Lavoro Futuro

Gli autori riconoscono due limitazioni primarie:

Assenza di Memoria (Memorylessness): L'attuale policy è priva di memoria, affidandosi solo all'osservazione RGB corrente e all'obiettivo. Questo può risultare fragile quando l'obiettivo o gli ostacoli escono dal campo visivo della telecamera. Il lavoro futuro potrebbe incorporare l'attenzione temporale o la memoria latente.
Assunzione di Geometria Statica: La supervisione ESDF locale non modella esplicitamente il movimento degli ostacoli dinamici. Sebbene la ri-pianificazione gestisca i nuovi ostacoli osservati, il pianificatore non predice il moto futuro degli oggetti in movimento. Le iterazioni future potrebbero integrare la predizione della traiettoria o campi di distanza indicizzati nel tempo.