Technische Samenvatting: VEGA – Leren van Navigatie in Egocentrische Video via Geometrische Trajectsupervisie

Probleemstelling

Vision-Language-Action (VLA) modellen hebben een aanzienlijk potentieel getoond voor robotmanipulatie door gebruik te maken van grootschalige, diverse datasets. Het opschalen van deze modellen naar grondgebonden mobiele robotnavigatie blijft echter een kritieke flessenhals. Bestaande navigatiedatasets zijn schaars en bieden doorgaans slechts één traject per scène richting één impliciet of expliciet doel. Dit gebrek aan dichte supervisie slaagt er niet in om beleid (policies) te leren hoe haalbare trajecten variëren over verschillende doelen, obstakelconfiguraties en startlocaties binnen dezelfde omgeving. Als gevolg hiervan vertonen geleerde policies vaak zwakke doel-gronding (goal grounding), slechte vermijding van obstakels op korte afstand en onveilige gedragingen in rommelige scènes.

Hoewel datasets voor autonoom rijden schaal bieden, richten zij zich op gestructureerde omgevingen en leggen zij de nabije, object-gecentreerde rommel niet vast die typerend is voor algemene mobiele robots. Omgekeerd is het verzamelen van voldoende teleoperated robotdata om de enorme ruimte van omgevingen, doelen en obstakelindelingen te dekken, niet schaalbaar. Hoewel grootschalige egocentrische video's (bijv. wandeltochten, opnames in huishoudens) overvloedig aanwezig zijn en rijke visuele observaties van realistische navigatie bevatten, missen zij de expliciete robotacties, doelconditionering en obstakelbewuste trajecten die vereist zijn voor policy-leren.

Methodologie: VEGA

De auteurs stellen VEGA voor (Vision-language navigation from Egocentric Video with Geometric Action supervision), een framework dat ongelabelde, actieloze egocentrische video's transformeert in een schaalbaar supervisiesignaal voor het trainen van navigatie-VLAs. De kerninnovatie is het gebruik van gereconstrueerde scènegeometrie uitsluitend tijdens de training om obstakelbewuste trajecten te genereren, die vervolgens worden gedestilleerd in een visuele policy die bij inferentie alleen RGB-observaties en doelen vereist.

1. Data Generatie Pipeline

VEGA verwerkt ongelabelde egocentrische video's via de volgende stappen:

• Monoculaire Geometrische Reconstructie: Met behulp van het MoGe-2 fundatiemodel reconstrueert het systeem een dichte metrische 3D-puntenwolk ($P_t$) vanuit elk RGB-frame. Een lokaal grondvlak wordt gefit via RANSAC, en punten worden geroteerd om uit te lijnen met het coördinatenstelsel van de robot.
• Visibility-Aware ESDF Constructie: Het systeem projecteert de genivelleerde puntenwolk op een Bird's-Eye-View (BEV) domein. Het maakt onderscheid tussen bekende vrije ruimte ($X_{free}$), bezette ruimte ($X_{occ}$) en ongeobserveerde ruimte ($X_{unk}$) middels raytracing. Een Euclidean Signed Distance Field (ESDF) wordt berekend, waarbij positieve waarden veilige afstand aangeven en negatieve waarden obstakels of onbekende regio's markeren.
• Multimodale Doelverankering:
  • Objectdoelen: Florence-2 detecteert objecten en genereert bounding boxes. Deze worden op het grondvlak geprojecteerd om ruimtelijke waypoints ($g_{wp}$) te creëren, afgestemd op tekst- en beeldregio-doelen.
  • Vrije Ruimte Doelen: Hulppoints worden gesampled uit geobserveerde vrije ruimte om supervisie te bieden voor willekeurige begaanbare locaties.
• Trajectgeneratie: Een Model Predictive Path Integral (MPPI) planner genereert obstakelbewuste waypoint-trajecten naar deze doelen. De planner optimaliseert voor het bereiken van het doel, het vermijden van botsingen, vrije ruimte, controle-inspanning en vloeiendheid met behruik van de ESDF. Indien een doel onbereikbaar is, wordt het beste gedeeltelijke traject geselecteerd.

2. Modelarchitectuur en Training

VEGA traint een flow-matching VLA om lokale 2D-waypoint chunks te voorspellen.

• Architectuur: Gebaseerd op de $\pi_0.5$ VLA-architectuur, combineert het een vooraf getrainde vision-language backbone met een flow-matching action expert. Het ondersteunt tekst-, beeld- en waypoint-doelen via specifieke encoders.
• Trainingsdoel: Het model leert een vectorveld te voorspellen dat ruis-samples transformeert naar doel-trajecten. In tegen tegenstelling tot methoden die een enkele deterministische output voorspellen, maakt flow matching het mogelijk voor de policy om multimodale actieverdelingen te modelleren, wat het feit vangt dat meerdere verschillende paden haalbaar kunnen zijn voor hetzelfde observatie-doel paar.
• Inferentie: Bij implementatie vereist de policy alleen RGB-observaties en een doelspecificatie. Het heeft geen online dieptesensoren, LiDAR of expliciete geometrische mapping nodig, aangezien het geometrische redeneren tijdens de training in de policy-gewichten is gedestilleerd.

Belangrijkste Bijdragen

1. Geometrie-gesuperviseerde VLA-training: Een paradigma dat obstakelbewust navigatiegedrag destilleert uit in-the-wild, actieloze egocentrische video zonder handmatige actielabels of robotdemonstraties.
2. Grootschalige Multimodale Traject-dataset: Een geconstrueerde dataset met ongeveer 5 miljoen doel-geconditioneerde trajecten, afgestemd met tekst-, beeldregio- en ruimtelijke waypoint-annotaties, vergezeld van gereconstrueerde 3D-puntenwolken en ESDF's.
3. VEGA-Bench: Een nieuwe evaluatiesuite bestaande uit 250k scènes en 5 miljoen multimodale targets, ontworpen om doelprogressie, botsingspercentages en obstakelvrijheid rigoureus te beoordelen.
4. Validatie in de echte wereld: Empirisch bewijs dat de transferabiliteit van de aanpak naar fysieke robots aantoont.

Resultaten en Evaluatie

De auteurs evalueerden VEGA tegen state-of-the-art baselines (OmniVLA, NaVILA en $\pi_0.5$) op VEGA-Bench en in real-world trials.

• VEGA-Bench Prestaties: VEGA behaalde een vergelijkbare doelprogressie als de baselines, maar verminderde botsingen aanzienlijk en verbeterde de obstakelvrijheid. Specifiek verminderde het botsingen met 33,0% en verbeterde het de obstakelvrijheid met 17,9% ten opzichte van de sterkste baseline.
• Real-World Robot Trials: Uitgerust op een quadruped robot in rommelige omgevingen met statische en dynamische obstakels, toonde VEGA substantiële verbeteringen:
  • Succespercentage: Verbeterd met ten minste 150,0%.
  • Botsingsvermijding: Verminderde botsingen met ten minste 66,7%.
  • Obstakelvrijheid: Verbeterd met ten minste 60,0%.
• Doel-Gronding: Kwalitatieve en kwantitatieve analyse toonden aan dat VEGA succesvol conditioneert op specifieke doelen (tekst, beeld of waypoint), waardoor de "mode collapse" wordt vermeden die optreedt bij baselines waar policies vergelijkbare paden genereren ongeacht het doel.

Betekenis en Claims

Het artikel claimt dat video-afgeleide geometrische supervisie een schaalbaar en effectief signaal biedt voor het trainen van obstakelbewuste navigatie-VLAs. Door gebruik te maken van de overvloed aan egocentrische video en geometrie alleen als een docent tijdens de training te gebruiken, overbrugt VEGA de kloof tussen de semantische redeneercapaciteiten van VLAs en de geometrische veiligheidseisen van klassieke planning. Deze aanpak elimineert de noodzaak voor dure, grootschalige robotdataverzameling terwijl het policies mogelijk maakt die generaliseren naar complexe, rommelige real-world omgevingen.

Beperkingen en Toekomstig Werk

De auteurs erkennen twee primaire beperkingen:

1. Geheugenloosheid: De huidige policy is geheugenloos en vertrouwt enkel op de huidige RGB-observatie en het doel. Dit kan kwetsbaar zijn wanneer doelen of obstakels buiten het gezichtsveld van de camera vallen. Toekomstig werk kan temporele aandacht of latente geheugen integreren.
2. Statische Geometrie Aanname: De lokale ESDF-supervisie modelleert de beweging van dynamische obstakels niet expliciet. Hoewel herplanning nieuw waargenomen obstakels afhandelt, voorspelt de planner niet de toekomstige bewegingen van bewegende objecten. Toekomstige iteraties zouden trajectvoorspelling of tijd-geïndexeerde afstandvelden kunnen integreren.