💻 computer science

VLD: Visual Language Goal Distance for Reinforcement Learning Navigation

Deze paper introduceert VLD, een schaalbaar raamwerk dat waarneming en beleidsleer ontkoppelt door een zelftoezichtend afstandspredictor te trainen op internetvideo's, waardoor een in simulatie getraind RL-beleid robuuste, multimodale navigatie met sterke sim-naar-real-overdracht kan uitvoeren.

Oorspronkelijke auteurs: Lazar Milikic, Manthan Patel, Jonas Frey

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lazar Milikic, Manthan Patel, Jonas Frey

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Een Slimme Navigatie-App voor Robots

Stel je voor dat je een robot wilt leren door een huis te lopen zonder dat je hem elke stap voorstapt. Dit is heel moeilijk. Als je de robot alleen foto's laat zien, raakt hij vaak in de war (de "sim-to-real" kloof: wat hij in de computer ziet, werkt niet in het echte leven). Als je hem duizenden uren aan instructies geeft ("ga links, ga rechts"), duurt het te lang en kost het te veel geld.

De auteurs van dit paper hebben een slimme oplossing bedacht die ze VLD noemen. Ze splitsen het probleem op in twee delen, net als het scheiden van kijken en lopen.

1. De "Kijker": De Slimme GPS (VLD)

Stel je voor dat je een super-intelligente vriend hebt die je nooit hebt gezien, maar die duizenden uren aan video's van mensen heeft gekeken die door de hele wereld lopen. Deze vriend heeft een heel goed gevoel voor afstand.

Hoe werkt het? Je geeft je robot een doel: een foto van een specifieke stoel of een tekst zoals "ga naar de keuken".
De VLD-functie: In plaats van de robot te vertellen hoe hij moet lopen, vraagt deze "vriend" (het VLD-model) alleen: "Hoe ver ben je nog van die stoel verwijderd?"
Het Geniale: Deze vriend is getraind op internet-video's. Hij weet dus hoe de wereld eruitziet, van zolder tot kelder, en hij begrijpt zowel foto's als taal. Hij geeft je geen gedetailleerde route, maar één simpel getal: een afstand.
- Analogie: Het is alsof je een kompas hebt dat niet naar het noorden wijst, maar naar je doel. Als je dichter bij de keuken bent, wijst het getal naar 5. Als je in de tuin bent, wijst het naar 100. Het is een "afstands-meter".

2. De "Loper": De Robot die Oefent (RL)

Nu hebben we de robot die moet lopen. In plaats van hem te laten kijken naar de wereld (wat lastig is omdat de computerwereld anders is dan de echte wereld), laten we hem oefenen in een virtuele wereld (een simulator).

De Oefening: De robot krijgt in de simulator geen foto's van de muur, maar alleen het getal van de "afstands-meter" (de VLD).
De Truc: De auteurs weten dat de "afstands-meter" niet perfect is. Soms is hij een beetje onzeker. Daarom laten ze de robot oefenen met een ruisend getal. Het is alsof je de robot laat lopen met een bril die soms wazig is, zodat hij leert om niet te panikeren als de informatie niet 100% scherp is.
Het Resultaat: De robot leert een heel robuuste manier van lopen. Hij leert: "Als het getal lager wordt, ga ik goed. Als het hoger wordt, draai ik om." Hij hoeft niet te begrijpen wat hij ziet, hij hoeft alleen maar te begrijpen of hij dichter bij of verder weg is.

3. De Grote Overwinning: Van Computer naar Echte Wereld

Dit is waar het magisch wordt. Omdat de robot in de simulator heeft geoefend op het getal (de afstand) en niet op de specifieke foto's van de muur, maakt het niet uit of hij in de computer of in een echt huis loopt.

De Test: Ze zetten de robot op een echte robot (een TurtleBot) in een echt huis.
Het Gebeurde: De robot kijkt naar de "afstands-meter" (die nu berekend wordt door de slimme VLD-vriend op basis van de echte camera-beelden). De robot ziet: "Oh, het getal daalt!" en loopt door.
Vergelijking: Andere robots die direct naar foto's kijken, raken in de war omdat het licht in de echte kamer anders is dan in de computer. Onze robot maakt zich er niets van aan; hij kijkt alleen naar het getal. Hij loopt zelfs beter in de echte wereld dan de beste andere robots die we kennen!

Samenvatting in één zin

De auteurs hebben een robot leren lopen door hem te laten oefenen met een "afstands-kompas" dat getraind is op internet-video's, waardoor de robot niet meer afhankelijk is van perfecte foto's en moeiteloos kan overstappen van de computer naar de echte wereld.

De creatieve metafoor:
Het is alsof je iemand leert zwemmen in een zwembad met een leraar die alleen roept: "Je bent 2 meter van de rand!" in plaats van te zeggen: "Beweeg je armen zo en je benen zo." Als die persoon dan in een onbekend meer terechtkomt, weet hij nog steeds precies wat hij moet doen: zwemmen tot het getal "0" is, ongeacht hoe het water eruitziet.

Probleemstelling

Het trainen van end-to-end beleidsstrategieën (policies) voor robotnavigatie, die direct navigatieacties voorspellen op basis van ruwe beeldinvoer, is fundamenteel moeilijk. Bestaande benaderingen kampen met twee hoofdproblemen:

Sim-to-Real Gap: Beleidsstrategieën getraind in simulatie presteren vaak slecht in de echte wereld vanwege verschillen in visuele verschijning en fysieke interacties.
Data-tekort: Methoden die vertrouwen op imitatielearning (nabootsen van experts) vereisen duur gelabelde actiedata (bijv. waypoints), wat schaars is en niet schaalbaar naar grote, diverse datasets.

Bestaande grote modellen (zoals ViNT of VIP) proberen dit op te lossen door te trainen op internetdata, maar vaak worden perceptie en besturing te sterk gekoppeld, wat de generalisatie en robuustheid beperkt.

Methodologie: VLD Framework

De auteurs stellen een nieuw kader voor genaamd Vision-Language Distance (VLD). De kern van deze aanpak is het ontkoppelen van perceptieleren (waar naartoe gaan) van beleidsleren (hoe te navigeren). Het framework bestaat uit twee fasen:

1. Training van de VLD-predictor (Perceptie)

In plaats van een beleidsstrategie te trainen, trainen ze eerst een zelftoezicht (self-supervised) model dat de temporale afstand schat tussen de huidige observatie en een doel.

Data: Het model wordt getraind op een schaal van 3.000 uur aan data, bestaande uit synthetische trajecten (Habitat), "in-the-wild" internetvideo's (YouTube, Ego4D) en datasets van echte robots.
Multimodaliteit: Het model accepteert zowel beelddoelen (een referentieafbeelding) als tekstdoelen (natuurlijke taalbeschrijvingen). Dit wordt bereikt door het gebruik van ingevroren encoders: DINOv2 voor beelden en CLIP voor tekst.
Architectuur: Een Transformer-decoder neemt de huidige observatie en de doel-embeddings (beeld/tekst) als input en voorspelt het aantal tijdstappen nodig om het doel te bereiken.
Verliesfunctie: Ze gebruiken een Inlier-Outlier Gaussian Mixture NLL. Dit stelt het model in staat om niet alleen een afstand te voorspellen, maar ook een vertrouwensscore (confidence) te genereren. Dit is cruciaal omdat de afstandsschatting inherent onzeker is (bijv. als het doel niet zichtbaar is).
Evaluatiemethode: In plaats van absolute nauwkeurigheid te eisen (wat vaak onmogelijk is zonder 3D-kaart), evalueren ze op ordinaire consistentie (Kendall's $\tau$ ). Dit meet of het model de juiste rangorde van afstanden voorspelt (dichtbij vs. ver weg), ongeacht de absolute waarden.

2. Training van de RL-beleidsstrategie (Besturing)

De navigatie-agent wordt getraind in simulatie (Gibson/Habitat) met een Reinforcement Learning (RL) algoritme (PPO).

Privileged Information: Tijdens training krijgt de agent een "geprivilegieerd" signaal: de exacte geometrische afstand tot het doel uit de simulator.
Ruisinjectie (Cruciaal): Om de agent voor te bereiden op de onnauwkeurige voorspellingen van de VLD-predictor in de echte wereld, wordt er ruis toegevoegd aan het geometrische signaal tijdens training. Deze ruis wordt gegenereerd door een speciaal getrainde MLP die de foutverdeling van de VLD-predictor nabootst (gebaseerd op visuele overlap en camera-oriëntatie).
Deployment: Tijdens inzet (in simulatie of realiteit) wordt het perfecte geometrische signaal vervangen door de voorspellingen van de getrainde VLD-predictor. De agent hoeft dus geen ruwe beelden te verwerken voor navigatiebeslissingen, maar vertrouwt op het schaalbare "waar naartoe"-signaal.

Belangrijkste Bijdragen

Schaalbaar Framework: Een methode om vision-language afstandspredictors te trainen op internetdata, die superieur presteert aan eerdere modellen zoals ViNT en VIP.
Nieuwe Evaluatiemeta: Introductie van ordinaire consistentie als een principieel middel om afstandspredictors te evalueren in isolatie, zonder afhankelijk te zijn van downstream succes van een beleidsstrategie.
Ontkoppelde Architectuur: Een bewezen strategie die RL-besturing (robuust, getraind in simulatie) combineert met schaalbare semantische perceptie (getraind op internetdata), wat een effectieve brug slaat tussen simulatie en de realiteit.

Resultaten

Afstandspredictie: De VLD-predictor behaalt een aanzienlijk hogere ordinaire consistentie (Kendall's $\tau$ ) dan baselines (ViNT, VIP) op zowel synthetische (HM3D) als real-world datasets. Het model is zelfs effectief op lange afstanden waar er geen visuele overlap is tussen de huidige view en het doel.
Navigatie in Simulatie: Beleidsstrategieën getraind met ruisinjectie en vervangen door VLD bij deployen, behalen een succesratio van 73.1% in Gibson. Dit is slechts een kleine daling vergeleken met het gebruik van perfecte (geprivilegieerde) afstandsdata, en aanzienlijk beter dan het direct trainen op VLD of het gebruik van andere afstandspredictors.
Sim-to-Real Transfer: Dit is het meest opvallende resultaat. Wanneer de beleidsstrategie wordt gedeployed op een TurtleBot4-Light robot in de echte wereld:
- De VLD-gedreven strategie behaalt een succesratio van 93.3%.
- Een sterke concurrent (FGPrompt-EF, die direct op beelden leert) behaalt slechts 60.0%.
- De VLD-robot toont robuust gedrag, voert periodieke scans uit om de richting te bepalen, en reageert goed op subtiele visuele aanwijzingen, terwijl de concurrent vaak vastloopt of de verkeerde richting opgaat.

Significantie

Dit werk biedt een veelbelovende, schaalbare route naar betrouwbare multimodale navigatie. Door perceptie en besturing te ontkoppelen, kunnen onderzoekers profiteren van de enorme hoeveelheid data op internet om te leren wat een doel is en hoe ver het weg is, terwijl de robot zelf leert hoe te navigeren in een robuuste, simulatie-gebaseerde omgeving.

De resultaten tonen aan dat een eenvoudige scalar (de geschatte afstand), afgeleid van grote taal-beeldmodellen, voldoende informatie kan bevatten om complexe navigatieopgaven op te lossen in de echte wereld, zonder de noodzaak van dure gelabelde trajecten of perfecte simulaties. Dit lost het probleem van de "sim-to-real" gap op door de beleidsstrategie niet afhankelijk te maken van ruwe visuele details, maar van een semantisch gestructureerd signaal dat beter generaliseert.