💻 computer science

VISTA: Scale-Aware Visual Navigation via Action History Conditioning

VISTA is een visie-gebaseerd navigatie-fundamenteel model dat de zero-shot generalisatie en veiligheid in diverse, visueel repetitieve omgevingen verbetert door te conditioneren op genormaliseerde actiehistorieën om schaalbaarheidsgebreken op te lossen en een DINOv3-encoder te benutten voor een verbeterd geometrisch begrip.

Oorspronkelijke auteurs: Maeva Guerrier, Koki Kobayashi, Simon Roy, Jana Pavlasek, Giovanni Beltrame

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maeva Guerrier, Koki Kobayashi, Simon Roy, Jana Pavlasek, Giovanni Beltrame

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om door een bos, een kantoor of een open veld te lopen zonder het de robot ooit een kaart te laten zien of specifieke instructies voor die exacte plek te geven. Je wilt dat de robot leert door te kijken naar video's van andere robots die lopen, zodat hij zelf uit kan zoeken hoe hij van "Start" naar "Finish" komt. Dit is wat het artikel Visual Navigation noemt.

De onderzoekers hebben een nieuw systeem gebouwd genaamd VISTA (Scale-Aware Visual Navigation via Action History Conditioning). Dit is hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleen: De "Ingezoomde" Verwarring

De meeste huidige navigatiemodellen voor robots zijn als studenten die alleen leren om landkaarten op een stuk papier te tekenen, maar nooit leren hoe groot dat papier eigenlijk is.

Het probleem: Deze modellen voorspellen een pad als een reeks kleine, genormaliseerde stappen (zoals zeggen: "neem 10 stappen vooruit"). Maar in de echte wereld is een "stap" voor een kleine speelgoedrobot heel anders dan voor een enorme vrachtwagen.
De fout: Als je tegen de robot zegt "neem 10 stappen", maar je vertelt hem niet hoe lang een stap is, kan hij het fout raden. Als hij gokt dat een stap te lang is, kan hij tegen een muur botsen. Als hij gokt dat een stap te kort is, kan hij verdwalen. Het artikel noemt dit een scale vulnerability (schaalgevoeligheid). De robot ziet de afbeelding, maar hij weet niet de grootte van de wereld waarin hij loopt.

De Oplossing: VISTA's Twee Superkrachten

Om dit op te lossen, gaven de auteurs VISTA twee speciale hulpmiddelen:

1. Het "Geheugen van Stappen" (Action History Conditioning)

Stel je voor dat je door een gang loopt. Als je alleen naar de muur voor je kijkt, weet je niet of je snel of langzaam loopt. Maar als je je herinnert: "Ik heb de afgelopen seconde drie stappen gezet," dan kun je uitzoeken hoe snel je beweegt.

Hoe VISTA het doet: In plaats van alleen naar de huidige camerabeelden te kijken, kijkt VISTA naar een geschiedenis van zijn eigen eerdere bewegingen. Het onthoudt: "Ik bewoog zojuist een genormaliseerde afstand van X."
Het resultaat: Door zijn eerdere bewegingen te vergelijken met wat hij nu ziet, kan de robot de werkelijke fysieke grootte van zijn stappen bepalen. Het weet: "Ah, ik bewoog die afstand in die hoeveelheid tijd, dus mijn volgende stap moet deze lengte hebben." Dit voorkomt dat hij de verkeerde grootte raadt en tegen iets aan botst.

2. Het "Superoog" (DINOv3 Encoder)

Sommige plaatsen zijn moeilijk te navigeren omdat ze overal hetzelfde lijken, zoals een lange gang met identieke deuren of een besneeuwd veld zonder bomen. Oude "ogen" van robots raken hier in de war en denken dat ze op twee verschillende plekken tegelijk zijn.

Hoe VISTA het doet: De onderzoekers hebben VISTA een nieuw type "camera-brein" gegeven, genaamd DINOv3. Zie dit als een supergeavanceerd oog dat niet alleen "een deur" ziet, maar ook de vorm, textuur en geometrie van de deur begrijpt en hoe deze zich verhoudt tot de vloer en het plafond.
Het resultaat: Zelfs in saaie, repetitieve omgevingen kan VISTA het verschil zien tussen "Deur #1" en "Deur #3", waardoor de robot niet verdwaalt.

Het Bewijs: Tests in de Praktijk

Het team heeft VISTA getest in de echte wereld, niet alleen op computers. Ze stuurden het in drie zeer verschillende omgevingen zonder het vooraf iets over die specifieke plekken te leren (dit wordt zero-shot deployment genoemd):

Het Open Veld: Een grasachtig gebied met struiken.
Het Bos: Een rommelige plek met bomen, boomstammen en bladeren.
Het Kantoor-Lab: Een lastige gang met veel identieke deuren en nauwe hoeken.

De Resultaten:

VISTA bereikte het doel in 100% van de proeven in de buitenomgeving, het bos en het kantoor. Het navigeerde door nauwe hoeken en vond elke keer de juiste deur.
Oudere Modellen (zoals ViNT of NoMaD): Zij hadden moeite. Ze botsten vaak tegen muren, raakten verdwaald bij de identieke deuren of slaagden er niet in om op het juiste moment te stoppen. Ze konden de "schaal" van hun beweging niet begrijpen.

Waarom dit belangrijk is (volgens het artikel)

Het artikel stelt dat een robot om overal veilig te kunnen lopen twee dingen nodig heeft:

Goede Ogen: Om de vorm van de wereld te begrijpen (geleverd door DINOv3).
Een Gevoel voor Schaal: Om te weten hoe groot zijn eigen bewegingen zijn (geleverd door het onthouden van zijn eerdere stappen).

Zonder beide is de robot als een bestuurder met een geweldige GPS, maar zonder enig idee hoe snel hij rijdt — hij zal uiteindelijk crashen. VISTA combineert beide, waardoor de robot door nieuwe, onbekende plekken kan lopen zonder dat hij een handleiding of een kaart nodig heeft.

Technische Samenvatting: VISTA – Schaalbewuste Visuele Navigatie via Conditionering op Actiegeschiedenis

1. Probleemformulering

Vision Navigation Foundation Models (VNMs) streven naar end-to-end geleerde beleidssystemen die in staat zijn tot zero-shot deployment over diverse robotlichamen en omgevingen. Om deze algemeenheid te bereiken, voorspellen huidige state-of-the-art modellen (bijv. ViNT, NoMaD) genormaliseerde acties, waarbij 2D-waypoints worden gedeeld door de gemiddelde waypoint-afstand die in de trainingsdataset is waargenomen.

Deze normalisatie introduceert echter een kritieke kwetsbaarheid bij deployment: metrische misalignement.

De ambiguïteit: Zonder expliciete kennis van de beoogde fysieke stapgrootte, moet het model de schaal uitsluitend afleiden uit sequentiële beeldobservaties.
Het gevolg: Het toepassen van verschillende schalingfactoren (gebaseerd op robotsnelheid of bestuelfrequentie) op hetzelfde genormaliseerde traject verandert de fysieke geometrie ervan. Dit leidt tot incorrecte fysieke trajecten, gedegradeerde navigatieprestaties en verhoogde botsingsrisico's, met name in omgevingen met visuele herhaling of lage onderscheidbaarheid.
Beperkingen van encoders: Zuiver visuele modellen hebben vaak moeite in kenmerkarme omgevingen (bijv. uniforme gangen, sneeuw) door een gebrek aan expliciet geometisch begrip en breekbare feature-extractie.

2. Methodologie: VISTA Architectuur

De auteurs stellen VISTA voor (Scale-Aware Visual Navigation via Action History Conditioning), een nieuwe architectuur die is ontworpen om actievoorspellingen te funderen in fysieke schaal terwijl de cross-embodiment algemeenheid behouden blijft. De methode wijzigt conventionele VNMs op twee primaire manieren:

A. Conditionering op Actiegeschiedenis

In plaats van uitsluitend te vertrouwen op visuele observaties ( $O_t$ ) en een doelafbeelding ( $o_g$ ), conditioneert VISTA het beleid op een genormaliseerde actiegeschiedenis ( $H_t$ ).

Definitie: $H_t = \{a_{t-k+1}, \dots, a_{t-1}\}$ , waarbij elke $a_i$ een eerdere robotverplaatsing vertegenwoordigt, genormaliseerd door de stapgrootte.
Mechanisme: Een MLP codeert deze geschiedenis naar tokens. Door te conditioneren op $H_t$ , leert het model de geobserveerde visuele verplaatsing te relateren aan de fysieke stapgrootte.
Voordeel: Dit stelt het model in staat om metrisch uitgelijnde waypoints te genereren die robuust blijven tegen variaties in robotsnelheid ( $v_{max}$ ) en bestuelfrequentie ( $f_{ctrl}$ ), waardoor de ambiguïteit van schaalinferentie effectief wordt opgelost.

B. DINOv3 Visuele Encoder

Om de breekbaarheid van encoders in feature-arme omgevingen aan te pakken, vervangt VISTA standaard encoders door DINOv3 (een self-supervised Vision Transformer getraind op gecureerde grootschalige data).

Capaciteit: DINOv3 biedt rijkere representaties die zowel hoogwaardig semantisch begrip als fijnmazige ruimtelijke kenmerken vastleggen.
Tokenisatie: Sequenties van observatie- en doelafbeeldingen worden door DINOv3 (ViT-S) verwerkt tot patch-tokens, die vervolgens worden geprojecteerd en gedownsampled om de feature-dimensies uit te lijnen.

C. Trainingsstrategie

Genormaliseerde Metrische Training: Het model wordt getraind om genormaliseerde waypoints en genormaliseerde metrische afstanden te voorspellen.
Variërende Spatiëring: In tegenstelling tot voorgaand werk dat getraind is op vaste frequenties (bijv. 3Hz/4Hz), wordt VISTA getraind op datasets met variërende bemonsteringsfrequenties van 2Hz tot 12Hz om robuustheid tegen verschillende snelheden te garanderen.
Verliesfunctie: Een multi-task loss combineert actievoorspelling (MSE op genormaliseerde waypoints) en afstandsvoorspelling (MSE op genormaliseerde metrische afstanden tot het doel), gebalanceerd door een coëfficiënt $\lambda$ .

3. Belangrijkste Bijdragen

Analyse van Metrische Misalignement: Het artikel identificeert en analyseert de faalmodus van conventionele VNMs waarbij schaalinferentie vanaf visuele inputs alleen onvoldoende is, wat leidt tot trajectdrift onder variërende deploymentcondities.
VISTA Architectuur: Een nieuw framework dat Action History Conditioning integreert om voorspellingen te funderen in fysieke schaal, en DINOv3 voor robuuste visuele representatie.
Zero-Shot Generalisatie: Het model bereikt robuuste zero-shot deployment over diverse omgevingen zonder omgeving-specifieke kalibratie of fine-tuning.

4. Experimentele Resultaten

Offline Evaluatie (Schaalconsistentie)

Setup: Modellen werden getest op dezelfde inputs terwijl de temporele spatiëring van eerdere observaties werd gevarieerd (om verschillende stapgroottes te simuleren).
Metriek: Cross-track error tussen trajecten voorspeld onder verschillende spatiëringen.
Bevindingen: VISTA vertoonde significant lagere cross-track errors vergeleken met baselines (ViNT, NoMaD). Hoewel VISTA zonder Action History (VISTA w/o AH) een goede schaalconsistentie vertoonde, bereikte het volledige VISTA-model de laagste voorspellingsverliezen, wat aangeeft dat actiegeschiedenis de nauwkeurigheid van het traject verbetert terwijl de schaalconsistentie behouden blijft.

Real-World Zero-Shot Deployment

Experimenten werden uitgevoerd in drie verschillende omgevingen: Outdoor (open veld), Forest (visueel dicht) en Office-Lab (visueel repetitieve gangen en krappe bochten).

Succesratio's:
- Outdoor: VISTA bereikte 100% nauwkeurigheid in doelvoorspelling (3/3 trials) en 95% Path Topological Map (PTN) crossing.
- Forest: VISTA bereikte 100% doelvoorspelling (5/5 trials), waarmee het baselines overtrof die leden onder doelmisidentificatie.
- Office-Lab: VISTA bereikte 100% succes (5/5 trials), waarbij het succesvol door krappe deurposten navigeerde en de juiste doeldeur identificeerde. In contrast hiermee faalden VISTA w/o AH en andere baselines regelmatig door botsingen of het niet identificeren van de juiste deur.
Robuustheid tegen Stapgrootte: In een scherpe bocht-experiment met variërende bestuursfrequenties (1–4 Hz) en snelheden (0.1–0.4 m/s), behield VISTA succes in de meeste configuraties. Baselines zoals ViNT faalden consistent bij lage snelheden door een onvermogen om zich aan te passen aan veranderingen in stapgrootte.
Robuustheid tegen Perturbaties: VISTA handelde dynamische perturbaties succesvol af (bijv. een deur die in de topologische kaart gesloten was maar in werkelijkheid open was) door te vertragen en te stoppen, en behield consistentie in herhaalde loop-experimenten.

5. Betekenis en Claims

Het artikel claimt dat representatiekwaliteit alleen onvoldoende is voor betrouwbare end-to-end navigatie. Hoewel geavanceerde encoders zoals DINOv3 noodzakelijk zijn voor het afhandelen van perceptuele aliasing, moeten ze gepaard gaan met metrische schaal-bewegingscontext die door actiegeschiedenis wordt geleverd.

VISTA demonstreert dat het conditioneren op genormaliseerde actiegeschiedenis een foundation model in staat stelt om:

De ambiguïteit van schaalinferentie in zero-shot deployment op te lossen.
Robuust te generaliseren over variërende bestuursfrequenties en robotsnelheden.
Complexe, ongeziene omgevingen (outdoor, bos, kantoor) te navigeren met hoge succespercentages en minimale botsingen, waarbij de huidige state-of-the-art VNMs die uitsluitend op visuele inputs vertrouwen, worden overtroffen.

De auteurs concluderen dat deze aanpak de kloof overbrugt tussen generaliseerbare visuele beleidssystemen en de fysieke realiteit van robotdeployment, wat betrouwbare navigatie mogelijk maakt zonder de noodzaak voor embodiment-specifieke kalibratie.