Technische Samenvatting: NaviTrace: Evaluatie van Embodied Navigatie van Vision-Language Modellen

Probleemstelling

Hoewel Vision-Language Models (VLM's) ongekende generalisatie hebben aangetoond over diverse taken, wordt hun integratie in robotnavigatiesystemen gehinderd door een gebrek aan rigoureuze, schaalbare evaluatiemethoden. Bestaande benaderingen ondervinden drie primaire beperkingen:

1. Wereldse proeven: Gesloten-lus uitvoeringen op fysieke robots zijn duur, tijdrovend en missen reproduceerbaarheid over diverse omgevingen.
2. Simulaties: Hoewel reproduceerbaar, vertrouwen simulatoren vaak op vereenvoudigde dynamica, statische scènes en beperkte semantiek, waardoor ze kritieke factoren zoals terreineigenschappen of sociale normen die navigatie beïnvloeden, niet vastleggen.
3. Bestaande benchmarks: Huidige Visual Question Answering (VQA)-datasets voor navigatie beperken output doorgaans tot tekstbeschrijvingen in plaats van uitvoerbare padplannen, richten zich uitsluitend op menselijke navigatie (en negeren uitdagingen bij verschillende lichamen), of missen hoogwaardige menselijke annotaties voor complexe wereldse scenario's.

Gevolg hiervan is dat er geen gestandaardiseerd kader bestaat om te evalueren hoe goed VLM's de specifieke fysieke beperkingen en navigatiestrategieën begrijpen die nodig zijn voor verschillende robotlichamen (bijvoorbeeld benen versus wielen) in wereldse omgevingen.

Methodologie: De NaviTrace Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs NaviTrace, een hoogwaardige VQA-benchmark ontworpen om navigatieprestaties specifiek voor lichamen te evalueren.

Datacollectie en Structuur

• Scenario's: De dataset bestaat uit 1.000 diverse wereldse afbeeldingen gekoppeld aan hoogwaardige taalinstrukties. De afbeeldingen zijn afkomstig van crowdsourced consumententoestellen en de GrandTour-dataset, en bestrijken stedelijke/plattelandsomgevingen, diverse lichtomstandigheden en weersomstandigheden.
• Instrukties: Taken zijn geformuleerd als doelen (bijvoorbeeld "Ga naar de rode auto") of directionele instructies, specifiek gericht op scenario's waar verschillende lichamen zich anders zouden gedragen.
• Lichamen: De benchmark evalueert navigatie voor vier distincte lichamstypes:
  1. Mens: Een voetganger die niet in staat is hoge obstakels te beklimmen.
  2. Benige robot: Een viervoeter met een menselijke, maar kortere gestalte.
  3. Wielerobot: Een rolstoelachtige leveringsrobot die voorkeur geeft aan hellingen en wandelpaden.
  4. Fiets: Een fietser die zich houdt aan verkeersregels en trappen vermijdt.
• Annotaties: Elk scenario bevat 2D-navigatietraces (reeksen afbeeldingscoördinaten) gegenereerd door menselijke experts. Meerdere geldige traces worden verstrekt waar alternatieven bestaan (bijvoorbeeld een obstakel links of rechts passeren).
• Taalcategorieën: Scenario's zijn voorzien van navigatierelateerde attributen, waaronder Geometrisch Terrein, Semantisch Terrein, Toegankelijkheid, Zichtbaarheid, Sociale Normen en Obstakelvermijding.

Semantisch Bewuste Scoremetriek

Het artikel stelt een nieuwe scorefunctie voor om voorspelde traces te evalueren tegen de grondwaarheid, waarbij drie factoren in evenwicht worden gebracht:

1. Trace-ähnelijkheid: Gemeten met Dynamic Time Warping (DTW) met Euclidische afstand om sequenties te alignen ongeacht snelheid of lengte.
2. Doelbereiking: Gemeten door Final Displacement Error (FDE), de Euclidische afstand tussen het voorspelde eindpunt en het grondwaarheidseindpunt.
3. Semantische Straf: Een strafterm afgeleid van geautomatiseerde semantische segmentatie (met Mask2Former). Dit straft traces die onveilige of irrelevante gebieden kruisen (bijvoorbeeld gras voor een wielerobot, trappen voor een fiets) op basis van lichamsspecifieke strafkaarten.

De ruwe score wordt geschaald naar een bereik van 0–100, waarbij 100 de grondwaarheidsprestatie vertegenwoordigt en 0 een "Straight Forward"-baseline (een verticale lijn door het midden van de afbeelding) vertegenwoordigt. De auteurs hebben gevalideerd dat deze metriek sterk correleert (Spearman-correlatie ~0,87) met menselijke paarwijze rangschikkingen.

Experimentele Opstelling en Resultaten

De auteurs evalueerden acht state-of-the-art VLM's (waaronder Gemini 2.5 Pro, GPT-5, o3, Qwen 3 VL en anderen) tegen de NaviTrace-testset.

Belangrijkste Bevindingen

1. Significant Prestatieverschil: Menselijke experts behaalden een score van 75,04, terwijl de best presterende VLM, Gemini 2.5 Pro, 34,55 scoorde. Alle modellen presteerden significant slechter dan menselijke capaciteiten.
2. Doellocatie als primaire faalmodus: Ablatiestudies onthulden dat wanneer modellen de juiste doellocatie kregen en alleen gevraagd werd het padvorm te voorspellen, hun prestatie significant verbeterde (56,55), en benaderde de prestatie van een "Oracle-Goal Straight Line"-baseline. Echter, wanneer gevraagd werd de doellocatie vanaf nul te voorspellen, daalde de prestatie drastisch. Dit geeft aan dat het lokaliseren van het doel de dominante uitdaging is, hoewel ook padvorming achterblijft bij menselijke prestaties.
3. Robuustheid van Lichamen: Prestatieverschillen over de vier lichamstypes (Mens, Benige robot, Wielerobot, Fiets) waren minimaal. Dit suggereert dat huidige VLM's lijden onder algemene beperkingen in ruimtelijke grounding in plaats van specifieke blindvlekken met betrekking tot bepaalde robotmorfologieën.
4. Redeneren versus Uitvoeren: Kwalitatieve analyse van modellen zoals o3 toonde een disconnectie tussen linguïstisch redeneren en ruimtelijke uitvoering. Modellen konden correct redeneren over het juiste pad in tekst, maar faalden om dit redeneren om te zetten in accurate 2D-afbeeldingscoördinaten.
5. Baseline-concurrentie: De "Straight Forward"-baseline (het tekenen van een verticale lijn) presteerde verrassend goed (scoorde in sommige categorieën dicht bij o3 en GPT-5), wat de moeilijkheid van de taak en de huidige beperkingen van VLM's in complexe navigatieplanning onderstreept.

Betekenis en Bijdragen

Het artikel claimt drie hoofdbijdragen:

1. NaviTrace Benchmark: Een nieuwe, hoogwaardige benchmark voor het evalueren van VLM's op lichamsspecifieke navigatie over 1.000 wereldse scenario's en vier lichamstypes. Het overbrugt de kloof tussen hoogwaardig VLM-redeneren en laagwaardige robotbesturing door "wijzen"-taken uit te breiden naar sequentiële navigatievoorspelling.
2. Semantisch Bewuste Score: Een nieuwe, computatie-efficiënte metriek voor het evalueren van 2D-traces die DTW, eindpuntfout en licham-geconditioneerde semantische straffen combineert. De auteurs tonen aan dat deze sterk overeenkomt met menselijke voorkeuren.
3. Uitgebreide Evaluatie: Een systematische beoordeling van state-of-the-art VLM's, die aantoont dat hoewel deze modellen basale scènebegrip bezitten, ze de ruimtelijke grounding en doellocatiecapaciteiten missen die nodig zijn voor betrouwbare embodied navigatie.

De auteurs positioneren NaviTrace als een schaalbare en reproduceerbare testomgeving om modelontwikkeling te informeren, specifieke beperkingen in huidige foundation-modellen aan het licht te brengen, en een standaard te vestigen voor het vergelijken van benaderingen in wereldse robotnavigatie. De benchmark en leaderboard zijn publiek beschikbaar gesteld om toekomstig onderzoek te faciliteren.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Geografische Bias: De dataset is sterk geconcentreerd in Zwitserland, wat de generaliseerbaarheid naar regio's met verschillende infrastructuur kan beperken.
• Statische Scenario's: De benchmark gebruikt enkele afbeeldingen, wat de evaluatie van temporeel redeneren of meerstapsplanning in dynamische omgevingen verhindert.
• Lichamsscope: Het is beperkt tot grondvoertuigen en sluit luchtdrones uit.
• Nuance in Scoren: Hoewel de semantische score overeenkomt met menselijke voorkeuren, vertrouwt deze op geautomatiseerde segmentatie en vangt mogelijk niet alle genuanceerde aspecten van menselijke voorkeur of precieze robotkinematische beperkingen.