💻 computer science

MapReason-OSM: Can Vision-Language Models Make Graph-Verifiable Mobility Decisions from Street Maps ?

Het artikel introduceert MapReason-OSM, een benchmark en evaluatieharnas dat OpenStreetMap-gegevens gebruikt om het vermogen van Vision-Language Models om graaf-verifieerbare mobiliteitsbeslissingen te nemen te beoordelen, waarbij wordt onthuld dat huidige modellen weliswaar eenvoudige kaartlezing kunnen uitvoeren, maar moeite hebben met complexe graaf-kostenredenering en consistentie tussen zoomniveaus.

Oorspronkelijke auteurs: Srinivas Venkatanarayanan (NVIDIA, University of Central Florida), Clement Pakkam Isaac (NVIDIA, University of South Florida)

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Srinivas Venkatanarayanan (NVIDIA, University of Central Florida), Clement Pakkam Isaac (NVIDIA, University of South Florida)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent hebt die naar een afbeelding van een stadskaart kan kijken en kan vertellen waar je heen moet rijden. Je zou kunnen denken: "Geweldig! Hij ziet de straten, de borden en de gebouwen. Hij zal wel de beste route kunnen uitvogelen."

Het paper "MapReason-OSM" test precies dit idee. Het vraagt zich af: Begrijpen deze AI-modellen werkelijk de verborgen regels van het wegennetwerk, of zijn ze gewoon goed in het gokken op basis van hoe dingen er op de foto uitzien?

Hier is de uiteenzetting van wat ze hebben gevonden, met behulp van eenvoudige analogieën:

1. De Opzet: Een "Magisch" Kaartspel

De onderzoekers bouwden een speciale testomgeving. In plaats van willekeurige kaarten van het internet te gebruiken, maakten ze hun eigen "magische kaarten" met behulp van echte stadsgegevens (OpenStreetMap).

De Visuele Aspecten: Ze tekenden 12.000 kaartafbeeldingen. Deze zien eruit als normale kaarten, maar hebben speciale gekleurde puntjes en symbolen (zoals een groene "Start"-stip, een rode "Doel"-stip, of een rood "X"-teken over een afgesloten weg).
Het Geheim: Achter elke afbeelding zit een verborgen, perfecte digitale kaart (een "graaf") die precies weet hoe lang elke straat is, welke straten eenrichtingsverkeer zijn en waar de trappen zijn.
De Test: Ze lieten de afbeelding aan 7 verschillende AI-modellen zien en vroegen hen beslissingen te nemen, zoals: "Teken het kortste pad van A naar B" of "Kies de beste parkeerplek." De AI moest een antwoord geven op basis van alleen wat hij in de afbeelding zag, niet door de geheime digitale kaart op te zoeken.

2. De Twee Soorten Vaardigheden

Het paper ontdekte dat AI-modellen ergens goed in zijn, maar erg slecht in iets anders. Denk hierbij aan een student die een toets maakt:

Vaardigheid A: De "Kaartlezer" (Hier zijn ze goed in)
De AI is uitstekend in het lezen van de kaart, net als een mens. De AI kan de groene stip, de rode stip en het "Verboden toegang"-bord spotten. Als je vraat: "Is er een rode lijn die de weg blokkeert?", zegt de AI bijna altijd "Ja". De AI kan een eenvoudig pad van punt A naar punt B volgen als de weg recht en duidelijk is.
- Analogie: Het is als een toerist die naar een foto van een park kan kijken en zegt: "Ik zie de fontein en de bank."
Vaardigheid B: De "Routeplanner" (Hier zijn ze slecht in)
De AI faalt jammerlijk wanneer hij berekeningen moet maken met de wegen. De AI heeft moeite om te begrijpen dat een straat die er in de afbeelding "dichtbij" uitziet, in werkelijkheid een lange, kronkelende omweg kan zijn.
- Analogie: Stel je voor dat de AI naar een foto van een doolhof kijkt. Hij ziet de uitgang vlak naast het begin op de foto, maar hij beseft niet dat er een muur de weg blokkeert. Hij kiest de plek die met het oog het dichtstbij lijkt, niet de plek die qua loopafstand daadwerkelijk het dichtstbij is.

3. De Grote Verrassing: De "Pinplaatsing"-fout

Het meest schokkende resultaat ging over de Pinplaatsing (Pin Placement).

De Taak: De AI werd getoond een kaart met verschillende blauwe stippen (potentiële parkeerplekken) en kreeg de opdracht om degene te kiezen die het dichtst bij een groep vraagpunten ligt, waarbij de afstand langs de straten wordt gemeten.
Het Resultaat: Zelfs de meest geavanceerde, "superintelligente" AI-modellen hadden dit slechts in ongeveer 17% tot 20% van de gevallen goed. Dat is nauwelijks beter dan een aap die met pijltjes gooit (volledig willekeurig).
Waarom? De AI bleef de blauwe stip kiezen die in het midden van de foto het dichtstbij leek te liggen. De AI kon niet berekenen dat de "het dichtstbij uitziende" stip eigenlijk achter een eenrichtingsstraat of een rivier lag, waardoor de rit veel langer zou zijn. De AI "zag" de afbeelding, maar "redeneerde" niet over het wegennetwerk.

4. Het "Zoom"-probleem

De onderzoekers testten ook of de AI hetzelfde antwoord gaf als ze in- of uitzoomden op de kaart.

Het Probleie: De AI was vaak inconsistent. Als je hem een breed beeld van de stad liet zien, koos hij misschien Route A. Als je vervolgens inzoomde op hetzelfde gebied, koos hij misschien Route B.
De Metafoor: Het is als een persoon die zegt: "Ik neem de snelweg," wanneer hij naar een landkaart kijdt, maar dan zegt: "Ik neem de lokale wegen," wanneer hij naar een buurtkaart kijkt, terwijl de bestemming niet is veranderd. Dit maakt het moeilijk om de AI te vertrouwen voor navigatie in de echte wereld.

5. De Conclusie

Het paper concludeert dat hoewel AI-modellen steeds beter worden in het lezen van kaarten (het herkennen van symbolen en tekst), ze nog steeds erg slecht zijn in het redeneren over kaarten (het berekenen van afstanden en legale routes).

Wat ze kunnen: "Ik zie een rode 'X' op de weg. Ik zal die vermijden."
Wat ze niet kunnen: "Ik zie een rode 'X' op de weg. Ik moet berekenen welke omweg daadwerkelijk de kortste is, rekening houdend met eenrichtingsverkeer en verkeersregels."

De auteurs waarschuwen dat als we deze AI-modellen gebruiken voor echte logistiek (zoals bezorgwagens of toegankelijke navigatie voor rolstoelgebruikers), we ze nog niet kunnen vertrouwen voor het optimaliseren van routes. Ze kunnen naar de kaart kijken en zeggen: "Ga die kant op," maar ze kunnen een vrachtwagen een doodlopende straat in sturen omdat het er op de foto kort uitzag.

Kortom: De AI is een geweldige gids die bezienswaardigheden kan aanwijzen, maar een verschrikkelijke navigator die verdwaalt zod[e als hij de wiskunde erachter moet doen.

Technische Samenvatting: MapReason-OSM

Probleemstelling

Vision-language modellen (VLM's) worden steeds vaker ingezet voor logistiek, last-mile bezorging en toegankelijke navigatie, waarbij de output een actiebare, graaf-beperkte beslissing moet zijn (bijv. een specifieke route, een faciliteitspen of een parkeerkeuze) in plaats van vrije tekst. Bestaande kaartbenchmarks evalueren echter voornamelijk modellen op basis van vrije tekst of meerkeuzeantwoorden. Deze aanpak faalt in het verifiëren of een beslissing van een model legaal is (het naleven van eenrichtingsverkeer, afsluitingen en connectiviteit), optimaal is (minimaliseren van netwerkafstand) of schaalconsistent. Als gevolg hiervan kan een model lijken goed te kunnen "lezen" van een kaart door labels en iconen te identificeren, terwijl het routes voorstelt die niet-aangrenzende straten doorkruisen of faciliteiten selecteert die in Euclidische ruimte dichtbij liggen, maar in netwerkafstand ver weg zijn. Er is een kritiek gat in het evalueren van VLM's op graaf-verifieerbare mobiliteitsbeslissingen afgeleid direct van straatkaartafbeeldingen.

Methodologie: MapReason-OSM Benchmark

De auteurs introduceren MapReason-OSM, een benchmark en evaluatieharnas ontworpen om graaf-gegrondde redenering te meten. Het systeem is gebouwd op de volgende componenten:

1. Data Substraat en Generatie

Zelf-gerenderde Panelen: In plaats van bestaande rastertegels te scrapen, genereren de auteurs 12.000 kaartpanelen (6.000 instanties op twee zoomniveaus) uit OpenStreetMap (OSM) vectorgegevens met behulp van OSMnx. Dit zorgt voor controle over de cartografische stijl, marker-grammatica en uitgelijnde multi-zoom extensies.
Dual-Zoom Uitlijning: Elke instantie bevat een "mid" paneel (ca. 1 km extensie) en een "local" paneel (ca. 350 m extensie) die hetzelfde centrum delen. Dit maakt de evaluatie van cross-zoom consistentie mogelijk, waarbij wordt gecontroleerd of de beslissing van een model niet willekeurig verandert op basis van schaal wanneer de visuele bewijslast identiek is.
Verborgen Grondwaarheid: Achter elk gerenderde paneel ligt een verborgen straatgraaf ( $G$ ) en een exacte oracle ( $y^\star$ ). Het model ziet alleen de afbeelding en een prompt; het ziet nooit de graaf of de snapping-functie.
Anti-Gaming Filters: Het generatieproces dwingt strikte invarianten af om te voorkomen dat modellen taken oplossen via visuele shortcuts (bijv. Euclidische nabijheid). Bijvoorbeeld, bij pin-plaatsingstaken wordt de visueel dichtstbijzijnde kandidaat expliciet gefilterd als deze niet de netwerk-optimale oplossing is.

2. Taakfamilies

De benchmark bestaat uit 12 taken verdeeld over drie families:

Routing Taken: Legale routeplanning, naleving van eenrichtingsverkeer, herplanning bij afsluitingen, symbool-beperkte routing (vermijden van getekende gevarenzones), POI-doel routing en stapvrije toegankelijkheidsrouting.
Faciliteit en Set-Selectie Taken: Pin-plaatsing (1-mediaan), servicegebied-locatie (max-coverage), bereikbaarheid (lijsten van nodes binnen een budget), attribuut-bewuste parkeerplaatskeuze (fusie van prijs en toegankelijkheid) en laadperron selectie.
Visuele Disambiguatie: Het selecteren van de juiste POI onder evenbenoemde kandidaten op basis van ruimtelijke relaties tot een getekende zone.

3. Evaluatieprotocol (Pure Visual Decision Track)

Modellen worden geprompt om een gestructureerde JSON-beslissing te produceren op basis alleen van de gerenderde afbeelding. De evaluatie volgt een strikte gating-keten:

Schema Geldigheid (SVR): De output moet parsen naar het correcte JSON-schema.
Snapping en Inductie: Zichtbare marker-ID's worden gesnapt naar de verborgen graaf-nodes.
Taak Scoring: Beslissingen worden gescoord tegen de oracle op basis van:
- Legaliteit: Naleving van graaf-restricties (richting, afsluitingen, trappen).
- Optimaliteit: Vergelijking van netwerkkosten tegen de oracle (regret ratio).
- Exact Match / F1: Voor selectie- en set-taken.
Cross-Zoom Consistentie (CZC): Het model wordt onafhankelijk op beide zoomniveaus gedraaid; overeenstemming wordt gemeten om schaalgevoeligheid te detecten.

Belangrijkste Bijdragen

Graaf-Gegronde Benchmark: Een suite van 6.000 instanties over 10 Amerikaanse binnensteden met een exacte symbolische scoring-keten (geldigheid $\to$ legaliteit $\to$ optimaliteit $\to$ restrictie-naleving), volledig regenereerbaar vanuit een vaste seed.
Nieuwe Evaluatie-assen: De eerste combinatie van cross-zoom consistentie, toegankelijkheids-bewuste routing en graaf-gegronde faciliteit-locatie in één enkele, exact gescoorde suite.
Reproduceerbaar Harness: Een massaal parallel, asynchroon evaluatieframework en een deterministische generator die rigoureus testen van elk VLM mogelijk maakt zonder tool-augmentatie of tabel-toegang.

Experimentele Resultaten

De studie evalueerde zeven VLM's (vijf fast-tier, twee frontier reasoning-tier) over de 12 taken:

Perceptie vs. Redeneer-kloof: Modellen presteren goed op taken die visuele perceptie en simpel traceren vereisen. Visuele disambiguatie is bijna volledig opgelost (0.79–1.00 nauwkeurigheid), en legale/eenrichtingsverkeer routing is sterk (0.70–0.98). Modellen lezen betrouwbaar marker-grammatica's en traceren korte, verbonden routes.
Falen in Graaf-Kosten Redeneren: Prestaties storten in bij taken die netwerkafstand-optimalisatie vereisen.
- Pin-plaatsing (1-mediaan): Alle modellen, inclus[ief] frontier reasoning-modellen (GPT-5.5, Claude Opus), presteren nabij kans (0.17–0.21). De modellen falen om onderscheid te maken tussen Euclidische nabijheid en netwerkafstand.
- Service-Area Siting & POI Routing: Fast-tier modellen worstelen aanzienlijk (0.08–0.47), hoewel frontier-modellen enige verbetering tonen (tot 0.71 voor POI routing).
Schaal Inconsistentie: Zelfs hoog-nauwkeurige modellen zijn frequent schaal-inconsistent. Het beste model stemt slechts ongeveer 73% van de tijd met zichzelf overeen over verschillende zooms (macro CZC). Voor routing-taken daalt de consistentie vaak naar 0.52–0.67 ondanks een hoge nauwkeurigheid, wat aangeeft dat beslissingen omklappen wanneer de kaartschaal verandert.
Frontier Modellen: Hoewel frontier reasoning-modellen de prestaties verbeteren op complexe taken zoals POI routing en service-area siting, lossen zij de kern van de foutmodus (graaf-kosten optimalisatie) niet op (pin-plaatsing blijft op niveau van kans).

Betekenis en Claims

Het paper claimt dat MapReason-OSM een specifieke foutmodus in huidige VLM's isoleert: het onvermogen om beslissingen te funderen in de onderliggende graaf-topologie in plaats van visuele nabijheid.

Industriële Relevantie: De taken zijn afgeleid van echte logistieke en assistieve mobiliteitsoperaties. De resultaten suggeren dat hoewel VLM's erop vertrouwd kunnen worden om gelabelde kaarten te "lezen", ze nog niet kunnen worden vertrouwd om te optimaliseren over het wegennetwerk of om consistente beslissingen te geven over verschillende kaartschalen heen.
Bescheiden Bijdrage: De auteurs vermijden expliciet claims van het type "eerste van zijn soort" met betrekking tot algemeen kaartlezen. In plaats daarvan positioneren zij hun bijdrage als de combinatie van evaluatie-assen (graaf-fundering, cross-zoom, toegankelijkheid) en de industriële taak-inkadering die het onderscheid tussen competente kaartlezing en echte ruimtelijke redenering meetbaar maakt.
Open Uitdaging: De benchmark benadrukt dat betere visuele perceptie alleen het probleem niet zal oplossen; het veld vereist methoden om faciliteit-locatie en least-cost redeneren te funderen in de zichtbare graafstructuur.

De auteurs stellen de benchmark, het harness en de deterministische generator beschikbaar om de gemeenschap in staat te stellen vooruitgang te meten op deze specifieke, meetbare foutmodi.