MapTab: Are MLLMs Ready for Multi-Criteria Route Planning in Heterogeneous Graphs?

Dit paper introduceert MapTab, een multimodaal benchmark voor het evalueren van het vermogen van multimodale grote taalmodellen (MLLM's) tot holistisch redeneren over meer-criteria routeplanning in heterogene grafieken, waarbij blijkt dat huidige modellen hier nog aanzienlijke moeite mee hebben.

De kern

MapTab: De Grote Toets voor Slimme Kaartlezers

Stel je voor dat je een superintelligente robot hebt die alles kan lezen en begrijpen. Hij kent de geschiedenis, kan wiskundige formules oplossen en zelfs gedichten schrijven. Maar als je hem vraagt: "Hoe kom ik van station A naar station B, maar dan zo snel, goedkoop én comfortabel mogelijk?" dan loopt hij vaak vast.

Dat is precies wat dit nieuwe onderzoek, genaamd MapTab, wil ontdekken. De onderzoekers van de Universiteit van Nanjing hebben een enorme test ontwikkeld om te zien of deze slimme robots (zogenoemde Multimodal Large Language Models of MLLMs) echt klaar zijn voor de echte wereld.

Hier is hoe het werkt, vertaald in begrijpelijke taal:

1. Het Probleem: De "Drie-Dimensionale" Uitdaging

Vroeger kregen slimme robots alleen tekst of alleen een plaatje te zien. Maar in het echte leven moeten we vaak drie dingen tegelijk doen:

• Kijken: Een kaart bekijken (een visueel plaatje).
• Lezen: De namen van stations of attracties lezen (tekst op de kaart).
• Rekenen: Kijken naar een lijst met prijzen, tijden en comfortniveaus (een tabel).

Stel je voor dat je een reisplanner bent. Je hebt een kaart van de metro voor je liggen, maar die zegt alleen waar de lijnen gaan. Je hebt ook een Excel-lijstje nodig met de kosten en de reistijd. Een slimme robot moet deze twee heel verschillende dingen (een plaatje en een lijst) samenvoegen om een beslissing te nemen. Dat is voor hen heel lastig, net als voor een mens die probeert een recept te volgen terwijl hij tegelijkertijd een ingewikkelde kaart tekent.

2. De Oplossing: MapTab (De "Grote Test")

De onderzoekers hebben MapTab gebouwd. Dit is een gigantische verzameling van 328 kaarten uit de hele wereld, verdeeld in twee soorten:

• De Metro-kaarten (Metromap): Kaarten van 160 steden in 52 landen. Denk aan de drukke metro's van New York, Londen of Tokio.
• De Toeristen-kaarten (Travelmap): Kaarten van 168 beroemde plekken in 19 landen, zoals een park in Parijs of een strand in Thailand.

Voor elke kaart hebben ze ook een geheime lijst gemaakt (een tabel) met alle details: hoe lang duurt het, wat kost het, hoe comfortabel is het, en hoe betrouwbaar is de lijn?

Daarna hebben ze 196.800 vragen bedacht. Bijvoorbeeld: "Vind de beste route voor een gezin dat geld wil besparen maar wel comfortabel wil reizen."

3. De Test: Wat gebeurde er?

Ze hebben 15 van de slimste robots ter wereld (zoals GPT-4o, Gemini en Qwen) deze test laten doen. Het resultaat? Niet zo goed als we hoopten.

Hier zijn de belangrijkste ontdekkingen, vertaald in analogieën:

• De "Blinde Vlek": De robots zijn goed in het lezen van de lijstjes (de tabellen), maar ze worden vaak "blind" als ze naar de kaart moeten kijken. Als de kaart erg druk is (veel lijnen, veel tekst), raken ze in de war. Het is alsof ze een boek kunnen lezen, maar als je ze een ingewikkeld stratenplan geeft, zien ze alleen een wirwar van lijnen.
• De "Overdenker": Sommige robots proberen heel slim te doen door eerst lang na te denken (een soort "denkproces"). Bij simpele vragen maakt dit ze juist slimmer, maar bij moeilijke vragen gaan ze in de war en maken ze meer fouten dan wanneer ze gewoon direct antwoord gaven. Het is alsof iemand die een simpele som moet oplossen, eerst een heel filosofisch betoog begint en daardoor de uitkomst vergeet.
• De "Rekenfout": Robots zijn vaak slecht in het tellen en vergelijken van getallen. Als je vraagt: "Welke route is 5 minuten sneller en 2 euro goedkoper?", dan tellen ze vaak verkeerd of kiezen ze gewoon de kortste weg, ongeacht de prijs. Ze begrijpen niet echt wat "goedkoper" of "sneller" betekent in een complexe situatie.
• De "Kleurverwarring": Op een metrokaart zijn lijnen vaak gekleurd. Robots hebben moeite om te zien dat een rode lijn hier en daar een andere naam heeft, of ze springen onterecht van de ene lijn naar de andere alsof ze door muren kunnen lopen.

4. Waarom is dit belangrijk?

Je zou kunnen denken: "Nou, ik gebruik gewoon Google Maps." En dat klopt. Google Maps is een speciaal programma dat perfect is gemaakt voor dit doel.

Maar de robots die dit onderzoek testen, zijn algemene slimme assistants. Ze moeten niet alleen routes plannen, maar ook schrijvers, programmeurs en artsen zijn. Als ze niet kunnen plannen hoe ze van A naar B komen in een drukke stad, hoe kunnen ze dan helpen bij complexe problemen zoals het plannen van een stadsvernieuwing of het redden van mensen tijdens een ramp?

MapTab is dus een diagnose. Het zegt: "Jullie zijn slim, maar jullie zijn nog niet klaar voor de echte, rommelige wereld waar we tegelijkertijd moeten kijken, lezen en rekenen."

Conclusie

Dit onderzoek is als een rijbewijstest voor slimme robots. Ze hebben hun theorie-examen gehaald, maar bij het praktijkexamen (de drukke stad met een kaart en een prijslijst) vielen ze vaak flauw. De boodschap is duidelijk: we moeten robots nog veel meer trainen om niet alleen tekst te begrijpen, maar ook om echt te zien en te rekenen in complexe situaties. Pas dan kunnen we ze echt op onze handen laten vertrouwen voor het plannen van onze dagelijkse reizen.

Technische samenvatting

Titel

MapTab: Zijn Multimodale Grootte Taalmodellen (MLLMs) Klaar voor Meer-criteria Routeplanning in Heterogene Grafieken?

1. Het Probleem

Multimodale Grootte Taalmodellen (MLLMs) hebben indrukwekkende redeneercapaciteiten getoond, maar systemische evaluaties van hun redeneervermogen onder meer-criteria beperkingen ontbreken nog. Bestaande benchmarks focussen vaak op basisvisuele redenering of lokale perceptie, maar falen in het beoordelen van complexe, realistische besluitvorming waarbij modellen visuele kaartdata moeten combineren met gestructureerde tabulaire data (zoals tijd, kosten, comfort) om een optimale route te vinden.

De uitdaging ligt in het gezamenlijk modelleren van:

• Visuele perceptie: Het interpreteren van topologische relaties op een kaartafbeelding.
• Gestructureerde data: Het verwerken van numerieke attributen uit tabellen.
• Meer-criteria optimalisatie: Het balanceren van tegenstrijdige doelen (bijv. snelheid vs. kosten vs. comfort) in plaats van het vinden van een enkelvoudig kortste pad.

2. Methodologie: De MapTab Benchmark

De auteurs introduceren MapTab, een multimodaal benchmark dat specifiek is ontworpen om holistisch meer-criteria redeneren te evalueren via routeplanningstaken.

Dataverzameling en Structuur:

• Scenarios: De benchmark omvat twee realistische scenario's:
  1. Metromap: Metrokaarten van 160 steden in 52 landen (160 kaarten).
  2. Travelmap: Toeristische kaarten van 168 attracties in 19 landen (168 kaarten).
• Dataformaten: In plaats van alleen afbeeldingen, gebruikt MapTab een "beeld + tabel"-paradigma. Elke kaartafbeelding wordt aangevuld met twee gestructureerde tabellen:
  • Edge_tab: Bevat attributen voor verbindingen (lijnen/trajecten): Tijd, Prijs, Comfortniveau, Betrouwbaarheid.
  • Vertex_tab: Bevat attributen voor knooppunten (stations/attracties): Wachtijd, Prijs, Comfort, Betrouwbaarheid, en overstaptijd.
• Aanvragen (Queries): Er zijn in totaal 196.800 routeplanningsvragen (RP) en 3.936 vragen-antwoordvragen (QA) gegenereerd. De RP-vragen variëren van criteria-vrij (kortste pad) tot complex meer-criteria optimalisatie (bijv. "vind de beste route voor een familie op basis van tijd, prijs en comfort").
• Kwaliteitscontrole: Een strikt proces met algoritmen en handmatige verificatie zorgt voor de nauwkeurigheid van de tabellen en de gegenereerde referentieroutes.

Evaluatie-Setup:

• Modellen: 15 state-of-the-art MLLMs werden getest, waaronder open-source modellen (Qwen3-VL, InternVL, Phi) en gesloten bronmodellen (GPT-4o, GPT-4.1, Gemini-3-Flash, Doubao).
• Invoermodi: Modellen werden getest onder verschillende configuraties: alleen kaart, alleen tabellen, en combinaties (Kaart + Edge_tab + Vertex_tab).
• Metingen:
  • Exact Match Accuracy (EMA): Precieze overeenstemming met de referentieroute.
  • Partial Match Accuracy (PMA): Lengte van het correcte voorvoegsel.
  • Difficulty-aware Score (DS): Een score die rekening houdt met de complexiteit van de kaart en de query.

3. Belangrijkste Resultaten

De evaluatie onthult dat huidige MLLMs aanzienlijke moeite hebben met meer-criteria multimodale redenering:

• Perceptie is een knelpunt: In visueel dichte scenario's (zoals Metrokaarten) presteert het gebruik van alleen tabellen vaak beter dan het gebruik van alleen kaarten of combinaties. Dit suggereert dat visuele perceptie (OCR, entiteitsherkenning) een grote bottleneck is. Het toevoegen van symbolische ankers (zoals een samengevoegde tabel) kan de stabiliteit van het redeneren echter verbeteren.
• Multimodale samenwerking faalt vaak: Onder beperkte visuele perceptie presteert multimodale samenwerking soms slechter dan unimodale benaderingen. Modellen lijken moeite te hebben om visuele en tabulaire informatie effectief te fuseren.
• Redeneringsbottlenecks:
  • "Kortste-pad-valstrik": Modellen neigen ertoe om ongeacht de criteria het kortste pad te gokken, in plaats van de criteria daadwerkelijk te integreren.
  • Numerieke zwaktes: Modellen falen vaak bij tellen, numerieke vergelijkingen en multi-hop redenering (bijv. het berekenen van totale reistijd inclusief overstaptijden).
  • Heterogene grafieken: Het modelleren van gewichten in heterogene grafieken (waarbij zowel knooppunten als randen verschillende attributen hebben) is extreem moeilijk voor huidige modellen.
• Chain-of-Thought (CoT): CoT helpt bij multimodale coördinatie in complexe scenario's, maar kan leiden tot "overthinking" in eenvoudigere taken en kan de intrinsieke bovengrens van het redeneervermogen van een model niet overtreffen.
• Resolutie-impact: Interessant genoeg leidt een matige vermindering van de beeldresolutie soms tot betere prestaties, omdat dit irrelevante visuele ruis verwijdert en de focus legt op de globale structuur.

4. Bijdragen

1. Eerste Multimodale Meer-criteria Benchmark: MapTab is de eerste benchmark die visuele en tabulaire data combineert in meer-criteria routeplanningsscenario's om redeneren over heterogene grafieken te evalueren.
2. Grootschalige Dual-Scenario Dataset: Met 328 kaarten, 16.400 start-doelparen en bijna 200.000 queries biedt het een uitgebreide basis voor analyse, gedekt over twee verschillende domeinen (metro en toerisme).
3. Uitgebreide Evaluatie van MLLMs: De studie onthult fundamentele beperkingen van 15 toonaangevende modellen, met name in de integratie van visuele perceptie met gestructureerde numerieke redenering.

5. Betekenis en Toekomstperspectief

MapTab biedt een diagnostisch kader om de beperkingen van MLLMs in kaartbegrip en cross-modale integratie bloot te leggen. De resultaten tonen aan dat hoewel modellen goed zijn in lokale perceptie (zoals het vinden van een station), ze worstelen met globale ruimtelijke modellering en complexe, meer-criteria besluitvorming.

Toekomstige richtingen die uit dit werk voortvloeien, omvatten:

• Het ontwikkelen van modulaire frameworks die perceptie en redenering ontkoppelen.
• Het integreren van agentische redenering met hulpmiddelen (tools) voor betrouwbare berekeningen.
• Gerichte post-training (SFT + RL) om de consistentie in meer-criteria beslissingen te verbeteren.

Samenvattend stelt MapTab dat MLLMs nog niet klaar zijn voor realistische, meer-criteria routeplanning en dat er significante vooruitgang nodig is in het vermogen om visuele en gestructureerde data samen te voegen voor complexe logische taken.