MapTab: Are MLLMs Ready for Multi-Criteria Route Planning in Heterogeneous Graphs?

Die Arbeit stellt MapTab vor, ein multimodales Benchmark-Tool zur Bewertung der Fähigkeit von Multimodal Large Language Models (MLLMs), Routenplanungsaufgaben unter Berücksichtigung mehrerer Kriterien wie Zeit, Preis, Komfort und Zuverlässigkeit zu lösen, und zeigt dabei erhebliche Defizite aktueller Modelle in diesem Bereich auf.

Das Wesentliche

MapTab: Können KI-Modelle wirklich den perfekten Reiseplan erstellen?

Stellen Sie sich vor, Sie sitzen in einem Café und wollen von Ihrem Zuhause zu einem weit entfernten Freund. Aber es gibt ein Problem: Sie haben nicht nur eine Karte, sondern auch eine Tabelle mit Preisen, eine andere mit Wartezeiten und eine dritte, die angibt, wie komfortabel die Züge sind. Und das Ganze soll die KI für Sie lösen.

Genau das ist die Herausforderung, die das neue Forschungsprojekt MapTab untersucht. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: KI ist gut im Sehen, aber schlecht im Planen

Künstliche Intelligenzen (die sogenannten "Multimodalen Large Language Models" oder MLLMs) können heute Bilder toll beschreiben. Sie erkennen Katzen auf Fotos oder lesen Text aus einem Bild. Aber wenn es darum geht, komplexe Entscheidungen zu treffen – wie "Welche U-Bahn-Linie ist am schnellsten, aber auch am günstigsten und am zuverlässigsten?" – stolpern sie oft.

Bisherige Tests haben die KI meist nur mit einfachen Fragen getestet. MapTab ist wie ein Prüfstein für den echten Alltag.

2. Die Lösung: MapTab – Der große Reise-Test

Die Forscher haben einen riesigen Test entwickelt, der wie ein digitaler Reisebüro-Check funktioniert.

• Die zwei Welten: Der Test besteht aus zwei Teilen:
  • Metromap: Wie ein riesiges U-Bahn-Netz in 160 Städten weltweit.
  • Travelmap: Wie ein Reiseführer für 168 Touristenattraktionen in 19 Ländern.
• Das Rätsel: Die KI bekommt ein Bild der Karte (die visuellen Hinweise) und dazu strukturierte Tabellen mit Zahlen (Zeit, Geld, Komfort, Zuverlässigkeit).
• Die Aufgabe: Die KI muss nicht nur die Karte "lesen", sondern alle diese Informationen zusammenführen und den perfekten Weg berechnen. Es reicht nicht, nur den kürzesten Weg zu finden; sie muss abwägen: "Ist es besser, 5 Minuten länger zu fahren, aber 2 Euro zu sparen?"

3. Die Ergebnisse: Die KI stolpert über ihre eigenen Füße

Die Forscher haben 15 der fortschrittlichsten KI-Modelle getestet. Das Ergebnis war überraschend und etwas ernüchternd:

• Die "Blinden Flecken": Wenn die Karten sehr voll und detailliert sind (wie eine echte U-Bahn-Karte mit vielen Linien), geraten die KIs in Panik. Sie verlieren den Überblick. Es ist, als würde man jemandem eine riesige Landkarte geben, der aber nicht lesen kann, wo die Straßen sind.
• Die Tabellen sind der Retter: Interessanterweise funktionierten die KIs viel besser, wenn sie sich nur auf die Zahlen in den Tabellen verlassen durften und das Bild ignorierten. Das zeigt: Die KIs sind gut im Rechnen mit klaren Daten, aber schlecht darin, das Chaos auf einem Bild zu verstehen.
• Der "Über-den-Horizont-Blick"-Effekt: Wenn die KIs versuchen, mehrere Schritte voraus zu planen (z. B. "Ich muss umsteigen, dann noch einmal umsteigen, dann ist der Zug voll"), brechen sie oft zusammen. Sie machen Fehler bei einfachen Additionen oder zählen Stationen falsch.

4. Eine lustige Analogie: Der Koch und das Rezept

Stellen Sie sich die KI wie einen Koch vor:

• Das Bild der Karte ist wie ein Foto vom Kühlschrank, auf dem man sieht, welche Zutaten da sind.
• Die Tabellen sind wie ein genaues Rezept mit Grammangaben und Kochzeiten.

Die aktuellen KIs sind wie Köche, die das Foto vom Kühlschrank gut betrachten können ("Ah, da ist eine Tomate!"), aber wenn sie das Rezept (die Tabelle) lesen müssen und gleichzeitig die Tomate finden sollen, werden sie verwirrt. Sie vergessen oft, dass sie die Tomate erst waschen müssen (Transferzeit), bevor sie sie schneiden (Preis), oder sie verwechseln die Reihenfolge der Zutaten.

5. Was bedeutet das für die Zukunft?

MapTab zeigt uns, dass wir noch einen langen Weg vor uns haben, bevor KI wirklich wie ein menschlicher Reiseplaner agieren kann.

• Die Lektion: Wir müssen KI-Modelle nicht nur besser im "Sehen" machen, sondern auch darin, logisch zu denken und verschiedene Informationen (Bilder + Zahlen) nahtlos zu verbinden.
• Die Hoffnung: Dieser Test ist wie ein Diagnosegerät. Er zeigt genau, wo die KI hakt. Nur wenn wir wissen, wo die Schwachstellen liegen (z. B. beim Zählen oder beim Abwägen von Kosten), können wir die Modelle verbessern.

Zusammenfassend: MapTab ist ein riesiges, komplexes Labyrinth, das die KI durchlaufen muss. Bisher sind die KIs noch nicht bereit, den perfekten Weg zu finden, ohne sich zu verirren. Aber mit diesem Test wissen wir jetzt genau, wo wir sie trainieren müssen, damit sie eines Tages unsere Reisepläne wirklich meistern können.

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben beeindruckende Fortschritte in der visuellen Sprache und dem logischen Schlussfolgern gemacht. Dennoch fehlt es an systematischen Benchmarks, um die Fähigkeit dieser Modelle zu bewerten, unter multi-kriterialen Einschränkungen zu reasoning.
Das spezifische Problem liegt im multimodalen Routenplanen (Route Planning, RP):

• Modelle müssen visuelle Informationen aus Kartenbildern (Topologie, Stationen, Linien) mit strukturierten tabellarischen Daten (Zeit, Kosten, Komfort, Zuverlässigkeit) kombinieren.
• Im Gegensatz zu reinen Navigationsaufgaben müssen Modelle oft widersprüchliche Ziele balancieren (z. B. schnellste Route vs. günstigste Route vs. bequemste Route).
• Bestehende Benchmarks konzentrieren sich oft auf einfache visuelle Fragen oder unstrukturierte Texte und vernachlässigen die Komplexität heterogener Graphen, bei denen Knoten (Stationen) und Kanten (Verbindungen) unterschiedliche Attribute besitzen, die in verschiedenen Modalitäten (Bild vs. Tabelle) kodiert sind.

2. Methodik: Der MapTab-Benchmark

Die Autoren stellen MapTab vor, einen multimodalen Benchmark, der speziell für die Evaluierung des ganzheitlichen multi-kriterialen Reasoning in heterogenen Graphen entwickelt wurde.

Datensatz-Aufbau:

• Szenarien: Der Benchmark umfasst zwei Hauptkategorien:
  1. Metromap: 160 Karten aus 52 Ländern (32 Sprachen), die U-Bahn-Netze darstellen.
  2. Travelmap: 168 Karten aus 19 Ländern, die touristische Routen zwischen Sehenswürdigkeiten zeigen.
• Gesamtumfang: 328 hochauflösende Kartenbilder, 16.400 Start-Ziel-Paare, insgesamt 196.800 RP-Abfragen und 3.936 QA-Abfragen.
• Multi-Modalität: Um die Lücke zwischen visueller Wahrnehmung und strukturierten Daten zu schließen, werden für jede Karte zwei ergänzende Tabellen bereitgestellt:
  • Edge_tab: Enthält Attribute für Verbindungen (Kanten): Zeit, Preis, Komfort, Zuverlässigkeit.
  • Vertex_tab: Enthält Attribute für Knoten (Stationen/Sehenswürdigkeiten): Wartezeit, Transferzeit, Komfort, Zuverlässigkeit.
• Kriterien: Die Abfragen basieren auf vier Schlüsselfaktoren: Zeit, Preis, Komfort und Zuverlässigkeit.
• Aufgabenarten:
  • RP (Route Planning): Finden der optimalen Route unter Gewichtung der Kriterien.
  • QA (Question Answering): Beantwortung von Fragen zu Zählungen, Lokalisierung, Pfadverfolgung und numerischem Vergleich.
• Qualitätssicherung: Ein strenger Prozess mit automatisierten Validierungsalgorithmen und manueller Überprüfung stellt die Konsistenz der Topologie und der Attribute sicher.

Experimentelles Setup:

• Modelle: Evaluation von 15 repräsentativen MLLMs (Open-Source und Closed-Source), darunter Qwen3-VL, GPT-4o, Gemini-3-Flash und Doubao-Seed.
• Einstellungen: Tests unter verschiedenen Eingabemodalitäten (nur Karte, nur Tabelle, Kombination) und Schwierigkeitsgraden (einfach, mittel, schwer).
• Metriken:
  • Exact Match Accuracy (EMA): Vollständige Übereinstimmung der Route.
  • Partial Match Accuracy (PMA): Länge des korrekten Präfixes.
  • Difficulty-aware Score (DS): Gewichtung der Genauigkeit basierend auf der Schwierigkeit der Karte und der Abfrage.

3. Wichtige Ergebnisse und Beobachtungen

Die Evaluation ergab, dass aktuelle MLLMs erhebliche Schwierigkeiten bei multi-kriterialen multimodalen Reasoning-Aufgaben haben:

1. Visuelle Wahrnehmung als Engpass:

   • In visuell dichten Szenarien (Metromap) führt die Kombination von Karte und Tabelle oft zu schlechteren Ergebnissen als die reine Tabelle.
   • Beobachtung: Strukturierte Tabellen (Edge_tab) sind robuster als Kartenbilder, wenn die visuelle Wahrnehmung schwierig ist. Symbole in Tabellen wirken als „Anker" und reduzieren OCR-Fehler.
   • Paradoxon: In einfacheren Szenarien (Travelmap) verbessern Bilder die Leistung, in komplexen Szenarien werden sie jedoch zur Belastung.

2. Schwächen im multi-kriterialen Reasoning:

   • Shortest-Path-Falle: Modelle neigen dazu, einfach den kürzesten Pfad (nach Stationen) zu raten, anstatt die multi-kriterialen Gewichte tatsächlich zu berechnen. Wenn die kürzeste Route zufällig mit der optimalen multi-kriterialen Route übereinstimmt, ist die Leistung hoch; andernfalls bricht sie ein.
   • Numerische Defizite: Modelle scheitern häufig an Zählungen, numerischen Vergleichen und der Berechnung von Gesamtwerten (z. B. Gesamtzeit unter Berücksichtigung von Transferzeiten).
   • Heterogene Graphen: Das Verständnis von Gewichtsbeziehungen in heterogenen Graphen (Knoten und Kanten mit unterschiedlichen Attributen) ist für aktuelle Modelle kaum lösbar.

3. Chain-of-Thought (CoT) und „Overthinking":

   • Modelle mit explizitem Reasoning (Thinking-Modelle) zeigen in komplexen multimodalen Szenarien Verbesserungen, da CoT hilft, strukturierte Daten mit visuellen Informationen zu synchronisieren.
   • In einfacheren Szenarien führt CoT jedoch oft zu Overthinking: Das Modell zweifelt an korrekten Lösungen oder führt unnötige Schritte aus, was die Leistung verschlechtert.

4. Einfluss der Auflösung:

   • Eine moderate Verringerung der Bildauflösung kann die Leistung in bestimmten Aufgaben sogar verbessern, da irrelevante visuelle Details unterdrückt werden und sich das Modell auf die globale Struktur konzentrieren kann.

4. Schlüsselbeiträge

1. Erster multimodaler Multi-Kriterien-Benchmark: MapTab kombiniert erstmals visuelle Karten mit tabellarischen Daten, um das Reasoning über heterogene Graphen unter realistischen multi-kriterialen Bedingungen zu bewerten.
2. Groß angelegter Dual-Szenario-Benchmark: Mit 328 Karten, 196.800 RP-Abfragen und 3.936 QA-Abfragen bietet der Datensatz eine umfassende Basis für die Analyse, die deutlich über bestehende Benchmarks hinausgeht.
3. Umfassende Evaluierung: Die systematische Testung von 15 State-of-the-Art-Modellen deckt fundamentale Grenzen in der visuellen Wahrnehmung, der multimodalen Integration und dem langfristigen numerischen Reasoning auf.

5. Bedeutung und Ausblick

MapTab demonstriert, dass MLLMs zwar in der Lage sind, einfache Karten zu lesen, aber bei komplexen Entscheidungsfindungsaufgaben, die reale Einschränkungen (Zeit, Kosten, Komfort) und heterogene Datenquellen kombinieren, noch weit von menschlicher Leistung entfernt sind.

• Diagnostisches Werkzeug: Der Benchmark dient nicht als Konkurrenz zu Navigationssoftware, sondern als diagnostisches Framework, um die spezifischen Schwächen von MLLMs (z. B. Fehlerakkumulation im Multi-Hop-Reasoning, mangelnde numerische Präzision) aufzudecken.
• Zukünftige Richtungen: Die Autoren schlagen vor, Modelle durch modulare Architekturen (Trennung von Wahrnehmung und Reasoning), den Einsatz von Agenten mit Werkzeugnutzung (für Berechnungen) und gezieltes Post-Training (SFT + RL) zu verbessern.
• Fazit: Aktuelle MLLMs sind noch nicht bereit für zuverlässiges multi-kriteriales Routenplanen in heterogenen Graphen. Die Forschung muss sich auf die Verbesserung der visuellen Wahrnehmungsdichte, der numerischen Grounding-Fähigkeiten und der robusten multimodalen Integration konzentrieren.