ItinBench: Benchmarking Planning Across Multiple Cognitive Dimensions with Large Language Models

Das Paper stellt ItinBench vor, einen neuen Benchmark, der durch die Integration von Routenoptimierung als räumliche Denkaufgabe in die Reiseplanung die Leistung von großen Sprachmodellen gleichzeitig über mehrere kognitive Dimensionen hinweg bewertet und dabei deren Schwierigkeiten bei der Bewältigung komplexer, multidimensionaler Aufgaben aufzeigt.

Das Wesentliche

Stell dir vor, du planst den perfekten Urlaub. Du hast eine lange Liste von Wünschen: „Ich will ein Hotel mit tollem Service, ein Restaurant mit frischem Fisch und ein Museum, das sich für Familien eignet." Das ist das eine Teil des Puzzles – das Verstehen deiner Sprache.

Aber es gibt noch ein zweites, oft übersehenes Teil: Die Logistik. Wenn du diese drei Orte gefunden hast, wie kommst du von einem zum nächsten? Wenn das Museum am anderen Ende der Stadt liegt und das Restaurant direkt neben dem Hotel, ist dein Plan zwar inhaltlich gut, aber logistisch ein Albtraum. Du würdest den ganzen Tag im Auto sitzen, statt zu genießen.

Das ist genau das Problem, das die Forscher mit ihrer neuen Studie „ItinBench" untersuchen.

Das große Experiment: Der Reiseplaner-Bot

Bisher haben wir KI-Modelle (wie ChatGPT oder Gemini) hauptsächlich getestet, ob sie gut reden und logisch denken können. Das ist wie ein Sprachtest in der Schule. Die Forscher von der University of Virginia wollten wissen: „Können diese KIs auch räumlich denken?"

Stell dir die KI nicht als einen klugen Professor vor, sondern als einen Reiseplaner, der zwei verschiedene Gehirne gleichzeitig benutzen muss:

1. Das Sprach-Geheimnis: Er muss verstehen, was du sagst („Ich mag scharfes Essen").
2. Das Karten-Geheimnis: Er muss im Kopf eine Landkarte zeichnen und den kürzesten Weg finden, ohne unnötig umherzureisen.

Wie haben sie das getestet?

Sie haben eine riesige Datenbank mit echten Orten in Philadelphia (Restaurants, Hotels, Sehenswürdigkeiten) erstellt. Dann haben sie der KI eine Aufgabe gegeben: „Plan mir eine 3-Tage-Reise."

Aber sie haben die Aufgaben in vier verschiedene Schwierigkeitsstufen unterteilt, wie bei einem Videospiel:

• Level 1 (Nur Text): „Nimm alle Daten und mach einen Plan." (Hier muss die KI nur lesen und auswählen).
• Level 2 (Text + Karte): „Mach einen Plan und achte darauf, dass die Route kurz ist." (Jetzt muss sie auch die Distanzen im Kopf behalten).
• Level 3 (Vorgefiltert + Karte): „Hier sind nur die Orte, die du magst. Jetzt mach die Route kurz." (Die Spracharbeit ist schon erledigt, jetzt nur noch die Karte).
• Level 4 (Der Werkzeugkasten): Die KI muss selbst aktiv werden, wie ein Detektiv. Sie muss „Werkzeuge" nutzen, um Informationen zu suchen, bevor sie den Plan schreibt.

Was ist herausgekommen? (Die überraschenden Ergebnisse)

Die Ergebnisse waren wie eine kalte Dusche für die KI-Entwickler:

1. Die KI ist ein schlechter Kartograph: Wenn die KI nur den Text verstehen muss, macht sie das ganz gut. Aber sobald sie die Route optimieren muss, wird es chaotisch. Sie schlägt oft Wege vor, bei denen man 20–30 % mehr Kilometer fährt als nötig. Es ist, als würde jemand eine Reise planen, bei dem man von Berlin nach München fährt, aber auf dem Weg nach Hamburg und zurück macht.
2. Der „Zwei-Geister-Effekt": Wenn die KI versucht, gleichzeitig die Sprache zu verstehen und die Karte zu lesen, bricht sie oft zusammen. Sie vergisst dann entweder deine Wünsche (z. B. „kein scharfes Essen") oder sie plant eine völlig ineffiziente Route. Sie kann beides nicht gleichzeitig perfekt machen.
3. Der Trick mit den Hinweisen: Die KI wurde deutlich besser, wenn man ihr die „Karte" nicht als Bild, sondern als Text gab (z. B. „Ort A liegt in der Nähe von Ort B"). Das zeigt: Die KI „sieht" die Karte nicht wirklich. Sie liest nur die Beschreibung der Nähe. Sie nutzt ihre Sprachfähigkeiten, um die räumliche Aufgabe zu lösen, anstatt wirklich räumlich zu denken.

Die große Lektion

Die Forscher sagen damit: Künstliche Intelligenz ist noch nicht so schlau wie ein Mensch beim Planen.

Ein Mensch kann sich vorstellen: „Wenn ich hier esse, bin ich schon fast am Museum." Eine KI hingegen rechnet oft nur mit Textbausteinen. Sie hat Schwierigkeiten, die Welt als einen zusammenhängenden Raum zu begreifen, in dem Entfernungen und Richtungen eine Rolle spielen.

Zusammenfassend:
Das Paper „ItinBench" ist wie ein neuer, härterer Führerschein-Test für KIs. Bisher haben wir nur geprüft, ob sie die Verkehrsregeln (die Sprache) kennen. Jetzt haben wir geprüft, ob sie auch wirklich sicher durch die Stadt fahren können (die räumliche Planung). Und das Ergebnis ist: Sie können die Regeln aufsagen, aber im echten Verkehr (der komplexen Welt) verirren sie sich noch oft.

Die Hoffnung ist, dass solche Tests helfen, KIs zu bauen, die nicht nur gut reden, sondern auch wirklich gute Planer für unsere reale Welt werden.

Technische Zusammenfassung

1. Problemstellung

Herkömmliche Benchmarks zur Evaluation von Large Language Models (LLMs) konzentrieren sich oft auf spezifische logische oder mathematische Schlussfolgerungen (verbal reasoning) in kontrollierten Umgebungen. Ein wesentlicher Mangel besteht darin, dass diese Tests die Komplexität menschlicher Kognition nicht vollständig abbilden, da sie räumliches Denken (spatial reasoning) vernachlässigen. Räumliches Denken ist jedoch ein Kernaspekt menschlicher Intelligenz, der für reale Planungsaufgaben wie die Optimierung von Reiserouten unerlässlich ist.

Die Autoren identifizieren eine Lücke: Es fehlt ein Testfeld, das LLMs gleichzeitig vor Aufgaben aus verschiedenen kognitiven Domänen (verbal und räumlich) stellt, um zu untersuchen, ob Modelle bei der gleichzeitigen Bewältigung dieser Dimensionen an Leistung verlieren oder ob sie räumliche Probleme tatsächlich lösen oder nur semantische Textmuster manipulieren.

2. Methodik: ItinBench

Das Paper stellt ItinBench vor, einen neuen Benchmark, der die Reiseplanung (Trip Itinerary Planning) als Medium nutzt, um verbale und räumliche Reasoning-Aufgaben zu integrieren.

• Datengrundlage: Die Daten stammen aus dem Yelp-Dataset (Philadelphia), umfassen Restaurants, Hotels und Sehenswürdigkeiten und wurden um detaillierte Benutzerbewertungen erweitert, aus denen spezifische Attribute (z. B. „Frische", „Service", „Lage") extrahiert wurden.
• Aufgabenstruktur: Der Benchmark definiert vier Hauptaufgaben, die unterschiedliche Kombinationen von verbalen und räumlichen Anforderungen testen:
  1. Alle Daten, keine Routenoptimierung: Testet ausschließlich verbale Reasoning-Fähigkeiten (Auswahl basierend auf Präferenzen).
  2. Alle Daten mit Routenoptimierung: LLMs müssen Präferenzen erfüllen und die Route optimieren (minimale Distanz).
  3. Gefilterte Daten mit Routenoptimierung: Die Daten sind bereits nach Präferenzen gefiltert; der Fokus liegt primär auf der räumlichen Planung.
  4. Tool-Use mit Routenoptimierung: LLMs müssen Tools (z. B. Suche, Clustering) nutzen, um Informationen zu sammeln und Pläne zu erstellen (ReAct-Paradigma).
• Evaluation:
  • Verbales Reasoning: Gemessen durch Fehlerquoten (Out-of-Pool, Missing Information), Mikro-/Makro-Präferenztreue und eine Validierungsrate (VR).
  • Räumliches Reasoning: Die Routenqualität wird durch einen adaptierten Traveling Salesman Problem (TSP)-Algorithmus bewertet. Metriken umfassen den Distanzabstand (Distance Gap) zur optimalen Route, den Gesamt-Distanzabstand (Total-DG) und die „Extra Cluster Jump"-Rate (wie oft die Route unnötig zwischen räumlichen Clustern springt).

3. Wichtige Beiträge

1. Integration von räumlichem und verbalem Reasoning: ItinBench ist der erste Benchmark, der die Bewertung von LLMs über die reine sprachliche Logik hinaus erweitert, indem er Routenoptimierung als integralen Bestandteil der Reiseplanung einführt. Dies simuliert realistischere, mehrdimensionale Planungsprobleme.
2. Neue Evidenz zu kognitiven Trade-offs: Die Studie liefert quantitative Belege dafür, dass LLMs Schwierigkeiten haben, hohe und konsistente Leistungen zu erbringen, wenn sie mehrere kognitive Dimensionen gleichzeitig bearbeiten müssen.
3. Analyse der „Räumlichen Illusion": Die Ergebnisse deuten darauf hin, dass viele LLMs bei räumlichen Aufgaben nicht auf echtes räumliches Denken zurückgreifen, sondern auf semantische Textmanipulation. Die Leistung verbessert sich signifikant nur dann, wenn explizite räumliche Hinweise (z. B. Cluster-Informationen in Textform) bereitgestellt werden, was die Notwendigkeit echter geometrischer Berechnungsfähigkeiten unterstreicht.

4. Ergebnisse

Die Evaluation umfasste verschiedene Modelle (Llama 3.1 8B, Mistral Large, Gemini 1.5 Pro, GPT-4o, OpenAI o1):

• Verbal Reasoning: LLMs scheitern oft an detaillierten Mehrschritt-Aufgaben. Ohne Vorfilterung der Daten liegt die Validierungsrate (VR) bei vielen Modellen nahe 0%. Selbst bei den besten Modellen (o1) erreicht sie nur ca. 18% bei vollen Daten, steigt aber auf bis zu 66% bei vorfilterten Daten. Dies zeigt, dass LLMs Schwierigkeiten haben, komplexe Constraints selbstständig zu identifizieren und anzuwenden.
• Räumliches Reasoning:
  • Modelle zeigen signifikante Ineffizienzen bei der Routenplanung. Die generierten Pläne weisen oft unnötige zusätzliche Distanzen auf (Total-DG von ca. 20–38% bei älteren Modellen, ca. 7–9% bei o1).
  • Trade-off-Effekt: Wenn Modelle aufgefordert werden, sowohl verbale als auch räumliche Aufgaben zu lösen, sinkt ihre Leistung in der verbalen Domäne im Vergleich zu Aufgaben, bei denen nur verbale Reasoning gefordert ist.
  • Abhängigkeit von Text-Cues: Die räumliche Leistung verbessert sich drastisch, wenn dem Modell Cluster-Informationen (Text) gegeben werden. Dies bestätigt die Hypothese, dass das Modell die räumliche Beziehung durch Textverarbeitung „errät" und nicht durch ein internes räumliches Modell berechnet.
• Tool-Use: Modelle wie GPT-4o und Mistral Large erreichen hohe Lieferquoten bei Tool-Nutzung, machen jedoch Fehler bei der Extraktion feingranularer Präferenzen aus komplexen Anfragen.

5. Bedeutung und Ausblick

ItinBench erweitert den Horizont von LLM-Benchmarks entscheidend, indem es zeigt, dass die Fähigkeit zur Planung in der realen Welt mehr als nur Sprachverständnis erfordert. Die Studie enthüllt, dass aktuelle Modelle oft „Propositional Shortcuts" nutzen, anstatt echte räumliche Kognition zu demonstrieren.

Implikationen:

• Die Entwicklung von AGI (Artificial General Intelligence) erfordert Testumgebungen, die verbale und räumliche Kompetenzen integrieren.
• Zukünftige Modelle sollten nicht nur auf Textdaten trainiert werden, sondern auch native Fähigkeiten zur Verarbeitung strukturierter räumlicher Darstellungen (Karten, Graphen, Koordinaten) entwickeln, um echte räumliche Berechnungen durchzuführen und nicht nur semantische Hinweise zu verstärken.

Zusammenfassend bietet ItinBench ein kritisches Werkzeug, um die Grenzen aktueller LLMs in komplexen, realweltlichen Planungsszenarien zu verstehen und die Entwicklung robusterer, menschlicherähnlicher Agenten voranzutreiben.