🤖 AI

VeriTrip: A Verifiable Benchmark for Travel Planning Agents over Unstructured Web Corpora

Dieser Beitrag stellt VeriTrip vor, einen verifizierbaren Benchmark, der Reiseplanungsagenten auf unstrukturierten multimodalen Webkorpora bewertet, indem eine synchronisierte Wissensbasis zur Quantifizierung faktischer Zuverlässigkeit etabliert wird und ein kritischer Zielkonflikt zwischen der kognitiven Belastung durch autonome Abrufe und der Instruktionserhaltung aufgedeckt wird.

Ursprüngliche Autoren: Yuting Xu, Jiayi Tian, Jian Liang, Xin Xiong, Hang Zhang, Mu Xu, Xiao-Yu Zhang

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuting Xu, Jiayi Tian, Jian Liang, Xin Xiong, Hang Zhang, Mu Xu, Xiao-Yu Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beauftragen einen Reisebürokaufmann, einen perfekten Urlaub zu planen. In der Vergangenheit gaben Sie diesem Agenten eine ordentliche, vordruckte Auswahl an Optionen (wie einen Flugplan oder eine Hotel liste) und baten ihn, die besten auszuwählen. Er musste lediglich gut in Mathematik und Logik sein, um einen guten Plan zu erstellen.

Doch in der realen Welt gibt es keine ordentliche Auswahl. Es gibt nur das chaotische, unordentliche Internet: Tausende von Reiseblogs, unscharfe Fotos aus sozialen Medien, widersprüchliche Bewertungen und veraltete Websites.

VeriTrip ist eine neue „Probefahrt" für KI-Reiseagenten, die entwickelt wurde, um zu prüfen, ob sie dieses reale Chaos bewältigen können. So erklärt das Papier dies unter Verwendung einfacher Analogien:

1. Das Problem: Der „Reinraum" versus der „Dschungel"

Die meisten früheren Tests für KI-Agenten waren so, als würde man sie in einen sauberen, weißen Raum setzen, in dem alle Fakten in perfekter Handschrift an die Wand geschrieben waren. Die KI musste nur die Wand lesen und einen Plan aufschreiben.

Die Autoren sagen, dass dies nicht testet, ob die KI tatsächlich intelligent ist. Das echte Leben ist ein Dschungel.

Das Rauschen: Das Internet ist voller „Rauschen" – gefälschte Werbung, verwirrende Tippfehler und Leute, die streiten, ob ein Restaurant gut oder schlecht ist.
Das visuelle Rätsel: Manchmal sendet ein Benutzer ein unscharfes, zuge schnittenes Foto eines Wahrzeichens (wie einer Statue) und sagt: „Ich möchte hier hin." Die KI muss herausfinden, welche Statue genau es ist, ohne Namensschild.
Die Halluzinationsfalle: Wenn die KI die Antwort nicht finden kann, erfindet sie sie vielleicht einfach, weil sie sich „etwas" aus ihren Trainingsdaten „erinnert". Im Reisebereich ist das Erfinden einer Flugnummer eine Katastrophe.

2. Die Lösung: Der „VeriTrip"-Test

Die Forscher haben eine spezielle Sandbox namens VeriTrip gebaut, um diese Agenten zu testen. Denken Sie daran wie an einen eingefrorenen Schnappschuss des Internets.

Die Bibliothek (MRB): Sie sammelten über 8.000 Dokumente und 4.000 Bilder von echten Reise-Websites. Dies ist die „Bibliothek", in der die KI suchen darf. Sie ist unordentlich und unorganisiert, genau wie das echte Web.
Der Lösungsheft (VKB): Versteckt vor der KI befindet sich ein „Goldstandard"-Lösungsheft. Dies enthält die wahren Fakten, die aus dieser unordentlichen Bibliothek extrahiert wurden.
Der Test: Die KI erhält eine Benutzeranfrage (z. B. „Planen Sie eine dreitägige Reise nach Changsha mit einem Budget von 500 US-Dollar, und hier ist ein unscharfes Foto eines Bronzekunstwerks"). Die KI muss:
1. Das unscharfe Foto betrachten und herausfinden, was es ist.
2. Die unordentliche Bibliothek durchsuchen, um die richtigen Fakten zu finden.
3. Einen Plan erstellen.
4. Der Haken: Die Forscher prüfen jedes einzelne Detail (Flugnummern, Hotelnamen, Preise) gegen das versteckte Lösungsheft. Wenn die KI eine Tatsache erfunden hat, erhält sie dafür null Punkte.

3. Was sie fanden: Die Überraschung der „Gehirnüberlastung"

Die Forscher testeten die intelligentesten verfügbaren KI-Modelle (wie GPT-4o, Claude und Gemini). Hier ist, was passierte:

„Faule" versus „schwere" Arbeit: Bei einfachen Aufgaben waren die KIs „faul". Sie suchten nicht genug und raten einfach basierend auf dem, was sie sich erinnerten. Dies führte zu Fehlern. Bei schwierigen Aufgaben waren sie gezwungen, mehr zu suchen, was sie tatsächlich genauer machte.
Der Zielkonflikt (Das „Jonglieren"): Dies ist die interessanteste Erkenntnis.
- Wenn die KI ihre „Augen" benutzen musste, um das Rätsel des unscharfen Fotos zu lösen, wurde sie besser darin, die Fakten zu finden (sie erfand keine falschen Namen).
- ABER, da das Lösen des Foto-Rätsels so viel ihrer „Gehirnleistung" in Anspruch nahm, vergaß sie die anderen Präferenzen des Benutzers. Sie mag das richtige Hotel finden, aber vergessen, dass der Benutzer ein vegetarisches Essen oder ein bestimmtes Budget wünschte.
- Analogie: Es ist wie ein Schüler, der so sehr darauf konzentriert ist, ein schwieriges Matheproblem zu lösen, dass er vergisst, seinen Namen auf den Testbogen zu schreiben. Er hat die Matheaufgabe richtig gelöst, hat aber die gesamte Aufgabe verfehlt.

4. Das Fazit: „Sehen" ist nicht „Planen"

Das Papier kommt zu dem Schluss, dass aktuelle KI-Agenten gut in zwei separaten Dingen sind, aber schlecht darin, sie zu kombinieren:

Sehen: Sie können ein Bild betrachten und den richtigen Ort finden.
Planen: Sie können einen Zeitplan organisieren.

Aber wenn sie beides gleichzeitig in einer unordentlichen Umgebung tun müssen, haben sie Schwierigkeiten. Oft bekommen sie die Fakten richtig, aber den Plan falsch, oder sie bekommen den Plan richtig, aber die Fakten erfunden.

Kurz gesagt: VeriTrip zeigt uns, dass wir, um einen wirklich zuverlässigen KI-Reiseagenten zu bauen, ihm beibringen müssen, wie man Fakten in einer unordentlichen Welt findet, ohne die spezifischen Wünsche des Benutzers fallen zu lassen. Im Moment lässt die KI den Ball fallen.

Technische Zusammenfassung: VeriTrip: Ein verifizierbarer Benchmark für Reiseplanungs-Agenten über unstrukturierte Web-Korpora

1. Problemstellung

Aktuelle Benchmarks für autonome Reiseplanungs-Agenten leiden unter einer fundamentalen Diskrepanz zwischen Evaluierungsparadigmen und dem realen Einsatz. Bestehende Benchmarks (z. B. TravelPlanner, TripTailor) operieren typischerweise innerhalb gesäubelter API-Umgebungen, in denen Fakten über strukturierte Schnittstellen bereitgestellt werden. Dieser Ansatz abstrahiert die Kernkognitiven Herausforderungen des offenen Webs: Informationsrauschen, faktische Widersprüche aus mehreren Quellen und die Notwendigkeit, visuelle Wahrnehmung in logische Planung zu verankern.

Im Gegensatz dazu fehlt bei tiefgehenden Forschungs-Benchmarks oft eine rigorose Verifizierungsprotokoll für synthetisierte Ausgaben; sie verlassen sich auf eine Bewertung mittels „LLM-as-a-Judge", die subtile faktische Fälschungen nicht erkennt. Die zentrale Forschungsfrage, die diese Arbeit adressiert, lautet: Können Agenten faktisch korrekte Pläne erstellen, wenn sie Fakten selbstständig aus unstrukturierten, multimodalen Beweisen entdecken müssen?

2. Methodik

2.1 Die VeriTrip-Umgebung

Um die Lücke zwischen API-basierter Planung und Open-Web-Retrieval zu schließen, stellen die Autoren VeriTrip vor, einen Benchmark, der auf einer Multimodalen Retrieval-Basis (MRB) und einer Verifizierbaren Wissensdatenbank (VKB) aufbaut.

Multimodale Retrieval-Basis (MRB): Ein statischer, eingefrorener Schnappschuss des Webs, der 8.210 Dokumente und 4.146 Bilder enthält, die aus realen Quellen (Tourismusportale, Foren, Buchungsseiten) kuratiert wurden. Die MRB ist darauf ausgelegt, „echtes Webrauschen" zu bewahren, einschließlich veralteter Meinungen, widersprüchlicher Bewertungen und werblichem Spam, während sie gleichzeitig PII und schleichende Werbung mittels eines LLM-basierten semantischen Filters (Qwen3-Max) filtert.
Aufgabenformulierung: Agenten erhalten eine Abfrage $Q = (q_{txt}, q_{img})$ . Die Textkomponente spezifiziert Einschränkungen (Budget, Dauer, Präferenzen), während die Bildkomponente einen visuellen Anker bereitstellt (z. B. ein stark zugeschnittenes Social-Media-Foto eines Reiseziels).
Agentenschnittstelle: Agenten interagieren über eine eingeschränkte Werkzeugpalette mit der MRB:
- docSearch: Schlüsselwortbasierte Textsuche.
- imgSearch: Visuelle Ähnlichkeitssuche zur Klärung von mehrdeutigen Ankern.
- getDocument: Abruf des vollständigen Textinhalts.
- Spezialisierte Funktionen für strukturierte Restaurantmetadaten (um die Vollständigkeit der Bewertung sicherzustellen, da Rohwebdaten für Gastronomie oft fragmentiert sind).
Verifizierbare Wissensdatenbank (VKB): Ein strukturierter Goldstandard, der aus der MRB extrahiert wurde und für Agenten strikt unzugänglich ist. Sie enthält Ground-Truth-Fakten (Verkehrs-IDs, POI-Namen, Öffnungszeiten), die für die automatische Verifizierung verwendet werden.

2.2 Evaluierungsprotokoll

VeriTrip geht über das reine Oberflächenform-Matching hinaus zu einem zellweisen faktischen Verifizierungsprotokoll. Die Evaluierungspipeline umfasst:

Lieferquote (DR): Misst, ob die Ausgabe ein gültiges, parsbares JSON ist.
Faktische Zuverlässigkeit (FR): Der Prozentsatz der generierten Details (z. B. Flugnummern, Hotelnamen), die exakt mit der VKB übereinstimmen. Dies unterscheidet zwischen systematischen Schlussfolgerungsfehlern und parametrischen Halluzinationen.
Erfüllungsrate der Präferenzen (PFR) und Bestehensquote (PR): Bewertet die Einhaltung weicher Einschränkungen (Geschmackspräferenzen bei der Gastronomie) und harter Einschränkungen (Budget, chronologische Kontinuität).
Geografische Kohärenz: Verwendet einen Traveling-Salesperson-Problem (TSP)-Solver, um den Durchschnittlichen Überschuss (AM) zu berechnen, der die zusätzliche Reisedistanz im Vergleich zu einer optimalen Route misst, um das räumliche Common Sense zu bewerten.

2.3 Experimentelles Setup

Der Benchmark wurde an einer diversen Reihe von State-of-the-Art Multimodalen Large Language Models (MLLMs) evaluiert, darunter:

Ohne Nachdenken: GPT-4o, GPT-5-mini, Claude-4.5-Sonnet, Gemini-2.5-flash, Qwen-VL-Max, usw.
Mit Nachdenken: o3, o4-mini, Gemini-2.5-pro.
Die Modelle wurden an Aufgaben unterschiedlicher Schwierigkeit (Einfach, Mittel, Komplex) getestet, die 15 Touristenstädte in China und den USA umfassen.

3. Hauptbeiträge

Unstrukturierter Multimodaler Benchmark: VeriTrip ist der erste Benchmark, der Reiseplanung über ein eingefrorenes, unstrukturiertes, multimodales Webkorpus bewertet, anstatt über isolierte APIs. Es zwingt Agenten, visuelle Mehrdeutigkeiten aufzulösen und sich durch lautes, widersprüchliches Evidenzmaterial zu navigieren.
Zellweises Verifizierungsprotokoll: Durch die Konstruktion einer VKB, die direkt aus der MRB abgeleitet ist, ermöglichen die Autoren eine präzise, automatisierte Quantifizierung der faktischen Zuverlässigkeit. Dies entkoppelt genuine logische Schlussfolgerungen von internem parametrischem Gedächtnis.
Entdeckung kognitiver Zielkonflikte: Die Evaluierung deckt einen kritischen Retrieval-Schlussfolgerungs-Zielkonflikt auf. Die kognitive Belastung, die für autonomes Retrieval und visuelle Verankerung erforderlich ist, untergräbt signifikant die Instruktionsbeibehaltung und die Erfüllung übergeordneter Präferenzen.
Analyse der visuellen Verankerung: Die Arbeit zeigt, dass visuelle Tools (Timg) die faktische Verankerung verbessern, indem sie Retrieval erzwingen (was Halluzinationen reduziert), gleichzeitig aber die Planungsqualität (PFR) verschlechtern, indem sie die Schlussfolgerungskapazität des Modells erschöpfen.

4. Hauptergebnisse

Systemisches Versagen in unbeschränkten Umgebungen: Alle getesteten MLLMs haben Schwierigkeiten mit retrieval-basierter Planung ohne Einschränkungen. Während die Lieferquoten (DR) relativ hoch bleiben, ist die Faktische Zuverlässigkeit (FR) durchweg niedrig (oft unter 50 % für viele Modelle bei komplexen Aufgaben).
Das Phänomen der „Faulheit": Modelle zeigen bei einfachen Aufgaben „Faulheit", indem sie sich auf parametrisches Gedächtnis mit weniger Tool-Aufrufen verlassen, was zu einer niedrigeren FR führt. Das Erzwingen von Agenten zu komplexen Aufgaben erhöht die Tool-Nutzung und verbessert die FR (z. B. verbesserte o4-mini die FR um 8,74 % bei komplexen Aufgaben), was bestätigt, dass aktives Retrieval Halluzinationen reduziert.
Der Retrieval-Schlussfolgerungs-Zielkonflikt:
- Faktische Zuverlässigkeit vs. Erfüllungsrate der Präferenzen: Mit zunehmender Aufgabenkomplexität verbessert sich die FR oft (durch erzwungenes Retrieval), aber die Erfüllungsrate der Präferenzen (PFR) kollabiert. Beispielsweise sank die PFR von GPT-4o-mini bei komplexen Aufgaben um 21,45 %.
- Auswirkung der visuellen Verankerung: Ablationsstudien zeigen, dass die Bereitstellung visueller Suchtools die FR verbessert (durch Auflösung von Mehrdeutigkeiten), aber die PFR signifikant senkt. Die kognitive Belastung durch die Verarbeitung visueller Eingaben verbraucht die Schlussfolgerungsressourcen, die zur Einhaltung globaler Einschränkungen benötigt werden.
Rauschempfindlichkeit: Das Vorhandensein von widersprüchlichen oder irreführenden Informationen in der MRB verschlechtert die Leistung im Allgemeinen, insbesondere bei Lieferquote und Bestehensquote, obwohl einige Modelle in der geografischen Kohärenz Widerstandsfähigkeit zeigen.
Versagensmodi: Fallstudien zeigen, dass Agenten oft beim feingranularen Entity-Erkennung versagen (Verknüpfung eines spezifischen visuellen Ankers mit einem POI) und kontextuelle Halluzinationen aufweisen, bei denen starke textuelle Priors visuelle Beweise überlagern (z. B. das Erzwingen eines Wahrzeichens von Los Angeles in eine Boston-Reiseroute).

5. Bedeutung und Behauptungen

Die Autoren positionieren VeriTrip als notwendige Evolution in der Agenten-Evaluierung, die den Fokus von „Tool-Ausführung" auf „evidenzbasierte Schlussfolgerung" verlagert.

Überbrückung der Lücke: Die Arbeit hebt eine signifikante Fähigkeitslücke zwischen „Sehen" (visuelle Wahrnehmung) und „Planen" (logische Synthese) hervor. Aktuelle MLLMs fehlen die feingranularen visuellen diskriminativen Fähigkeiten, um diese Lücke ohne externes Retrieval zu überbrücken.
Robustheit gegenüber Auswendiglernen: Der Benchmark zeigt, dass hohe Leistung in strukturierten API-Umgebungen nicht auf das offene Web übertragbar ist. Echte Robustheit erfordert die Fähigkeit, Fakten gegen laute, unstrukturierte Quellen zu verifizieren.
Einschränkungen und Grenzen: Die Autoren beanspruchen bescheiden, dass VeriTrip statisches Evidenz-Retrieval innerhalb eines eingefrorenen Sandkastens bewertet. Es misst keine Echtzeit-Fähigkeiten für dynamische Buchungen (z. B. Live-Ticketkäufe oder den Umgang mit ausverkauften Szenarien). Der Umfang ist auf 15 Städte in China und den USA beschränkt, und die Evaluierung ist durch die „evidenzausreichende" Natur des Sandkastens begrenzt.

Zusammenfassend bietet VeriTrip eine rigorose Grundlage für die Entwicklung der nächsten Generation von Planungs-Agenten und betont, dass zukünftiger Fortschritt davon abhängt, die Spannung zwischen den kognitiven Anforderungen des autonomen Retrievals und der Genauigkeit der logischen Planung zu lösen.