🤖 AI

VeriTrip: A Verifiable Benchmark for Travel Planning Agents over Unstructured Web Corpora

Dit artikel introduceert VeriTrip, een verifieerbare benchmark die reisplanningsagenten evalueert op ongestructureerde multimodale webcorpora door een gesynchroniseerde kennisbasis op te zetten om feitelijke betrouwbaarheid te kwantificeren en een kritische afweging bloot te leggen tussen de cognitieve belasting van autonome retrievals en het behoud van instructies.

Oorspronkelijke auteurs: Yuting Xu, Jiayi Tian, Jian Liang, Xin Xiong, Hang Zhang, Mu Xu, Xiao-Yu Zhang

Gepubliceerd 2026-05-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuting Xu, Jiayi Tian, Jian Liang, Xin Xiong, Hang Zhang, Mu Xu, Xiao-Yu Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een reisbureau inhuurt om een perfecte vakantie te plannen. In het verleden gaf je deze agent een nette, vooraf gedrukte menukaart met opties (zoals een vluchtschema of een hoteloverzicht) en vroeg je hen om de beste te kiezen. Ze hoefden alleen maar goed te zijn in wiskunde en logica om een goed plan te maken.

Maar in de echte wereld bestaat er geen nette menukaart. Er is alleen het chaotische, rommelige internet: duizenden reisblogs, wazige foto's van sociale media, tegenstrijdige reviews en verouderde websites.

VeriTrip is een nieuwe "proefrit" voor AI-reisagenten, ontworpen om te zien of ze deze rommel van de echte wereld aankunnen. Hieronder wordt uitgelegd hoe het paper dit toelicht, met eenvoudige analogieën:

1. Het Probleem: De "Schone Kamer" versus de "Jungle"

De meeste eerdere tests voor AI-agenten waren alsof je ze in een schone, witte kamer zette waar alle feiten met perfect handschrift op de muur stonden geschreven. De AI hoefde alleen maar de muur te lezen en een plan te schrijven.

De auteurs zeggen dat dit niet test of de AI echt slim is. Het echte leven is een jungle.

De Ruis: Het internet zit vol met "ruis" – nepreclames, verwarrende typefouten en mensen die ruziën over of een restaurant goed of slecht is.
De Visuele Puzzel: Soms stuurt een gebruiker een wazige, bijgesneden foto van een bezienswaardigheid (zoals een standbeeld) en zegt: "Ik wil hier naartoe." De AI moet dan exact uitzoeken welk standbeeld het is, zonder naambordje.
De Hallucinatietrap: Als de AI het antwoord niet kan vinden, kan het er gewoon eentje verzinnen omdat het iets "herinnert" uit zijn trainingsdata. Bij reizen is het verzinnen van een vluchtnummer een ramp.

2. De Oplossing: De "VeriTrip"-test

De onderzoekers bouwden een speciale zandbak genaamd VeriTrip om deze agenten te testen. Denk hierbij aan een bevroren momentopname van het internet.

De Bibliotheek (MRB): Ze verzamelden meer dan 8.000 documenten en 4.000 afbeeldingen van echte reissites. Dit is de "bibliotheek" waar de AI mag zoeken. Het is rommelig en ongeorganiseerd, net als het echte web.
Het Antwoordenblad (VKB): Verborgen voor de AI ligt een "Gouden Standaard" met antwoorden. Dit bevat de ware feiten die uit die rommelige bibliotheek zijn gehaald.
De Test: De AI krijgt een gebruikersverzoek (bijvoorbeeld: "Plan een reis van 3 dagen naar Changsha met een budget van $500, en hier is een wazige foto van een bronzen artefact"). De AI moet:
1. Naar de wazige foto kijken en uitzoeken wat het is.
2. De rommelige bibliotheek doorzoeken om de juiste feiten te vinden.
3. Een plan opstellen.
4. De Vangst: De onderzoekers controleren elk detail (vluchtnummers, hotelnamen, prijzen) tegen het verborgen Antwoordenblad. Als de AI een feit heeft verzonnen, krijgt het daarvoor een nul.

3. Wat Ze Vonden: De Verrassing van "Hersenoverbelasting"

De onderzoekers testten de slimste beschikbare AI-modellen (zoals GPT-4o, Claude en Gemini). Dit is wat er gebeurde:

"Lui" versus "Hard" Werk: Bij gemakkelijke taken waren de AI's "lui". Ze zochten niet genoeg en gokten gewoon op basis van wat ze zich herinnerden. Dit leidde tot fouten. Bij moeilijke taken werden ze gedwongen meer te zoeken, wat ze eigenlijk nauwkeuriger maakte.
De Ruil (Het "Jongleren"): Dit is de meest interessante bevinding.
- Wanneer de AI zijn "ogen" moest gebruiken om de puzzel van de wazige foto op te lossen, werd het beter in het vinden van de feiten (het verzon geen nepnamen).
- MAAR, omdat het oplossen van de fotopuzzel zoveel van zijn "hersenkracht" opeiste, vergat het de andere voorkeuren van de gebruiker. Het vond misschien het juiste hotel, maar vergat dat de gebruiker een vegetarische maaltijd of een specifiek budget wilde.
- Analogie: Het is als een student die zo gefocust is op het oplossen van een moeilijk wiskundeprobleem dat hij vergeet zijn naam op het tentamen te schrijven. Hij had de wiskunde goed, maar hij zakte voor de hele opdracht.

4. De Conclusie: "Zien" is niet "Plannen"

Het paper concludeert dat huidige AI-agenten goed zijn in twee aparte dingen, maar slecht in het combineren ervan:

Zien: Ze kunnen naar een afbeelding kijken en de juiste plek vinden.
Plannen: Ze kunnen een schema organiseren.

Maar wanneer ze beide dingen tegelijk moeten doen in een rommelige omgeving, worstelen ze. Ze krijgen vaak de feiten goed, maar het plan verkeerd, of ze krijgen het plan goed, maar de feiten verzonnen.

Kortom: VeriTrip laat zien dat we, om een echt betrouwbare AI-reisagent te bouwen, moeten leren hoe we feiten in een rommelige wereld moeten vinden zonder de specifieke wensen van de gebruiker te laten vallen. Op dit moment laat de AI de bal vallen.

Technische Samenvatting: VeriTrip: Een Verifieerbare Benchmark voor Reisplanningsagenten over Ongestructureerde Webcorpora

1. Probleemstelling

Huidige benchmarks voor autonome reisplanningsagenten lijden onder een fundamentele disconnectie tussen evaluatieparadigma's en real-world implementatie. Bestaande benchmarks (bijv. TravelPlanner, TripTailor) opereren doorgaans binnen gesaniteerde API-omgevingen waar feiten worden aangeleverd via gestructureerde interfaces. Deze aanpak abstracteert de kern-cognitieve uitdagingen van het open web weg: informatieruis, feitelijke tegenstrijdigheden uit meerdere bronnen en de noodzaak om visuele perceptie te verankeren in logische planning.

Omgekeerd missen diepe onderzoeksbenchmarks vaak rigoureuze verificatieprotocollen voor samengestelde outputs, waarbij ze vertrouwen op "LLM-as-a-Judge"-beoordeling die subtiel feitelijke fabricages niet detecteert. De centrale onderzoeksvraag die door dit werk wordt aangepakt is: Kunnen agenten feitelijk correcte plannen produceren wanneer ze feiten zelf actief moeten ontdekken uit ongestructureerde, multimodale bewijslast?

2. Methodologie

2.1 De VeriTrip-omgeving

Om de kloof tussen API-gebaseerde planning en open-web-retrieval te overbruggen, introduceren de auteurs VeriTrip, een benchmark gebouwd op een Multimodale Retrieval Base (MRB) en een Verifieerbare Kennisbank (VKB).

Multimodale Retrieval Base (MRB): Een statische, bevroren snapshot van het web met 8.210 documenten en 4.146 afbeeldingen, samengesteld uit real-world bronnen (toeristische portals, forums, boekingspagina's). De MRB is ontworpen om "authentieke webruis" te behouden, waaronder verouderde meningen, tegenstrijdige reviews en promotionele spam, terwijl PII en sluimerende advertenties worden gefilterd met een op LLM gebaseerde semantische filter (Qwen3-Max).
Taakformulering: Agenten ontvangen een query $Q = (q_{txt}, q_{img})$ . Het tekstcomponent specificeert beperkingen (budget, duur, voorkeuren), terwijl het beeldcomponent een visuele anker biedt (bijv. een zwaar ingeknipte sociale-mediafoto van een bestemming).
Agent-interface: Agenten interageren met de MRB via een beperkte toolset:
- docSearch: Teksretrieval op basis van trefwoorden.
- imgSearch: Visuele zoekopdracht op gelijkenis om ambigu ankers op te lossen.
- getDocument: Ophalen van volledige tekstinhoud.
- Gespecialiseerde functies voor gestructureerde restaurantmetadata (om evaluatievolledigheid te waarborgen, aangezien ruwe webdata voor eten vaak gefragmenteerd is).
Verifieerbare Kennisbank (VKB): Een gestructureerde gouden standaard, afgeleid uit de MRB, die strikt ontoegankelijk is voor agenten. Deze bevat grondwaarheidsfeiten (transport-ID's, POI-namen, openingstijden) die worden gebruikt voor geautomatiseerde verificatie.

2.2 Evaluatieprotocol

VeriTrip gaat voorbij aan oppervlakte-vormmatching naar een cel-voor-cel feitelijke verificatieprotocol. De evaluatiepijplijn omvat:

Leveringspercentage (DR): Meet of de output een geldig, parseerbaar JSON-bestand is.
Feitelijke Betrouwbaarheid (FR): Het percentage gegenereerde details (bijv. vluchtnummers, hotelnamen) dat exact overeenkomt met de VKB. Dit onderscheidt tussen systematische redeneerfouten en parametrische hallucinaties.
Voldoening aan Voorkeuren (PFR) en Slagingspercentage (PR): Evalueert naleving van zachte beperkingen (eetvoorkeuren) en harde beperkingen (budget, chronologische continuïteit).
Geografische Coherentie: Gebruikt een Travelling Salesperson Problem (TSP)-oplosser om de Gemiddelde Marge (AM) te berekenen, die de overtollige reistijd meet in vergelijking met een optimale route om ruimtelijk gezond verstand te beoordelen.

2.3 Experimentele Opstelling

De benchmark werd geëvalueerd op een diverse reeks state-of-the-art Multimodale Grootte Taalmodellen (MLLM's), waaronder:

Zonder Denken: GPT-4o, GPT-5-mini, Claude-4.5-Sonnet, Gemini-2.5-flash, Qwen-VL-Max, enz.
Met Denken: o3, o4-mini, Gemini-2.5-pro.
De modellen werden getest op taken van variërende moeilijkheidsgraad (Eenvoudig, Gemiddeld, Complex) met betrekking tot 15 toeristische steden in China en de VS.

3. Belangrijkste Bijdragen

Ongestructureerde Multimodale Benchmark: VeriTrip is de eerste benchmark die reisplanning evalueert over een bevroren, ongestructureerd, multimodaal webcorpus in plaats van geïsoleerde API's. Het dwingt agenten om visuele ambiguïteiten op te lossen en door ruis en tegenstrijdige bewijslast te navigeren.
Cel-voor-cel Verificatieprotocol: Door het construeren van een VKB die rechtstreeks uit de MRB is afgeleid, stellen de auteurs precieze, geautomatiseerde kwantificering van feitelijke betrouwbaarheid mogelijk. Dit ontkoppelt genuanceerd logisch redeneren van intern parametrisch geheugen.
Ontdekking van Cognitieve Trade-offs: De evaluatie onthult een kritieke retrieval-redenering trade-off. De cognitieve last die nodig is voor autonome retrieval en visuele verankering erodeert significant de instructiebehoud en het vervullen van hoog-niveau voorkeuren.
Analyse van Visuele Verankering: Het artikel toont aan dat visuele tools (Timg) de feitelijke verankering verbeteren door retrieval af te dwingen (wat hallucinaties vermindert), maar tegelijkertijd de planningskwaliteit (PFR) verslechteren door de redeneercapaciteit van het model te uitgeput.

4. Belangrijkste Resultaten

Systemisch Falen in Ongelimiteerde Omgevingen: Alle geteste MLLM's worstelen met retrieval-gebaseerde planning zonder beperkingen. Hoewel de Leveringspercentages (DR) relatief hoog blijven, is de Feitelijke Betrouwbaarheid (FR) consequent laag (vaak onder de 50% voor veel modellen op complexe taken).
Het "Luie" Fenomeen: Modellen vertonen "luxe" op eenvoudige taken, waarbij ze vertrouwen op parametrisch geheugen met minder tool-aanroepen, wat leidt tot lagere FR. Het dwingen van agenten tot complexe taken verhoogt het toolgebruik en verbetert de FR (bijv. verbeterde o4-mini FR met 8,74% op complexe taken), wat bevestigt dat actieve retrieval hallucinaties vermindert.
De Retrieval-Redenering Trade-off:
- Feitelijke Betrouwbaarheid vs. Voldoening aan Voorkeuren: Naarmate de taakcomplexiteit toeneemt, verbetert FR vaak (door geforceerde retrieval), maar Voldoening aan Voorkeuren (PFR) stort in. Bijvoorbeeld, de PFR van GPT-4o-mini daalde met 21,45% op complexe taken.
- Impact van Visuele Verankering: Ablatiestudies tonen aan dat het verstrekken van visuele zoektools de FR verbetert (door ambiguïteit op te lossen) maar de PFR significant verlaagt. De cognitieve last van het verwerken van visuele input consumeert de redeneerbronnen die nodig zijn om globale beperkingen te vervullen.
Ruisgevoeligheid: De aanwezigheid van tegenstrijdige of misleidende informatie in de MRB verslechtert over het algemeen de prestaties, met name in Leveringspercentage en Slagingspercentage, hoewel sommige modellen veerkracht tonen in geografische coherentie.
Foutmodi: Case studies onthullen dat agenten vaak falen bij fijnkorrelige entiteitsherkenning (het koppelen van een specifiek visueel anker aan een POI) en contextuele hallucinaties vertonen, waarbij sterke tekstuele priors visueel bewijs overrulen (bijv. het forceren van een Los Angeles-landmerk in een Boston-reisplanning).

5. Betekenis en Claims

De auteurs positioneren VeriTrip als een noodzakelijke evolutie in agent-evaluatie, waarbij de focus verschuift van "tool-uitvoering" naar "evidence-gebaseerd redeneren".

Overbruggen van de Kloof: Het werk benadrukt een significant capaciteitsverschil tussen "zien" (visuele perceptie) en "plannen" (logische synthese). Huidige MLLM's missen de fijnkorrelige visuele discriminatiecapaciteiten om deze kloof te overbruggen zonder externe retrieval.
Robuustheid boven Memoratie: De benchmark toont aan dat hoge prestaties in gestructureerde API-omgevingen niet vertalen naar het open web. Ware robuustheid vereist het vermogen om feiten te verifiëren tegen ruisige, ongestructureerde bronnen.
Beperkingen en Grenzen: De auteurs bescheiden claimen dat VeriTrip statische bewijsretrieval evalueert binnen een bevroren sandbox. Het meet geen real-time dynamische boekingsmogelijkheden (bijv. live ticketaankopen of het afhandelen van uitverkochte scenario's). De reikwijdte is beperkt tot 15 steden in China en de VS, en de evaluatie wordt begrensd door de "bewijs-voldoende" aard van de sandbox.

Concluderend biedt VeriTrip een rigoureuze basis voor het ontwikkelen van de volgende generatie planningsagenten, met de nadruk dat toekomstige vooruitgang afhankelijk is van het oplossen van de spanning tussen de cognitieve eisen van autonome retrieval en de betrouwbaarheid van logische planning.