💬 NLP

WorldTravel: A Realistic Multimodal Travel-Planning Benchmark with Tightly Coupled Constraints

Dit artikel introduceert **WorldTravel**, een nieuwe benchmark voor realistische reisplanning waarbij AI-modellen moeten navigeren door complexe, onderling afhankelijke beperkingen in een multimodale webomgeving, waarbij de resultaten aantonen dat zelfs de meest geavanceerde modellen aanzienlijk falen door een kloof tussen visuele waarneming en langetermijnplanning.

Oorspronkelijke auteurs: Zexuan Wang, Chenghao Yang, Yingqi Que, Zhenzhu Yang, Huaqing Yuan, Yiwen Wang, Zhengxuan Jiang, Shengjie Fang, Zhenhe Wu, Zhaohui Wang, Zhixin Yao, Jiashuo Liu, Jincheng Ren, Yuzhen Li, Yang Yang, Ji

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zexuan Wang, Chenghao Yang, Yingqi Que, Zhenzhu Yang, Huaqing Yuan, Yiwen Wang, Zhengxuan Jiang, Shengjie Fang, Zhenhe Wu, Zhaohui Wang, Zhixin Yao, Jiashuo Liu, Jincheng Ren, Yuzhen Li, Yang Yang, Jiaheng Liu, Jian Yang, Zaiyuan Wang, Ge Zhang, Zhoufutu Wen, Wenhao Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor: je plant een perfecte vakantie naar Parijs. Je wilt die ene specifieke croissant eten bij een beroemd café, daarna naar het Louvre, en daarna een boottocht maken. Maar er is een probleem: het Louvre heeft alleen om 10:00 een plekje, het café is tussen 12:00 en 14:00 dicht voor lunch, en de boot vertrekt precies om 14:30. Als je 10 minuten te laat bent bij de beveiliging van het museum, stort je hele dagplanning in als een kaartenhuis.

Dit is precies waar dit wetenschappelijke onderzoek over gaat. De onderzoekers hebben WorldTravel gemaakt: een superspannende "testbaan" voor AI-assistenten (zoals ChatGPT).

Hier is de uitleg in begrijpelijke taal:

1. Het probleem: De "Domme" Reisplanner

De meeste huidige AI-modellen zijn heel goed in praten, maar ze zijn eigenlijk een beetje als een toerist die alleen maar naar een platte landkaart kijkt zonder te weten dat de wegen dicht zijn. Ze kunnen wel zeggen: "Ga naar het museum," maar ze snappen niet dat als je daar drie uur blijft, je de trein van 15:00 uur mist.

De onderzoekers zeggen: huidige AI-tests zijn te makkelijk. Ze geven de AI alle informatie al netjes in een lijstje (als een kant-en-klaar menu). In het echte leven moet je echter zelf op websites zoeken, naar screenshots kijken, zien of een knopje grijs is (omdat het is uitverkocht) en uitrekenen hoeveel reistijd je nodig hebt.

2. De oplossing: WorldTravel (De Digitale Hindernisbaan)

De onderzoekers hebben een digitale wereld gebouwd die lijkt op de echte wereld. Ze hebben 150 scenario's gemaakt in vijf Europese steden.

In plaats van een tekstje te geven, moeten de AI-modellen nu echte (nep)websites "bekijken". Het is alsof je een AI een smartphone geeft en zegt: "Zoek zelf maar uit hoe laat die tour begint op deze website, maar pas op: de knop is grijs, dus die is vol!"

3. De ontdekking: De "Perceptie-Actie Kloof"

Toen ze de slimste AI's (zoals GPT-5) lieten meedoen, was de uitslag schokkend. De AI's faalden massaal. De onderzoekers ontdekten twee grote blokkades:

De "Kijk-en-Begrijp" Kloof (Perception-Action Gap): De AI is heel slim in denken, maar heel slecht in "kijken". Zodra de AI een plaatje van een website moet bekijken om te zien of een tijdstip beschikbaar is, maakt hij fouten. Het is alsof je een briljante professor hebt die heel goed kan rekenen, maar die de letters op een menukaart niet goed kan lezen.
De "10-Regel" Grens (Planning Horizon): De AI kan een simpel plan maken. Maar zodra er meer dan 10 verschillende regels tegelijk zijn (bijv. "moet om 10:00 daar zijn", "moet 2 uur blijven", "moet 15 minuten buffer hebben"), raakt de AI de draad kwijt. Het is alsover een jongleur die twee ballen perfect kan vangen, maar zodra je er tien in de lucht gooit, valt alles op de grond.

De Metafoor: De Tetris-Speler

Je kunt de AI in dit onderzoek zien als een speler van Tetris.

Een simpele AI kan een blokje op de juiste plek leggen.
Een slimme AI kan een paar rijen maken.
Maar de WorldTravel-test is als een level waarbij de blokjes niet alleen van verschillende vormen zijn, maar ook van verschillende snelheden vallen, sommige blokjes ontploffen als je ze verkeerd aanraakt, en de hele vorm van het scherm constant verandert.

De conclusie van het onderzoek? Onze huidige AI's zijn nog niet klaar om je vakantie echt te regelen. Ze zijn nog te veel "denkers" en te weinig "doeners" die de chaos van de echte wereld (en de rommelige websites daarvan) kunnen begrijpen.

Technische Samenvatting: WorldTravel

1. Het Probleem (Problem Statement)

Huidige benchmarks voor autonome agenten (zoals TravelPlanner of ChinaTravel) schieten tekort in het evalueren van complexe, realistische scenario's. De belangrijkste beperkingen van bestaande methoden zijn:

Losjes gekoppelde beperkingen (Loosely coupled constraints): Bestaande taken zijn vaak "greedy-solvable", wat betekent dat een lokale beslissing (bijv. een lunchtijd kiezen) de rest van de planning niet direct onmogelijk maakt. In de echte wereld kan één kleine fout (bijv. een te late trein) de hele planning laten instorten.
Gestructureerde data: Huidige modellen werken vaak met perfecte JSON-data. In de realiteit moeten agenten informatie extraheren uit visuele interfaces (webpagina's, menu's, reserveringsschermen).
Gebrek aan multimodaliteit: Er is een kloof tussen tekstuele redenering en visuele perceptie (het kunnen "lezen" van een screenshot).

2. Methodologie (Methodology)

De auteurs introduceren WorldTravel, een benchmark die bestaat uit twee hoofdonderdelen:

WorldTravel Benchmark: Een dataset van 150 realistische reisscenario's in vijf Europese steden (Berlijn, Wenen, Rome, Florence, Barcelona). Elke taak bevat gemiddeld meer dan 15 onderling afhankelijke (tightly coupled) temporele en logische beperkingen.
WorldTravel-Webscape: Een interactieve, multimodale omgeving met meer dan 2.000 gegenereerde webpagina's (reserveringsportalen, gidsen, menu's). Agenten moeten via tool-calls screenshots van deze pagina's bekijken om parameters (zoals openingstijden, prijzen en beschikbare tijdsloten) te extraheren.

Constraint Taxonomie:
De auteurs maken een strikt onderscheid tussen:

Hard Constraints (CH): Temporele haalbaarheid (bijv. tijdsloten voor musea, minimale verblijfsduur, reistijd tussen locaties). Als deze worden geschonden, is het hele plan ongeldig.
Soft Constraints (CS): Beslissingskwaliteit (bijv. budgetoptimalisatie, hotelvoorkeuren). Deze worden alleen beoordeeld als het plan temporeel haalbaar is.

3. Belangrijkste Bijdragen (Key Contributions)

Nieuwe Benchmark: De introductie van een end-to-end planning-benchmark die de complexiteit van echte logistiek nabootst.
Multimodale Omgeving: Een gecontroleerde omgeving waar agenten visuele informatie moeten omzetten in logische planning.
Diagnostische Inzichten: Het identificeren van twee fundamentele bottlenecks voor huidige AI-modellen: de Perception-Action Gap en de Planning Horizon.

4. Resultaten (Results)

De evaluatie van 10 state-of-the-art modellen (waaronder GPT-5.2 en Claude-Opus-4.5) laat een dramatische prestatieafname zien:

Performance Collapse: Zelfs het beste model (GPT-5.2) haalt slechts 32,67% haalbaarheid in een tekstuele setting. In de multimodale setting (met screenshots) keldert dit naar 19,33%.
Perception-Action Gap: De daling van 32,67% naar 19,33% bewijst dat modellen moeite hebben met het extraheren van parameters uit visuele layouts, onafhankelijk van hun redeneervermogen.
Planning Horizon: Er is een kritiek punt bij ongeveer 10 beperkingen. Zodra een taak meer dan 10 onderling afhankelijke constraints bevat, stort de haalbaarheid van bijna alle modellen volledig in.
Onafhankelijke Bottlenecks: Uit ablatie-studies blijkt dat zelfs als de parameters perfect in tekstvorm worden aangeleverd (Gold- $\theta$ ), de modellen nog steeds falen. Dit bewijst dat visuele perceptie en logische planning twee afzonderlijke problemen zijn die apart moeten worden opgelost.

5. Betekenis (Significance)

Dit onderzoek is cruciaal voor de ontwikkeling van de volgende generatie autonome agenten. Het toont aan dat het simpelweg vergroten van de tekstuele intelligentie van een model niet voldoende is voor real-world toepassingen. Voor betrouwbare autonome planning is een unificatie nodig van:

High-fidelity visuele perceptie (het accuraat begrijpen van complexe UI's).
Long-horizon reasoning (het vermogen om complexe, temporele puzzels over een lange tijdlijn op te lossen).

De paper legt de lat hoger voor toekomstige AI-modellen door te eisen dat ze niet alleen "praten", maar ook de fragiele logistiek van de echte wereld kunnen navigeren.