TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning
Dit artikel introduceert TREK, een rigoureuze en volledig reproduceerbare benchmark met een deterministische evaluator en een grootschalige synthetische reisdataset om het vermogen van LLM-agenten om haalbare, aan restricties voldoende reisschema's te genereren te beoordelen, waarbij wordt onthuld dat zelfs de meest geavanceerde modellen aanzienlijk moeite hebben met planning met meerdere beperkingen en het voldoen aan niet-geëxpliciteerde gebruikersbehoeften.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot probeert te leren hoe je een vakantie plant. In de wereld van kunstmatige intelligentie worden deze robots "LLM-agenten" genoemd. Het zijn als digitale reisagenten die je rommelige tekstberichten kunnen lezen, begrijpen wat je wilt, en vervolgens het internet op kunnen gaan om vluchten te boeken, hotels te vinden en sightseeing te plannen. Maar hier zit de crux: alleen omdat een robot over een perfecte reis kan praten, betekent dat nog niet dat hij er ook daadwerkelijk een kan bouwen. Een echte vakantieplanning is een delicaat puzzelstukje. Elke vlucht moet daadwerkelijk bestaan, de hotels moeten open zijn, de dagen moeten lang genoeg zijn om tussen steden te rijden, en de totale kosten moeten binnen je budget passen. Als de robot een vluchtnummer verzint of vergeet dat een museum om 17:00 uur sluit, valt het hele plan in duigen. Lange tijd hebben we deze robots getest door hen verhalen over reizen te laten schrijven, maar we hadden geen strikte manier om te controleren of hun plannen ook echt in de echte wereld zouden werken.
Dit is waar een nieuwe studie genaamd TREK (Travel Reasoning and Evaluation Kit) om de hoek komt kijken. Denk aan TREK als een enorme, hoogwaardige "vluchtsimulator" voor reisplannende robots. In plaats van de robots te laten gokken, hebben de onderzoekers een perfect consistente, fictieve wereld gebouwd met 212.530 records van vluchten, hotels en attracties verspreid over 375 steden. Vervolgens gaven ze 15 verschillende AI-agenten een reeks van 800 reisuitdagingen. Sommige uitdagingen waren mogelijk, en sommige waren onmogelijk (zoals proberen naar een stad te vliegen die geen luchthaven heeft). De robots moesten een speciale set hulpmiddelen gebruiken om een plan op te stellen, en vervolgens controleerde een strikte, computergestuurde scheidsrechter (zonder een menselijke of AI-rechter die mild zou zijn) elk afzonderlijk detail. Het doel was om te zien of de robots een plan konden produceren dat niet alleen een mooi verhaal was, maar een perfect uitvoerbare, foutloze reisplanning die rekening hield met de verborgen behoeften van de reiziger, zoals rolstoeltoegankelijkheid of huisdiervriendelijkheid.
De resultaten waren een flinke reality check. Zelfs het sterkste model in deze specifieke studie uit 2027, GPT-5.6, slaagde er slechts in om voor 46,2% van de mogelijke reizen een volledig perfect, bruikbaar plan te maken. De gemiddelde robot deed het veel slechter, met een mediaan succespercentage van slechts 6,6%, en sommige faalden volledig met een score van 0,0%. De studie toonde aan dat de robots eigenlijk best goed waren in de "saaie" zaken: ze verzinnen zelden nepvluchten (hallucinaties) en kunnen meestal wel aangeven wanneer een reis onmogelijk is. Ze liepen echter tegen een enorme muur op als het ging om het begrijpen van de persoon die reist. De grootste flessenhals was het voldoen aan "impliciete behoeften" — die onuitgesproken wensen zoals "ik ben een fijnproever en wil in de buurt van een Michelinster-restaurant verblijven" of "ik ben een reiziger met een beperking en heb een hotel met een oprit nodig". Zelfs de beste robots slaagden er vaker dan de helft van de tijd niet in om aan deze verborgen behoeften te voldoen.
De onderzoekers testten ook of het geven van de robots meer tijd om na te "denken" of het laten gebruiken van meer computerkracht zou helpen. Verrassend genoeg was dat niet het geval. In het ene paar modellen dat ze konden vergelijken, presteerde de versie die meer tijd besteedde aan "redeneren" zelfs slechter dan de versie die simpelweg instructies opvolgde. Bovendien garandeerde het uitgeven van meer geld aan computer-tokens geen beter plan; sommige van de zwakste robots waren de duurste, terwijl de beste verrassend efficiënt was. De studie concludeert dat hoewel AI-agenten beter worden in het opvolgen van regels, ze nog steeds moeite hebben om echt betrouwbare reisplanners te zijn omdat ze nog niet in staat zijn om alle complexe, menselijke beperkingen van een echte reis tegelijkertijd perfect te balanceren. De kloof tussen een robot die over een reis praat en een robot die een perfecte reis kan boeken, is nog steeds een openstaande kwestie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.