ItinBench: Benchmarking Planning Across Multiple Cognitive Dimensions with Large Language Models

Dit paper introduceert ItinBench, een nieuwe benchmark die ruimtelijk redeneren combineert met traditionele taakplanning om de beperkingen van grote taalmodellen bij het gelijktijdig hanteren van meerdere cognitieve domeinen te evalueren.

De kern

Het Reiskluisje van de AI: Waarom Slimme Robots nog Slecht Wegwijs zijn

Stel je voor dat je een supersterke robot hebt die alles kan lezen, vertalen en begrijpen. Hij kent alle restaurants, hotels en bezienswaardigheden ter wereld. Je vraagt hem: "Plan een 3-daagse dure reis voor mij, met leuke activiteiten, vers eten en een hotel met goede service."

Je zou denken: "Geen probleem, hij is slim!" Maar volgens dit nieuwe onderzoek, genaamd ItinBench, loopt het vaak mis. Niet omdat de robot de taal niet begrijpt, maar omdat hij niet goed kan nadenken over de ruimte.

Hier is wat de onderzoekers hebben ontdekt, vertaald in een verhaal:

1. De Twee Hersenstammen: Woorden vs. Kaarten

Mensen hebben twee soorten intelligentie nodig om een reis te plannen:

• De Woord-Intelligentie: "Ik wil Italiaans eten," "Ik wil een hotel met een zwembad," "Ik heb 3 dagen." Dit is makkelijk voor de AI. Hij is een taalgenie.
• De Ruimte-Intelligentie: "Als ik eerst naar het museum ga, moet ik dan eerst naar het noorden of het zuiden? Ligt het restaurantje dichtbij of moet ik een uur rijden?" Dit is het probleem.

De onderzoekers hebben een nieuwe testbed (een soort 'speelplaats' voor AI) gemaakt, genaamd ItinBench. Ze hebben de AI een taak gegeven waarbij hij beide hersenstammen tegelijk moet gebruiken: een reisplanner maken die niet alleen de juiste woorden kiest, maar ook de kortste route berekent.

2. Het Experiment: De "Vergelijkende Reis"

Stel je voor dat je een groepje robots een opdracht geeft:

• Opdracht A: Kies de juiste restaurants en hotels op basis van je wensen (alleen taal).
• Opdracht B: Kies de juiste plekken én zorg dat je niet uren in de file staat door van de ene kant van de stad naar de andere te rijden (taal + ruimte).

De onderzoekers keken naar bekende modellen zoals GPT-4o, Llama en Gemini. Wat zagen ze?

• Bij Opdracht A: De robots deden het prima. Ze konden perfect begrijpen wat je wilde.
• Bij Opdracht B: De robots begonnen te struikelen. Ze konden de juiste woorden vinden, maar hun routeplanning was vaak belachelijk slecht.

3. De "Telefoonboek"-Truc

Het meest interessante is waarom ze faalden.
De robots proberen niet echt te "nadenken" over een kaart (zoals een mens die een route in zijn hoofd visualiseert). In plaats daarvan proberen ze de ruimte te begrijpen door woorden te manipuleren.

Het is alsof de robot een telefoonboek heeft. Als je vraagt: "Wat ligt het dichtst bij elkaar?", kijkt de robot niet naar de afstand op de kaart, maar zegt hij: "Oh, in mijn trainingstekst staat dat 'dichtbij' vaak samenkomt met 'centrum'. Dus ik kies twee dingen die in de tekst vaak samen voorkomen."

Ze gebruiken taal als een trucje in plaats van echte ruimtelijke logica. Ze "hallucineren" een route die klinkt logisch in een zin, maar op de kaart een enorme omweg is.

4. De Resultaten: Slimme Woorden, Dwaas Rijden

De cijfers zijn verrassend slecht voor zo'n geavanceerde technologie:

• De robots maakten routes die 20% tot 38% langer waren dan nodig.
• Ze vergeten vaak details of kiezen voor plekken die niet bestaan in de gegeven lijst (ze "dromen" plekken uit hun eigen kennis).
• Zelfs de slimste modellen (zoals de nieuwste versies van GPT) hadden moeite om de twee taken tegelijk goed te doen. Als ze zich focusten op de route, werden ze minder goed in het begrijpen van je wensen, en andersom.

5. Wat betekent dit voor de toekomst?

De onderzoekers concluderen dat we AI nog niet echt "menselijk" kunnen noemen als het gaat om plannen. Ze zijn geweldige schrijvers, maar slechte navigators.

Om echte AGI (Algemene Kunstmatige Intelligentie) te bouwen die echt kan plannen, moeten we AI niet alleen leren lezen, maar ook leren ruimtelijk denken. We moeten ze leren om een echte "mentale kaart" te maken, in plaats van alleen maar te raden op basis van woorden.

Kortom:
Vraag een AI om een verhaal te schrijven over een reis? Hij is een meester.
Vraag hem om die reis daadwerkelijk te plannen zodat je niet de hele dag in de auto zit? Dan is hij nog steeds een beetje een dwaas die de weg kwijt is. ItinBench is de spiegel die dit laat zien.

Technische samenvatting

Titel: ItinBench: Benchmarken van Planning over Meerdere Cognitieve Dimensies met Grootte Taalmodellen (LLM's)

1. Het Probleem

Bestaande evaluaties van Large Language Models (LLM's) voor redeneren en plannen richten zich vaak op gecontroleerde omgevingen die voornamelijk verbale redenering (logica, wiskunde, taalbegrip) testen. Hoewel recente studies reizen als context gebruiken om deze taken te integreren, missen ze een cruciaal aspect van menselijke intelligentie: ruimtelijk redeneren (spatial reasoning).

Mensen gebruiken ruimtelijk redeneren voor complexe taken zoals het optimaliseren van routes, het navigeren in onbekende omgevingen en het organiseren van activiteiten op basis van geografische nabijheid. Bestaande benchmarks falen vaak in het evalueren van LLM's wanneer ze gelijktijdig verbale instructies moeten volgen én ruimtelijke optimalisaties moeten uitvoeren. Er is een tekort aan testomgevingen die deze twee cognitieve domeinen combineren om te zien of LLM's hierin even goed presteren als in pure taalopdrachten.

2. Methodologie: ItinBench

De auteurs introduceren ItinBench, een nieuw benchmark-framework dat reisplanning (trip itinerary planning) gebruikt als testbed om zowel verbale als ruimtelijke redenering te evalueren.

• Data en Context:

  • De dataset is gebaseerd op real-world data van Yelp voor de stad Philadelphia (en een subset voor Santa Barbara).
  • Het bevat informatie over restaurants, hotels en attracties, inclusief gedetailleerde gebruikersbeoordelingen die zijn verwerkt tot specifieke attributen (bijv. "smaak", "versheid", "service", "locatie").
  • Er zijn 500 menselijke query's gegenereerd met diverse voorkeuren (budget, duur, type attracties, culinaire voorkeuren).

• Opdrachtstructuur:
  LLM's moeten een gedetailleerd reisplan maken dat voldoet aan de tekstuele voorkeuren van de gebruiker én een geoptimaliseerde route biedt. De evaluatie omvat vier hoofdtaakvarianten:

  1. Alle Data, Geen Route-optimalisatie: Test puur verbale redenering (keuze van locaties op basis van tekstuele constraints).
  2. Alle Data, Met Route-optimalisatie: Test de combinatie van verbale redenering en ruimtelijke optimalisatie zonder vooraf gefilterde data.
  3. Gefilterde Data, Met Route-optimalisatie: De data is al gefilterd op basis van voorkeuren; de focus ligt hier op het oplossen van het ruimtelijke probleem (routeplanning).
  4. Toolgebruik met Route-optimalisatie: LLM's moeten tools aanroepen (in een ReACT-stijl) om informatie op te halen en clusters te bepalen voordat ze plannen.

• Evaluatiemetrics:

  • Verbale Redenering:
    • Out of Pool (OOP): Percentage keuzes die niet in de gegeven dataset zitten (hallucinaties).
    • Missing Information (MI): Ontbrekende details in het plan.
    • Validated Rate (VR): Het percentage plannen dat alle foutcontroles en voorkeurschecks doorstaat.
  • Ruimtelijke Redenering:
    • Distance Gap (DG) & Total Distance Gap: Het verschil in afstand tussen de door de LLM gegenereerde route en de geoptimaliseerde route (opgelost met een aangepast Traveling Salesman Problem (TSP) algoritme).
    • Extra Cluster Jump (ECJ): Hoe vaak de LLM de route onderbreekt door naar een ver cluster te reizen in plaats van nabijgelegen locaties te bezoeken.

3. Belangrijkste Bijdragen

1. Integratie van Ruimtelijk en Verbale Redenering: ItinBench is de eerste benchmark die ruimtelijke taken (route-optimalisatie) naadloos integreert in een verbale planningstak, waardoor een meer menselijke cognitieve dimensie wordt getest.
2. Aangepast TSP-algoritme: De auteurs hebben een TSP-oplosser aangepast om multi-dag reizen met verschillende terugkeerpunten (hotels) te evalueren, wat een realistischere schaal biedt dan eerdere benchmarks.
3. Uitgebreide Evaluatie: Het paper biedt kwantitatief bewijs van prestatie-trade-offs in LLM's wanneer ze worden geconfronteerd met meervoudige cognitieve domeinen.

4. Resultaten

De experimenten omvatten modellen zoals Llama 3.1 8B, Mistral Large, Gemini 1.5 Pro, GPT-4o en OpenAI o1. De bevindingen zijn alarmerend voor de huidige staat van LLM's:

• Prestatie-daling bij gelijktijdige taken: LLM's worstelen om hoge en consistente prestaties te behouden wanneer ze zowel verbale als ruimtelijke taken tegelijk moeten uitvoeren.
  • De Validated Rate (VR) daalt drastisch wanneer route-optimalisatie wordt toegevoegd. Zelfs met volledige toegang tot de data ligt de VR rond de 60% voor gefilterde data, maar daalt deze significant bij complexere taken.
  • Bij het toevoegen van route-optimalisatie zonder extra ruimtelijke hints (Task 2 vs Task 1) zien modellen geen significante verbetering in route-efficiëntie.
• Afhankelijkheid van tekstuele hints: Ruimtelijke prestaties verbeteren alleen aanzienlijk wanneer de LLM expliciete tekstuele hints krijgt over ruimtelijke clusters (bijv. "deze attracties zitten in Cluster 4"). Dit suggereert dat modellen niet echt "ruimtelijk redeneren" (geometrisch inzicht), maar eerder semantische manipulatie van tekstuele cues toepassen.
• Afstandsgap: Zelfs de beste modellen (zoals o1) genereren routes die 7% tot 20% langer zijn dan de geoptimaliseerde TSP-oplossing.
• Trade-offs: Modellen die goed zijn in verbale redenering (hoge VR) presteren vaak slechter in ruimtelijke optimalisatie en vice versa. Er is een duidelijke afweging (trade-off) tussen de twee vaardigheden.

5. Betekenis en Conclusie

ItinBench onthult een fundamentele beperking in huidige LLM's: ze zijn niet in staat om menselijke cognitieve domeinen (taal en ruimte) naadloos te integreren in complexe planningstaken.

• Implicatie voor AGI: Voor het bereiken van Algemene Kunstmatige Intelligentie (AGI) zijn testbeds nodig die meerdere cognitieve domeinen combineren, in plaats van ze geïsoleerd te testen.
• Richting voor toekomstig onderzoek: De resultaten suggereren dat "ruimtelijk redeneren" in LLM's momenteel vaak een schijnwerendheid is gebaseerd op tekstuele correlaties in de trainingdata, in plaats van echt ruimtelijk inzicht. Toekomstige modellen moeten mogelijk native werken met gestructureerde ruimtelijke representaties (zoals kaarten of grafen) in plaats van alleen tekstuele beschrijvingen.

Kortom, ItinBench biedt een robuust framework om de kloof tussen taalbegrip en ruimtelijke planning te meten en toont aan dat er nog veel werk te verrichten is voordat LLM's echt betrouwbare autonome agents kunnen zijn voor complexe, real-world planningsproblemen.