ItinBench: Benchmarking Planning Across Multiple Cognitive Dimensions with Large Language Models

Il paper introduce ItinBench, un nuovo benchmark che valuta le capacità di pianificazione e ragionamento dei modelli linguistici su larga scala integrando compiti di ragionamento spaziale e verbale in scenari di pianificazione di viaggi, rivelando che i modelli attuali faticano a mantenere prestazioni elevate quando devono gestire simultaneamente diverse dimensioni cognitive.

L'essenziale

🗺️ ItinBench: Il "Prova Abilità" per i Viaggiatori Robot

Immagina che le Intelligenze Artificiali (come quelle che usi per scrivere email o fare riassunti) siano dei cervelli digitali molto intelligenti. Fino a poco tempo fa, li abbiamo testati solo su compiti "verbali": chiedevamo loro di scrivere poesie, risolvere indovinelli logici o tradurre lingue. Era come se avessimo fatto un esame di matematica a un genio, ma non avessimo mai chiesto loro di guidare un'auto.

Il paper ItinBench si chiede: "Ma se questi cervelli digitali dovessero pianificare un viaggio reale, dove devono anche decidere il percorso migliore tra un museo e un ristorante, ce la farebbero?"

Ecco come funziona, spiegato con delle metafore:

1. Il Problema: Il Viaggiatore che si perde nel labirinto

Pensate a un viaggiatore che deve organizzare un viaggio di 3 giorni a Philadelphia. Deve:

• Capire le preferenze (Ragionamento Verbale): "Voglio un hotel con un buon servizio, ristoranti con cibo fresco e attrazioni attive."
• Organizzare il percorso (Ragionamento Spaziale): "Ok, ho scelto questi posti, ma sono tutti sparsi per la città! Se vado dal Museo al Parco e poi al Ristorante, farò 50 km di strada inutile. Devo raggrupparli in modo intelligente per non stancarmi."

Fino ad oggi, i test per l'IA si concentravano solo sulla prima parte (capire le preferenze). ItinBench aggiunge la seconda parte (il percorso), creando una sfida molto più difficile, simile a quella che affrontiamo noi umani ogni giorno.

2. La Soluzione: ItinBench, il "Simulatore di Viaggio"

Gli autori hanno creato un nuovo banco di prova chiamato ItinBench. Immaginalo come un videogioco di simulazione dove l'IA deve pianificare un viaggio reale.

Hanno preso un database reale di ristoranti, hotel e musei (basato su recensioni vere di Yelp) e hanno creato 500 scenari diversi. L'IA deve:

1. Leggere la richiesta dell'utente (es. "Budget alto, cibo locale").
2. Scegliere i posti giusti (Ragionamento Verbale).
3. Disegnare la mappa del percorso per visitare tutto nel modo più efficiente possibile (Ragionamento Spaziale).

3. La Scoperta: Il "Cervello" si confonde quando fa due cose insieme

Il risultato più sorprendente è come un paradosso: quando l'IA deve fare solo la parte verbale (scegliere i posti), va abbastanza bene. Ma appena le chiedi di ottimizzare anche il percorso (la parte spaziale), le prestazioni crollano.

È come se chiedeste a un chef di preparare un ottimo piatto (compito verbale) e contemporaneamente di guidare un'auto in mezzo al traffico (compito spaziale). Se gli chiedete di fare solo il piatto, è perfetto. Se gli chiedete di fare entrambe le cose, spesso sbaglia il piatto o si perde nel traffico.

Cosa hanno scoperto nello specifico?

• Le IA non "vedono" davvero la mappa: Quando gli autori hanno dato all'IA una mappa già pronta (dicendo "questi posti sono vicini"), l'IA ha fatto meglio. Questo suggerisce che le IA non stanno immaginando lo spazio come noi (pensando "A è vicino a B"), ma stanno solo manipolando le parole che descrivono la vicinanza. È come se leggessero "A è vicino a B" e lo credessero, senza realmente capire la geometria.
• Il compromesso (Trade-off): Più l'IA cerca di ottimizzare il percorso, più tende a sbagliare le preferenze dell'utente. Se si concentra troppo sulla distanza, dimentica che l'utente voleva cibo fresco.

4. Le 4 Sfide del Gioco

Per testare le IA, hanno creato 4 livelli di difficoltà:

1. Livello Base: Scegli i posti, non preoccuparti del percorso. (Facile per l'IA).
2. Livello Medio: Scegli i posti e cerca di ottimizzare il percorso, ma senza aiuti. (Qui l'IA inizia a fare errori).
3. Livello Esperto: Ti diamo già una lista di posti filtrati, devi solo ottimizzare il percorso. (L'IA migliora nel percorso, ma non è perfetta).
4. Livello Master (Tool Use): L'IA deve usare dei "strumenti" virtuali (come un motore di ricerca) per raccogliere informazioni e poi pianificare. (Qui l'IA deve ragionare come un vero agente umano).

5. Perché è importante?

Questo studio ci dice che per creare un'Intelligenza Artificiale davvero utile (un "Agente" che può fare cose per noi), non basta che sia brava a parlare o a scrivere. Deve avere un senso dello spazio e della logica pratica che oggi le manca.

È come se avessimo costruito un'auto volante che sa parlare benissimo, ma non sa come sterzare per evitare un ostacolo. ItinBench ci aiuta a capire dove dobbiamo migliorare per costruire un'IA che non solo "parla" di viaggi, ma sa davvero "viaggiare".

In sintesi

ItinBench è un nuovo test che dice alle IA: "Non basta essere bravi a scrivere un itinerario, devi anche sapere come muoverti fisicamente tra i posti!". E la lezione imparata è che, per ora, le IA sono bravissime a scrivere, ma ancora un po' goffe quando devono muoversi nello spazio reale.

Sommario tecnico

1. Il Problema

I Large Language Models (LLM) hanno dimostrato capacità eccezionali nel ragionamento verbale (logico, matematico, linguistico) e sono sempre più utilizzati come agenti per compiti di pianificazione. Tuttavia, le valutazioni attuali presentano due limiti fondamentali:

1. Dominio ristretto: La maggior parte dei benchmark si concentra esclusivamente sul ragionamento verbale, ignorando altre dimensioni cognitive cruciali per l'intelligenza umana.
2. Mancanza di integrazione reale: I compiti di pianificazione esistenti (come la pianificazione di viaggi) spesso trattano la logistica spaziale come un problema separato o semplificato, non valutando la capacità del modello di gestire simultaneamente vincoli semantici complessi e ottimizzazione geometrica.

L'ipotesi centrale è che l'intelligenza umana integri il ragionamento verbale (preferenze, regole, logica) con il ragionamento spaziale (distanze, orientamento, ottimizzazione di percorsi). I modelli attuali faticano a mantenere alte prestazioni quando devono gestire queste due dimensioni cognitive contemporaneamente.

2. Metodologia: ItinBench

Per colmare questo divario, gli autori introducono ItinBench, un nuovo benchmark progettato per valutare la pianificazione di itinerari di viaggio integrando due dimensioni cognitive:

• Ragionamento Verbale: Comprensione delle preferenze dell'utente (es. "cucina fresca", "servizio eccellente", "budget alto"), selezione di punti di interesse (POI) e rispetto di vincoli temporali.
• Ragionamento Spaziale: Ottimizzazione dei percorsi (Route Optimization) per minimizzare le distanze di viaggio tra i POI selezionati, affrontando un problema di tipo Traveling Salesman Problem (TSP) in un contesto reale.

Componenti del Dataset e del Flusso di Lavoro

• Dati: Il dataset è basato su Philadelphia (estratto da Yelp), contenente ristoranti, hotel e attrazioni con attributi base e recensioni elaborate per generare punteggi specifici (es. freschezza, servizio, orientamento familiare).
• Query: Vengono generate 500 query umane realistiche che combinano 6-10 preferenze diverse (durata, budget, tipo di attrazione, preferenze culinarie, ecc.).
• Task Sperimentali: Sono stati definiti quattro task principali per isolare e combinare le capacità cognitive:
  1. All Data, No Route Optimization: Valuta solo il ragionamento verbale (selezione POI) senza ottimizzazione spaziale.
  2. All Data with Route Optimization: Valuta la capacità di gestire vincoli verbali complessi e ottimizzare i percorsi simultaneamente.
  3. Filtered Data with Route Optimization: I dati sono pre-filtrati in base alle preferenze (riducendo il carico verbale) per valutare la pura capacità di pianificazione spaziale.
  4. Tool Use with Route Optimization: I modelli devono utilizzare strumenti (API) per raccogliere informazioni e pianificare, simulando un agente reale.

Metriche di Valutazione

• Ragionamento Verbale:
  • Out of Pool (OOP): Percentuale di raccomandazioni non presenti nel dataset fornito (allucinazioni).
  • Missing Information (MI): Mancanza di dati richiesti.
  • Validated Rate (VR): Percentuale di piani che soddisfano tutti i vincoli verbali e di fattibilità.
• Ragionamento Spaziale:
  • Distance Gap (DG) & Total Distance Gap (Total-DG): Differenza di distanza tra il percorso proposto dall'LLM e la soluzione ottimale calcolata tramite un algoritmo TSP adattato.
  • Extra Cluster Jump (ECJ): Misura quanto spesso il modello salta tra cluster geografici distanti invece di raggruppare le visite vicine.

3. Contributi Chiave

1. Integrazione di Ragionamento Verbale e Spaziale: ItinBench è il primo benchmark che valuta sistematicamente la capacità degli LLM di coordinare decisioni semantiche (preferenze) e geometriche (ottimizzazione percorsi) in un unico compito di pianificazione.
2. Nuove Evidenze Empiriche: Dimostra che i modelli attuali mostrano un trade-off significativo: quando vengono spinti a ottimizzare i percorsi spaziali, le loro prestazioni nel ragionamento verbale (selezione corretta delle preferenze) tendono a degradare, e viceversa.
3. Analisi della "Cognizione Spaziale" negli LLM: Gli autori evidenziano che i miglioramenti nelle prestazioni spaziali derivano spesso dall'uso di indizi testuali espliciti (es. cluster pre-calcolati forniti nel prompt) piuttosto che da una vera capacità di calcolo geometrico o immaginazione spaziale interna.

4. Risultati Principali

Lo studio ha testato diversi modelli, inclusi Llama 3.1 8B, Mistral Large, Gemini 1.5 Pro, GPT-4o e OpenAI o1.

• Prestazioni Generali: I modelli faticano a mantenere prestazioni elevate e coerenti quando devono gestire entrambe le dimensioni.
  • La Validated Rate (VR) scende drasticamente (spesso sotto il 20%) quando si richiede l'ottimizzazione del percorso rispetto al solo ragionamento verbale.
  • Anche con dati pre-filtrati, i modelli generano percorsi con distanze inutili superiori del 15-38% rispetto all'ottimo teorico.
• Trade-off Cognitivo: Il modello OpenAI o1, che eccelle nel ragionamento verbale (VR ~18% nel task complesso), vede un calo significativo nelle prestazioni verbali quando deve ottimizzare i percorsi, perdendo circa il 20% di efficacia rispetto ai task puramente verbali.
• Dipendenza dagli Indizi Testuali: Quando vengono forniti cluster spaziali espliciti (informazioni testuali sulla vicinanza), il Total Distance Gap diminuisce (da ~25% a ~15%), suggerendo che i modelli risolvono il problema tramite manipolazione semantica del testo ("questi punti sono nello stesso cluster") piuttosto che attraverso una vera simulazione spaziale.
• Uso degli Strumenti (Tool Use): Nel task con uso di strumenti, modelli come GPT-4o e Mistral Large raggiungono tassi di consegna del 100%, ma commettono errori nella selezione dei parametri delle chiamate agli strumenti, specialmente per preferenze complesse e diffuse (es. "buona freschezza" vs "buon servizio").

5. Significato e Implicazioni

ItinBench rappresenta un passo fondamentale verso la valutazione più completa delle capacità di pianificazione degli agenti AI:

• Superare i Limiti dei Benchmark Attuali: Sposta il focus dalla sola logica verbale a scenari di pianificazione realistici dove la geografia e la logica devono coesistere.
• Sfida per l'AGI: Evidenzia che per raggiungere un'intelligenza artificiale generale (AGI) capace di operare nel mondo reale, i modelli devono sviluppare capacità di "immaginazione spaziale" che vadano oltre la semplice manipolazione di token testuali.
• Direzione Futura: Suggerisce la necessità di sviluppare modelli nativamente capaci di operare su rappresentazioni spaziali strutturate (mappe, grafi, coordinate) piuttosto che fare affidamento su descrizioni testuali per simulare lo spazio.

In sintesi, il paper dimostra che, sebbene gli LLM siano potenti strumenti di ragionamento verbale, la loro capacità di pianificare azioni complesse nel mondo fisico (o simulato) è ancora limitata dalla difficoltà di integrare simultaneamente vincoli semantici e ottimizzazione spaziale.