Fine-tuning LLMs for Tourist Trajectory Prediction using Field Experiment Data

Immaginate di trovarvi sul bordo di un vasto e frenetico parco, osservando centinaia di persone che si snodano tra i sentieri, si fermano nei giardini e vagano verso i castelli. Per i pianificatori urbani e i funzionari del turismo, capire perché questi visitatori scelgano un percorso piuttosto che un altro non è solo una questione di curiosità; è uno strumento critico per gestire la folla, proteggere i siti fragili e garantire che il denaro fluisca nei posti giusti. Quando una destinazione cerca di introdurre un nuovo navetta elettrico o un sistema di bike-sharing per aiutare le persone a spostarsi tra le attrazioni sparse, si trova di fronte a una domanda difficile: questo nuovo servizio cambierà realmente il modo in cui le persone esplorano, o i visitatori lo useranno semplicemente per raggiungere più velocemente gli stessi luoghi affollati? I modelli informatici tradizionali faticano a rispondere a questo perché spesso trattano il movimento umano come una semplice serie di passi, ignorando i fattori disordinati e reali che influenzano le nostre scelte, come un improvviso acquazzone, un bambino stanco o il semplice desiderio di trovare una panchina tranquilla. Questi sistemi più vecchi richiedono enormi quantità di dati storici per apprendere i modelli e, quando si trovano di fronte a una nuova situazione che non hanno mai visto prima, spesso falliscono nel fare previsioni corrette.

Un team di ricercatori dell'Università di Osaka e del Centro RIKEN per la Scienza Computazionale ha adottato un approccio diverso, rivolgendosi a un tipo di intelligenza artificiale nota come modello linguistico di grandi dimensioni (large language model). Questi sono gli stessi potenti sistemi informatici in grado di scrivere storie, rispondere a domande complesse e sostenere conversazioni, addestrati su vaste biblioteche di testi umani. I ricercatori si sono resi conto che questi modelli possiedono già una profonda e intuitiva comprensione del comportamento umano. Essi "sanno" che le persone cercano riparo quando piove, che le famiglie hanno bisogno di pause frequenti e che l'ora di pranzo di solito significa cercare del cibo. Invece di costruire un nuovo modello da zero, il team ha deciso di insegnare a questo sistema esistente e già esperto come navigare in una località specifica. Si sono concentrati nel loro studio sul Parco del Castello di Wakayama, in Giappone, una vasta destinazione con una torre del castello storica, giardini, uno zoo e numerosi spazi di sosta. Durante un programma pilota nel dicembre 2023, i ricercatori hanno raccolto dettagliati record di movimento di 566 turisti, tracciando dove sono andati, quando sono arrivati e cosa hanno fatto, annotando al contempo il meteo e l'ora del giorno.

Per insegnare al computer, i ricercatori hanno tradotto questi record di movimento grezzi in un formato che il modello linguistico potesse comprendere: una storia semplice e strutturata. Hanno descritto ogni visitatore come un personaggio con tratti specifici, come l'età o il tipo di gruppo, e hanno impostato la scena con il meteo corrente. Successivamente, hanno elencato il viaggio del visitatore passo dopo passo, annotando l'ora, l'azione e il luogo specifico visitato, proprio come scrivere il diario di una giornata al parco. Hanno poi chiesto al computer di leggere queste storie e apprendere i modelli di come le persone si siano effettivamente mosse nel parco. L'obiettivo era vedere se il modello fosse in grado di guardare la cronologia di un visitatore fino a un certo punto e prevedere accuratamente dove si sarebbe diretto successivamente. Questo processo, noto come fine-tuning, ha permesso al modello di combinare la sua conoscenza generale della natura umana con la disposizione specifica e le abitudini del Parco del Castello di Wakayama.

I risultati sono stati sorprendenti. Quando testato su nuovi visitatori che il modello non aveva mai visto, ha predetto correttamente la successiva località specifica che un turista avrebbe visitato circa il 49 percento delle volte. Questo è stato un miglioramento significativo rispetto ai metodi statistici tradizionali, che riuscivano a indovinare correttamente solo circa il 9-15 percento delle volte. I vecchi metodi spesso fallivano perché non potevano tenere conto del contesto; non capivano che una giornata di pioggia avrebbe portato un visitatore a saltare i giardini aperti per dirigersi direttamente verso il museo al chiuso. Il modello linguistico, tuttavia, ha utilizzato il suo buon senso intrinseco per effettuare queste regolazioni. Anche in situazioni difficili in cui i dati erano scarsi, come nelle giornate di pioggia in cui sono stati registrati solo pochi visitatori, il modello ha mantenuto un alto livello di precisione, prevedendo correttamente che le persone avrebbero cercato riparo al chiuso. Ha inoltre generato con successo interi itinerari giornalieri che risultavano realistici, iniziando con visite mattutine ai principali punti di interesse, passando per il pranzo e terminando con il riposo pomeridiano, il tutto senza essere stato esplicitamente programmato con queste regole.

I ricercatori hanno scoperto che la capacità del modello di comprendere il "perché" dietro una decisione era altrettanto importante della sua capacità di indovinare il "dove". Sebbene fosse leggermente meno accurato nel prevedere il nome specifico di un negozio o di un giardino, era molto bravo a prevedere il tipo di luogo che un visitatore avrebbe scelto, come un ristorante o un sito storico. Ciò suggerisce che il modello avesse appreso le intenzioni generali dei turisti. Interessante è stato anche il fatto che il team abbia testato una versione del modello che era stata specificamente addestrata sulla lingua e la cultura giapponese, ma la versione multilingue generale ha ottenuto prestazioni migliori. Questo indica che, per comprendere come le persone si muovono e prendono decisioni, la vasta e diversificata conoscenza del comportamento umano presente in un modello generale è più preziosa rispetto a un addestramento linguistico specializzato.

Questo lavoro non pretende di aver risolto perfettamente il problema della previsione del comportamento umano, né prova che questi modelli possano prevedere esattamente come una nuova politica cambierà il futuro. I ricercatori sottolineano con cautela che il loro modello è uno strumento potente per prevedere ciò che le persone faranno nelle condizioni attuali, ma utilizzare esso per simulare gli effetti di un nuovo intervento, come un nuovo autobus navetta, richiede ulteriori test. Tuttavia, lo studio dimostra che questi grandi modelli linguistici possono fungere da specchi altamente accurati del comportamento umano, capaci di comprendere le decisioni sottili e dipendenti dal contesto che definiscono una giornata al parco. Catturando la logica del perché un genitore stanco scelga una panchina invece di una lunga camminata, o perché un gruppo eviti una collina in una giornata calda, questa tecnologia offre un nuovo modo per i gestori delle destinazioni per pianificare il futuro, andando oltre la semplice statistica verso una comprensione più profonda delle persone che visitano i loro territori.