Evaluating Large Language Models for Decision-Making in Agent-Based Urban Mobility Simulations

Sintesi Tecnica: Valutazione degli LLM per il Processo Decisionale in Simulazioni di Mobilità Urbana Basate su Agenti

Problematica
La modellazione della mobilità urbana fatica a rappresentare accuratamente il processo decisionale individuale all'interno di ambienti dinamici e incerti. Le tradizionali simulazioni Multi-Agent Systems (MAS), pur essendo efficaci nell'analizzare i comportamenti emergenti, si affidano spesso a euristiche fisse e regole predefinite. Questi approcci basati su regole limitano l'adattabilità comportamentale, in particolare in scenari ad alta variabilità contestuale, come improvvisi blocchi stradali o interruzioni del traffico. Sebbene i Large Language Models (LLM) offrano capacità avanzate di ragionamento e semantica, la loro integrazione in simulazioni MAS spazialmente esplicite rimane poco esplorata, specialmente per quanto riguarda il loro funzionamento come strati decisionali all'interno di vincoli geospaziali.

Metodologia
Gli autori propongono un'architettura ibrida che integra un modulo decisionale basato su LLM nella piattaforma GAMA, un ambiente robusto per la modellazione basata su agenti con supporto nativo per i Sistemi Informativi Geografici (GIS). Il sistema non sostituisce gli algoritmi di routing tradizionali; al contrario, introduce uno strato cognitivo che determina quando gli agenti debbano attivare il ricalcolo del percorso.

L'architettura è composta da tre componenti primarie:

1. Piattaforma di Simulazione (GAMA): Gestisce l'ambiente spaziale, le reti stradali e il movimento degli agenti. Gli agenti monitorano la congestione e ricevono avvisi riguardanti i blocchi stradali.
2. Strato di Integrazione: Un'API basata su Python (utilizzando FastAPI) che facilita la comunicazione asincrona tra GAMA e il modulo decisionale esterno. Gestisce un database relazionale per memorizzare gli stati degli agenti, le condizioni ambientali e i log decisionali, consentendo la tracciabilità e il recupero della memoria persistente.
3. Framework Agente (Agno): Lo strato cognitivo in cui gli LLM (specificamente Google Gemini 2.5 Flash-Lite e OpenAI GPT-4o Mini) elaborano gli input contestuali. Il sistema fornisce all'LLM prompt contenenti gli attributi dell'agente (es. occupazione, livello di fiducia digitale), le condizioni di viaggio attuali (es. stanchezza, meteo) e i fattori ambientali (es. congestione, distanza dal blocco). L'LLM restituisce una decisione in formato JSON strutturato: "STAY" (rimani) sul percorso attuale o "RECALCULATE" (ricalcola).

Lo studio valuta due configurazioni: un baseline basato su regole utilizzando un punteggio euristico basato su soglie, e modelli assistiti da LLM con e senza memoria semantica persistente. Gli esperimenti sono stati condotti in due scenari (blocchi localizzati ed estesi) e due scale di popolazione (500 e 1000 agenti), misurando metriche quali tassi di ripianificazione, tassi di arrivo, rapporti di tempo di stallo e overhead computazionale.

Contributi Chiave

• Architettura Decisionale Ibrida: Il documento presenta una nuova integrazione di LLM come filtro decisionale all'interno di una simulazione di mobilità urbana basata su GAMA, disaccoppiando il ragionamento cognitivo dall'esecuzione spaziale.
• Adattamento Consapevole del Contesto: A differenza delle euristiche statiche, il sistema proposto permette agli agenti di interpretare informazioni contestuali complesse (es. combinando meteo, livelli di fiducia e congestione) per prendere decisioni sul percorso.
• Meccanismi di Memoria: L'implementazione della memoria persistente consente agli agenti di recuperare esperienze passate e risultati decisionali, influenzando il comportamento futuro per promuovere la coerenza e ridurre l'eccessiva reattività.
• Valutazione Empirica: Lo studio fornisce un'analisi comparativa degli agenti assistiti da LLM rispetto ai modelli basati su regole attraverso diverse restrizioni di rete e densità di popolazione, offrendo spunti sui compromessi tra adattabilità e costo computazionale.

Risultati

• Blocchi Localizzati: In scenari con percorsi alternativi disponibili, gli agenti assistiti da LLM hanno dimostrato una maggiore adattabilità. Hanno ottenuto tassi di arrivo più elevati (es. aumentando dal 70% a circa il 90% per 500 agenti con OpenAI e memoria) e una distribuzione spaziale più equilibrata. La memoria ha agito come stabilizzatore, riducendo l'eccessiva ripianificazione e migliorando la coerenza decisionale, sebbene abbia occasionalmente aumentato il "tempo di stallo" a seconda della specifica configurazione del modello.
• Blocchi Estesi: In scenari con gravi restrizioni di rete (pochi percorsi alternativi), l'impatto degli LLM sulle prestazioni globali (tassi di arrivo) è stato limitato. Tuttavia, gli agenti assistiti da LLM hanno comunque ridotto significativamente il "rapporto di tempo di stallo" rispetto ai modelli basati su regole, indicando un migliore evitamento della congestione locale anche quando l'ottimizzazione globale era strutturalmente impossibile.
• Eterogeneità degli Agenti: Gli LLM hanno indotto risposte eterogenee tra diversi profili di agenti (studenti, lavoratori, pensionati), particolarmente negli scenari di blocco localizzato. Negli scenari di blocco esteso, i vincoli strutturali hanno dominato, causando una convergenza comportamentale tra i profili.
• Costo Computazionale: L'integrazione degli LLM ha introdotto un overhead computazionale sostanziale, con tempi di simulazione aumentati significativamente (es. da circa 22 secondi per il modello basato su regole a circa 240 secondi per OpenAI con memoria per 1000 agenti). Tuttavia, i tassi di errore sono rimasti bassi (<1,25%), indicando una robusta stabilità del sistema nonostante la latenza.

Significatività e Rivendicazioni
Il documento sostiene che gli LLM fungano efficacemente da strati cognitivi complementari piuttosto che da sostituti degli algoritmi di routing tradizionali. La principale significatività risiede nella capacità degli LLM di arricchire le rappresentazioni comportamentali nelle simulazioni di mobilità urbana, permettendo agli agenti di esibire una maggiore consapevolezza contestuale e un comportamento adattivo in ambienti dinamici.

Gli autori concludono con moderazione che, sebbene gli LLM migliorino il realismo del processo decisionale e la capacità di adattamento locale, la loro efficacia è limitata dai vincoli fisici della rete stradale. Lo studio evidenzia un compromesso: l'integrazione degli LLM offre una modellazione comportamentale più ricca e realistica al costo di maggiori risorse computazionali. Il lavoro futuro è identificato nel focus sulla scalabilità, nel perfezionamento dei meccanismi di memoria per l'efficienza e nell'estensione della valutazione ad altri compiti decisionali oltre il ricalcolo del percorso.