The Epi-LLM Framework: probing LLM behavioral priors through epidemiological agent-based models

Sintesi Tecnica: Il Framework Epi-LLM

Problematica
Il comportamento umano è un determinante critico della dinamica delle malattie infettive, eppure quantificare l'impatto dei cambiamenti comportamentali volontari — come la quarantena, il distanziamento sociale e l'adesione alla vaccinazione — rimane una sfida significativa nella modellazione epidemiologica. I modelli compartimentali tradizionali (es. SIR, SEIR) si affidano ad assunzioni semplificative che non riescono a catturare l'interazione complessa e adattiva tra il comportamento pubblico e la trasmissione del patogeno. Sebbene i Modelli Basati su Agenti (ABM) abbiano migliorato questo aspetto simulando l'eterogeneità a livello individuale, essi sono spesso limitati dalla mancanza di dati comportamentali empirici, affidandosi invece a parametri inferiti per rappresentare il processo decisionale. Inoltre, l'integrazione dei Large Language Models (LLM) come motore comportamentale all'interno degli ABM, dove gli agenti ragionano e si adattano dinamicamente durante un focolaio, rimane un campo poco esplorato. Gli esistenti Generative Agent-Based Models (GABM) hanno mostrato potenziale, ma sono spesso limitati da architetture a modello singolo, popolazioni di agenti ridotte e una scarsa base nei dati comportamentali del mondo reale.

Metodologia
Gli autori introducono il framework Epi-LLM, un'innovativa integrazione di modellazione basata su agenti, epigame reali e LLM. Il framework è costruito su Starsim, una piattaforma open-source per la dinamica delle malattie infettive, e utilizza un modello di trasmissione SEIR (Suscettibile-Esposto-Infetto-Guarito) modificato.

• Ambiente di Simulazione: La simulazione si svolge su un periodo di 15 giorni, rispecchiando la durata di uno specifico studio di epigame condotto presso l'American University of Iraq–Baghdad (AUIB). La rete di contatto è generata tramite un modulo RandomNet dinamico con una distribuzione di grado log-normale per corrispondere ai dati di contatto empirici dello studio AUIB.
• Architettura degli Agenti: Gli agenti sono istanziati utilizzando quattro diverse architetture LLM accessibili tramite l'API di OpenRouter: DeepSeek V3, Llama 3 70B, Nemotron 120B e GPT-OSS 120B. Questi modelli rappresentano sia famiglie di transformer densi che Mixture-of-Experts (MoE) attraverso diverse scale di parametri.
• Parametrizzazione Comportamentale: Per ancorare la simulazione alla realtà, gli agenti sono parametrizzati utilizzando i punteggi del Modello di Credenza sulla Salute (HBM) derivati dalle risposte reali ai sondaggi dei partecipanti AUIB. Questi punteggi catturano la percezione di suscettibilità, gravità, benefici e barriere.
• Meccanismo Decisionale: Giornalmente, gli agenti osservano il proprio stato di salute, la prevalenza sintomatica locale e il proprio saldo punti. Successivamente, prendono una decisione binaria (quarantena o permanenza in attività) tramite un prompt LLM. Il framework decisionale include un compromesso: la quarantena garantisce protezione dall'infezione ma produce una ricompensa inferiore (5 punti), mentre rimanere attivi offre ricompense più elevate (10–15 punti) ma espone l'agente al rischio di trasmissione.
• Variazioni Sperimentali:
  • Confronto Architetturale: Valutazione degli esiti epidemici attraverso i quattro modelli LLM.
  • Inquadramento Geografico: Assegnazione di etichette geografiche (Cina, Iraq, Kenya, Regno Unito) per testare se tali etichette inducano, da sole, comportamenti culturalmente differenziati.
  • Strutture di Incentivo: Test di un sistema di punteggio alternativo in cui i punti vengono guadagnati per ogni contatto, per simulare i benefici sociali dell'interazione.
  • Analisi Statistica: Sono stati applicati modelli lineari generalizzati (GLM) binomiali e di Poisson per analizzare il comportamento di quarantena e confrontarlo con i dati dei partecipanti umani.

Contributi Chiave

1. Framework Unificato: Questo è il primo lavoro che integra LLM, modellazione epidemica basata su agenti e dati di epigame comportamentale del mondo reale in un unico framework di simulazione.
2. Ancoraggio Empirico: A differenza dei precedenti studi GABM, questo lavoro parametrizza i profili di credenza degli agenti utilizzando dati reali di sondaggi psicosociali dell'epigame AUIB, trasformando dati comportamentali statici in input dinamici di simulazione.
3. Analisi Architetturale: Lo studio fornisce un confronto sistematico di quattro architetture LLM in condizioni identiche, dimostrando che l'architettura del modello è un determinante non banale del comportamento emergente a livello di popolazione.
4. Caratterizzazione della Stocasticità: Gli autori introducono un'analisi di auto-accordo per caratterizzare la stocasticità degli agenti, fornendo uno strumento per valutare se le differenze osservate nelle traiettorie epidemiche riflettano reali priorità comportamentali o rumore di livello di seme (seed-level noise).

Risultati

• Dinamiche Epidemiche: Tutte le architetture LLM hanno ridotto il picco di infezioni attive rispetto a un baseline SEIR senza interventi. Tuttavia, l'efficacia variava in base all'architettura. Llama 3 70B ha prodotto il picco epidemico più ritardato e appiattito con il minor carico di infezioni cumulative, mentre Nemotron 120B ha mostrato picchi di infezione più elevati. I modelli appartenenti alla stessa famiglia architettonica (ad esempio, DeepSeek V3 e GPT-OSS 120B, entrambi MoE) hanno mostrato comportamenti convergenti.
• Inquadramento Geografico: L'assegnazione di etichette geografiche (Cina, Iraq, Kenya, Regno Unito) non ha indotto differenze statisticamente significative nel comportamento di quarantena o negli esiti epidemici. Le traiettorie in tutte e quattro le condizioni erano strutturalmente identiche, con infezioni cumulative che differivano per soli 11 agenti. Ciò suggerisce che le etichette geografiche da sole sono insufficienti per indurre un comportamento culturalmente differenziato negli agenti LLM senza una parametrizzazione attitudinale esplicita.
• Driver Comportamentali: Un GLM binomiale ha identificato la percezione della gravità della salute come il più forte predittore del comportamento di quarantena (β = 0.33, p = 0.002), producendo un pseudo-R² di 0.055. Questo è paragonabile allo 0.072 osservato nella prova umana, indicando che gli agenti LLM riescono a riprodurre i grandi schemi di conformità guidati dalle minacce.
• Strutture di Incentivo: Modificare la struttura delle ricompense (passando da ricompense fisse a ricompense basate sul contatto) ha alterato sostanzialmente le traiettorie epidemiche, riducendo la prevalenza di picco da ~0.5 a ~0.3 e prolungando la conformità.
• Consistenza: Llama 3 70B ha mostrato il più alto auto-accordo (consistenza), mentre Nemotron 120B è stato il più stocastico. Ciò implica che le architetture a bassa varianza offrono una maggiore validità interna per il test di regole specifiche, mentre i modelli ad alta varianza possono rappresentare meglio la natura stocastica del processo decisionale del mondo reale.

Significatività e Rivendicazioni
Il documento sostiene di porre le basi metodologiche per l'impiego del framework Epi-LLM come ambiente di simulazione scalabile e privo di rischi per la ricerca sulla preparazione alle pandemie. Gli autori affermano che il framework è tecnicamente fattibile ed empiricamente fondato, capace di generare approfondimenti sostanziali sulle dinamiche comportamentali.

Lo studio sottolinea che l'architettura dell'LLM è una scelta di design chiave per le società sintetiche: i ricercatori devono scegliere tra modelli a bassa varianza per il test controllato di ipotesi e modelli ad alta varianza per un'eterogeneità più realistica. Inoltre, il risultato nullo riguardante l'inquadramento geografico funge da scoperta critica, suggerendo che una variazione culturale significativa nei GABM richiede la parametrizzazione esplicita di fattori attitudinali e normativi piuttosto che una semplice etichettatura demografica. Infine, il framework è presentato come un sandbox prospettico per testare le meccaniche degli epigame e le strategie di intervento di sanità pubblica prima del loro dispiegamento nel mondo reale.