A Bayesian latent class reinforcement learning framework to capture adaptive, feedback-driven travel behaviour

Sintesi Tecnica: Un Framework di Apprendimento per Rinforzo a Classi Latenti Bayesiane

Definizione del Problema
La ricerca tradizionale sul comportamento di viaggio si basa pesantemente sui Modelli di Scelta Discreta (DCM) che trattano le preferenze come costrutti fissi. Tuttavia, le decisioni di viaggio nel mondo reale spesso comportano un apprendimento adattivo in cui gli individui rivedono le proprie aspettative sulla base del feedback (ad esempio, ritardi, nuovi percorsi). Sebbene i modelli di Reinforcement Learning (RL) provenienti dalla psicologia matematica riescano a catturare efficacemente questo apprendimento dinamico guidato dal feedback, le applicazioni esistenti nel settore dei trasporti assumono spesso una singola distribuzione continua di parametri di apprendimento (ad esempio, modelli bayesiani gerarchici con prior unimodali). Questo approccio non riesce a catturare tipi di apprendimento discreti e distinti all'interno di una popolazione (ad esempio, esploratori persistenti rispetto a esploratori rapidi). La mediazione tra comportamenti così divergenti può portare a inferenze fuorvianti e a interventi politici scarsamente mirati. Inoltre, i sondaggi convenzionali sui viaggi spesso mancano dei dati longitudinali necessari per catturare il feedback esperito necessario per modellare l'apprendimento dinamico.

Metodologia
Il documento propone un framework di Apprendimento per Rinforzo a Classi Latenti (LCRL) che integra i Modelli di Scelta a Classi Latenti (LCCM) con la dinamica dell'Apprendimento per Rinforzo specifica per classe. Il modello è stimato utilizzando il Metodo Bayesiano Variazionale (VB) all'interno di un framework completamente bayesiano per gestire spazi di parametri ad alta dimensionalità e variabili latenti.

1. Nucleo di Reinforcement Learning: Il modello utilizza la regola di apprendimento di Rescorla-Wagner.
   • Errore di Predizione: Le aspettative ($Q$) per un'alternativa vengono aggiornate trial-per-trial in base alla differenza tra l'esito effettivo ($r$) e l'aspettativa precedente, scalata da un tasso di apprendimento ($\alpha$).
   • Regola di Scelta: Le aspettative aggiornate alimentano un framework di Massimizzazione dell'Utilità Casuale (RUM - Multinomial Logit), dove l'utilità dipende dall'esito atteso e da un parametro di sensibilità ($\beta$) che governa il compromesso tra esplorazione ed esploitazione (exploration-exploitation).
2. Integrazione delle Classi Latenti: Il modello assume che la popolazione sia composta da $K$ classi latenti discrete.
   • Appartenenza alla Classe: La probabilità che un individuo appartenga a una classe è modellata tramite una funzione logit multinomiale di attributi socio-demografici e contestuali.
   • Dinamiche Specifiche per Classe: Ogni classe $k$ possiede il proprio set di parametri RL: tassi di apprendimento ($\alpha_k$), sensibilità all'esplorazione-esploitazione ($\beta_k$), parametri di bias ($\gamma_{ik}$) ed aspettative iniziali ($Q_{i,0,k}$).
3. Stima: A causa dell'intrattabilità della distribuzione a posteriori, gli autori utilizzano l'Inferenza Variazionale. Approssimano la vera distribuzione a posteriori con una distribuzione trattabile utilizzando un'ipotesi di campo medio (mean-field) e ottimizzano l'Evidence Lower Bound (ELBO) tramite la discesa del gradiente stocastico (ottimizzatore Adam).

Contributi Chiave

• Framework Innovativo: Questa è la prima applicazione che modella congiuntamente l'eterogeneità comportamentale discreta e l'apprendimento per rinforzo dinamico utilizzando un approccio variazionale pienamente bayesiano. Colma il divario tra i modelli econometrici di scelta discreta e la psicologia matematica.
• Gestione dell'Eterogeneità: A differenza dei modelli RL gerarchici standard che assumono una variazione continua attorno a un processo comune, l'LCRL identifica esplicitamente tipi di apprendimento distinti (multimodalità), evitando la mediazione di comportamenti divergenti.
• Stima Scalabile: L'uso dell'Inferenza Variazionale consente una stima scalabile di modelli dinamici complessi ad alta dimensionalità, fornendo distribuzioni a posteriori complete sui parametri.
• Adattamento Contestuale: Il modello è adattato per gestire ambienti di dati misti (simulatore di guida vs. preferenze dichiarate), consentendo parametri di sensibilità e bias specifici per classe che cambiano tra i contesti sperimentali.

Risultati
Il modello è stato applicato a un dataset di 83 partecipanti che hanno completato 20 compiti di scelta del percorso (10 in un simulatore di guida, 10 in un sondaggio di preferenza dichiarata) riguardanti la scelta tra un percorso affidabile (fisso a 5 minuti) e un percorso inaffidabile (variabile tra 2 e 7 minuti).

• Fit del Modello: Un modello LCRL a tre classi è stato selezionato in base al Criterio di Informazione Bayesiano (BIC), superando significativamente un modello RL a classe singola in termini di Log-Likelihood, AIC e BIC.
• Classi Identificate:
  1. Classe 1 (Esploitatori Dipendenti dal Contesto, ~22%): Principalmente partecipanti che hanno iniziato con i compiti di Preferenza Dichiarata (SP). Mostrano una forte preferenza dipendente dal contesto: sfruttano il percorso affidabile negli scenari ipotetici SP, ma passano allo sfruttamento del percorso inaffidabile nel simulatore di guida fisico (DS). Sono apprenditori lenti (basso $\alpha$).
  2. Classe 2 (Esploitatori Persistenti, ~49%): Dominata da maschi con redditi inferiori che hanno iniziato con i compiti DS. Mostrano una forte e persistente preferenza per il percorso inaffidabile attraverso entrambi i contesti. Sono apprenditori moderati e mostrano alte tendenze all'esploitazione (significativo $\beta$).
  3. Classe 3 (Esploratori Dipendenti dal Contesto, ~29%): Più probabilmente femmine e con redditi più elevati. Mostrano una preferenza per il percorso affidabile nei compiti DS, ma invertono questa preferenza negli scenari SP. Mostrano le più alte tendenze all'esplorazione (basso $\beta$) e i tassi di apprendimento più elevati, sebbene le loro aspettative evolvano gradualmente.
• Approfondimenti Comportamentali: I risultati evidenziano che gli individui differiscono non solo nelle preferenze statiche, ma anche nel modo in cui apprendono (tassi di apprendimento), nel modo in cui aggiornano le aspettative e nel modo in cui bilanciano l'esplorazione rispetto all'esploitazione. Il modello cattura con successo la discrepanza tra le scelte dichiarate e quelle esperite, attribuendola a spostamenti del bias e della dinamica di apprendimento dipendenti dal contesto.

Significatività e Rivendicazioni
Il documento sostiene che il framework LCRL fornisce una caratterizzazione più ricca del comportamento di viaggio catturando sia l'apprendimento basato sull'esperienza sia forme discrete di eterogeneità.

• Teorica: Offre una comprensione più completa di come le preferenze decisionali evolvano dinamicamente nel tempo, affrontando un vuoto dove i modelli tradizionali trascurano i meccanismi di emergenza della preferenza iniziale.
• Pratica: I risultati suggeriscono che le politiche di intervento (ad esempio, strategie informative) devono essere personalizzate per specifici tipi di apprendimento, poiché le strategie che avvantaggiano gli esploratori potrebbero danneggiare gli esploitatori.
• Metodologica: L'integrazione di modelli di scelta econometrici con RL e inferenza bayesiana è presentata come una tecnologia di modellazione emergente. Gli autori suggeriscono il loro potenziale interesse per:
  • Veicoli Autonomi (AV): Progettare algoritmi di routing che anticipino l'apprendimento umano e la formazione delle aspettative in sistemi a autonomia mista.
  • Mobilità come Servizio (MaaS): Identificare segmenti di popolazione probabilmente inclini a esplorare nuovi modi di trasporto e comprendere come gli incentivi accelerino l'adozione.
  • Pianificazione dei Trasporti: Anticipare le risposte comportamentali alle interruzioni della rete (ad esempio, chiusure o inaffidabilità) e valutare come diversi gruppi imparino a utilizzare nuove infrastrutture.

Gli autori mantengono un tono modesto riguardo alle future applicazioni, notando che, sebbene l'attenzione empirica sia sulla scelta del percorso umano, il framework offre uno strumento per progettare strategie informative che riconoscano il comportamento adattivo piuttosto che assumere preferenze statiche. Suggeriscono inoltre che il lavoro futuro potrebbe esplorare l'eterogeneità intra-classe permettendo ai parametri RL di essere specifici per l'individuo.