Sintesi Tecnica: Ottimizzazione Bayesiana Multi-obiettivo per l'Inferenza Senza Verosimiglianza in Modelli di Campionamento Sequenziale

1. Definizione del Problema

In molti domini scientifici, in particolare nella psicologia e nella modellazione del comportamento dei consumatori, i modelli statistici sono definiti da processi generativi (simulatori) che producono dati sintetici. Sebbene questo sia naturale per incorporare la conoscenza del dominio, questi modelli possiedono spesso funzioni di verosimiglianza intrattabili, rendendo impossibile l'inferenza bayesiana tradizionale. L'Inferenza Senza Verosimiglianza (LFI), o Inferenza Basata su Simulazione (SBI), affronta questo problema affidandosi esclusivamente alle simulazioni del modello.

Una sfida specifica sorge quando si lavora con dati multi-fonte (ad esempio, esiti di scelta e tempi di risposta nei Modelli di Campionamento Sequenziale). Gli esistenti metodi efficienti di LFI, come l'Ottimizzazione Bayesiana per l'Inferenza Senza Verosimiglianza (BOLFI), richiedono tipicamente di combinare le discrepanze provenienti da più fonti di dati in un singolo metrica scalare. Questa combinazione è spesso arbitraria; se non gestita con estrema cura, può portare a:

• Perdita di informazione: L'importanza relativa di diverse fonti di dati può essere oscurata.
• Quantificazione dell'incertezza conservativa: La distribuzione a posteriori risultante può essere eccessivamente diffusa.
• Incapacità di rilevare il conflitto: Se le fonti di dati forniscono informazioni contrastanti (ad esempio, a causa di una errata specificazione del modello), una singola discrepanza combinata può fallire nell'esplorare le regioni ad alta verosimiglianza di tutte le fonti simultaneamente.

I metodi attuali di stima della densità strutturata (ad esempio, la verosimiglianza sintetica) richiedono spesso un numero eccessivo di simulazioni, rendendoli inadatti per simulatori computazionalmente costosi.

2. Metodologia: MOBOLFI

Gli autori propongono la Multi-objective Bayesian Optimization for Likelihood-Free Inference (MOBOLFI). Questo metodo estende l'approccio BOLFI a singola fonte per gestire dati multi-fonte, trattando le discrepanze di ciascuna fonte di dati come obiettivi separati in un framework di ottimizzazione multi-obiettivo.

Meccanismo Centrale

1. Discrepanza Multi-dimensionale: Invece di una singola discrepanza $\Delta$, MOBOLFI definisce un vettore di discrepanze $\mathbf{D}(\theta) = (D_1(\theta), \dots, D_K(\theta))^\top$, dove ogni $D_k$ rappresenta la discrepanza attesa tra i dati simulati e quelli osservati per la $k$-esima fonte di dati.
2. Modellazione del Surrogate: Un Processo Gaussiano (GP) multivariato viene utilizzato come modello surrogate per la funzione di discrepanza vettoriale $\mathbf{D}(\theta)$. Questo modello cattura non solo l'incertezza in ogni discrepanza, ma anche la struttura di dipendenza (covarianza) tra le discrepanze delle diverse fonti di dati.
3. Ottimizzazione Bayesiana Multi-obiettivo (MOBO): L'algoritmo impiega la MOBO per selezionare sequenzialmente i parametri di simulazione $\theta$. Nello specifico, utilizza la funzione di acquisizione Noisy Expected Hypervolume Improvement (NEHVI). Questa guida la ricerca verso la "frontiera di Pareto" — l'insieme di valori dei parametri dove le discrepanze per tutte le fonti di dati sono simultaneamente minimizzate (o dove nessuna singola fonte può essere migliorata senza peggiorarne un'altra).
4. Approssimazione della Verosimiglianza: Una volta addestrato il modello surrogate GP, esso approssima la distribuzione delle discrepanze. La verosimiglianza per i dati congiunti e per le singole fonti di dati viene approssimata utilizzando la funzione di ripartizione (CDF) di una distribuzione normale multivariata derivata dalle predizioni del GP.
   • La verosimiglianza congiunta è approssimata come $p(\mathbf{S}_{obs}|\theta) \propto \Phi(\mathbf{t}; \boldsymbol{\mu}_n(\theta), \boldsymbol{\Sigma}_n(\theta) + \boldsymbol{\Sigma})$.
   • Le verosimiglianze marginali e condizionali per le singole fonti (ad esempio, $p(T_{obs}|\theta)$) sono derivate decomponendo la probabilità multivariata, consentendo l'inferenza separata su sottoinsiemi dei dati.

Dettagli di Implementazione

• Selezione della Tolleranza: Il vettore di tolleranza $\mathbf{t}$ è impostato in base al $q$-quantile delle discrepanze di addestramento (ad esempio, $q=0.05$).
• Scaling: Per garantire la stabilità numerica e un'esplorazione efficace, le discrepanze vengono scalate (ad esempio, usando la Deviazione Assoluta della Media) in modo che operino su magnitudini simili prima di essere fornite all'algoritmo MOBO.
• Campionamento della Posteriore: Le verosimiglianze approssimate vengono utilizzate all'interno di algoritmi Markov Chain Monte Carlo (MCMC) (specificamente il Differential Evolution MCMC) per campionare dalla distribuzione a posteriori approssimata senza ulteriori simulazioni costose.

3. Contributi Principali

Il documento delinea tre contributi primari:

1. Esplorazione Efficiente di Regioni ad Alta Verosimiglianza Disgiunte: MOBOLFI può esplorare le regioni ad alta verosimiglianza per più fonti di dati in un unico passaggio, anche quando queste sono disgiunte (uno scenario comune nella misspecificazione del modello). Questo è difficile per gli approcci a obiettivo singolo, che possono rimanere intrappolati in ottimi locali di una metrica combinata.
2. Evitare la Perdita di Informazione: Evitando la necessità di combinare le discrepanze in un singolo scalare, MOBOL mostrano di preservare il contenuto informativo distinto di ogni fonte di dati. Ciò impedisce una quantificazione dell'incertezza "altamente conservativa" spesso osservata quando si usano pesi arbitrari per combinare le discrepanze.
3. Capacità Diagnostiche: Il metodo consente l'approssimazione delle verosimiglianze per le singole fonti di dati. Ciò permette ai ricercatori di:
   • Verificare la presenza di informazioni contrastanti tra le fonti di dati (controllo del modello).
   • Determinare l'importanza relativa di specifiche fonti di dati per la stima di singoli parametri.

4. Risultati Sperimentali

Gli autori validano MOBOLFI attraverso tre esempi:

A. Esempio Simulato (Moto Browniano)

• Configurazione: Un modello sintetico con due fonti di dati (osservazioni Normali e moto Browniano discretizzato) per stimare un parametro a 10 dimensioni.
• Risultati:
  • MOBOLFI ha prodotto distribuzioni a posteriori con varianza inferiore e maggiore allineamento alla vera a posteriori rispetto a BOLFI con una somma pesata delle discrepanze.
  • MOBOLFI ha recuperato con successo la vera a posteriori per le singole fonti di dati (condizionando solo su una fonte) senza costi computazionali aggiuntivi dopo l'esecuzione congiunta.
  • In uno scenario di misspecificazione (dove le due fonti di dati erano generate da parametri reali differenti), MOBOLFI ha identificato l'informazione contrastante, mentre BOLFI ha prodotto un modo della a posteriori situato tra le due verità contrastanti, fallendo nel catturare le distinte regioni ad alta verosimiglianza.

B. MLBA Sintetico (Multi-attribute Linear Ballistic Accumulator)

• Configurazione: Un SSM utilizzato per il processo decisionale, adattato a dati sintetici di scelta e tempi di risposta (RT). La verosimiglianza a forma chiusa dell'MLBA funge da "gold standard".
• Risultati:
  • Le a posteriori di MOBOLFI erano significativamente più vicine alla a posteriori "gold standard" a forma chiusa rispetto a quelle di BOLFI.
  • MOBOLFI ha dimostrato che i dati sui Tempi di Risposta (RT) sono cruciali per stimare i parametri di fine processo (soglia decisionale/difficoltà), mentre i dati sulla Scelta (CH) sono più informativi per i parametri di inizio processo (preferenze).
  • Negli scenari di misspecificazione, MOBOLFI ha esplorato efficacemente lo spazio dei parametri, identificando ottimi locali vicino ai parametri reali contrastanti, mentre BOLFI non è riuscito a esplorare l'intera regione di alta verosimiglianza per entrambe le fonti simultaneamente.

C. Dati del Mondo Reale (Driver di Ride-hailing)

• Configurazione: Uno studio empirico sulle preferenze dei driver di ride-hailing di Singapore per i veicoli elettrici (EV), utilizzando dati di scelta e RT.
• Risultati:
  • Le approssimazioni di MOBOLFI erano molto più vicine alle stime della verosimiglianza a forma chiusa rispetto a quelle di BOLFI.
  • L'analisi ha rivelato che, mentre i dati di scelta guidavano la stima dei parametri di preferenza, i dati RT erano essenziali per stimare la soglia decisionale.
  • I dati congiunti hanno fornito stime più efficienti rispetto alle singole fonti di dati marginali.

D. Esempio Centro di Cura (Appendice)

• Configurazione: Inferenza sui tassi di trasmissione batterica utilizzando statistiche riassuntive da più centri.
• Risultati: MOBOLFI si è dimostrato competitivo con BOLFI anche in questo contesto a singola fonte (quando le sintesi dei dati sono state partizionate), dimostrando robustezza.

5. Significato e Rivendicazioni

Il documento sostiene che MOBOLFI offre un framework robusto per l'inferenza bayesiana in modelli complessi e computazionalmente costosi con molteplici fonti di dati. La sua importanza risiede nel:

• Gestire la Misspecificazione: Fornisce un meccanismo per rilevare e analizzare i conflitti tra le fonti di dati, elemento critico per un'analisi affidabile in modelli complessi come gli SSM.
• Efficienza di Simulazione: Raggiunge approssimazioni accurate con meno simulazioni rispetto ai metodi che richiedono grandi batch di dati per la stima della densità, rendendolo adatto per simulatori costosi.
• Interpretabilità: Separando i contributi di verosimiglianza, offre approfondimenti più profondi su quali fonti di dati guidano la stima di specifici parametri, una caratteristica persa negli approcci a singola discrepanza.

Gli autori notano che, sebbene MOBOLFI sia motivato dagli SSM, è applicabile a qualsiasi problema di LFI con dati multi-fonte. Riconoscono che rimangono delle sfide, come la sensibilità alla scelta delle statistiche riassuntive e l'inizializzazione dell'algoritmo di BO, suggerendo queste come aree per la ricerca futura.