Riepilogo Tecnico: Addestramento di Surrogati Bayesiani su Multiple Fonti di Dati

Enunciato del Problema

I modelli surrogati sono ampiamente utilizzati per approssimare modelli di simulazione complessi e computazionalmente costosi per compiti quali la quantificazione dell'incertezza, l'analisi di sensitività e la risoluzione di problemi inversi. Tuttavia, esiste una limitazione fondamentale: i modelli surrogati sono tipicamente addestrati esclusivamente su dati di simulazione. Poiché il modello di simulazione sottostante è spesso una semplificazione imperfetta dei sistemi reali (mancando processi, soffrendo di specificazioni errate o presentando condizioni al contorno incorrette), il surrogato eredita queste imprecisioni. Al contrario, i dati di misurazione reali contengono informazioni preziose sul sistema vero, ma sono spesso scarsi, rumorosi e privi della piena conoscenza dei parametri di input (ad esempio, variabili forzanti sconosciute) richiesti dal modello di simulazione.

I metodi esistenti per integrare queste fonti di dati affrontano diverse sfide:

1. Asimmetria: I dati di simulazione hanno input completamente specificati, mentre i dati reali spesso hanno input sconosciuti.
2. Assunzioni di Omogeneità: Molti approcci assumono fonti di dati omogenee o si affidano a famiglie specifiche di surrogati (ad esempio, Processi Gaussiani) con assunzioni semplificative.
3. Mancanza di Strategie di Pesatura: Esiste una letteratura limitata su come pesare appropriatamente fonti di dati eterogenee durante l'addestramento per riflettere diversi livelli di fiducia o affidabilità.
4. Integrazione Indiretta: Alcuni metodi non utilizzano i dati reali direttamente per l'addestramento del surrogato, ma piuttosto per la calibrazione post-hoc o la modellazione delle discrepanze.

Il documento propone un quadro generale per affrontare queste problematiche addestrando modelli surrogati bayesiani su multiple fonti di dati (simulazione e reale) utilizzando nuove strategie di pesatura che operano indipendentemente dalla famiglia di surrogati scelta.

Metodologia

Gli autori propongono un quadro che combina due fonti di dati distinte:

• Dati di Simulazione ($D_S$): Generati da un modello basato sulla fisica $M$ con input noti $x_S$ e parametri incerti $\omega_S$.
• Dati Reali ($D_R$): Generati da un processo sconosciuto $G$ con input noti $x_R$ ma parametri sconosciuti $\omega_R$ e rumore di misurazione.

Il quadro introduce due approcci probabilistici per l'integrazione pesata, controllati da un fattore di pesatura $\beta \in [0, 1]$:

1. Pesatura Predittiva Posteriore (PW)

Questo metodo addestra due modelli surrogati separati indipendentemente:

• Un surrogato basato sulla simulazione ($f_{M_S}$) addestrato su $D_S$ e utilizzato per inferire parametri sconosciuti da $D_R$.
• Un surrogato guidato dai dati ($f_{M_R}$) addestrato esclusivamente su $D_R$.

La previsione finale è una somma pesata delle loro distribuzioni predittive posteriori:
$$p_{pw, \beta}(\hat{y}_R | \hat{x}_R, D_S, D_R) = \beta \cdot p(\hat{y}_R | \hat{x}_R, D_S, D_R, f_{M_S}) + (1 - \beta) \cdot p(\hat{y}_R | \hat{x}_R, D_R, f_{M_R})$$
Qui, $\beta$ controlla l'influenza relativa del modello basato sulla simulazione. Questo approccio permette di visualizzare la discrepanza tra le due fonti osservando la sovrapposizione delle loro distribuzioni predittive.

2. Scalatura in Potenza delle Verosimiglianze (PS)

Questo metodo addestra un singolo modello surrogato integrando direttamente entrambe le fonti di dati nella funzione di verosimiglianza tramite scalatura in potenza. La distribuzione congiunta è definita come:
$$p_{ps}^\beta(\omega'_R, \sigma', c | D_S, D_R) \propto p(y_R | x_R, \omega'_R, \sigma', c)^{\alpha_R} \cdot p(y_S | x_S, \omega_S, \sigma', c)^{\alpha_S} \cdot p(\omega'_R, \sigma') p(c)$$
I fattori di scala $\alpha_R$ e $\alpha_S$ sono derivati da $\beta$ per garantire che, man mano che $\beta$ si avvicina a 0 o 1, l'influenza di una fonte di dati diminuisca mentre l'altra rimane pienamente sfruttata. Il metodo impiega una procedura MCMC in due fasi:

1. Addestramento Congiunto: Stima dei coefficienti del surrogato $c$ e dei parametri intermedi utilizzando la verosimiglianza scalata in potenza.
2. Inferenza Raffinata: Ristima dei parametri reali sconosciuti $(\omega_R, \sigma_R)$ utilizzando solo la verosimiglianza completa dei dati reali $D_R$, condizionata sulla distribuzione posteriore di $c$ dalla fase 1. Questo evita il "doppio utilizzo" dei dati reali e garantisce che i parametri siano inferiti basandosi sull'evidenza del mondo reale.

Implementazione

Il quadro è progettato per essere agnostico rispetto al surrogato, applicabile a qualsiasi surrogato probabilistico (ad esempio, Espansioni del Caos Polinomiale, Processi Gaussiani, Reti Neurali) implementabile in linguaggi di programmazione probabilistica come Stan o PyMC. Gli autori utilizzano il Monte Carlo Hamiltoniano (HMC) per il campionamento.

Contributi Chiave

1. Nuove Strategie di Pesatura: Introduzione di due metodi distinti (PW e PS) per combinare fonti di dati eterogenee durante l'addestramento del surrogato, offrendo un continuum tra modelli puramente guidati dai dati e puramente basati sulla simulazione.
2. Gestione dell'Asimmetria: Il metodo PS affronta specificamente l'asimmetria delle fonti di dati (input noti vs. sconosciuti) attraverso una procedura di inferenza in due fasi che separa l'addestramento dei coefficienti dal raffinamento dei parametri.
3. Agnosticismo del Surrogato: Le strategie di pesatura proposte sono indipendenti dalla specifica famiglia di surrogati, consentendo una vasta applicabilità in diversi contesti di modellazione.
4. Capacità Diagnostica: Il quadro fornisce un meccanismo per diagnosticare limitazioni strutturali nei modelli di simulazione visualizzando le informazioni in competizione provenienti dai dati di simulazione e reali.

Risultati

Gli autori valutano i metodi utilizzando due studi di caso:

Studio di Caso 1: Esempio Sintetico

• Configurazione: Un modello di simulazione cattura una tendenza globale, mentre i dati "reali" includono un termine periodico aggiuntivo non presente nella simulazione.
• Risultati:
  • Fuori Campione (OOS): Il surrogato guidato dai dati ($\beta=0$) performa meglio poiché si adatta perfettamente ai dati locali.
  • Fuori Distribuzione (OOD): Il surrogato basato sulla simulazione ($\beta=1$) performa meglio grazie alla sua capacità di estrapolare basandosi su leggi fisiche.
  • Performance Ibrida: Per $\beta$ intermedi, il metodo Scalatura in Potenza (PS) ha generalmente raggiunto un RMSE inferiore (più vicino alla verità sintetica), mentre la Pesatura Predittiva Posteriore (PW) ha fornito un ELPD migliore (migliore modellazione dell'incertezza).
  • Confronto con KOH: Il metodo PS ha superato il quadro standard di calibrazione Kennedy-O'Hagan (KOH) nel recupero della funzione media per certi valori di $\beta$, sebbene KOH eccellesse nella quantificazione dell'incertezza.

Studio di Caso 2: Modellazione Epidemiologica (Modello SIR)

• Configurazione Sintetica: Un modello SIR specificato erroneamente (tasso di recupero fisso) vs. dati reali con un tasso di recupero diverso.
  • Risultati: PS ha mostrato prestazioni superiori nelle regioni OOD sfruttando i dati di simulazione come regolarizzatore per prevenire previsioni estreme dal modello guidato dai dati. PW ha fornito una sovrapposizione visiva delle tendenze conflittuali (declino più ripido nei dati vs. declino più lento nella simulazione).
• Configurazione Reale: Dati COVID-19 dall'Italia (prima ondata).
  • Risultati: Il modello guidato dai dati non è riuscito a estrapolare (prevedendo aumenti delle infezioni), mentre il modello basato sulla simulazione ha mostrato alta incertezza e ha previsto un declino troppo forte. L'approccio Scalatura in Potenza ha raggiunto un ELPD ottimale a $\beta \approx 0.45$, bilanciando le due fonti. Il metodo PW ha mostrato un miglioramento monotono con $\beta$ ma non ha raggiunto la performance massima di PS.

Significato e Affermazioni

Il documento afferma che questi approcci di modellazione ibrida offrono un modo flessibile per migliorare l'accuratezza predittiva e la copertura, in particolare in regimi difficili fuori distribuzione dove l'addestramento su singola fonte fallisce.

• Insight Diagnostici: Gli autori sottolineano che la visualizzazione delle distribuzioni predittive posteriori (specialmente tramite PW) funge da strumento diagnostico. Permette ai modellatori di identificare processi mancanti o specificazioni errate nel modello di simulazione osservando dove i dati di simulazione e reali divergono.
• Compromessi: Il documento nota modestamente che il metodo ottimale e il fattore di pesatura dipendono dallo scenario specifico e dalla metrica di valutazione.
  • La Scalatura in Potenza è raccomandata per recuperare la verità sottostante e ottenere previsioni medie robuste, poiché utilizza i dati di simulazione come regolarizzatore durante l'addestramento.
  • La Pesatura Predittiva Posteriore è raccomandata per scopi diagnostici e per un'interpretazione intuitiva delle fonti di informazioni in competizione, sebbene possa essere meno robusta se la componente guidata dai dati è scarsamente vincolata.
• Direzioni Future: Gli autori suggeriscono che, sebbene si siano concentrati su due fonti, il quadro può essere esteso a più fonti. Notano inoltre che trovare il $\beta$ ottimale tramite ricerca lineare può essere computazionalmente costoso per PS, suggerendo lavori futuri su campionamento per importanza o matching dei momenti per ridurre i costi di rifitting.

In sintesi, il documento presenta un quadro che sposta la modellazione dei surrogati dall'essere un semplice "sostituto" per simulazioni costose al diventare una componente di uno strumento diagnostico per la modellazione ibrida, capace di sfruttare sia la conoscenza meccanicistica che l'evidenza empirica.