Estimating Complex Densities using Two-Stage Normalizing Flows

Titolo

Stima di Densità Complesse mediante Flussi Normalizzanti a Due Stadi

1. Il Problema

In molte applicazioni scientifiche (statistica bayesiana, modelli gerarchici, inferenza di densità congiunta), la distribuzione di probabilità target non può essere valutata in forma chiusa né campionata direttamente. Spesso, l'informazione disponibile è eterogenea e frammentata:

• Alcuni componenti della distribuzione sono accessibili solo tramite campioni generati da simulatori o dataset esterni (spesso con likelihood inaccessibili o "black-box").
• Altri componenti sono noti attraverso espressioni matematiche analitiche (priori, iperpriori, relazioni strutturali) o assunzioni statistiche.
• In alcuni casi, si dispongono solo di campioni per sottovettori delle variabili, senza osservazioni congiunte complete.

I metodi di inferenza tradizionali (MCMC, Inferenza Variazionale, ABC) falliscono in questi scenari perché richiedono o l'accesso completo alla densità target o campioni congiunti da tutto il modello. Inoltre, la maggior parte di questi metodi supporta solo uno dei due compiti fondamentali: o il campionamento efficiente o la valutazione puntuale della densità, ma raramente entrambi contemporaneamente senza compromessi.

2. Metodologia: Il Framework a Due Stadi (TSNF)

Gli autori propongono un framework basato sui Flussi Normalizzanti (Normalizing Flows) che integra le informazioni parziali in due fasi distinte per ricostruire la distribuzione target completa.

Fase 1: Approssimazione dei Componenti Basati su Campioni (Forward KL)

• Obiettivo: Stimare le densità dei componenti per cui sono disponibili solo campioni (es. la likelihood o parti di essa).
• Procedura: Vengono addestrati $m$ modelli di Flussi Normalizzanti separati, uno per ogni sottovettore di campioni disponibile.
• Ottimizzazione: Si utilizza la divergenza KL Forward ($D_{KL}(P_{target} || P_{model})$). Poiché si hanno i campioni dal target, il modello impara a massimizzare la verosimiglianza dei dati osservati.
• Risultato: Si ottengono stime delle densità $\hat{g}_i(y_i)$ che possono essere valutate in qualsiasi punto dello spazio.

Fase 2: Ricostruzione della Distribuzione Target (Reverse KL)

• Obiettivo: Combinare le densità stimate nella Fase 1 con i termini analitici noti ($h(y_0)$) per formare la distribuzione target completa.
• Costruzione: Si definisce una distribuzione ausiliaria non normalizzata:
  $$\tilde{f}_X(x) \propto h(y_0) \prod_{i=1}^{m} \hat{g}_i(y_i)$$
  dove $h(y_0)$ rappresenta i termini analitici noti (es. prior gerarchici) e $\hat{g}_i$ sono le densità stimate nella Fase 1.
• Ottimizzazione: Viene addestrato un unico modello di Flussi Normalizzanti su questa distribuzione composta $\tilde{f}_X$ utilizzando la divergenza KL Reverse ($D_{KL}(P_{model} || \tilde{f}_X)$). Poiché $\tilde{f}_X$ è ora calcolabile (grazie alla Fase 1), il modello può essere ottimizzato minimizzando la differenza tra il modello e la densità target ricostruita.
• Risultato: Un modello finale $\hat{f}(x)$ che permette sia il campionamento efficiente (tramite la trasformazione inversa dal rumore base) sia la valutazione della densità in qualsiasi punto.

3. Contributi Chiave

1. Integrazione di Fonti Eterogenee: Il metodo è in grado di unire campioni da simulatori "black-box" e termini analitici noti senza richiedere l'accesso alla densità congiunta completa o campioni congiunti.
2. Dualità Funzionale: A differenza di molti approcci esistenti, il modello finale supporta contemporaneamente il campionamento efficiente e la valutazione puntuale della densità, essenziale per l'inferenza bayesiana completa.
3. Robustezza al Prior del Software: Nel contesto di modelli gerarchici con likelihood inaccessibili, il metodo è insensibile alla scelta del "prior software" utilizzato dal generatore di campioni originale, a differenza di algoritmi esistenti come il Two-Stage Fully Bayesian (TSFB).
4. Stabilità Numerica: L'architettura garantisce che le stime di densità della Fase 1 siano stabili (Jacobian determinanti ben comportati) per evitare instabilità durante l'addestramento della Fase 2.

4. Risultati degli Studi

Studio 1: Inferenza di Densità Congiunta

• Scenario: Ricostruzione di una densità congiunta trivariata complessa e non lineare partendo da campioni di sottovettori $(X, Y)$ e $(X, Z)$ e una densità marginale analitica per $X$.
• Risultati: Il modello TSNF ha ricostruito con successo la struttura di dipendenza non lineare e le forme complesse della densità target, dimostrando capacità di generalizzazione anche con informazioni parziali.

Studio 2: Modelli Gerarchici con Likelihood Inaccessibili

• Scenario: Confronto tra TSNF e l'algoritmo TSFB (Two-Stage Fully Bayesian) in un modello gerarchico dove la likelihood è nota solo tramite campioni da un software.
• Risultati:
  • TSFB: Ha mostrato una forte dipendenza dal prior software. Se il prior software spostava i campioni lontano dalle regioni ad alta densità della vera posterior, il metodo TSFB falliva nel catturare la forma corretta, producendo stime troncate e non lisce.
  • TSNF: Ha recuperato accuratamente la forma della posterior, le distribuzioni marginali e la struttura di covarianza, indipendentemente dal prior software utilizzato. Ha mostrato errori di stima (media e varianza) uniformemente inferiori rispetto a TSFB.

Caso di Studio: Astrofisica (Stelle Nane Bianche)

• Applicazione: Inferenza su 30 stelle nane bianche utilizzando il software BASE-9 (likelihood inaccessibile, basata su modelli di evoluzione stellari complessi).
• Risultati:
  • Il metodo TSNF ha prodotto stime posteriori più lisce e strutturate rispetto a TSFB.
  • TSFB ha mostrato irregolarità e "salti" nelle densità marginali (effetto dovuto all'uso di campioni limitati come proposte nel passo Metropolis-Hastings), mentre TSNF ha fornito una rappresentazione continua e stabile.
  • TSNF ha meglio catturato la variabilità specifica per stella nei parametri fisici (es. massa, assorbimento).

5. Significato e Implicazioni

Il lavoro propone una soluzione robusta e flessibile per un problema aperto nell'inferenza statistica moderna: come effettuare inferenze quando la distribuzione target è definita implicitamente o parzialmente osservabile.

• Superamento dei Limiti: Permette di utilizzare informazioni parziali (campioni + teoria) senza dover approssimare eccessivamente il modello o rinunciare alla valutazione della densità.
• Applicabilità: È particolarmente rilevante per campi scientifici dove i simulatori sono complessi (astrofisica, biologia, scienze ambientali) e la valutazione diretta della likelihood è computazionalmente proibitiva o impossibile.
• Futuro: Il framework apre la strada a nuovi metodi di verifica del modello e suggerisce che la conoscenza parziale della struttura del target può guidare la progettazione di architetture di Flussi Normalizzanti più efficienti.

In sintesi, il metodo Two-Stage Normalizing Flows offre un approccio unificato per l'inferenza su distribuzioni intrattabili, combinando la potenza dell'apprendimento automatico (Flussi Normalizzanti) con la rigore della modellazione statistica bayesiana, superando le limitazioni dei metodi basati su MCMC tradizionali in scenari con dati frammentati.