A Convex Approximation Framework for Neural Likelihood-Based Bayesian Inverse Problems

Sintesi Tecnica: Un Framework di Approssimazione Convessa per Problemi Inversi Bayesiani basati su Verosimiglianza Neurale

Enunciato del Problema
Molti problemi inversi scientifici e ingegneristici sono ostacolati dalla difficoltà di modellare accuratamente i meccanismi fisici, quantificare l'incertezza delle misurazioni o dal costo computazionale proibitivo di simulazioni ad alta fedeltà (ad esempio, la risoluzione di equazioni alle derivate parziali). Queste sfide rendono impraticabili i metodi classici di inferenza probabilistica, come il Markov Chain Monte Carlo (MCMC), in particolare in contesti ad alta dimensione o a dimensione infinita (ad esempio, problemi inversi bayesiani su spazi di funzioni). Sebbene l'apprendimento automatico offra un'alternativa alla modellazione parametrica esplicita, gli approcci esistenti all'approssimazione della verosimiglianza neurale — che apprendono la funzione di verosimiglianza direttamente dai dati senza conoscenza del processo generatore dei dati sottostante — spesso si affidano a classi di modelli restrittive. Nello specifico, i metodi standard che minimizzano la divergenza di Kullback–Leibler (KL) tra la distribuzione a posteriori vera e quella approssimata spesso richiedono che il surrogato della verosimiglianza sia esplicitamente normalizzato (ad esempio, tramite normalizing flows o reti invertibili). Questi vincoli possono limitare l'espressività del modello, potenzialmente escludendo funzioni di verosimiglianza quasi ottimali.

Metodologia
Gli autori propongono un framework che riformula l'approssimazione della verosimiglianza neurale per lavorare con potenziali non normalizzati (negativi log-verosimiglianza, o NLL), incorporando il requisito di normalizzazione direttamente nell'obiettivo di addestramento.

1. Riformulazione della Funzione Obiettivo:
   Invece di minimizzare direttamente la divergenza KL tra le distribuzioni a posteriori, gli autori derivano una funzione obiettivo equivalente $\Phi(f)$ basata sulla divergenza KL attesa tra la vera distribuzione a posteriori $\mu_y$ e una distribuzione a posteriori approssimata $\mu_y^f$ indotta da un potenziale non normalizzato $f$:
   $$\Phi(f) = \mathbb{E}_{\pi}[\text{KL}(\mu_y \| \mu_y^f)] = C + \mathbb{E}_{\lambda}[f(x; y)] + \mathbb{E}_{\pi}[\log Z_f(y)]$$
   dove $Z_f(y) = \int_H \exp(-f(x; y)) \mu(dx)$ è la costante di normalizzazione, $\lambda$ è la distribuzione congiunta dei dati $(x, y)$ e $C$ è una costante indipendente da $f$. Questa formulazione permette di valutare l'obiettivo utilizzando campioni dalla distribuzione congiunta senza richiedere l'accesso al potenziale vero $L$ o la normalizzazione esplicita dell'output della rete.

2. Analisi della Convessità:
   Un contributo teorico centrale è la dimostrazione che la funzione obiettivo $\Phi(f)$ è strettamente convessa rispetto al potenziale non normalizzato $f$ (Teorema 2.8). Ciò è valido a condizione che la classe di funzioni $\mathcal{F}$ sia convessa. Questo contrasta con le standard parametrizzazioni di tipo normalizing flow, dove l'insieme delle funzioni che integrano a uno è generalmente non convesso. La stretta convessità garantisce l'esistenza di un minimizzatore unico nella classe di equivalenza dei potenziali (dove le funzioni che differiscono solo per una costante additiva dipendente da $y$ sono equivalenti).

3. Stima Data-Driven e Consistenza:
   Gli autori propongono uno stimatore data-driven $\Phi_N$ utilizzando un approccio Monte Carlo a doppio ciclo per approssimare l'aspettativa annidata che coinvolge la costante di normalizzazione $Z_f(y)$. Essi stabiliscono la consistenza di questo stimatore (Teorema 3.7), dimostrando che all'aumentare della dimensione del campione $N \to \infty$, il minimizzatore empirico converge in probabilità al potenziale vero $L$, sotto ipotesi riguardanti la distribuzione a priori e la regolarità della classe di funzioni (ad esempio, sottoinsiemi limitati di spazi di Hölder).

Contributi Chiave

• Framework di Ottimizzazione Convessa: Il documento dimostra che ottimizzando sui potenziali non normalizzati e assorbendo la normalizzazione nel loss, il problema di apprendimento diventa strettamente convesso. Ciò rimuove la necessità di vincoli architettonici restrittivi (come i normalizing flows) per imporre le proprietà della misura di probabilità.
• Garanzie Teoriche: Gli autori forniscono prove rigorose per la convessità dell'obiettivo e la consistenza del minimizzatore empirico, stabilendo che il potenziale appreso converge al vero potenziale all'aumentare dei dati.
• Efficienza dei Dati: Il framework richiede solo dati congiunti $(x, y)$ dal simulatore (o sistema fisico) e non richiede la conoscenza della mappa forward, del livello di rumore o delle valutazioni della vera funzione di verosimiglianza.

Risultati Numerici
Il framework è stato validato su due problemi inversi bayesiani:

1. Problema di Deblurring: Un problema toy che coinvolge un processo gaussiano 1D. Le approssimazioni della verosimiglianza neurale (free-form, residual e calibrated residual) hanno prodotto medie a posteriori e intervalli di confidenza molto vicini alla verità fondamentale. Notevolmente, l'approssimazione free-form (che non assume livelli di rumore noti) ha superato la regressione dei Processi Gaussiani (GP), anche quando il GP aveva accesso alle valutazioni della vera verosimiglianza.
2. Profilo di Doping dei Semiconduttori: Un problema di imaging non lineare basato su PDE che stima il profilo di doping dalle misurazioni tensione-corrente.
   • Velocità Computazionale: Le approssimazioni NLL sono state circa 200 volte più veloci del solver PDE a elementi finiti per singole valutazioni su una CPU, e fino a 20.000 volte più veloci sotto parallelizzazione su GPU.
   • Accuratezza: Le approssimazioni free-form e residual hanno prodotto statistiche a posteriori (bias e varianza) quasi identiche alla statistica a posteriori esatta basata su PDE. L'approssimazione calibrated residual (che assume livelli di rumore noti) ha performato bene, mentre la standard residual approximation ha faticato quando i livelli di rumore erano ignoti.
   • Efficienza: Sebbene l'addestramento e la generazione dei dati abbiano richiesto circa 6 ore, ciò ha permesso la generazione di campioni a posteriori che avrebbero richiesto 265 ore utilizzando il modello PDE diretto.

Significatività e Rivendicazioni
Il lavoro sostiene di fornire una solida base teorica per l'approssimazione della verosimiglianza neurale che supera i limiti delle classi parametriche restrittive. Stabilendo la convessità e la consistenza, il lavoro consente l'apprendimento offline puramente basato su dati empirici, che può successivamente accelerare il campionamento a posteriori in scenari in cui il modello forward è sconosciuto o computazionalmente costoso.

Gli autori segnalano specifiche limitazioni:

• I risultati di consistenza sono attualmente stabiliti in un contesto a dimensione finita a causa della dipendenza da la teoria dei processi empirici (bracketing entropy) sviluppata per gli spazi euclidei. Estendere queste garanzie a classi di funzioni completamente a dimensione infinita rimane una direzione aperta.
• Non vengono forniti tassi di convergenza quantitativi per gli stimatori, poiché la struttura Monte Carlo annidata complica l'applicazione dei classici risultati sulla velocità di convergenza degli M-estimator.
• Sebbene l'ottimizzazione nello spazio delle funzioni sia convessa, l'ottimizzazione nei parametri della rete neurale rimane non convessa; tuttavia, la stretta convessità dell'obiettivo della popolazione garantisce un target unico per il processo di apprendimento.