A Convex Approximation Framework for Neural Likelihood-Based Bayesian Inverse Problems

Technische Samenvatting: Een Convex Benaderingskader voor Neurale Likelihood-gebaseerde Bayesiaanse Inverse Problemen

Probleemstelling
Veel wetenschappelijke en technische inverse problemen worden gehinderd door de moeilijkheid om fysische mechanismen nauwkeurig te modelleren, meetonzekerheid te kwantificeren, of door de prohibitieve computationele kosten van hoogwaardige simulaties (bijv. het oplossen van partiële differentiaalvergelijkingen). Deze uitdagingen maken klassieke probabilistische inferentiemethoden, zoals Markov Chain Monte Carlo (MCMC), onhaalbaar, met name in hoogdimensionale of oneindig dimensionale settings (bijv. Bayesiaanse inverse problemen op functieruimten). Hoewel machine learning een alternatief biedt voor expliciete parametrische modellering, leunen bestaande benaderingen voor neurale likelihood-benadering—het direct leren van de likelihood-functie uit data zonder kennis van het onderliggende datagenereerde proces—vaak op restrictieve modelklassen. Specifiek vereisen standaardmethoden die de Kullback–Leibler (KL) divergentie tussen de ware en de benaderde posterior minimaliseren, vaak dat de likelihood-surrogaat expliciet genormaliseerd is (bijv. via normalizing flows of invertibele netwerken). Deze beperkingen kunnen de expressiviteit van het model beperken, waardoor bijna optimale likelihood-functies mogelijk worden uitgesloten.

Methodologie
De auteurs stellen een kader voor dat de neurale likelihood-benadering herformuleert zodat deze kan werken met ongenormaliseerde potentialen (negatieve log-likelihoods, of NLLs), waarbij de normalisatievereiste direct in de trainingsdoelstelling wordt verwerkt.

1. Herformulering van de Doelfunctie:
   In plaats van de KL-divergentie tussen posteriors direct te minimaliseren, leiden de auteurs een equivalente doelstelling $\Phi(f)$ af op basis van de verwachte KL-divergentie tussen de ware posterior $\mu_y$ en een benaderde posterior $\mu_y^f$ geïnduceerd door een ongenormaliseerde potentiaal $f$:
   $$\Phi(f) = \mathbb{E}_{\pi}[\text{KL}(\mu_y \| \mu_y^f)] = C + \mathbb{E}_{\lambda}[f(x; y)] + \mathbb{E}_{\pi}[\log Z_f(y)]$$
   waarbij $Z_f(y) = \int_H \exp(-f(x; y)) \mu(dx)$ de normalisatieconstante is, $\lambda$ de gezamenlijke distributie van data $(x, y)$ is, en $C$ een constante is die onafhankelijk is van $f$. Deze formulering maakt het mogelijk om de doelstelling te evalueren met samples uit de gezamenlijke distributie zonder dat er toegang nodig is tot de ware potentiaal $L$ of expliciete normalisatie van de netwerkoutput.

2. Convexiteitsanalyse:
   Een centrale theoretische bijdrage is het bewijs dat de doelstelling $\Phi(f)$ strikt convex is ten opzichte van de ongenormaliseerde potentiaal $f$ (Theorem 2.8). Dit houdt stand, mits de functieklasse $\mathcal{F}$ convex is. Dit staat in contrast met standaard normalizing flow-parametrisaties, waarbij de verzameling functies die naar één integreert, over het algemeen niet-convex is. De strikte convexiteit garandeert de existentie van een unieke minimizer in de equivalentieklasse van potentialen (waarbij functies die alleen verschillen door een $y$-afhankelijke additieve constante equivalent zijn).

3. Data-gedreven Schatting en Consistentie:
   De auteurs stellen een data-gedreven estimator $\Phi_N$ voor met behulp van een double-loop Monte Carlo-benadering om de geneste verwachting met betrekking tot de normalisatieconstante $Z_f(y)$ te benaderen. Zij vestigen de consistentie van deze estimator (Theorem 3.7), waarbij zij bewijzen dat naarmate de steekproefomvang $N \to \infty$, de empirische minimizer in waarschijnlijkheid convergeert naar de ware potentiaal $L$, onder aannames over de prior-distributie en de regulariteit van de functieklasse (bijv. begrensde deelverzamelingen van Hölder-ruimten).

Belangrijkste Bijdragen

• Convex Optimalisatiekader: Het artikel toont aan dat door te optimaliseren over ongenormaliseerde potentialen en normalisatie in de loss te absorberen, het leerprobleem strikt convex wordt. Dit elimineert de noodzaak voor restrictieve architecturale beperkingen (zoals normalizing flows) om eigenschappen van waarschijnlijkheidsmaten af te dwingen.
• Theoretische Garanties: De auteurs leveren rigoureuze bewijzen voor de convexiteit van de doelstelling en de consistentie van de empirische minimizer, waarmee zij vaststellen dat de geleerde potentiaal convergeert naar de ware potentiaal naarmate de hoeveelheid data toeneemt.
• Data-efficiëntie: Het kader vereist enkel gezamenlijke data $(x, y)$ uit de simulator (of het fysische systeem) en vereist geen kennis van de forward map, het ruisniveau, of evaluaties van de ware likelihood-functie.

Numerieke Resultaten
Het kader werd gevalideerd op twee Bayesiaanse inverse problemen:

1. Deblurring Probleem: Een toy-probleem met een 1D Gaussische proces. De neurale likelihood-benaderingen (free-form, residual, en calibrated residual) produceerden posterior gemiddelden en betrouwbaarheidsintervallen die zeer dicht bij de grondwaarheid lagen. Opvallend genoeg presteerde de free-form benadering (die geen bekende ruisniveaus veronderstelt) beter dan Gaussian Process (GP) regressie, zelfs toen de GP toegang had tot evaluaties van de ware likelihood.
2. Semiconductor Doping Profile: Een niet-lineair, PDE-gebaseerd imaging probleem waarbij het dopingprofiel wordt geschat op basis van voltage-current metingen.
   • Computationele Snelheid: De NLL-benaderingen waren ongeveer 200 keer sneller dan de finite element PDE-solver voor enkele evaluaties op een CPU, en tot wel 20.000 keer sneller onder parallellisatie op een GPU.
   • Nauwkeurigheid: De free-form en residual benaderingen leverden posterior statistieken (bias en variantie) op die bijna identiek waren aan de exacte PDE-gebaseerde posterior. De calibrated residual benadering (die bekende ruisniveaus veronderstelt) presteerde goed, terwijl de standaard residual benadering moeite had wanneer de ruisniveaus onbekend waren.
   • Efficiëntie: Hoewel training en datageneratie ongeveer 6 uur duurden, maakte dit de generatie van posterior samples mogelijk die 265 uur zouden hebben geduurd met het directe PDE-model.

Betekenis en Claims
Het artikel claimt een robuuste theoretische fundering te bieden voor neurale likelihood-benadering die de beperkingen van restrictieve parametrische klassen overwint. Door convexiteit en consistentie vast te stellen, maakt dit werk offline leren puur op basis van empirische data mogelijk, wat vervolgens de posterior sampling kan versnellen in scenario's waar het forward model onbekend of computationeel duur is.

De auteurs merken specifieke beperkingen op:

• De consistentieresultaten zijn momenteel vastgesteld in een eindige-dimensionale setting vanwege de afhankelijkheid van bestaande empirische proces-theorie (bracketing entropy) ontwikkeld voor Euclidische ruimten. Het uitbreiden van deze garanties naar volledig oneindig-dimensionale functieruimten blijft een openstaande richting.
• Kwantitatieve convergentiesnelheden voor de estimators worden niet geleverd, aangezien de geneste Monte Carlo-structuur de toepassing van klassieke M-estimator convergentiesnelheid-resultaten bemoeilijkt.
• Hoewel de optimalisatie in de functieruimte convex is, blijft de optimalisatie in de neurale netwerkparameters niet-convex; echter zorgt de strikte convexiteit van de populatie-doelstelling voor een uniek doelwit voor het leerproces.