Technische Samenvatting: Onsager–Machlup Posterior Transport voor Deep Gaussian Processes

1. Probleemstelling

Deep Gaussian Processes (DGPs) bieden een Bayesiaans deep learning-kader met gekalibreerde onzekerheid door Gaussian process (GP)-lagen te stapelen. Inference blijft echter een centraal computatief knelpunt. De posteriorverdeling over per-laag inducerende variabelen $U = \{U^{(\ell)}\}_{\ell=1}^L$ is niet-Gaussisch en sterk gecorreleerd over de lagen, waardoor exacte inference onberekenbaar wordt.

Bestaande benaderde inferentiemethoden staan voor een afweging:

• Expliciete Dichtheidsfitting (ELBO-gebaseerd): Methoden zoals Doubly-Stochastic Variational Inference (DSVI) dwingen een Gaussische factorisatie af, wat restrictief is voor multimodale of gecorreleerde posteriors.
• Score-gebaseerde SDE's: Methoden zoals DDVI en DBVI definiëren de posterior als het eindpunt van een reverse-time Stochastische Differentiaalvergelijking (SDE) die getraind wordt via denoising score matching (DSM) en een Girsanov-vormige Evidence Lower Bound (ELBO). Hoewel flexibel, vereisen deze het trainen van auxiliaire score-netwerken en lijden ze onder de variantie van stochastische integratie.
• Sampling: Stochastic Gradient Hamiltonian Monte Carlo (SGHMC) is computatief duur en heeft moeite om te schalen naar grote datasets.

De kernuitdaging is om inferentie uit te voeren op DGP-inducerende variabelen zonder de restrictieve Gaussische aannames van DSVI, terwijl de hoge-variantie auxiliaire verliezen en kosten van stochastische integratie van score-gebaseerde SDE-methoden worden vermeden.

2. Methodologie: FBVI-bridge-Path (OM-Path)

De auteurs stellen posterior transport voor als een alternatieve formulering. In plaats van een dichtheid $q_\phi(U)$ te fitten via ELBO-maximalisatie, leren ze een deterministische sampler $T_\phi$ die een hanteerbare referentiemaatstaf afbeeldt op posterior-relevante inducerende variabelen.

2.1 Van SDE naar Deterministische ODE

De methode bouwt voort op de Doob-gebridged forward SDE die in DBVI wordt gebruikt, welke het diffusieproces verankert aan een data-afhankelijke initiële verdeling via een amortizer $\mu_\theta(x)$.

• Referentieproces: De auteurs passen de probability-flow ODE-reductie van Song et al. (2021) toe op de DBVI bridge-SDE. Dit levert een gesloten-vorm referentiedrift $v_{ref}^{Bri}(U, s)$ op die direct wordt afgeleid uit de bridge-marginaalcoëfficiënten (gemiddelde en variantie), waardoor score-matching overbodig wordt.
• Deterministisch Transport: Het variatie-object is een deterministische ODE $\dot{U}_\tau = v_\phi(U_\tau, 1-\tau, \text{ctx})$ die steekproeven transporteert van de noise-zijde marginaal van de bridge naar de posterior.

2.2 Het Onsager–Machlup Doelwit

Een cruciaal theoretisch inzicht is dat de standaard Girsanov KL-divergentie die in SDE-gebaseerde VI wordt gebruikt, divergeert naarmate de diffusiecoëfficiënt $g \to 0$ (de deterministische limiet). Het correcte doelwit voor de deterministische limiet is de Onsager–Machlup (OM) actie, die overeenkomt met het Freidlin–Wentzell grote-afwijking-rate functionaal.

Het trainingsdoelwit $L_{OM}$ is gedefinieerd als:
$$L_{OM}(\phi) = -\mathbb{E}_{q_\phi}[\log p(y | F(L))] + \frac{\alpha}{2} \int_0^1 \mathbb{E} \left[ \| v_\phi(U_\tau, 1-\tau, \text{ctx}) - v_{ref}^{Bri}(U_\tau, 1-\tau) \|^2 \right] d\tau$$

• Gegevensdeel: Negatieve log-likelihood van het eindpunt.
• Pad-prior: Een trace-vrije regularisator die de afwijking van het geleerde snelheidsveld van de gesloten-vorm referentiedrift meet.
• Belangrijke Eigenschappen:
  • Trace-vrij: Geen Hutchinson trace-schatting (in tegenstelling tot FFJORD/CNF).
  • Auxiliaire-verlies-vrij: Geen denoising score matching (in tegenstelling tot DDVI/DBVI).
  • Partitiefunctie-vrij: Geen schatting van $\partial_t \log Z_t$ (in tegenstelling tot NFS2).

2.3 Theoretische Status

Stelling 1 stelt vast dat $L_{OM}$ identificeert met het kleine-ruis Maximum A Posteriori (MAP)-pad van een getemperde Doob-bridge-padposterior via het Freidlin–Wentzell Large Deviation Principle (LDP) als $\epsilon \to 0$.

• Bij de eindige trainingswaarde ($\alpha=1, \epsilon=1$) werkt het doelwit als een pad-ruimte regularisator voor een Gaussische referentiepadmaatstaf die gekant is door de eindpunt-likelihood.
• De methode is een pad-ruimte MAP-schatter, geen ELBO. De auteurs wijzen deze onderscheiding expliciet aan, in contrast met strikte ondergrens-methoden.

2.4 Strict-ELBO Ablaties

Het artikel leidt twee strikte pad-ruimte ELBO-varianten af op dezelfde bridge-ruggengraat:

1. FBVI-bridge-CNF: Gebruikt de FFJORD instantane verandering-van-variabelen-formule (Hutchinson trace) voor de KL-term.
2. FBVI-bridge-CNFOM: Voegt de OM-regularisator toe aan het CNF-doelwit.
   Empirisch presteren deze strict-ELBO-varianten onder de trace-vrije MAP-schatter vanwege de hoge variantie die wordt geïntroduceerd door de Hutchinson trace-schatter.

3. Belangrijkste Bijdragen

1. Posterior Transport voor DGPs: Introduceert een deterministisch ODE-gebaseerd posterior transport-kader voor DGP-inducerende variabelen, dat ELBO-gebaseerde score-SDE-inference vervangt. De referentiedrift is gesloten-vorm, waardoor score-matching niet nodig is.
2. Finite-$\epsilon$ Pad-Posterior Identiteit: Biedt een rigoureuze identificatie van het trainingsdoelwit als de negatieve log onge-normaliseerde dichtheid van een getemperde padposterior (finite $\alpha$) en verbindt deze via het Freidlin–Wentzell LDP (Stelling 1) met het kleine-ruis MAP-pad.
3. Bias-Variance Trade-off Analyse: Demonstreert dat in het DGP posterior transport-regime het verminderen van de variantie van het pad-doelwit (door het verwijderen van de Hutchinson trace) de voordelen van het volgen van een exacte dichtheid overheerst. De trace-vrije MAP-schatter presteert beter dan strikte ELBO's.
4. Empirische Validatie: Toont statistisch significante verbeteringen ten opzichte van de state-of-the-art DBVI op grote UCI-regressiedatasets ($N > 9.000$) en competitieve prestaties op binaire classificatie, terwijl stabiliteit op kleine datasets behouden blijft.

4. Experimentele Resultaten

De methode (FBVI-bridge-Path of OM-Path) werd geëvalueerd tegen DSVI, SGHMC, IPVI, DDVI en DBVI op zeven UCI-regressiedatasets, grote schaal-regressie (Airline, Year) en binaire classificatie (SUSY, HIGGS).

• Kleine/Matige Regressie (UCI):
  • Significante Overwinningen: OM-Path behaalt statistisch significante overwinningen (gepaarde Wilcoxon-test) ten opzichte van DBVI op de twee grootste datasets: Power ($p=0,014$) en Protein ($p=0,002$).
  • Gelijkspel: Statistische gelijkspelen op Yacht en QSAR.
  • Verliezen: OM-Path wijkt voor DBVI op kleine-$N$ ruisige datasets (Boston, Energy, Concrete), waar de SDE-ruis regularisatie van DBVI's score-parametrisatie een voordeel biedt.
• Grote Schaal Regressie: Op de Year (515k rijen) en Airline datasets bereikt OM-Path de gemiddeld beste prestatie in RMSE en NLL, hoewel statistische significantie niet wordt geclaimd vanwege beperkte seed-aantallen.
• Binaire Classificatie: OM-Path behaalt een gebonden-best prestatie met DBVI op SUSY en HIGGS, waardoor de eerder geconstateerde kloof met impliciete-q surrogaten wordt gedicht.
• Few-Step Inference: Vanwege de deterministische aard van de ODE ondersteunt OM-Path agressieve few-step inference (1–4 stappen) met minimale nauwkeurigheidsdegradatie op datasets zoals Energy en Concrete, en presteert het in dit regime beter dan stochastische baselines.
• Bayesiaanse Optimalisatie: OM-Path biedt superieure onzekerheidskwalificatie op synthetische benchmarks met lage tot gemiddelde dimensionaliteit (Hartmann-6, Levy-20) en presteert beter dan DSVI.

5. Betekenis en Claims

Het artikel claimt dat FBVI-bridge-Path een rigoureuze, trace-vrije alternatief vertegenwoordigt voor score-gebaseerde variatie-inference voor DGPs. De betekenis hiervan ligt in:

• Theoretische Rigor: Het verankeren van het trainingsdoelwit in het Freidlin–Wentzell LDP en de Onsager–Machlup actie, waardoor een wiskundig onderbouwde rechtvaardiging voor deterministisch posterior transport wordt geboden.
• Praktische Efficiëntie: Het elimineren van de computatieve overhead van score-matching en Hutchinson trace-schatting, wat leidt tot snellere training en stabielere gradiënten.
• Prestatie: Aantonen dat een pad-ruimte MAP-schatter, die de strikte ELBO-ondergrens inruilt voor lagere variantie, superieure empirische resultaten oplevert op grote datasets waar gradiëntvariantie de beperkende factor is.

De auteurs zijn bescheiden in hun claims, met de erkenning dat:

• De methode geen ELBO is en geen ondergrens biedt op de marginale likelihood.
• Strict-ELBO-varianten bestaan, maar in dit specifieke regime empirisch inferieur zijn vanwege variantie.
• Prestaties op kleine, ruisige datasets momenteel het beste worden bediend door de stochastische regularisatie van score-gebaseerde methoden (DBVI).
• De theoretische identificatie met het MAP-pad een asymptotisch resultaat is ($\epsilon \to 0$), terwijl praktische training plaatsvindt bij finite $\epsilon$.