Riepilogo Tecnico: Trasporto Posteriore Onsager–Machlup per Processi Gaussiani Profondi

1. Enunciato del Problema

I Processi Gaussiani Profondi (DGP) offrono un framework di apprendimento profondo bayesiano con incertezza calibrata, sovrapponendo strati di processi gaussiani (GP). Tuttavia, l'inferenza rimane un collo di bottiglia computazionale centrale. La distribuzione posteriore sulle variabili di induzione per strato $U = \{U^{(\ell)}\}_{\ell=1}^L$ è non gaussiana e altamente correlata tra gli strati, rendendo l'inferenza esatta intrattabile.

I metodi di inferenza approssimata esistenti affrontano un compromesso:

• Adattamento Esplicito della Densità (basato su ELBO): Metodi come l'Inferenza Variazionale Duplicamente Stocastica (DSVI) impongono una fattorizzazione gaussiana, che è restrittiva per posteriori multimodali o correlati.
• SDE basati sul Punteggio: Metodi come DDVI e DBVI definiscono la posteriore come il terminale di un'Equazione Differenziale Stocastica (SDE) a tempo inverso addestrata tramite abbinamento del punteggio di denoising (DSM) e un Limite Inferiore della Prova (ELBO) in forma di Girsanov. Sebbene flessibili, questi richiedono l'addestramento di reti di punteggio ausiliarie e soffrono della varianza dell'integrazione stocastica.
• Campionamento: Il Monte Carlo Hamiltoniano con Gradiente Stocastico (SGHMC) è computazionalmente costoso e fatica a scalare su grandi dataset.

La sfida fondamentale è eseguire l'inferenza sulle variabili di induzione DGP senza le ipotesi gaussiane restrittive della DSVI, evitando al contempo le perdite ausiliarie ad alta varianza e i costi di integrazione stocastica dei metodi SDE basati sul punteggio.

2. Metodologia: FBVI-bridge-Path (OM-Path)

Gli autori propongono il trasporto posteriore come formulazione alternativa. Invece di adattare una densità $q_\phi(U)$ tramite massimizzazione dell'ELBO, apprendono un campionatore deterministico $T_\phi$ che mappa una misura di riferimento trattabile in variabili di induzione rilevanti per la posteriore.

2.1 Dalle SDE alle ODE Deterministiche

Il metodo si basa sull'SDE di Doob-bridged forward utilizzata in DBVI, che ancor il processo di diffusione a una distribuzione iniziale dipendente dai dati tramite un ammortizzatore $\mu_\theta(x)$.

• Processo di Riferimento: Gli autori applicano la riduzione ODE del flusso di probabilità di Song et al. (2021) all'SDE di ponte DBVI. Ciò produce una deriva di riferimento in forma chiusa $v_{ref}^{Bri}(U, s)$ derivata direttamente dai coefficienti marginali del ponte (media e varianza), eliminando la necessità di abbinamento del punteggio.
• Trasporto Deterministico: L'oggetto variazionale è un'ODE deterministica $\dot{U}_\tau = v_\phi(U_\tau, 1-\tau, \text{ctx})$ che trasporta campioni dal margine lato-rumore del ponte alla posteriore.

2.2 L'Obiettivo Onsager–Machlup

Un'insight teorico critico è che la divergenza KL di Girsanov standard utilizzata nella VI basata su SDE diverge quando il coefficiente di diffusione $g \to 0$ (il limite deterministico). L'obiettivo corretto per il limite deterministico è l'azione Onsager–Machlup (OM), che corrisponde al funzionale del tasso di deviazione su larga scala di Freidlin–Wentzell.

L'obiettivo di addestramento $L_{OM}$ è definito come:
$$L_{OM}(\phi) = -\mathbb{E}_{q_\phi}[\log p(y | F(L))] + \frac{\alpha}{2} \int_0^1 \mathbb{E} \left[ \| v_\phi(U_\tau, 1-\tau, \text{ctx}) - v_{ref}^{Bri}(U_\tau, 1-\tau) \|^2 \right] d\tau$$

• Termine Dati: Log-verosimiglianza negativa dell'endpoint.
• Prior del Percorso: Un regolarizzatore senza traccia che misura la deviazione del campo di velocità appreso dalla deriva di riferimento in forma chiusa.
• Proprietà Chiave:
  • Senza traccia: Nessuna stima della traccia di Hutchinson (a differenza di FFJORD/CNF).
  • Senza perdita ausiliaria: Nessun abbinamento del punteggio di denoising (a differenza di DDVI/DBVI).
  • Senza funzione di partizione: Nessuna stima di $\partial_t \log Z_t$ (a differenza di NFS2).

2.3 Status Teorico

Il Teorema 1 stabilisce che $L_{OM}$ si identifica con il percorso MAP (Massima A Posteriori) a basso rumore di una posteriore di percorso di ponte Doob temperata tramite il Principio di Grande Deviazione (LDP) di Freidlin–Wentzell quando $\epsilon \to 0$.

• Al valore finito di addestramento ($\alpha=1, \epsilon=1$), l'obiettivo agisce come un regolarizzatore nello spazio dei percorsi per una misura di percorso di riferimento gaussiana inclinata dalla verosimiglianza dell'endpoint.
• Il metodo è un stimatore MAP nello spazio dei percorsi, non un ELBO. Gli autori notano esplicitamente questa distinzione, mettendolo in contrasto con metodi di limite inferiore rigoroso.

2.4 Ablazioni ELBO Rigorose

Il documento deriva due varianti ELBO rigorose nello spazio dei percorsi sullo stesso backbone di ponte:

1. FBVI-bridge-CNF: Utilizza la formula istantanea di cambio di variabile di FFJORD (traccia di Hutchinson) per il termine KL.
2. FBVI-bridge-CNFOM: Aggiunge il regolarizzatore OM all'obiettivo CNF.
   Sperimentalmente, queste varianti ELBO rigorose performano peggio dello stimatore MAP senza traccia a causa dell'alta varianza introdotta dallo stimatore della traccia di Hutchinson.

3. Contributi Chiave

1. Trasporto Posteriore per DGP: Introduce un framework di trasporto posteriore basato su ODE deterministica per le variabili di induzione DGP, sostituendo l'inferenza SDE basata su punteggio e ELBO. La deriva di riferimento è in forma chiusa, rimuovendo la necessità di abbinamento del punteggio.
2. Identità Posteriore di Percorso a $\epsilon$ Finito: Fornisce un'identificazione rigorosa dell'obiettivo di addestramento come log-verosimiglianza negativa della densità non normalizzata di una posteriore di percorso temperata ($\alpha$ finito) e la collega al percorso MAP a basso rumore tramite LDP di Freidlin–Wentzell (Teorema 1).
3. Analisi del Compromesso Bias-Varianza: Dimostra che nel regime di trasporto posteriore DGP, la riduzione della varianza dell'obiettivo di percorso (rimuovendo la traccia di Hutchinson) prevale sul beneficio del tracciamento di una densità esatta. Lo stimatore MAP senza traccia supera gli ELBO rigorosi.
4. Validazione Empirica: Mostra miglioramenti statisticamente significativi rispetto allo stato dell'arte DBVI su grandi dataset di regressione UCI ($N > 9.000$) e prestazioni competitive nella classificazione binaria, mantenendo stabilità su piccoli dataset.

4. Risultati Sperimentali

Il metodo (FBVI-bridge-Path o OM-Path) è stato valutato contro DSVI, SGHMC, IPVI, DDVI e DBVI su sette dataset di regressione UCI, regressione su larga scala (Airline, Year) e classificazione binaria (SUSY, HIGGS).

• Regressione Piccola/Media (UCI):
  • Vittorie Significative: OM-Path ottiene vittorie statisticamente significative (test di Wilcoxon appaiato) su DBVI sui due dataset più grandi: Power ($p=0.014$) e Protein ($p=0.002$).
  • Pareggi: Pareggi statistici su Yacht e QSAR.
  • Sconfitte: OM-Path cede a DBVI su dataset rumorosi a $N$ piccola (Boston, Energy, Concrete), dove la regolarizzazione del rumore SDE della parametrizzazione del punteggio di DBVI fornisce un vantaggio.
• Regressione su Larga Scala: Su Year (515k righe) e Airline, OM-Path ottiene la performance media migliore in RMSE e NLL, sebbene non venga rivendicata significatività statistica a causa del limitato numero di semi.
• Classificazione Binaria: OM-Path ottiene performance pari al meglio con DBVI su SUSY e HIGGS, colmando il divario precedentemente osservato con surrogati impliciti-q.
• Inferenza a Pochi Passi: A causa della natura deterministica dell'ODE, OM-Path supporta un'inferenza aggressiva a pochi passi (1–4 passi) con degradazione minima dell'accuratezza su dataset come Energy e Concrete, superando le baseline stocastiche in questo regime.
• Ottimizzazione Bayesiana: OM-Path fornisce una quantificazione dell'incertezza superiore su benchmark sintetici a dimensionalità bassa-moderata (Hartmann-6, Levy-20), superando DSVI.

5. Significato e Affermazioni

Il documento afferma che FBVI-bridge-Path rappresenta un'alternativa rigorosa e senza traccia all'inferenza variazionale basata su punteggio per i DGP. Il suo significato risiede in:

• Rigor Teorico: Fondare l'obiettivo di addestramento sull'LDP di Freidlin–Wentzell e sull'azione Onsager–Machlup, fornendo una giustificazione matematicamente solida per il trasporto posteriore deterministico.
• Efficienza Pratica: Eliminare il sovraccarico computazionale dell'abbinamento del punteggio e della stima della traccia di Hutchinson, portando a un addestramento più veloce e gradienti più stabili.
• Prestazioni: Dimostrare che uno stimatore MAP nello spazio dei percorsi, che scambia il limite inferiore rigoroso dell'ELBO per una varianza inferiore, produce risultati empirici superiori su grandi dataset dove la varianza del gradiente è il fattore limitante.

Gli autori sono modesti nelle loro affermazioni, riconoscendo che:

• Il metodo non è un ELBO e non fornisce un limite inferiore sulla verosimiglianza marginale.
• Esistono varianti ELBO rigorose ma sono empiricamente inferiori in questo specifico regime a causa della varianza.
• Le prestazioni su piccoli dataset rumorosi sono attualmente meglio servite dalla regolarizzazione stocastica dei metodi basati su punteggio (DBVI).
• L'identificazione teorica con il percorso MAP è un risultato asintotico ($\epsilon \to 0$), mentre l'addestramento pratico avviene a $\epsilon$ finito.