Résumé technique : Transport a posteriori Onsager–Machlup pour les processus gaussiens profonds

1. Énoncé du problème

Les processus gaussiens profonds (DGP) offrent un cadre d'apprentissage profond bayésien avec une incertitude calibrée en empilant des couches de processus gaussiens (GP). Cependant, l'inférence reste un goulot d'étranglement computationnel central. La distribution a posteriori sur les variables d'induction par couche $U = \{U^{(\ell)}\}_{\ell=1}^L$ est non gaussienne et fortement corrélée entre les couches, rendant l'inférence exacte intraitable.

Les méthodes d'inférence approchée existantes font face à un compromis :

• Ajustement explicite de densité (basé sur ELBO) : Des méthodes comme l'inférence variationnelle doublement stochastique (DSVI) imposent une factorisation gaussienne, ce qui est restrictif pour des posteriors multimodaux ou corrélés.
• Équations différentielles stochastiques (EDS) basées sur le score : Des méthodes comme DDVI et DBVI définissent le posterior comme le terminal d'une EDS à temps inverse entraînée par l'appariement de score de débruitage (DSM) et une borne inférieure de preuve (ELBO) de forme Girsanov. Bien que flexibles, elles nécessitent l'entraînement de réseaux de score auxiliaires et souffrent de la variance de l'intégration stochastique.
• Échantillonnage : Le Monte Carlo hamiltonien par gradient stochastique (SGHMC) est coûteux en calcul et peine à passer à l'échelle sur de grands jeux de données.

Le défi central est de réaliser l'inférence sur les variables d'induction des DGP sans les hypothèses gaussiennes restrictives de DSVI, tout en évitant les pertes auxiliaires à haute variance et les coûts d'intégration stochastique des méthodes d'EDS basées sur le score.

2. Méthodologie : FBVI-bridge-Path (OM-Path)

Les auteurs proposent le transport a posteriori comme formulation alternative. Au lieu d'ajuster une densité $q_\phi(U)$ par maximisation de l'ELBO, ils apprennent un échantillonneur déterministe $T_\phi$ qui mappe une mesure de référence traitable vers des variables d'induction pertinentes pour le posterior.

2.1 De l'EDS à l'EDO déterministe

La méthode s'appuie sur l'EDS pontée de Doob utilisée dans DBVI, qui ancre le processus de diffusion à une distribution initiale dépendante des données via un amortisseur $\mu_\theta(x)$.

• Processus de référence : Les auteurs appliquent la réduction par équation différentielle ordinaire (EDO) de flot de probabilité de Song et al. (2021) à l'EDS pontée de DBVI. Cela produit une dérive de référence sous forme close $v_{ref}^{Bri}(U, s)$ dérivée directement des coefficients marginaux du pont (moyenne et variance), éliminant le besoin d'appariement de score.
• Transport déterministe : L'objet variationnel est une EDO déterministe $\dot{U}_\tau = v_\phi(U_\tau, 1-\tau, \text{ctx})$ qui transporte des échantillons depuis la marge côté bruit du pont vers le posterior.

2.2 L'objectif Onsager–Machlup

Une insight théorique critique est que la divergence KL de Girsanov standard utilisée dans l'inférence variationnelle basée sur les EDS diverge lorsque le coefficient de diffusion $g \to 0$ (la limite déterministe). L'objectif correct pour la limite déterministe est l'action Onsager–Machlup (OM), qui correspond au fonctionnel de taux de grande déviation de Freidlin–Wentzell.

L'objectif d'entraînement $L_{OM}$ est défini comme suit :
$$L_{OM}(\phi) = -\mathbb{E}_{q_\phi}[\log p(y | F(L))] + \frac{\alpha}{2} \int_0^1 \mathbb{E} \left[ \| v_\phi(U_\tau, 1-\tau, \text{ctx}) - v_{ref}^{Bri}(U_\tau, 1-\tau) \|^2 \right] d\tau$$

• Terme de données : Négatif de la vraisemblance logarithmique du point final.
• Prior de trajectoire : Un régularisateur sans trace mesurant l'écart entre le champ de vitesse appris et la dérive de référence sous forme close.
• Propriétés clés :
  • Sans trace : Aucune estimation de trace de Hutchinson (contrairement à FFJORD/CNF).
  • Sans perte auxiliaire : Aucun appariement de score de débruitage (contrairement à DDVI/DBVI).
  • Sans fonction de partition : Aucune estimation de $\partial_t \log Z_t$ (contrairement à NFS2).

2.3 Statut théorique

Le théorème 1 établit que $L_{OM}$ s'identifie au chemin du Maximum a Posteriori (MAP) à faible bruit d'un posterior de chemin de pont de Doob tempéré via le principe de grande déviation (LDP) de Freidlin–Wentzell lorsque $\epsilon \to 0$.

• À la valeur d'entraînement finie ($\alpha=1, \epsilon=1$), l'objectif agit comme un régularisateur d'espace de trajectoire pour une mesure de chemin de référence gaussienne inclinée par la vraisemblance du point final.
• La méthode est un estimateur MAP d'espace de trajectoire, et non un ELBO. Les auteurs notent explicitement cette distinction, la contrastant avec les méthodes de borne inférieure stricte.

2.4 Ablations ELBO strictes

L'article dérive deux variantes strictes d'ELBO d'espace de trajectoire sur la même colonne vertébrale de pont :

1. FBVI-bridge-CNF : Utilise la formule de changement de variables instantané de FFJORD (trace de Hutchinson) pour le terme KL.
2. FBVI-bridge-CNFOM : Ajoute le régularisateur OM à l'objectif CNF.
   Empiriquement, ces variantes ELBO strictes sous-performent l'estimateur MAP sans trace en raison de la variance élevée introduite par l'estimateur de trace de Hutchinson.

3. Contributions clés

1. Transport a posteriori pour les DGP : Introduction d'un cadre de transport a posteriori basé sur une EDO déterministe pour les variables d'induction des DGP, remplaçant l'inférence par score-EDS basée sur ELBO. La dérive de référence est sous forme close, éliminant le besoin d'appariement de score.
2. Identité de posterior de chemin à $\epsilon$ fini : Fournit une identification rigoureuse de l'objectif d'entraînement comme le négatif du logarithme de la densité non normalisée d'un posterior de chemin tempéré (avec $\alpha$ fini) et le relie au chemin MAP à faible bruit via le LDP de Freidlin–Wentzell (Théorème 1).
3. Analyse du compromis biais-variance : Démontre que dans le régime de transport a posteriori des DGP, la réduction de la variance de l'objectif de trajectoire (en supprimant la trace de Hutchinson) domine l'avantage du suivi d'une densité exacte. L'estimateur MAP sans trace surpasse les ELBO stricts.
4. Validation empirique : Montre des améliorations statistiquement significatives par rapport à l'état de l'art DBVI sur des jeux de données de régression UCI à grande échelle ($N > 9\,000$) et des performances compétitives sur la classification binaire, tout en maintenant la stabilité sur les petits jeux de données.

4. Résultats expérimentaux

La méthode (FBVI-bridge-Path ou OM-Path) a été évaluée contre DSVI, SGHMC, IPVI, DDVI et DBVI sur sept jeux de données de régression UCI, la régression à grande échelle (Airline, Year) et la classification binaire (SUSY, HIGGS).

• Régression petite/moyenne (UCI) :
  • Victoires significatives : OM-Path réalise des victoires statistiquement significatives (test de Wilcoxon apparié) sur DBVI sur les deux plus grands jeux de données : Power ($p=0,014$) et Protein ($p=0,002$).
  • Égalités : Égalités statistiques sur Yacht et QSAR.
  • Défaites : OM-Path cède à DBVI sur les petits jeux de données bruyants (Boston, Energy, Concrete), où la régularisation par bruit d'EDS de la paramétrisation par score de DBVI apporte un avantage.
• Régression à grande échelle : Sur les jeux de données Year (515 000 lignes) et Airline, OM-Path atteint les meilleures performances moyennes en RMSE et NLL, bien que la signification statistique ne soit pas revendiquée en raison du nombre limité de graines.
• Classification binaire : OM-Path atteint une performance égale à la meilleure avec DBVI sur SUSY et HIGGS, comblant l'écart précédemment observé avec les substituts de $q$ implicites.
• Inférence en peu d'étapes : Grâce au caractère déterministe de l'EDO, OM-Path prend en charge une inférence agressive en peu d'étapes (1–4 étapes) avec une dégradation minimale de la précision sur des jeux de données comme Energy et Concrete, surpassant les bases stochastiques dans ce régime.
• Optimisation bayésienne : OM-Path fournit une quantification d'incertitude supérieure sur des benchmarks synthétiques de faible à moyenne dimension (Hartmann-6, Levy-20), surpassant DSVI.

5. Importance et revendications

L'article revendique que FBVI-bridge-Path représente une alternative rigoureuse et sans trace à l'inférence variationnelle basée sur le score pour les DGP. Son importance réside dans :

• Rigueur théorique : Ancrage de l'objectif d'entraînement dans le LDP de Freidlin–Wentzell et l'action Onsager–Machlup, fournissant une justification mathématiquement solide pour le transport a posteriori déterministe.
• Efficacité pratique : Élimination de la surcharge computationnelle de l'appariement de score et de l'estimation de trace de Hutchinson, conduisant à un entraînement plus rapide et à des gradients plus stables.
• Performance : Démonstration qu'un estimateur MAP d'espace de trajectoire, qui échange la borne ELBO stricte contre une variance plus faible, produit des résultats empiriques supérieurs sur les grands jeux de données où la variance du gradient est le facteur limitant.

Les auteurs sont modestes dans leurs revendications, reconnaissant que :

• La méthode n'est pas un ELBO et ne fournit pas de borne inférieure sur la vraisemblance marginale.
• Des variantes ELBO strictes existent mais sont empiriquement inférieures dans ce régime spécifique en raison de la variance.
• Les performances sur les petits jeux de données bruyants sont actuellement mieux servies par la régularisation stochastique des méthodes basées sur le score (DBVI).
• L'identification théorique avec le chemin MAP est un résultat asymptotique ($\epsilon \to 0$), tandis que l'entraînement pratique se produit à $\epsilon$ fini.