Laplace--Fisher Gate Identities for Optimal Matrix-Gated Blended Score Estimation

Résumé technique : Identités de porte de Laplace–Fisher pour l'estimation optimale de scores mélangés par matrice

Énoncé du problème
L'article traite du défi de l'estimation de la fonction de score (le gradient du logarithme de la densité) d'une loi marginale d'Ornstein–Uhlenbeck (OU), $s_t(y) = \nabla_y \log p_t(y)$, nécessaire pour inverser les processus de diffusion afin d'échantillonner une densité cible non normalisée $p_0$. Bien qu'il existe deux identités exactes d'espérance conditionnelle pour ce score — l'identité de Tweedie (débruitage) et l'Identité du Score Cible (TSI) — la combinaison de ces deux méthodes pour minimiser la variance dans des contextes à références finies est non triviale. Les approches existantes reposent souvent sur des coefficients de mélange scalaires, qui ne parviennent pas à rendre compte des structures de courbure anisotropes et singulières communes dans les problèmes scientifiques et d'inversion bayésienne. Les mélanges scalaires ne peuvent pas optimiser simultanément la correction entre les signaux de Tweedie et de la TSI à travers les différentes directions propres de la hessienne de la cible, ce qui conduit à une variance sous-optimale et à un mauvais étalonnage de la densité dans les régimes à forte courbure.

Méthodologie
Les auteurs formulent le mélange des estimateurs de score de Tweedie et de la TSI comme un problème de minimisation du risque conditionnel sur des coefficients de mélange de type matrice, appelés « portes » (gates).

1. Cadre théorique :

   • L'article définit un signal de score mélangé $z_G = b + G\delta$, où $b$ est le signal de Tweedie, $\delta$ est le désaccord de moyenne nulle entre les signaux de la TSI et de Tweedie, et $G(y,t)$ est une porte matricielle.
   • La porte optimale $G^\star$ est dérivée en minimisant le risque de trace conditionnelle (erreur quadratique moyenne) de l'estimateur.
   • En utilisant les identités de Fisher–Stein, les auteurs montrent que la porte optimale peut être exprimée non pas comme un ratio de covariances empiriques (ce qui nécessite l'inversion de matrices de désaccord potentiellement mal conditionnées), mais comme un résolvant de la moyenne conditionnelle de l'information observée (Hessienne) de la cible.

2. L'identité de la porte de Laplace–Fisher (LFGI) :

   • Le résultat théorique central est l'Identité de la porte de Laplace–Fisher :
     $$G^\star(y, t) = \alpha_t^2 \left( \alpha_t^2 I_d + \gamma_t \mathbb{E}[H_0(X_0) \mid Y_t = y] \right)^{-1}$$
     où $H_0 = -\nabla^2 \log p_0$ est l'information observée de la cible, et $\alpha_t, \gamma_t$ sont les coefficients du processus OU.
   • Cette identité interprète la porte optimale comme un filtre dépendant de la courbure : les directions présentant une courbure conditionnelle élevée (grands vecteurs propres de la Hessienne) sont atténuées vers le signal de Tweedie, tandis que les directions à faible courbure restent plus proches de l'Identité du Score Cible.

3. Estimation à référence finie :

   • L'article propose un estimateur pratique utilisant deux banques de références indépendantes : une « banque de scores » pour moyenner les signaux de Tweedie/TSI, et une « banque de portes » pour estimer la moyenne de la Hessienne conditionnelle.
   • La porte est construite en appliquant la carte de résolvant à la moyenne pondérée des Hessiennes (ou des proxys de Gauss–Newton dans les contextes de PDE) provenant de la banque de portes.
   • Les auteurs établissent des bornes de cohérence et de stabilité, montrant que l'estimateur capture la réduction de risque optimale de la population si l'erreur de moyenne de la Hessienne est contrôlée par rapport au « facteur de pôle » du résolvant.

4. Application à l'évaluation de densité :

   • Contrairement aux benchmarks d'échantillonnage standards, la principale application consiste à construire une densité de substitution normalisée via l'ODE de flux de probabilité.
   • En figeant l'estimateur de score LFGI à référence finie, les auteurs dérivent une divergence en forme close, permettant l'évaluation de la densité normalisée $q_{PF}$ et l'estimation de l'évidence du modèle (constantes de normalisation) sans échantillonnage MCMC supplémentaire.

Contributions clés

• Dérivation de la porte matricielle optimale : L'article dérive la forme exacte de la porte matricielle optimal pour la variance des estimateurs de mélange de Tweedie et de la TSI, prouvant que les portes scalaires ou diagonales sont insuffisantes pour les cibles anisotropes.
• Identité de Laplace–Fisher : Il introduit une nouvelle identité reliant la porte de mélange optimale directement à la moyenne de la Hessienne conditionnelle, évitant ainsi le besoin d'estimer et d'inverser les covariances de désaccord empiriques.
• Analyse à référence finie : Les auteurs fournissent des bornes rigoureuses de cohérence et de stabilité pour l'estimateur LFGI, identifiant les conditions spécifiques (concentration de la Hessienne relative et séparation des pôles) sous lesquelles l'estimateur réussit.
• Surrogats de densité pour les problèmes inverses : Le travail démontre comment convertir les sous-produits MCMC pilotes (scores, Hessiennes, échantillons) en un surrograt de densité normalisé qui fournit une calibration d'évidence absolue et des diagnostics de densité, qui sont généralement indisponibles à partir des échantillons MCMC bruts.

Résultats
L'article valide la méthode sur plusieurs benchmarks :

• GMM à sous-espace singulier mal aligné : En dimensions $d=8$ et $d=24$, la LFGI surpasse significativement les mélanges scalaires, les mélanges matriciels uniformes et la régression de matrice primaire centrée (qui estime la porte via des ratios de covariance) en termes de RMSE du score et de métriques de qualité d'échantillonnage en aval (Sliced KS, MMD, NLL). Les résultats confirment que l'atténuation dépendante de la direction est nécessaire pour les mélanges anisotropes.
• L'Entonnoir de Neal ($d=10$) : Sur une cible non gaussienne et non de type mélange avec une anisotropie dépendante de l'état, la LFGI produit la meilleure qualité d'échantillonnage parmi les estimateurs appris, capturant correctement la géométrie de l'entonnoir là où les méthodes scalaires et uniformes échouent.
• Problème inverse de Darcy-Flow : Dans un contexte contraint par des PDE, le surrograt de flux de probabilité basé sur la LFGI améliore la calibration de la densité postérieure et l'estimation de l'évidence par rapport aux baselines locales gaussiennes (MAP-Laplace) et aux autres classes d'estimateurs de score.
• Calibration de l'évidence : Les expériences sur des cibles à normalisation connue (gaussienne et mélange) vérifient que le surrograt LFGI fournit des estimations d'évidence absolue précises.

Signification et affirmations
L'article affirme que l'Identité de la Porte de Laplace–Fisher fournit un mécanisme théoriquement fondé et optimal pour la variance de l'estimation du score dans les régimes où la géométrie de la cible est singulière ou fortement anisotrope. Sa signification réside dans :

1. Résolution de la limitation scalaire : Il démontre que le mélange scalaire est structurellement insuffisant pour les cibles anisotropes et fournit la solution matricielle.
2. Robustesse à la référence finie : En estimant la porte via la moyenne des Hessiennes plutôt que par l'inversion de covariances, la LFGI évite l'instabilité associée aux matrices de désaccord mal conditionnées dans les contextes non gausiens.
3. Au-delà de l'échantillonnage : La méthode permet la construction de surrogats de densité exactement normalisés à partir de sous-produits MCMC, facilitant l'estimation de l'évidence du modèle et les diagnostics basés sur la densité dans les problèmes inverses bayésiens, où ces quantités sont autrement difficiles à obtenir.

Les auteurs positionnent la LFGI non pas comme un remplacement pour l'entraînement de score amorti, mais comme un estimateur basé sur des références et non amorti, qui exploite les informations de dérivées disponibles pour construire des surrogats de densité de haute fidélité pour le calcul scientifique et les problèmes inverses.