The geometry of Stein's method of moments: A canonical decomposition via score matching

1. Problématique et Contexte

L'article s'intéresse à l'estimation de paramètres pour des modèles statistiques non normalisés (ou modèles basés sur l'énergie), dont la densité de probabilité $q_\theta(x)$ est définie sous la forme :
$$q_\theta(x) = \frac{1}{Z(\theta)} \tilde{q}_\theta(x)$$
où $\tilde{q}_\theta$ est une densité non normalisée et $Z(\theta)$ est la constante de normalisation (intégrale de partition).

Le défi principal : Le calcul de $Z(\theta)$ est souvent intraitable computationnellement, ce qui rend l'estimation du maximum de vraisemblance (MLE) impossible ou très coûteuse.
Solutions existantes :

• Score Matching (Hyvärinen, 2005) : Une méthode qui minimise la distance entre le score du modèle et le score vrai, évitant ainsi le calcul de $Z(\theta)$.
• Méthode des Moments de Stein (SMoM) : Une approche plus récente (Ebner et al., 2025) utilisant un opérateur de Stein pour construire des estimateurs sans constante de normalisation.

Lacune identifiée : Bien que le score matching soit une méthode populaire, son efficacité statistique (variance asymptotique) par rapport au MLE n'est pas bien comprise dans un cadre géométrique général. De plus, il existe un espace pour améliorer l'efficacité du score matching en utilisant la flexibilité offerte par le SMoM.

2. Méthodologie et Cadre Théorique

Les auteurs proposent un cadre géométrique unifiant le score matching et le SMoM, en s'appuyant sur la géométrie de Wasserstein.

A. Opérateur de Stein et Décomposition Canonique

Ils utilisent un opérateur de Stein basé sur la divergence :
$$A_\theta f_\theta := \frac{\nabla_x \cdot (q_\theta f_\theta)}{q_\theta}$$
où $f_\theta$ est une fonction test. L'estimateur SMoM résout les équations d'estimation $\frac{1}{n}\sum A_\theta f_\theta(X_i) = 0$.

Le résultat central est le Théorème 1, qui établit une décomposition canonique de l'estimateur SMoM ($\hat{\theta}_{SMoM}$) par rapport à l'estimateur de score matching ($\hat{\theta}_{SM}$) :
$$\hat{\theta}_{SMoM} - \theta^* = (\hat{\theta}_{SM} - \theta^*) - G^{-1} \frac{1}{n} \sum_{i=1}^n \begin{pmatrix} A_{\theta^*} u^*_1(X_i) \\ \vdots \\ A_{\theta^*} u^*_d(X_i) \end{pmatrix} + o_p(n^{-1/2})$$
Ici, les termes $u^*_j$ sont des fonctions de test W-orthogonales (orthogonales par rapport au produit scalaire de Wasserstein) aux fonctions de score de Fisher.

Point clé : La structure orthogonale pertinente ne provient pas de l'espace des fonctions d'estimation, mais de l'espace des fonctions de test. Le score matching correspond au cas où les termes W-orthogonaux sont nuls.

B. Amélioration de la Variance Asymptotique

Le Théorème 2 montre que l'on peut construire un estimateur SMoM amélioré ($\hat{\theta}[\theta^*]$) en ajoutant des termes W-orthogonaux appropriés aux fonctions de test du score matching.
La réduction de la variance est donnée par :
$$AVar[\hat{\theta}_{SM}] - AVar[\hat{\theta}[\theta^*]] = G^{-1} S_{\theta^*} T_{\theta^*}^{-1} S_{\theta^*}^\top G^{-1} \succeq 0$$
Cela signifie que l'estimateur amélioré a toujours une variance asymptotique inférieure ou égale à celle du score matching, avec une égalité stricte si et seulement si les termes orthogonaux sont nuls.

C. Connexion avec la Géométrie de Wasserstein

L'article établit un lien profond entre le SMoM et la géométrie de Wasserstein (Otto, Villani, Li & Zhao) :

• L'estimateur du Maximum de Vraisemblance (MLE) peut être vu comme un estimateur SMoM basé sur les fonctions de score de Wasserstein ($\Phi_{\theta,j}$), solutions d'une équation aux dérivées partielles.
• Le Théorème 3 énonce une équivalence fondamentale : L'estimateur de score matching est asymptotiquement efficace (atteint la borne de Cramér-Rao) si et seulement si les fonctions de score de Fisher et les fonctions de score de Wasserstein engendrent le même espace vectoriel.
• L'écart de variance entre le score matching et le MLE est caractérisé par la composante W-orthogonale des fonctions de score de Wasserstein (Lemme 4).

3. Résultats Principaux

1. Décomposition Géométrique : Identification d'une structure orthogonale (W-orthogonalité vs $A_\theta$-orthogonalité) qui permet de décomposer l'erreur de l'estimateur SMoM en une partie "score matching" et une partie "correction".
2. Construction d'un Estimateur Amélioré : Proposition d'un algorithme pratique pour construire un estimateur SMoM qui surpasse le score matching en variance asymptotique, en projetant des fonctions de test aléatoires (réseaux de neurones) sur l'espace orthogonal aux scores de Fisher.
3. Condition d'Efficacité : Démonstration rigoureuse que le score matching est optimal si et seulement si la géométrie de Fisher et la géométrie de Wasserstein coïncident pour le modèle donné.
4. Validation Numérique :
   • Distribution Normale Généralisée : Les expériences montrent que l'estimateur amélioré réduit significativement l'erreur quadratique moyenne (MSE) par rapport au score matching, se rapprochant de la performance du MLE, surtout pour des paramètres de forme $\beta$ élevés où le score matching est sous-optimal.
   • Modèle PPI (Polynomially Tilted Pairwise Interaction) : Sur des sphères, l'amélioration est confirmée pour un nombre modéré de termes orthogonaux ($K$), bien qu'une instabilité numérique apparaisse pour $K$ trop grand.
   • Distribution Bingham (Stiefel manifold) : Dans ce cas, le score matching est déjà très proche de l'optimal (efficacité asymptotique), et l'amélioration apportée par le SMoM est négligeable, confirmant la théorie selon laquelle l'amélioration dépend de l'écart entre les espaces de scores.

4. Signification et Contributions

• Unification Théorique : L'article offre une compréhension géométrique unifiée reliant trois géométries : celle du score matching, celle de Fisher-Rao et celle de Wasserstein.
• Pratique : Il fournit une méthode constructive pour améliorer les estimateurs existants pour les modèles non normalisés sans avoir besoin de calculer la constante de normalisation.
• Nouveauté Conceptuelle : L'idée que l'efficacité du score matching dépend de la coïncidence des espaces de scores de Fisher et de Wasserstein est un résultat théorique majeur, offrant un critère clair pour savoir quand le score matching est suffisant ou quand il faut recourir à des méthodes plus complexes.
• Extensibilité : Les résultats sont généralisés aux variétés riemanniennes et aux domaines tronqués (Appendice C), élargissant l'applicabilité de la méthode à des données directionnelles ou composées.

En résumé, ce papier transforme la méthode des moments de Stein d'une simple alternative computationnelle en un cadre géométrique puissant, permettant d'analyser et d'optimiser l'efficacité statistique des estimateurs pour les modèles non normalisés.