Likelihood-Free Inference via Structured Score Matching

1. Problématique et Contexte

Dans de nombreux domaines scientifiques (astrophysique, épidémiologie, écologie, génétique), les chercheurs utilisent des simulateurs forward pour modéliser des phénomènes complexes. Ces simulateurs définissent implicitement une distribution de données $P_\theta$, mais la fonction de vraisemblance $p(X|\theta)$ est souvent analytiquement intraitable (impossible à calculer explicitement).

Ce cadre est connu sous le nom d'inférence sans vraisemblance (Likelihood-Free Inference - LFI) ou inférence basée sur la simulation (SBI).

• Approches existantes :
  • Bayésiennes : Approximate Bayesian Computation (ABC) et Synthetic Likelihood (SL), qui reposent sur des statistiques de résumé ou des modèles de substitution.
  • Frequentistes : Indirect inference et méthodes basées sur des réseaux de neurones pour approximer directement le rapport de vraisemblance ou le score.
• Limites actuelles : Les méthodes basées sur l'apprentissage profond peuvent souffrir de biais, d'un mauvais calibrage des incertitudes, et dépendent fortement des objectifs d'entraînement. Les méthodes traditionnelles (comme l'ABC) peuvent perdre en efficacité statistique.

L'objectif de cet article est de proposer une méthode fréquentiste pour l'estimation des paramètres et la quantification de l'incertitude, en s'appuyant sur la propriété fondamentale que l'estimateur du maximum de vraisemblance (MLE) est la racine du score de vraisemblance.

2. Méthodologie Proposée

Les auteurs développent un cadre d'inférence combinant l'appariement de scores (Score Matching) avec des procédures d'optimisation et de bootstrap.

A. Appariement de Scores Structuré (Structured Score Matching)

Au lieu d'apprendre la vraisemblance, la méthode approxime directement le score de vraisemblance $s^*(\theta, X) = \nabla_\theta \log p_\theta(X)$.
Pour améliorer la précision et l'évolutivité, les auteurs imposent une structure statistique au réseau de neurones $s_\phi(\theta, X)$ qui approxime le score :

1. Structure Additive : Le score total est la somme des scores individuels : $s(\theta, X_n) = \sum_{i=1}^n s(\theta, X_i)$. Cela réduit la complexité du réseau en apprenant le score sur une seule observation plutôt que sur tout l'échantillon.
2. Structure de Courbure (Fisher Information) : Le réseau est contraint de satisfaire l'identité de Fisher : $E[s(\theta, X)s(\theta, X)^\top + \nabla_\theta s(\theta, X)] \approx 0$. Cela est imposé via un terme de régularisation dans la fonction de perte.
3. Structure de Moyenne Nulle : Le score a une espérance nulle sous le vrai modèle. Cela est assuré par une étape de débiasage (régression post-traitement) pour centrer le score estimé.

La fonction de perte d'entraînement est une version modifiée de l'appariement de scores direct (Hyvärinen, 2007), adaptée pour intégrer ces contraintes structurelles.

B. Estimateur Basé sur le Score

L'estimateur $\hat{\theta}_n$ est défini comme la racine du score estimé :
$$\sum_{i=1}^n \hat{s}(\hat{\theta}_n, X_i^*) = 0$$
Pour trouver cette racine, les auteurs proposent un algorithme itératif de type Newton-Raphson préconditionné :
$$\theta^{(t+1)} = \theta^{(t)} + \alpha H_t \hat{s}(\theta^{(t)}, X_n^*)$$
où $H_t$ est une matrice de préconditionnement (souvent l'inverse du Jacobien du score estimé, approchant la matrice d'information de Fisher). Grâce à la contrainte de courbure, cette méthode converge exponentiellement vite vers l'estimateur.

C. Quantification de l'Incertitude

Trois méthodes sont proposées pour construire des intervalles de confiance :

1. Matrice d'Information (Plug-in) : Estimation directe de la matrice d'information de Fisher via le Jacobien du score.
2. Matrice de Sandwich (Huber) : Une estimation robuste qui tient compte d'une éventuelle mauvaise spécification du modèle (erreur de modélisation du score).
3. Bootstrap Multiplieur : Une méthode de rééchantillonnage pondéré pour approximer la distribution asymptotique de l'estimateur.

3. Contributions Clés

1. Nouvel Estimateur Fréquentiste : Introduction d'un estimateur défini comme la racine d'un score appris par appariement de scores, offrant une alternative directe aux méthodes bayésiennes ou aux méthodes de vraisemblance synthétique.
2. Appariement de Scores Structuré : Intégration novatrice des propriétés statistiques fondamentales (additivité, identité de Fisher, moyenne nulle) directement dans l'architecture et l'objectif d'entraînement des réseaux de neurones. Cela améliore la précision et réduit le besoin de données d'entraînement.
3. Garanties Théoriques :
   • Preuve de l'existence et de l'unicité de la racine du score estimé dans un voisinage du vrai paramètre.
   • Preuve de la consistance et de la normalité asymptotique de l'estimateur (il est asymptotiquement équivalent au MLE).
   • Preuve de la consistance du bootstrap pour la construction d'intervalles de confiance valides.
   • Preuve de la convergence exponentielle de l'algorithme d'optimisation.
4. Procédure en Deux Étapes : Une stratégie pour affiner l'estimation en concentrant la distribution d'échantillonnage autour d'une estimation préliminaire, améliorant ainsi la précision dans les régions d'intérêt.

4. Résultats Expérimentaux

Les auteurs évaluent leur méthode sur plusieurs jeux de données simulés et réels, en comparaison avec la Vraisemblance Synthétique (SL) et l'Estimateur de Vraisemblance Neuronal (NLE) :

• Modèle de File d'Attente M/G/1 : La méthode proposée surpasse les autres en précision d'estimation et fournit des intervalles de confiance avec un taux de couverture proche du nominal (95%), là où les méthodes concurrentes échouent ou produisent des intervalles trop larges. L'algorithme de Newton converge en ~4 itérations contre ~81 pour la descente de gradient classique.
• Estimation de Volatilité Boursière : Sur un modèle de mouvement brownien multivarié, la méthode obtient les erreurs d'estimation les plus faibles pour tous les paramètres. Les intervalles de confiance (Sandwich et Bootstrap) sont plus étroits et mieux calibrés que ceux du NLE et du SL.
• Modèle g-and-k (Données Réelles) : Appliqué aux taux de change USD/CAD, la méthode capture efficacement les queues épaisses et l'asymétrie des données, surpassant une base normale. La procédure en deux étapes améliore significativement les résultats par rapport à la première itération.

Efficacité Computationnelle : Bien que l'entraînement des réseaux de neurones prenne du temps, la méthode est compétitive avec le NLE et souvent plus efficace que le SL en termes de nombre d'appels au simulateur nécessaires pour atteindre une précision donnée.

5. Signification et Impact

Cet article apporte une contribution majeure à l'inférence statistique moderne en :

• Combler le fossé entre les méthodes statistiques classiques (MLE, théorie asymptotique) et l'apprentissage profond.
• Démontrer que l'incorporation de connaissances structurelles (comme les propriétés du score de vraisemblance) dans les modèles de deep learning améliore considérablement la fiabilité statistique, la convergence et la quantification de l'incertitude.
• Offrir une alternative fréquentiste robuste aux méthodes bayésiennes complexes, particulièrement utile lorsque l'on a besoin d'intervalles de confiance bien calibrés et d'estimateurs efficaces sans avoir à spécifier de distribution a priori.

En résumé, cette méthode permet d'exploiter la puissance des simulateurs complexes tout en conservant les garanties théoriques solides de l'inférence statistique classique.