Riemannian Laplace Approximation with the Fisher Metric

Cet article propose deux variantes corrigées de l'approximation de Laplace riemannienne utilisant la métrique de Fisher, éliminant ainsi les biais et les approximations trop étroites observés dans les travaux précédents pour garantir l'exactitude asymptotique et améliorer les performances pratiques.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, même sans bagage mathématique.

🌍 Le Problème : Dessiner une carte d'un territoire inconnu

Imaginez que vous êtes un explorateur dans un pays étranger (c'est votre donnée ou votre modèle statistique). Votre objectif est de dessiner une carte précise de ce pays pour comprendre où se trouvent les trésors (les réponses probables).

La méthode classique, appelée Approximation de Laplace, est comme un cartographe très rapide mais un peu paresseux. Il dit : « Je vais trouver le point le plus haut de la montagne (le pic), et je vais dessiner un cercle parfait autour de lui. »

• Avantage : C'est super rapide.
• Inconvénient : Si le terrain est bizarre (des vallées, des grottes, des formes étranges), un simple cercle ne suffit pas. Il rate les détails importants et vous donne une carte trop simpliste.

🧭 La Nouvelle Idée : Changer la boussole (La Géométrie Riemannienne)

Les chercheurs de ce papier ont dit : « Et si, au lieu de dessiner un cercle plat, on utilisait une boussole spéciale qui s'adapte à la forme du terrain ? »

C'est ce qu'ils appellent la Géométrie Riemannienne. Imaginez que votre carte n'est pas plate, mais qu'elle est comme un tissu élastique. Si vous tirez sur ce tissu, les distances changent.

• La méthode précédente (RLA-B) utilisait une boussole basée sur la pente (la direction où ça monte ou descend).
• Le problème : Cette boussole était défectueuse ! Elle rendait la carte trop petite et déformée, comme si elle disait : « Le trésor est juste ici », alors qu'il est en fait un peu plus loin. C'était comme si votre boussole vous faisait tourner en rond dans un cercle trop étroit.

🐟 La Solution Magique : La "Boussole de Poisson" (La Métrique de Fisher)

C'est ici que l'article apporte sa grande contribution. Les auteurs disent : « Oubliez la boussole basée sur la pente. Utilisons la Boussole de Poisson (la Métrique de Fisher). »

L'analogie du Poisson :
Imaginez que vous essayez de pêcher des poissons dans un lac.

• Si vous utilisez la vieille méthode, vous lancez votre filet en suivant simplement la direction du courant. Mais si le courant est trompeur, vous ratez les poissons.
• La Métrique de Fisher, elle, est comme un radar qui détecte non seulement le courant, mais aussi la densité réelle des poissons et la forme exacte du lac. Elle sait exactement comment le terrain se courbe pour vous amener droit au but.

Pourquoi c'est génial ?

1. Précision infinie : Si le terrain devient simple (comme un grand lac plat), cette boussole devient parfaite. Elle ne fait plus d'erreur, même avec une infinité de données.
2. Adaptabilité : Elle fonctionne même si le terrain est tordu comme un "ruban" ou un "entonnoir" (des formes complexes que les méthodes classiques ne comprennent pas).
3. Vitesse : Paradoxalement, même si elle est plus intelligente, elle est souvent plus rapide à calculer parce qu'elle ne se perd pas dans des calculs inutiles.

🎨 L'Expérience Visuelle

Dans le papier, ils montrent des images (comme la Figure 4) :

• La méthode ancienne (RLA-B) dessine une forme trop étroite, comme si elle avait peur de sortir de son chemin. Elle rate une grande partie du territoire.
• La nouvelle méthode (RLA-F) dessine une forme qui épouse parfaitement la réalité, même pour des terrains très bizarres (comme le "Squiggle", une forme en zigzag). C'est comme si elle avait un crayon magique qui suit chaque courbe du terrain.

🏁 En Résumé

Ce papier dit essentiellement :

« La méthode rapide pour dessiner des cartes de probabilités (Laplace) est utile, mais elle est souvent trop rigide. En changeant la "règle de mesure" que nous utilisons (en passant d'une règle basée sur la pente à une règle basée sur la structure statistique profonde, la Métrique de Fisher), nous obtenons des cartes beaucoup plus précises, moins biaisées et parfois même plus rapides. »

C'est un peu comme passer d'une boussole magnétique simple à un GPS satellite intelligent : vous arrivez toujours à destination, mais vous évitez les impasses et vous voyez le paysage tel qu'il est vraiment.

Résumé technique

1. Problématique

L'approximation de Laplace (LA) est une méthode classique et efficace pour l'inférence bayésienne. Elle approxime une densité cible (généralement une distribution a posteriori) par une distribution gaussienne centrée sur le mode (estimation MAP). Bien que cette méthode soit asymptotiquement exacte lorsque la quantité de données tend vers l'infini (théorème de Bernstein-von Mises), elle présente des limitations majeures pour des modèles complexes ou des données finies :

• Flexibilité limitée : L'approximation est purement gaussienne et ne capture pas la structure non-gaussienne ou la courbure locale complexe de la cible.
• Approximations récentes imparfaites : Une généralisation récente (Bergamin et al., 2023) a introduit une version Riemannienne de l'approximation de Laplace (RLA). Cette méthode transforme des échantillons gaussiens en suivant des géodésiques définies par une métrique Riemannienne choisie (la métrique de Monge). Cependant, les auteurs de cet article démontrent que la variante précédente souffre de biais systématiques et sous-estime l'incertitude, même à la limite de données infinies, en raison des propriétés de la métrique utilisée.

2. Méthodologie

L'objectif est de corriger les défauts de la RLA précédente tout en conservant son efficacité computationnelle. Les auteurs proposent deux améliorations principales basées sur la géométrie riemannienne :

A. Correction par l'application logarithmique (RLA-BLog)

La première approche tente de corriger le biais de la méthode originale (RLA-B) en modifiant l'algorithme :

• On échantillonne d'abord une vitesse initiale sur une variété $P$ (métrique gaussienne).
• On utilise une application logarithmique pour mapper cet échantillon vers la variété $M$ (métrique de la cible).
• On applique ensuite l'application exponentielle sur $M$ pour obtenir l'échantillon final.
• Résultat : Cette méthode élimine le biais et devient exacte pour les cibles gaussiennes, mais elle est computationnellement coûteuse et numériquement instable car l'application logarithmique est difficile à résoudre (problème aux limites).

B. Utilisation de la Métrique de Fisher (RLA-F)

La contribution principale est le remplacement de la métrique elle-même. Au lieu d'utiliser la métrique de Monge (basée sur le gradient de la log-vraisemblance), les auteurs proposent d'utiliser la Métrique de Fisher (FIM).

• Définition : La métrique tensorielle $G(\theta)$ est définie comme l'espérance du Hessien négatif de la log-vraisemblance (plus le Hessien du prior).
  $$G(\theta) = \mathbb{E}_{Y|\theta}[-\nabla^2 \log \pi(Y|\theta)] - \nabla^2 \log \pi(\theta)$$
• Avantages théoriques :
  • Pour les modèles de la famille exponentielle, la métrique de Fisher est constante, ce qui rend les géodésiques des lignes droites dans l'espace paramétrique, rendant l'approximation exacte à la limite des données infinies.
  • Pour les distributions cibles qui sont des diffeomorphismes de gaussiennes, l'approximation RLA-F avec la métrique de Fisher est exacte, même pour des données finies.
• Estimation MAP : Pour garantir l'invariance par reparamétrisation, les auteurs recommandent l'utilisation du MAP de Hausdorff (maximisation de la densité par rapport à la mesure de Hausdorff) plutôt que du MAP euclidien classique, bien que le MAP euclidien fonctionne souvent bien en pratique.
• Calcul pour les Réseaux de Neurones : Les auteurs montrent comment calculer la métrique de Fisher pour des réseaux de neurones profonds en utilisant la règle de la chaîne sur le tenseur métrique de base (pullback metric), permettant une mise à l'échelle.

3. Contributions Clés

1. Analyse critique de l'état de l'art : Démonstration que la RLA basée sur la métrique de Monge (Bergamin et al., 2023) est biaisée et sous-estime l'incertitude, même pour des gaussiennes isotropes en haute dimension.
2. Théorèmes d'exactitude : Preuve théorique que l'utilisation de la métrique de Fisher rend l'approximation exacte pour :
   • Les cibles gaussiennes (ou uniformes) avec des priors gaussiens.
   • Les modèles dont la distribution cible est un diffeomorphisme d'une gaussienne (ex: distribution "Squiggle", entonnoir).
3. Algorithme pratique (RLA-F) : Développement d'une méthode qui combine la métrique de Fisher avec l'application exponentielle, offrant une approximation flexible, non biaisée et computationnellement efficace.
4. Implémentation scalable : Fourniture de méthodes pour calculer la métrique de Fisher et les symboles de Christoffel pour des modèles complexes, y compris les réseaux de neurones, en utilisant l'automatisation différentielle (JAX/PyTorch).

4. Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes sur plusieurs tâches (distribution "Banana", régression logistique bayésienne, régression par réseaux de neurones) en comparant RLA-F, RLA-B, RLA-BLog et l'approximation de Laplace euclidienne (ELA) par rapport à un échantillonnage de référence NUTS (Stan).

• Précision : RLA-F surpasse systématiquement les autres méthodes Riemanniennes et ELA.
  • Sur la distribution "Banana" (géométrie complexe), RLA-F capture correctement la forme de la distribution, tandis que RLA-B est trop étroite et biaisée.
  • Sur la distribution "Squiggle" (diffeomorphisme de gaussienne), RLA-F est exacte, reproduisant parfaitement la cible, contrairement à RLA-B qui échoue.
  • Sur la régression logistique, RLA-F donne les meilleurs résultats en termes de distance de Wasserstein et de vraisemblance négative (NLL), même avec des données non standardisées où les autres méthodes échouent numériquement.
• Efficacité Computationnelle :
  • Bien que RLA-F nécessite l'inversion de la métrique (coût $O(D^3)$), elle nécessite souvent beaucoup moins d'étapes d'intégration (T) que RLA-B pour converger, car la métrique de Fisher crée une surface d'intégration plus lisse.
  • Dans les expériences de régression par réseaux de neurones, RLA-F est non seulement plus précise mais aussi plus rapide que RLA-B, malgré la complexité théorique, car elle évite les problèmes de stabilité numérique qui forcent RLA-B à prendre des pas d'intégration très petits.
• Stabilité : RLA-F est numériquement stable, tandis que RLA-B et RLA-BLog produisent parfois des échantillons aberrants ou échouent à converger dans des cas difficiles (ex: données non standardisées).

5. Signification et Conclusion

Cet article établit que le choix de la métrique Riemannienne est crucial pour la qualité de l'approximation de Laplace généralisée.

• Correction d'un biais fondamental : Il résout le problème de biais inhérent à la métrique de Monge utilisée précédemment.
• Nouvelle direction pour l'inférence : L'utilisation de la métrique de Fisher transforme l'approximation de Laplace en une méthode capable de capturer des structures non-gaussiennes complexes (via des diffeomorphismes) tout en restant asymptotiquement exacte.
• Applicabilité pratique : La méthode est viable pour des modèles de grande taille, y compris les réseaux de neurones, offrant une alternative robuste et efficace aux méthodes MCMC coûteuses ou aux méthodes variationnelles complexes, sans nécessiter d'entraînement de réseaux de transformation supplémentaires.

En résumé, RLA-F (Riemannian Laplace Approximation with Fisher Metric) représente une avancée significative en inférence bayésienne approximative, combinant la rigueur théorique de la géométrie riemannienne avec une efficacité pratique supérieure.