Résumé Technique : Une Mesure de Sensibilité Globale Calculable pour l'Inférence Bayésienne Basée sur l'Échantillonnage

Énoncé du Problème

L'inférence bayésienne est souvent sensible au choix des hyperparamètres dans les priors ou les vraisemblances, une sensibilité pouvant avoir un impact significatif sur la quantification de l'incertitude et les performances prédictives. Bien que l'évaluation de cette sensibilité soit un composant clé du workflow bayésien, les méthodes existantes d'analyse de sensibilité globale (ASG) font face à des limitations computationnelles sévères dans les contextes modernes. Les approches actuelles souffrent généralement d'un ou plusieurs des problèmes suivants :

1. Coût Computationnel Élevé : De nombreuses méthodes nécessitent un échantillonnage répété à partir de posteriors candidats pour chaque perturbation, ou reposent sur une estimation de densité qui entraîne une « malédiction de la dimensionnalité ».
2. Passage à l'Échelle : Les mesures de divergence existantes (par exemple, Wasserstein, Fisher-Rao, KL) s'adaptent souvent mal à la dimensionnalité de l'espace des paramètres ($d_\Theta$) ou au nombre d'échantillons ($m$).
3. Difficulté d'Optimisation : Résoudre le problème d'optimisation globale pour trouver la perturbation du pire cas est souvent intraitable pour des espaces d'hyperparamètres de haute dimension, conduisant les praticiens à se fier à des vérifications informelles et discrètes qui peuvent manquer des sensibilités critiques.

Par conséquent, l'ASG est rarement appliquée en pratique pour des modèles complexes, de haute dimension ou inaccessibles (par exemple, modèles doublement inaccessibles, séries temporelles, inférence basée sur la simulation).

Méthodologie

Les auteurs proposent un nouveau cadre pour l'analyse de sensibilité globale basé sur la Divergence de Fisher (DF). L'innovation centrale réside dans l'exploitation de la fonction de score (le gradient de la log-densité) pour définir une mesure de sensibilité à la fois puissante et computationnellement efficace.

1. La Mesure de Sensibilité

La méthode définit la sensibilité d'un posterior $\tilde{\Pi}_\lambda$ par rapport à un posterior de référence $\tilde{\Pi}_{\text{ref}}$ en utilisant la Divergence de Fisher :
$$\rho_{\text{FD}}(\tilde{\Pi}) := \text{FD}(\tilde{\Pi}_{\text{ref}} \| \tilde{\Pi}) = \mathbb{E}_{\theta \sim \tilde{\Pi}_{\text{ref}}} \left[ \| s_{\tilde{\pi}_{\text{ref}}}(\theta) - s_{\tilde{\pi}}(\theta) \|_2^2 \right]$$
où $s_p = \nabla_\theta \log p$ est la fonction de score. La sensibilité globale $S_{\text{FD}}(\Gamma)$ sur un voisinage d'hyperparamètres $\Gamma$ est définie comme l'étendue de cette mesure :
$$S_{\text{FD}}(\Gamma) := \sup_{\lambda \in \Gamma} \rho_{\text{FD}}(\tilde{\Pi}_\lambda) - \inf_{\lambda \in \Gamma} \rho_{\text{FD}}(\tilde{\Pi}_\lambda)$$

2. Calculabilité

L'avantage clé de cette approche est qu'elle ne nécessite pas d'échantillonnage à partir des posteriors candidats $\tilde{\Pi}_\lambda$.

• Jeu d'Échantillons Unique : L'estimateur repose uniquement sur un seul jeu d'échantillons $\{\theta_i\}_{i=1}^m$ tirés du posterior de référence $\tilde{\Pi}_{\text{ref}}$.
• Évaluation du Score : Il nécessite uniquement l'évaluation des fonctions de score $s_{\tilde{\pi}_\lambda}(\theta_i)$ à ces points d'échantillonnage. Étant donné que de nombreux échantillonneurs modernes (par exemple, Monte Carlo Hamiltonien, dynamique de Langevin) calculent déjà les scores, ces quantités sont souvent disponibles ou peu coûteuses à calculer.
• Complexité : L'estimateur a une complexité computationnelle de $O(m d_\Theta)$ et converge à un taux de $O(m^{-1/2})$ indépendant de la dimension $d_\Theta$, évitant ainsi la malédiction de la dimensionnalité inhérente aux estimateurs de divergence de Wasserstein ou KL.

3. Optimisation par Convexité

Une contribution théorique critique est la démonstration que, sous l'Hypothèse 3 (fonctions de perte linéaires et priors de la famille exponentielle naturelle), l'estimateur empirique de la divergence de Fisher devient une forme quadratique convexe en les hyperparamètres $\lambda$ :
$$\hat{\rho}_{\text{FD}, m}(\tilde{\Pi}_\lambda) = \lambda^\top A \lambda + b^\top \lambda + c$$
où $A$ est semi-définie positive. Cette convexité permet de résoudre efficacement le problème d'optimisation globale (trouver le supremum et l'infimum sur $\Gamma$) :

• Pour les voisinages à contraintes de boîte (hyperrectangles), le supremum peut être trouvé en évaluant l'objectif aux sommets (ou via des méthodes efficaces basées sur le gradient), et l'infimum est un programme quadratique convexe.
• Cette structure permet des solutions exactes ou quasi-exactes pour des espaces d'hyperparamètres de haute dimension, évitant le besoin d'une optimisation globale de boîte noire coûteuse.

4. Puissance Théorique et Interprétabilité

L'article établit que la DF est une mesure de sensibilité « forte ». Sous des conditions de régularité (Hypothèse 4, impliquant une log-concavité forte), la DF borne d'autres divergences couramment utilisées (Wasserstein, Variation Totale, KL) et, crucialement, contrôle les différences dans les deux premiers moments (moyenne et covariance) du posterior. Cela garantit qu'une faible valeur de DF implique de faibles changements dans l'ensemble de la distribution posterior, et non seulement dans les statistiques résumées.

Résultats Clés et Expériences

Les auteurs valident la méthode sur des problèmes précédemment hors de portée des techniques d'ASG existantes :

1. Modules Gaussiens Synthétiques :

   • Démonstration que la DF identifie correctement la sensibilité à la localisation et à l'échelle du prior, alors que les mesures basées sur les moments échouent à distinguer des posteriors avec des covariances différentes mais des moyennes identiques.
   • Démonstration que la reparamétrisation vers les paramètres de la famille exponentielle naturelle transforme le paysage d'optimisation non convexe en un problème quadratique convexe, permettant une optimisation globale efficace.
   • Comparaison avec les estimateurs de divergence de Wasserstein-2 et KL, montrant que la DF atteint une précision d'estimation comparable ou supérieure avec un coût computationnel inférieur de plusieurs ordres de grandeur et sans taux de convergence dépendant de la dimension.

2. Modèle d'Ising (Inférence Bayésienne Généralisée) :

   • Application à un modèle doublement inaccessible où les vraisemblances sont non normalisées.
   • Utilisation pour comparer différentes méthodes de sélection du taux d'apprentissage (température). La mesure de sensibilité DF a révélé que la méthode de Syring et Martin (2019) était hautement sensible au choix du taux d'apprentissage, tandis que la méthode de Matsubara et al. (2024) était robuste. Cela a été réalisé sans ré-échantillonnage pour chaque candidat, en s'appuyant uniquement sur les échantillons du posterior de référence.

3. Série Temporelle de Température de Kilpisjärvi (Modèle AR) :

   • Application à un posterior de 7 dimensions avec 14 hyperparamètres.
   • Utilisation de la propriété de décomposition de la DF pour des priors indépendants afin de résoudre le problème d'optimisation dimension par dimension, réduisant drastiquement le coût computationnel (1000 fois moins cher que l'optimisation de boîte noire).
   • Identification que la distribution prédictive posterior était la plus sensible aux deux premiers coefficients autorégressifs ($\beta_1, \beta_2$), le prior du pire cas conduisant à des prédictions instables et oscillatoires.

4. Inférence Basée sur la Simulation (Modèle de Propagation Radio de Turin) :

   • Traitement d'un problème complexe avec 4 paramètres et un estimateur de vraisemblance neuronal.
   • Démonstration de la capacité à détecter la sensibilité aux structures de dépendance des priors (copules) entre les paramètres.
   • Mise en évidence de l'échec des approches informelles de « recherche sur grille », qui ont manqué le vrai candidat du pire cas en raison de la non-convexité du paysage de sensibilité dans la paramétrisation originale.

Importance et Revendications

L'article revendique fournir la première méthode computationalement tratable pour l'analyse de sensibilité globale applicable aux workflows bayésiens modernes de haute dimension. Son importance repose sur trois piliers :

1. Faisabilité : En ne nécessitant qu'un seul jeu d'échantillons de référence et des évaluations de scores, elle élimine le coût prohibitif du ré-échantillonnage pour chaque modèle candidat.
2. Passage à l'Échelle : L'échelle linéaire en échantillons et en dimension, combinée à la structure quadratique convexe pour les classes de modèles courantes, permet d'effectuer une ASG sur des problèmes où cela était auparavant impossible.
3. Robustesse : La méthode fournit une garantie forte sur la stabilité de l'ensemble du posterior, et non seulement de fonctionnelles spécifiques, offrant aux praticiens un outil de diagnostic fiable pour la vérification des modèles.

Les auteurs concluent que cette approche permet l'application routinière de l'analyse de sensibilité globale dans des contextes complexes, y compris les modèles hiérarchiques, l'apprentissage fédéré et l'inférence basée sur la simulation, comblant ainsi une lacune critique dans le workflow bayésien. Ils reconnaissent des limitations concernant les posteriors multimodaux (où les méthodes basées sur le score peuvent être aveugles aux modes disjoints) et les espaces de paramètres discrets, suggérant ceux-ci comme des pistes pour des travaux futurs.