Résumé technique : Techniques d'apprentissage automatique pour l'astrophysique et la cosmologie : Inférence basée sur la simulation

1. Énoncé du problème

L'article aborde le défi de l'inférence bayésienne des paramètres en astrophysique et en cosmologie lorsque les méthodes traditionnelles échouent. Dans le paradigme bayésien, l'estimation des paramètres nécessite le calcul de la distribution a posteriori $p(\theta|x_o)$, qui dépend de la vraisemblance $p(x_o|\theta)$. L'auteur identifie deux motivations principales pour utiliser l'inférence basée sur la simulation (SBI) :

1. Vraisemblances intraitables : Dans de nombreux modèles physiques, le processus direct $m(\theta, \eta, \zeta)$ (qui mappe les paramètres $\theta$, les paramètres de nuisance $\eta$ et les conditions initiales $\zeta$ vers les données $x$) est trop complexe pour être intégré analytiquement. La vraisemblance implique une intégrale de haute dimension sur les paramètres de nuisance et les conditions initiales qui ne peut pas être réduite à une forme gaussienne ou de Poisson simple. Par conséquent, la fonction de vraisemblance est inconnue ou intraitable.
2. Vraisemblances coûteuses : Même lorsqu'une vraisemblance simplifiée existe (par exemple, l'équation 3 dans le texte), le coût computationnel de la marginalisation sur les paramètres de nuisance et de l'échantillonnage de l'a posteriori via les chaînes de Markov Monte Carlo (MCMC) peut être prohibitif. Ceci est particulièrement critique dans les scénarios nécessitant une inférence en temps réel (par exemple, la physique des particules) ou une inférence répétée sur de grands ensembles de données (par exemple, les catalogues astrophysiques).

La SBI contourne ces problèmes en entraînant des réseaux de neurones sur des simulations directes du modèle plutôt que de s'appuyer sur une fonction de vraisemblance explicite.

2. Méthodologie

L'article se concentre sur trois techniques principales de réseaux de neurones pour la SBI, en supposant un ensemble de données d'entraînement $\mathcal{D}$ composé de paires $(\theta, x)$ échantillonnées à partir de la distribution conjointe $p(\theta, x)$.

2.1 Estimation a posteriori neuronale (NPE)

• Objectif : Approximer directement la densité a posteriori $p(\theta|x)$ en utilisant une densité de substitution $q_\phi(\theta|x)$.
• Architecture : Utilise typiquement des flux normalisants à temps discret (transformations inversibles avec des jacobiens traitables) conditionnés par les données $x$. Les flux à temps continu sont notés comme une alternative, mais les flux à temps discret restent la norme en raison de la simplicité relative des posteriors cosmologiques et du bénéfice de l'inférence amortie.
• Optimisation : Minimise la perte de log-vraisemblance négative : $L[\phi] = \langle -\log q_\phi(\theta|x) \rangle_{\theta,x \in \mathcal{D}}$. À la limite d'une infinité de données, cela converge vers la minimisation de la divergence de Kullback-Leibler (KL) entre le vrai posterior et le substitut.
• Avantage : Fournit un accès direct et amorti au posterior pour tout vecteur de données $x$ sans échantillonnage supplémentaire.

2.2 Estimation de vraisemblance neuronale (NLE)

• Objectif : Approximer la fonction de vraisemblance $p(x|\theta)$ en utilisant un substitut $q_\phi(x|\theta)$.
• Architecture : Similaire à la NPE, utilisant souvent des flux normalisants.
• Optimisation : Minimise le log-vraisemblance négatif des données étant donné les paramètres : $L[\phi] = \langle -\log q_\phi(x|\theta) \rangle_{\theta,x \in \mathcal{D}}$.
• Usage : Le posterior est récupéré en combinant la vraisemblance apprise avec l'a priori et en effectuant un échantillonnage MCMC. Ceci est préféré lorsque l'espace des paramètres est de haute dimension ou lorsque le posterior doit être factorisé sur plusieurs ensembles de données indépendants.

2.3 Estimation de rapport neuronal (NRE)

• Objectif : Estimer le rapport vraisemblance/preuve $r(\theta, x) \equiv p(x|\theta)/p(x)$.
• Architecture : Utilise un classifieur $f_\phi$ entraîné pour distinguer entre les échantillons de la distribution conjointe $p(\theta, x)$ et le produit des marginales $p(\theta)p(x)$.
• Optimisation : Utilise la perte d'entropie croisée binaire. La sortie optimale du classifieur est liée au rapport via $r(\theta, x) = f_\phi(\theta, x) / (1 - f_\phi(\theta, x))$.
• Usage : Comme la NLE, le posterior est obtenu en combinant le rapport avec l'a priori et en exécutant un MCMC. La NRE est souvent plus efficace sur le plan computationnel que les méthodes basées sur les flux, car les classifieurs ne nécessitent que des transformations directes.

2.4 Techniques supplémentaires

• Méthodes séquentielles : Au lieu d'un ensemble d'entraînement fixe, ces méthodes affinent itérativement l'a priori de simulation basé sur des approximations intermédiaires du posterior. Elles sont efficaces lorsque le posterior est beaucoup plus informatif que l'a priori, mais elles compliquent les tests de calibration.
• Compression : Pour les données de haute dimension, l'article recommande des techniques de compression. Des méthodes linéaires (par exemple, MOPED, compression par score) sont suggérées pour les statistiques de résumé, tandis que des réseaux d'encapsulation (entraînés conjointement avec le réseau d'inférence) sont utilisés pour les données structurées (par exemple, champs, images) afin de respecter les symétries.

3. Contributions clés et diagnostics

L'article fournit un guide pédagogique des techniques de SBI et souligne la nécessité critique de diagnostics pour valider les résultats, étant donné la nature de « boîte noire » des réseaux de neurones.

3.1 Modes de défaillance

Deux modes de défaillance principaux sont identifiés :

1. Mauvaise spécification du modèle : Erreurs systématiques dans le simulateur direct lui-même.
2. Sous-entraînement : Réseaux de neurones mal entraînés en raison de budgets de simulation limités ou d'hyperparamètres sous-optimaux.

3.2 Cadre de diagnostic

• Tests de base :
  • Censure des données : Suppression de parties des données pour vérifier si le posterior répond qualitativement comme prévu.
  • Vérifications prédictives a posteriori : Simulation de nouvelles données à partir du posterior inféré et comparaison avec les données observées pour s'assurer que les données observées sont « typiques ».
• Tests de calibration (diagnostics internes) : Ceux-ci isolent le sous-entraînement en testant sur un ensemble séparé de simulations tirées du même a priori.
  • Test des rangs (SBC) : Vérifie si le rang du vrai paramètre parmi les échantillons du posterior est uniformément distribué. Les déviations indiquent un excès ou un manque de confiance.
  • Tests de couverture : Utilise les régions de densité a posteriori les plus élevées (HPD) ou le test de précision avec des points aléatoires (TARP) pour vérifier que le niveau de crédibilité correspond à la couverture empirique.
• Validation par vérité terrain : Lorsqu'un algorithme de vraisemblance explicite existe, des méthodes telles que C2ST (classifieur à deux échantillons), la discrépance maximale moyenne (MMD) ou PQMASS peuvent comparer les posteriors neuronaux aux échantillons de vérité terrain.

4. Applications en cosmologie et astrophysique

L'article passe en revue les applications récentes où la SBI a été appliquée à des données réelles :

• Cosmologie : Principalement utilisée pour les vraisemblances intraitables. Les applications incluent les relevés de redshift de galaxies (données BOSS), les lentilles gravitationnelles faibles (DES, KiDS, HSC) et les analyses impliquant des effets systématiques complexes difficiles à modéliser explicitement.
• Astrophysique : Pilotée à la fois par les vraisemblances intraitables et les exigences de vitesse. Les applications notables incluent l'inférence de sources d'ondes gravitationnelles, les analyses de populations de supernovae, l'inférence de redshifts photométriques, l'inférence de paramètres stellaires et l'analyse de l'excès de rayons gamma du centre galactique.

5. Importance et défis actuels

L'article conclut que, bien que la SBI soit un outil puissant, son adoption en cosmologie et en astrophysique fait face à un goulot d'étranglement critique : l'entraînement avec des budgets de simulation limités.

• Le problème critique : Les simulations cosmologiques sont extrêmement coûteuses, permettant souvent un petit nombre d'échantillons d'entraînement. Dans ce régime, les posteriors inférés peuvent être considérablement biaisés ou inexacts.
• Directions futures : Le domaine progresse dans deux directions :
  1. Améliorer l'expressivité du modèle (par exemple, aller au-delà des flux à temps discret), bien que l'article note que les posteriors cosmologiques sont souvent suffisamment simples pour que cela soit moins urgent.
  2. Améliorer la fidélité du posterior sous des budgets finis. Les stratégies proposées incluent :
     • L'assemblage de plusieurs réseaux.
     • L'apprentissage d'objectifs visant directement la couverture.
     • L'entraînement multi-fidélité (combinant des simulations précises et coûteuses avec des approximations peu coûteuses).
     • Des approches hybrides utilisant des approximations analytiques pour des parties de la vraisemblance.

L'auteur affirme que si un entraînement robuste sous des budgets limités peut être réalisé, la SBI gagnera la confiance de la communauté en tant qu'outil à égalité avec l'échantillonnage traditionnel à vraisemblance explicite. L'article positionne la SBI comme essentielle pour l'inférence cosmologique future, en particulier pour les problèmes où aucune autre technique n'est actuellement viable, tout en notant que l'astrophysique pourrait l'adopter plus naturellement en raison de la disponibilité de grands catalogues de vecteurs de données approximativement indépendants.