FAIR Universe Weak Lensing ML Uncertainty Challenge: Handling Uncertainties and Distribution Shifts for Precision Cosmology

Ce papier présente le premier jeu de données de référence pour le lentillage gravitationnel faible intégrant des systématiques réalistes et lance un défi visant à améliorer les méthodes d'apprentissage automatique face aux incertitudes et aux décalages de distribution dans un contexte de données d'entraînement limitées pour la cosmologie de précision.

L'essentiel

🌌 Le Grand Défi : "FAIR Universe"

Imaginez que l'Univers est un immense puzzle géant, mais au lieu de pièces en carton, il est fait de matière invisible (la matière noire) et de galaxies lointaines. Les scientifiques veulent comprendre comment ce puzzle a été assemblé et comment il évolue.

Pour cela, ils utilisent une technique appelée lentille gravitationnelle faible. C'est un peu comme regarder un paysage à travers une vitre déformée. La gravité des objets massifs (comme des amas de galaxies) courbe la lumière des étoiles derrière eux, déformant légèrement leur forme. En étudiant ces déformations, on peut cartographier la matière noire.

🤖 Le Problème : Les Cartes Fictives vs La Réalité

Pour apprendre à analyser ces images, les scientifiques utilisent des ordinateurs pour créer des simulations (des mondes virtuels). C'est comme si un architecte dessinait des plans de maisons pour apprendre à un robot à les construire.

Mais il y a trois gros problèmes :

1. C'est cher et lent : Créer ces mondes virtuels demande une puissance de calcul énorme. On n'en a donc pas beaucoup.
2. Les plans sont imparfaits : Les simulations ne sont jamais parfaites. Elles oublient parfois des détails (comme l'effet des étoiles qui explosent ou des trous noirs). C'est comme si le robot apprenait à construire avec des plans qui ont une erreur de 1 cm.
3. Le robot panique : Si le robot voit une vraie maison qui ressemble un peu à un plan différent, il peut se tromper ou dire "Je ne sais pas" sans raison.

🏆 Le Concours : "FAIR Universe"

Pour résoudre ces problèmes, les auteurs (une équipe internationale de physiciens et d'experts en intelligence artificielle) ont lancé un grand concours.

L'objectif est double :

1. Phase 1 : Deviner les ingrédients.

   • L'analogie : Imaginez que vous goûtez une soupe. Votre tâche est de dire exactement combien de sel (Ωm) et de poivre (S8) il y a dedans, et de dire à quel point vous êtes sûr de votre réponse.
   • Les participants doivent utiliser l'IA pour analyser les images de l'univers et donner ces chiffres avec une estimation de l'erreur (ex: "Il y a 30% de sel, plus ou moins 2%").

2. Phase 2 : Détecter les imposteurs.

   • L'analogie : C'est le test du "mouton noir". Parfois, on donne au robot une image qui vient d'un tout autre univers (une soupe avec du sucre au lieu de sel, ou une soupe faite avec une recette secrète inconnue).
   • Le robot doit dire : "Attendez, cette image ne ressemble à rien de ce que j'ai appris ! C'est un cas étrange !" C'est ce qu'on appelle la détection hors distribution.

🛠️ Les Outils du Concours

Les organisateurs ont fourni aux participants :

• Des données réalistes : Des images de l'univers qui incluent des "bruits" réels (comme des erreurs de mesure ou des effets physiques complexes).
• Des méthodes de base : Ils ont montré comment faire le travail avec des méthodes classiques (comme analyser les ondes de la soupe) et des méthodes modernes (des réseaux de neurones, comme des cerveaux artificiels).

📊 Les Résultats Préliminaires

Le document montre que :

• Les réseaux de neurones (IA) sont très forts pour deviner les ingrédients de la soupe (les paramètres cosmologiques) beaucoup mieux que les méthodes traditionnelles. Ils voient des détails que les humains ne voient pas.
• Cependant, détecter les imposteurs est très difficile. Les IA actuelles ont du mal à dire "Je ne connais pas ça" quand elles voient quelque chose de nouveau. Elles essaient souvent de deviner de toute façon, ce qui peut mener à des erreurs.

🚀 Pourquoi c'est important ?

Ce concours n'est pas juste un jeu. Il prépare l'avenir.
Bientôt, de nouveaux télescopes géants (comme Euclid ou Rubin Observatory) vont prendre des millions de photos de l'univers. Si on veut comprendre la nature de l'énergie noire ou la matière noire, il faut des outils fiables qui ne se trompent pas et qui savent dire quand ils sont perdus.

En résumé : Ce papier lance un appel à la communauté scientifique pour créer des "détectives IA" capables de lire l'histoire de l'univers dans des images floues, tout en restant honnêtes sur leurs incertitudes et en sachant repérer quand quelque chose ne colle pas avec nos théories actuelles. C'est une étape cruciale pour faire confiance à l'intelligence artificielle dans la science la plus fondamentale qui soit.

Résumé technique

Titre du défi

FAIR Universe : Défi d'incertitude par apprentissage automatique pour le lentillage gravitationnel faible
Sous-titre : Gestion des incertitudes et des décalages de distribution pour la cosmologie de précision.

---

1. Problématique et Contexte

Le lentillage gravitationnel faible (la distorsion corrélée des formes des galaxies d'arrière-plan par la matière noire) est un outil puissant pour contraindre les modèles cosmologiques. Cependant, l'analyse de ces données présente des défis majeurs pour l'apprentissage automatique (ML) :

• Coût computationnel : Les simulations cosmologiques réalistes sont extrêmement coûteuses, limitant souvent la taille des ensembles de données d'entraînement.
• Biais de modélisation (Distribution Shifts) : Les simulations utilisées pour entraîner les modèles ML contiennent des approximations et ne capturent pas toujours parfaitement les effets systématiques réels (bruit instrumental, effets baryoniques, incertitudes de redshift photométrique). Cela crée un décalage entre la distribution des données d'entraînement et les données réelles, biaisant les inférences.
• Comparabilité : L'absence de benchmarks standardisés rend difficile la comparaison directe entre différentes méthodes (statistiques d'ordre supérieur, réseaux de neurones, inférence basée sur la simulation).

L'objectif principal est de développer des méthodes capables d'extraire des paramètres cosmologiques avec une quantification rigoureuse des incertitudes, tout en étant robustes face à ces décalages de distribution.

2. Méthodologie et Données

A. Génération des Données

L'équipe a créé un jeu de données de référence réaliste basé sur les propriétés statistiques du relevé Hyper Suprime-Cam (HSC) de 3 ans.

• Simulations : Utilisation de simulations N-corps haute résolution (MP-Gadget, FastPM) sur différentes boîtes de simulation pour couvrir toute la plage de décalage vers le rouge ($z$).
• Cartes de convergence : Génération de cartes de convergence (projections 2D de la surdensité de matière) via un algorithme de traçage de rayons multi-plans.
• Paramètres cosmologiques : 101 modèles $\Lambda$CDM différents variant selon $\Omega_m$ (densité de matière) et $S_8 = \sigma_8(\Omega_m/0.3)^{0.5}$ (amplitude des fluctuations de matière).
• Effets systématiques (Bruit et Biais) : Le jeu de données inclut explicitement des effets systématiques complexes pour servir de paramètres de nuisance à marginaliser :
  • Effets baryoniques : Modélisés via une fonction de transfert (HMcode) simulant le feedback des AGN.
  • Incertitude de redshift photométrique : Décalage de la distribution des redshifts des galaxies sources.
  • Bruit de forme : Bruit gaussien simulant l'ellipticité intrinsèque des galaxies.
• Volume : 256 réalisations par modèle cosmologique, générant un total de $101 \times 256$ échantillons d'entraînement. Chaque carte a une dimension de $1424 \times 176$ pixels.

B. Structure du Défi (Deux Phases)

Le défi est divisé en deux phases complémentaires sur la plateforme Codabench :

Phase 1 : Inférence des paramètres cosmologiques

• Tâche : Estimer les paramètres $(\hat{\Omega}_m, \hat{S}_8)$ et leurs incertitudes $(\hat{\sigma}_{\Omega_m}, \hat{\sigma}_{S_8})$ à partir des cartes de convergence.
• Données de test : In-distribution (InD), c'est-à-dire issues de la même distribution que l'entraînement.
• Métrique : Une fonction de score combinant la divergence de Kullback-Leibler (KL) entre la vraie postérieure et une approximation gaussienne, et une pénalité d'erreur quadratique moyenne (MSE) pour les estimations ponctuelles.

Phase 2 : Détection de données hors distribution (Out-of-Distribution - OoD)

• Tâche : Identifier les données de test qui dévient des modèles d'entraînement (simulation-observation mismatch). Les participants doivent produire un score continu $t(x)$ indiquant la probabilité qu'une donnée soit OoD.
• Données de test : Incluent des sous-ensembles générés avec des hypothèses physiques différentes (non vues à l'entraînement).
• Métrique : La moyenne des taux de vrais positifs (TPR) sur une plage de taux de faux positifs (FPR) logarithmiquement espacée ($0.001$à$0.05$), équivalente à l'aire sous la courbe ROC (AUC) dans cette plage critique.

3. Contributions Clés et Résultats des Méthodes de Référence (Baselines)

L'article présente plusieurs méthodes de référence pour établir des scores de base :

Pour la Phase 1 (Inférence)

1. Analyse du spectre de puissance + MCMC : Méthode traditionnelle utilisant le spectre de puissance (statistique d'ordre 2) comme résumé statistique, couplé à une inférence par chaînes de Markov (MCMC).
   • Score : ~4.58 (le plus faible).
2. Réseau de neurones convolutif (CNN) + MCMC : Un CNN extrait les caractéristiques de la carte pour produire une estimation ponctuelle, utilisée ensuite comme résumé statistique pour le MCMC.
   • Score : ~8.68.
3. Prédiction directe par CNN : Le CNN est entraîné directement pour prédire les paramètres et leurs incertitudes en minimisant une fonction de perte KL.
   • Score : ~8.52.

Résultat : Les méthodes basées sur le Deep Learning surpassent nettement l'analyse traditionnelle du spectre de puissance, démontrant leur capacité à extraire des informations non-gaussiennes complexes des cartes de lentillage.

Pour la Phase 2 (Détection OoD)

1. Score $\chi^2$ (basé sur les méthodes Phase 1) : Utilisation de la statistique du chi-deux pour comparer la vraisemblance des données de test par rapport à la distribution d'entraînement.
   • Score : ~0.2143.
2. Autoencodeur (Reconstruction) : Un autoencodeur entraîné uniquement sur des données InD tente de reconstruire les cartes de test. Une erreur de reconstruction élevée signale une donnée OoD.
   • Score : ~0.1307.

Résultat : Les méthodes basées sur le Deep Learning (CNN) pour la détection OoD n'ont pas surpassé l'approche traditionnelle du spectre de puissance dans ce défi spécifique, indiquant que la détection robuste de décalages de distribution reste un problème ouvert et difficile.

4. Signification et Impact

Ce défi représente une avancée majeure pour plusieurs raisons :

• Premier Benchmark Réaliste : C'est la première compétition ML sur des données de lentillage faible incluant explicitement des effets systématiques réalistes (baryons, redshifts) et des décalages de distribution.
• Pont entre Physique et ML : Il favorise la collaboration entre les communautés de cosmologie et d'apprentissage automatique pour développer des méthodes d'inférence "conscientes des incertitudes" (uncertainty-aware).
• Préparation aux Relevés Futurs : Les résultats et les méthodologies développées sont directement applicables aux futurs grands relevés cosmologiques tels que Euclid, Vera Rubin Observatory (LSST) et Nancy Grace Roman Space Telescope.
• Résolution de la Tension $S_8$ : En permettant des mesures plus robustes et précises de $S_8$, ce travail pourrait aider à résoudre la tension actuelle entre les mesures de l'univers primordial et celles de la structure à grande échelle tardive, potentiellement révélant une nouvelle physique.

En conclusion, ce défi établit un cadre standardisé pour évaluer la fiabilité et l'interprétabilité des modèles ML en cosmologie, en mettant l'accent sur la robustesse face aux erreurs de modélisation, un critère essentiel pour la science de précision de demain.