A public dataset of Ariel simulated observations for developing exoplanetary atmosphere data reduction pipelines

Résumé technique : Un jeu de données public d'observations simulées d'Ariel pour le développement de pipelines de réduction de données d'atmosphères d'exoplanètes

Énoncé du problème
La caractérisation des atmosphères d'exoplanètes fait face à des défis majeurs du fait que les signaux atmosphériques sont souvent comparables au bruit résiduel et aux systématiques instrumentales ou astrophysiques. Bien que les caractéristiques spectrales varient de quelques parties par million (ppm) pour les petites planètes à environ $10^3$ ppm pour les géantes chaudes, la spectroscopie de séries temporelles de haute qualité (par exemple, provenant de JWST) atteint généralement des niveaux de bruit de 10 à 50 ppm. La future mission Ariel de l'ESA vise à étudier les atmosphères d'environ 1000 exoplanètes, ce qui nécessite des pipelines de réduction de données évolutifs, automatisés et robustes, capables de corriger les effets systématiques sans introduire de biais. Un goulot d'étranglement critique est l'absence de jeux de données de référence publics avec une « vérité terrain » connue pour valider ces pipelines, en particulier pour les approches d'apprentissage automatique (ML) qui sont sujettes au surajustement et à la dégradation des performances lorsqu'elles sont confrontées à des décalages de distribution (décalage de domaine) entre les données d'entraînement et les données réelles.

Méthodologie
Les auteurs ont généré un jeu de données public complet d'observations simulées d'Ariel en utilisant un cadre de simulation couplé :

1. Outils de simulation : Le jeu de données a été créé à l'aide d'ExoSim2 (un simulateur d'instrument de bout en bout) couplé à TauREx3 (pour la modélisation directe de l'atmosphère) et PAOS (pour les fonctions d'étalement de point optique).
2. Configuration de l'instrument : Les simulations ont utilisé deux canaux spécifiques : le photomètre FGS1 (0,6–0,8 $\mu$m) et le spectromètre AIRS-CH0 (1,95–3,90 $\mu$m, $R=100$).
3. Bruit et systématiques : Les simulations ont intégré des sources de bruit réalistes dérivées des produits d'étalonnage NIRSpec de JWST (courant d'obscurité, bruit de lecture, champs plats, pixels défectueux) et ont modélisé des effets systématiques spécifiques, notamment :
   • Vibration de pointage : Simulée à l'aide d'une chronologie de 10 heures échantillonnée à 1 kHz, induisant des fluctuations corrélées dans le temps dues aux variations de réponse intra-pixel.
   • Dérive du gain : Modélisée comme une fonction polynomiale d'ordre 5 du temps et de la longueur d'onde (amplitude de 1 à 5 %).
   • Effets du détecteur : Non-linéarité des pixels, saturation et modes de lecture Correlated Double Sampling (CDS).
4. Sélection des cibles : Le jeu de données comprend 1 435 observations simulées réparties sur quatre étoiles hôtes (KELT-11, HD 17156, HD 209458, HD 149026) et des planètes synthétiques de rayons, masses et compositions atmosphériques variables (incluant des gaz traces tels que H$_2$O, CH$_4$, CO$_2$, NH$_3$, etc., et des couches de nuages).
5. Partitionnement des données : Pour tester rigoureusement la généralisation, le jeu de données a été partitionné en :
   • Ensembles d'entraînement : Incluant des configurations standard et étendues.
   • Cas de test : Conçus avec des décalages explicites « hors distribution », incluant différents modèles de détecteurs, de nouvelles étoiles hôtes, des rayons planétaires plus larges et des compositions atmosphériques entièrement différentes (par exemple, HCN, H$_2$S) absentes de l'ensemble d'entraînement.
   • Cas d'étalonnage : Spectres sans caractéristiques pour évaluer les biais systématiques.
6. Référence ML : Les auteurs ont implémenté deux références de réseaux de neurones convolutifs (CNN) pour démontrer la réduction de données :
   • 3D-CNN : Traite les cubes complets espace-spectre-temps pour prédire la profondeur moyenne de transit et les fluctuations spectrales.
   • 2D-CNN : Traite des images 2D binnées (temps vs longueur d'onde) après sommation du flux spatial, en se concentrant sur les fluctuations spectrales autour d'une valeur moyenne prédite par un 1D-CNN.

Contributions clés

• Jeu de données de référence public : La publication d'un jeu de données simulé de 7 To (avec un sous-ensemble public assaini de 174 Go) présentant un bruit réaliste, des systématiques et des spectres de vérité terrain connus. Ce jeu de données est hébergé sur Kaggle dans le cadre du Défi des données Ariel 2024.
• Cadre de test de stress : Une stratégie de partitionnement des données explicitement conçue pour exposer les modèles ML à des décalages de domaine (différents détecteurs, étoiles et chimies atmosphériques) afin d'évaluer la robustesse face au surajustement.
• Performance de référence : Implémentation et évaluation de références d'apprentissage profond pour la réduction de données de bout en bout, fournissant un point de référence pour la communauté.

Résultats

• Profondeur moyenne de transit : Les deux références CNN ont réussi à extraire les profondeurs moyennes de transit à partir de données bruyantes.
• Récupération des caractéristiques spectrales : Les modèles ont eu du mal à généraliser aux ensembles de test. Le 3D-CNN avait tendance à converger vers une seule forme spectrale (un compromis à travers l'ensemble de données), échouant à capturer des caractéristiques atmosphériques diverses. Le 2D-CNN a montré une meilleure diversité lors de la validation mais n'a pas réussi à généraliser à l'ensemble de test.
• Impact du décalage de distribution : Les performances se sont dégradées de manière significative sur les données de test avec des compositions atmosphériques ou des modèles de détecteurs différents, mettant en évidence le risque de « décalage de données » où les modèles mémorisent les motifs d'entraînement plutôt qu'ils n'apprennent des principes généraux de débruitage.
• Quantification de l'incertitude : Les modèles, utilisant le Dropout de Monte Carlo, n'ont pas réussi à fournir des incertitudes calibrées pour les données hors distribution. Les barres d'erreur prédites ne s'ajustaient pas aux erreurs de prédiction réelles, conduisant à des prédictions trop confiantes sur des données invisibles.
• Atténuation : L'ajout d'une petite fraction de données de test (par exemple, 50 échantillons) à l'ensemble d'entraînement a considérablement amélioré l'erreur quadratique moyenne (MSE), suggérant que des stratégies d'apprentissage adaptatif ou continu pourraient améliorer les performances. Cependant, l'étalonnage de l'incertitude (scores GLL) est resté médiocre.

Importance et affirmations
L'article affirme que ce jeu de données sert de ressource critique pour la communauté des exoplanètes afin de développer, comparer et soumettre à des tests de stress des pipelines de réduction de données évolutifs avant le lancement de la mission Ariel. Les auteurs soulignent que, bien que leurs références ML démontrent le potentiel de la réduction automatisée, elles révèlent également des limitations fondamentales : les modèles non paramétriques actuels sont sujets au surajustement et peinent à gérer les décalages de domaine inhérents aux missions de sondage où les propriétés des cibles sont inconnues. Le jeu de données vise à favoriser le développement d'algorithmes robustes et adaptables capables de gérer des scénarios d'observation diversifiés, garantissant ainsi le retour scientifique de la mission Ariel. Les auteurs déclarent explicitement que leurs architectures de réseaux de neurones sont des preuves de concept et non encore optimisées pour un usage scientifique, notant que les travaux futurs devront aborder l'adaptation de domaine et l'amélioration de la quantification de l'incertitude.