From Simulations to Surveys: Domain Adaptation for Galaxy Observations

Ce document présente un pipeline d'adaptation de domaine qui améliore significativement la précision de la classification des morphologies de galaxies réelles de SDSS en s'entraînant sur des images simulées de TNG50 et en employant une combinaison de pertes de transport optimal au niveau des caractéristiques, incluant un nouveau mécanisme de correspondance douce top-$k$, pour combler efficacement le fossé entre la simulation et la réalité.

L'essentiel

Imaginez que vous essayez d'apprendre à un élève comment identifier différents types de voitures.

Le Problème : Le « Jeu Vidéo » vs le « Monde Réel »
Dans cet article, les « élèves » sont des programmes informatiques (modèles d'IA), et les « voitures » sont des galaxies.

• La Source (Le Jeu Vidéo) : Les chercheurs ont d'abord entraîné leur IA en utilisant des images provenant d'une simulation informatique ultra-perfectionnée appelée TNG50. Considérez cela comme un jeu vidéo parfait, en haute définition. Dans le jeu, l'IA sait exactement ce qu'est chaque voiture (une berline, un camion ou une voiture de sport) parce que le créateur du jeu l'a programmé ainsi.
• La Cible (Le Monde Réel) : Les chercheurs ont ensuite voulu que l'IA regarde de vraies photos de galaxies prises par le télescope SDSS. C'est comme si l'on sortait l'IA du jeu vidéo pour la placer dans une rue animée et pluvieuse. Les vraies photos sont différentes : elles sont plus granuleuses, l'éclairage est étrange, et les « voitures » (les galaxies) ont l'air un peu différentes de celles du jeu.

Si vous prenez simplement l'IA entraînée sur le jeu vidéo et que vous la laissez deviner sur la vraie rue, elle s'embrouille. Elle pourrait prendre un vrai camion pour une voiture de sport parce que l'éclairage est différent. C'est ce qu'on appelle un « décalage de domaine » (domain shift).

La Solution : Le Pipeline du « Traducteur »
L'article décrit une nouvelle méthode qui agit comme un traducteur entre le monde du jeu vidéo et le monde réel. Ils ont construit un pipeline pour aider l'IA à comprendre qu'une « galaxie spirale dans le jeu » est la même chose qu'une « galaxie spirale dans la photo réelle », même si elles paraissent différentes.

Voici comment ils ont procédé, en utilisant des analogies simples :

1. Les Trois Enseignants (Backbones) :
   Ils ont testé trois types d'enseignants d'IA (réseaux de neurones) différents pour effectuer l'apprentissage :

   • Un petit enseignant simple (CNN).
   • Un enseignant très doué pour reconnaître les formes, peu importe leur rotation (CNN E(2)-steerable).
   • Un célèbre enseignant pré-entraîné (ResNet-18) qu'ils ont affiné pour cette tâche spécifique.

2. L'Entraînement en « Mode Difficile » (Focal Loss) :
   Dans leurs données, il y a beaucoup plus de galaxies « Spirales » que de galaxies « Elliptiques » ou « Irrégulières ». C'est comme une salle de classe où 90 % des élèves portent des chemises rouges, et seulement quelques-uns portent des chemises bleues. Si l'IA se contente de répondre « Rouge » à chaque fois, elle obtient un score élevé mais n'apprend rien sur les chemises bleues.
   Pour corriger cela, ils ont utilisé une règle de notation spéciale appelée Focal Loss. C'est comme un enseignant qui dirait : « Je me fiche que vous réussissiez les questions faciles sur les chemises rouges ; je vous donnerai des points bonus (ou une punition supplémentaire pour les erreurs) si vous réussissez les questions sur les rares chemises bleues. » Cela force l'IA à prêter attention aux types de galaxies rares.

3. Le Truc du « Mélange » (Adaptation de Domaine) :
   C'est le cœur de leur invention. Ils ont ajouté une règle spéciale au processus d'entraînement qui force l'IA à mélanger les images du « jeu » et les images « réelles » dans sa mémoire interne.

   • Le But : Ils veulent que la carte interne de l'IA ressemble à un smoothie où les ingrédients du « jeu » et les ingrédients du « réel » sont si bien mélangés qu'on ne peut plus les distinguer.
   • L'Outil : Ils ont utilisé un outil mathématique appelé Transport Optimal (spécifiquement « Sinkhorn » et « Top-k »). Imaginez que vous avez deux piles de pièces de puzzle (une du jeu et une de la réalité). L'IA essaie de les faire correspondre.
   • Le Secret de la « Top-k » : Habituellement, l'IA essaie de faire correspondre chaque pièce. Mais parfois, elle fait correspondre une pièce du jeu à la mauvaise pièce réelle juste pour que les mathématiques fonctionnent. Les chercheurs ont ajouté une règle « Top-k » : « Ignorez les correspondances faciles ; concentrez-vous uniquement sur les 10 paires les plus difficiles qui ne s'ajustent pas bien, et forcez ces dernières à correspondre. » C'est comme dire à l'IA : « Arrête de tricher sur les choses faciles ; corrige les désaccords spécifiques qui te troublent vraiment. »

Les Résultats : De la Confusion à la Confiance
L'article rapporte les résultats de cette expérience :

• Avant la correction : Lorsque l'IA tentait de deviner les types de galaxies sur des photos réelles sans cet entraînement spécial, elle n'était précise qu'à environ 46 %. Elle ne faisait quasiment que deviner.
• Après la correction : Avec leur nouvelle méthode de mélange « Top-k », la précision est passée à 87 %.
• La Preuve : Ils ont vérifié le « cerveau » interne de l'IA (l'espace latent). Avant la correction, l'IA gardait les images du jeu et les images réelles dans des pièces séparées (elle savait qu'elles étaient différentes). Après la correction, les pièces ont été fusionnées en une seule grande salle où les images étaient parfaitement mélangées. Cela a prouvé que l'IA avait véritablement appris à voir les similitudes, et non seulement les différences.

Et après ?
Les auteurs affirment que ceci n'est qu'une « preuve de concept ». Ils prévoient de :

• Apprendre à l'IA à reconnaître plus que de simples formes (comme la quantité de gaz qu'une galaxie possède ou si elle possède un trou noir).
• Devenir meilleurs pour repérer les galaxies « Irrégulières » qui sont rares.
• Tester cela sur des données de télescopes encore plus vastes (comme l'Observatoire Vera C. Rubin).

En résumé, ils ont construit un pont qui permet à une IA entraînée sur des simulations informatiques parfaites de comprendre avec succès des photos réelles et désordonnées de l'univers.

Résumé technique

Résumé technique : Des simulations aux relevés : l'adaptation de domaine pour les observations de galaxies

Énoncé du problème
L'article traite du défi critique que représente le transfert de modèles d'apprentissage automatique entraînés sur des données de galaxies simulées vers des relevés observationnels réels. Alors que les grands relevés photométriques (par exemple, l'Observatoire Vera C. Rubin, Euclid) imageront des milliards de galaxies, l'inférence de propriétés physiques telles que la morphologie, la masse stellaire et les taux de formation d'étoiles reste difficile sans méthodes rapides et automatisées. Les simulations (spécifiquement TNG50) fournissent des images avec des étiquettes physiques de vérité terrain (ground-truth), mais un « décalage de domaine » (domain shift) significatif existe entre ces simulations et les données réelles (par exemple, SDSS). Ce décalage provient des différences de fonction d'étalement du point (PSF), de bruit, de niveaux de fond, de fonctions de sélection et de priors démographiques. Le transfert naïf de modèles entraînés sur des simulations vers des données réelles risque de biaiser les inférences physiques, de fausser les démographies masse-taux de formation d'étoiles et de contaminer les relations d'échelle. Les auteurs présentent cela comme un problème de décalage de covariables où la distribution conditionnelle des étiquettes est approximativement stable ($p_S(y|x) \approx p_T(y|x)$), mais où les distributions d'entrée et de sélection diffèrent ($p_S(x) \neq p_T(x)$).

Méthodologie
Les auteurs proposent un pipeline préliminaire d'adaptation de domaine qui s'entraîne sur des observations simulées de TNG50 et est évalué sur des galaxies réelles de SDSS avec des étiquettes de morphologie dérivées de Galaxy Zoo (elliptique, spirale, irrégulière).

• Données :
  • Source : 3 232 galaxies issues de la simulation Illustris TNG50 (z=0 et z≈0,05) traitées avec SKIRT pour générer des images synthétiques en 4 bandes (g, r, i, z). Le jeu de données est augmenté par des retournements et des rotations pour atteindre 25 856 images.
  • Cible : 6 416 galaxies réelles de SDSS avec des étiquettes de morphologie dérivées de volontaires de Galaxy Zoo. Les classes sont fortement déséquilibrées, les spirales dominant et les irrégulières étant rares.
• Architectures : Trois réseaux de base sont comparés :
  1. Un petit CNN personnalisé (deux blocs de convolution + MLP).
  2. Un CNN E(2)-steerable (ESCNN) utilisant un groupe de rotation discrète $C_8$.
  3. Un ResNet-18 pré-entraîné sur ImageNet, affiné avec une tête MLP spécifique à la tâche.
• Fonctions de perte et stratégie d'entraînement :
  • Perte supervisée : Une perte focale (focal loss) avec pondération par le nombre effectif de classes est utilisée pour gérer le déséquilibre des classes, remplaçant l'entropie croisée standard.
  • Alignement de domaine : La contribution centrale est une perte de domaine au niveau des caractéristiques ($L_D$) calculée sur des plongements (embeddings) normalisés en $L_2$ à l'aide de métriques de distance différentiables issues d'une bibliothèque GeomLoss étendue. Les auteurs comparent 46 mesures de distance/similitude distinctes à travers huit familles (ex: Minkowski, Produit scalaire, Entropie).
  • Transport Optimal (OT) & Appariement Top-k : Un nouveau loss composite d'alignement ($L_{OT}$) est introduit. Il combine :
    1. Un transport optimal entropique global (divergence de Sinkhorn) pour un appariement souple (soft matching).
    2. Une pénalité « top-k » se concentrant sur les $k$ paires source-cible les moins bien appariées pour éviter les couplages erronés (ex: des spirales s'alignant sur des elliptiques).
    3. Le loss complet est $L = \lambda_{sup} L_{sup} + \lambda_D L_D + \lambda_{OT} L_{OT}$.
  • Régime d'entraînement : Les modèles subissent une phase de chauffe (warmup) de 20 époques avec uniquement la perte supervisée, suivie d'un entraînement conjoint. Les stratégies de pondération des pertes incluent des poids fixes, des poids entraînables (via des fonctions sigmoïdes) et un « calendrier de flou » (blur schedule) pour les paramètres de Sinkhorn. Un réseau de neurones antagonistes de domaine (DANN) avec une couche de renversement de gradient (GRL) est également implémenté comme référence (baseline).

Résultats clés

• Gains de performance : Le pipeline d'adaptation de domaine améliore considérablement les performances sur le domaine cible. Sans adaptation (Baseline), le score F1 macro est d'environ 30 % (précision 46 %). Avec l'adaptation proposée basée sur la distance euclidienne utilisant des poids entraînables et l'appariement top-k, le F1 macro de la cible grimpe à **62,6 %** et la précision à ~87,3 %.
• Alignement de l'espace latent : L'efficacité de l'adaptation est visualisée via un classificateur de domaine (AUC). La Baseline montre une séparation parfaite des domaines (AUC = 1,00), indiquant que le modèle peut facilement distinguer la simulation des données réelles. En revanche, les meilleurs modèles adaptés atteignent un AUC de domaine proche de 0,51–0,53, indiquant que les distributions source et cible sont efficacement mélangées dans l'espace latent.
• Sensibilité des métriques : L'étude souligne que le choix de la métrique de distance dans la perte d'alignement est crucial. Bien que la distance euclidienne ait bien performé, les auteurs ont testé systématiquement 12 métriques représentatives (incluant Jaccard, Dice et diverses normes) pour comprendre leur impact sur l'alignement.
• Stabilité : Le schéma de pondération entraînable ($\lambda_{sup}, \lambda_D$) a fourni la convergence la plus stable par rapport aux poids fixes ou à l'entraînement antagoniste seul.

Signification et affirmations
L'article positionne ce travail comme un pipeline prototype et un précurseur d'un effort plus vaste visant à interpréter les observations de galaxies du futur Observatoire Rubin à l'aide de centaines de milliers d'observations fictives d'Illustris.

• Portée modeste : Les auteurs déclarent explicitement qu'il s'agit d'une étude « préliminaire » et d'une « preuve de concept ». Ils ne prétendent pas avoir résolu le problème général de l'adaptation de domaine pour toutes les tâches astrophysiques, mais démontrent plutôt que des combinaisons spécifiques de pertes basées sur l'OT et l'appariement top-k peuvent efficacement réduire l'écart entre les simulations TNG50 et les observations SDSS pour la classification morphologique.
• Conséquence scientifique : Le travail souligne qu'une adaptation de domaine robuste est nécessaire pour préserver des prédictions calibrées et physiquement significatives pour les études de population. Sans elle, les modèles risquent de déplacer les mélanges de types précoces/tardifs et de fausser les relations d'échelle.
• Directions futures : Les auteurs esquissent des étapes suivantes spécifiques, notamment l'extension vers l'apprentissage multitâche (masse stellaire, AGN, taux de formation d'étoiles), l'amélioration de la gestion de la classe rare « irrégulière », l'investigation de planificateurs de taux d'apprentissage sensibles à la distance, et le test d'architectures alternatives comme les transformeurs équivariants.

L'article conclut que, bien que des études antérieures aient montré des promesses, le développement méthodologique des métriques de distance et des stratégies d'alignement (spécifiquement l'appariement souple top-k) offre une voie viable vers un apprentissage par transfert fiable pour les prochains relevés astronomiques.