From Simulations to Surveys: Domain Adaptation for Galaxy Observations

Dit artikel presenteert een domain adaptation-pipeline die de nauwkeurigheid van het classificeren van echte SDSS-galaxiestructuren aanzienlijk verbetert door te trainen op gesimuleerde TNG50-beelden en een combinatie van feature-level optimal transport-verliezen toe te passen, inclusocief een nieuw top-$k$ soft matching-mechanisme, om de simulatie-naar-realiteit kloof effectief te overbruggen.

De kern

Het Probleem: De "Videogame" versus de "Echte Wereld"
In dit artikel zijn de "studenten" computermodellen (AI-modellen) en de "auto's" zijn sterrenstelsels.

• De Bron (De Videogame): De onderzoekers hebben hun AI eerst getraind met afbeeldingen uit een supergeavanceerde computersimulatie genaamd TNG50. Denk aan dit als een perfecte, hoogwaardige videogame. In het spel weet de AI precies wat elke auto is (een sedan, een truck of een sportwagen), omdat de maker van het spel dat zo heeft geprogrammeerd.
• De Doelstelling (De Echte Wereld): De onderzoekers wilden vervolgens dat de AI echte foto's van sterrenstelsels bekijkt, gemaakt door de SDSS-telescoop. Dit is alsof je de AI uit de videogame haalt en op een drukke, regenachtige straat zet. De echte foto's zien er anders uit: ze zijn korreliger, de belichting is vreemd en de "auto's" (sterrenstelsels) zien er een beetje anders uit dan in het spel.

Als je de AI die op de videogame is getraind simpelweg meeneemt naar de echte straat en hem laat raden, raakt hij in de war. Hij kan denken dat een echte truck een sportwagen is omdat de belichting anders is. Dit wordt een "domain shift" genoemd.

De Oplossing: De "Vertaler" Pipeline
Het artikel beschrijft een nieuwe methode die fungeert als een vertaler tussen de wereld van de videogame en de echte wereld. Ze hebben een pipeline gebouwd om de AI te helpen begrijpen dat "een spiraalvormig sterrenstelsel in het spel" hetzelfde is als "een spiraalvormig sterrenstelsel in de echte foto", ook al zien ze er anders uit.

Zo hebben ze het gedaan, met behulp van eenvoudige analogieën:

1. De Drie Leraren (Backbones):
   Ze hebben drie verschillende soorten AI-"leraren" (neurale netwerken) geprobeerd voor het leerproces:

• Een kleine, eenvoudige leraar (CNN).
• Een leraar die heel goed is in het herkennen van vormen, ongeacht hoe ze gedraaid zijn (E(2)-steerable CNN).
• Een beroemde, vooraf getrainde leraar (ResNet-18) die ze specifiek voor deze taak hebben bijgesteld.

2. De "Hard Mode" Training (Focal Loss):
   In hun data zijn er veel meer "Spiraalvormige" sterrenstelsels dan "Elliptische" of "Onregelmatige" sterrenstelsels. Het is als een klaslokaal waar 90% van de leerlingen een rood shirt draagt en slechts enkelen een blauw shirt. Als de AI telkens "Rood" gokt, haalt hij een hoge score maar leert hij niets over de blauwe shirts.
   Om dit op te lossen, gebruikten ze een speciale beoordelingsregel genaamd Focal Loss. Dit is als een leraar die zegt: "Ik geef niet om de makkelijke vragen over de rode shirts; ik geef je extra punten (of extra straf voor fouten) als je de zeldzame vragen over de blauwe shirts goed hebt." Dit dwingt de AI om aandacht te besteden aan de zeldzame typen sterrenstelsels.

3. De "Blending" Truc (Domain Adaptation):
   Dit is de kern van hun uitvinding. Ze voegden een speciale regel toe aan het trainingsproces die de AI dwingt om de "game"-afbeeldingen en de "echte" afbeeldingen in zijn interne geheugen te mengen.

• Het Doel: Ze willen dat de interne kaart van de AI eruitziet als een smoothie waarbij de "game"-ingrediënten en de "echte" ingrediënten zo goed zijn gemengd dat je niet meer kunt zien welke welke is.
• Het Gereedschap: Ze gebruikten een wiskundig hulpmiddel genaamd Optimal Transport (specifiek "Sinkhorn" en "Top-k"). Stel je voor dat je twee stapels puzzelstukjes hebt (één uit het spel en één uit de werkelijkheid). De AI probeert deze aan elkaar te koppelen.
• Het "Top-k" Geheim: Normaal gesproken probeert de AI elk stukje te koppelen. Maar soms koppelt hij een game-stukje aan het verkeerde realiteits-stukje, alleen maar om de wiskunde kloppend te maken. De onderzoekers voegden een "Top-k" regel toe: "Negeer de makkelijke matches; focus alleen op de 10 moeilijkste paren die niet goed passen, en dwing die om toch te matchen." Dit is als zeggen tegen de AI: "Stop met doen alsof het bij de makkelijke dingen lukt; los de specifieke mismatches op die je echt in de war brengen."

De Resultaten: Van Verward naar Zelfverzekerd
Het artikel rapporteert de resultaten van dit experiment:

• Vóór de fix: Toen de AI de typen sterrenstelsels op echte foto's probeerde te raden zonder deze speciale training, was hij slechts ongeveer 46% accuraat. Hij was eigenlijk maar wat aan het gokken.
• Ná de fix: Met hun nieuwe "Top-k" blending methode sprong de nauwkeurigheid naar 87%.
• Het Bewijs: Ze controleerden de interne "hersenen" (latent space) van de AI. Vóór de fix hield de AI de game-afbeeldingen en de echte afbeeldingen in aparte kamers (hij wist dat ze verschillend waren). Na de fix werden de kamers samengevoegd tot één grote zaal waar de afbeeldingen perfect door elkaar gemengd waren. Dit bewees dat de AI echt de overeenkomsten had geleerd te zien, en niet alleen de verschillen.

Wat Nu?
De auteurs zeggen dat dit slechts een "proof of concept" is. Ze zijn van plan om:

• De AI te leren om meer te herkennen dan alleen vormen (zoals hoeveel gas een sterrenstelsel heeft of of er een zwart gat in zit).
• Beter te worden in het opsporen van de zeldzame "Onregelmatige" sterrenstelsels.
• Dit te testen op nog grotere, toekomstige telescoopdata (zoals die van het Vera C. Rubin Observatory).

Kortom, ze hebben een brug gebouwd die het mogelijk maakt voor een AI, getraind op perfecte computersimulaties, om succesvol de rommelige, echte foto's van het universum te begrijpen.

Technische samenvatting

Technische Samenvatting: Van Simulaties naar Surveys: Domeinadaptatie voor Galactische Observaties

Probleemstelling
Het artikel behandelt de kritieke uitdaging van het overdragen van machine learning-modellen die getraind zijn op gesimuleerde sterrenstelselgegevens naar echte observationele surveys. Terwijl grote fotometrische surveys (bijv. de Vera C. Rubin Observatory, Euclid) miljarden sterrenstelsels zullen afbeelden, blijft het afleiden van fysieke eigenschappen zoals morfologie, stellaire massa en starmsvormingssnelheden moeilijk zonder snelle, geautomatiseerde methoden. Simulaties (specifiek TNG50) leveren afbeeldingen met grondwaarheid (ground-truth) fysieke labels, maar er bestaat een aanzienlijke "domeinverschuiving" tussen deze simulaties en echte data (bijv. SDSS). Deze verschuiving ontstaat door verschillen in de Point Spread Function (PSF), ruis, achtergrondniveaus, selectiefuncties en demografische priors. Naïeve transfer van modellen getraind op simulaties naar echte data brengt het risico met zich mee dat fysieke inferenties worden vertekend, de demografie van massa–starmsvormingssnelheid wordt vervormd en schaleringsrelaties worden besmet. De auteurs kaderen dit als een covariate-shift probleem waarbij de conditionele labelverdeling ongeveer stabiel is ($p_S(y|x) \approx p_T(y|x)$), maar de input- en selectieverdelingen verschillen ($p_S(x) \neq p_T(x)$).

Methodologie
De auteurs stellen een voorlopige domeinadaptatie-pipeline voor die traint op mock TNG50-observaties en evalueert op echte SDSS-sterrenstelsels met Galaxy Zoo-afgeleide morfologie-labels (elliptisch, spiraal, onregelmatig).

• Data:
  • Bron (Source): 3.232 sterrenstelsels uit de Illustris TNG50-simulatie (z=0 en z≈0,05) verwerkt met SKIRT om synthetische 4-band (g, r, i, z) afbeeldingen te genereren. De dataset is uitgebreid via flips en rotaties naar 25.856 afbeeldingen.
  • Doel (Target): 6.416 echte SDSS-sterrenstelsels met morfologie-labels afgeleid van Galaxy Zoo-vrijwilligers. De klassen zijn sterk ongebalanceerd, waarbij spiralen domineren en onregelmatige vormen zeldzaam zijn.
• Architecturen: Drie backbone-netwerken worden vergeleken:
  1. Een kleine aangepaste CNN (twee conv-blokken + MLP).
  2. Een E(2)-steerbare CNN (ESCNN) gebruikmakend van een discrete rotatiegroep $C_8$.
  3. Een ResNet-18 die is voorgetraind op ImageNet en is gefinetuned met een taakspecifieke MLP-kop.
• Lossfuncties en Trainingsstrategie:
  • Supervised Loss: Focal loss met effectieve-aantal klassengewichten wordt gebruikt om de klasse-onbalans aan te pakken, ter vervanging van standaard cross-entropy.
  • Domeinuitlijning (Domain Alignment): De kernbijdrage is een feature-level domeinverlies ($L_D$) berekend op $L_2$-genormaliseerde embeddings met behulp van differentiabele afstandmetrieken uit een uitgebreide GeomLoss bibliotheek. De auteurs benchmarken 46 verschillende afstand/gelijkenis-maten over acht families (bijv. Minkowski, Inner Product, Entropy).
  • Optimal Transport (OT) & Top-k Matching: Een nieuwe samengestelde uitlijningverlies ($L_{OT}$) wordt geïntroduceerd. Deze combineert:
    1. Globale entropische optimal transport (Sinkhorn divergentie) voor soft matching.
    2. Een "top-k" straf die zich richt op de $k$ slechtst gematchte bron–doel paren om foutieve koppelingen te voorkomen (bijv. spiralen die uitlijnen met elliptische stelsels).
    3. Het volledige verlies is $L = \lambda_{sup} L_{sup} + \lambda_D L_D + \lambda_{OT} L_{OT}$.
  • Trainingsregime: Modellen ondergaan een 20-epoch warmup met alleen supervised loss, gevolgd door gezamenlijke training. Strategieën voor het wegen van verliezen omvatten vaste gewichten, trainbare gewichten (via sigmoid functies) en een "blur schedule" voor Sinkhorn-parameters. Een Domain Adversarial Neural Network (DANN) met een Gradient Reversal Layer (GRL) wordt eveneals gebruikt als baseline.

Belangrijkste Resultaten

• Prestatiewinst: De domeinadaptatie-pipeline verbetert de prestaties in het doeldomein aanzienlijk. Zonder adaptatie (Baseline) is de macro F1-score ongeveer 30% (accuratesse 46%). Met de voorgestelde Euclidean afstand-gebaseerde adaptatie met trainbare gewichten en top-k matching stijgt de doel-macro F1 naar **62,6%** en de accuratesse naar ~87,3%.
• Latente Ruimte Uitlijning: De effectiviteit van de adaptatie wordt gevisualiseerd via een domeinclassifier (AUC). De Baseline vertoont een perfecte domeinscheiding (AUC = 1,00), wat aangeeft dat het model gemakkelijk onderscheid kan maken tussen simulatie en echte data. In tegen tegenstelling hiertoe bereiken de best aangepaste modellen een domein AUC nabij 0,51–0,53, wat aangeeft dat de bron- en doelverdelingen effectief gemengd zijn in de latente ruimte.
• Metrische Gevoeligheid: De studie benadrukt dat de keuze van de afstandmetriek in de uitlijningsverliesfunctie cruciaal is. Hoewel de Euclidische afstand goed presteerde, hebben de auteurs systematisch 12 representatieve metrieken getest (inclusief Jaccard, Dice en diverse normen) om de impact op de uitlijning te begrijpen.
• Stabiliteit: Het trainbare weegschema ($\lambda_{sup}, \lambda_D$) bood de meest stabiele convergentie vergeleken met vaste gewichten of louter adversariële training.

Betekenis en Claims
Het artikel positioneert dit werk als een prototype-pipeline en een voorloper van een grotere inspanning gericht op het interpreteren van komende de observaties van het Rubin Observatory met behulp van honderdduizenden mock-observaties uit de Illustris-simulaties.

• Bescheiden Omvang: De auteurs geven expliciet aan dat dit een "voorlopige" studie is en een "proof of concept". Ze beweren niet de algemene domeinadaptatie-problematiek voor alle astrofysische taken te hebben opgelost, maar demonstreren dat specifieke combinaties van OT-gebaseerde losses en top-k matching effectief de kloof tussen TNG50-simulaties en SDSS-observaties kunnen verkleinen voor morfologieclassificatie.
• Wetenschappelijke Gevolgen: Het werk benadrukt dat robuuste domeinadaptatie noodzakelijk is om gekalibreerde, fysiek betekenisvolle voorspellingen te behouden voor populatiestudies. Zonder dit lopen modellen het risico de mix van vroege/late types te verschuiven en schaleringsrelaties te verstoren.
• Toekomstige Richtingen: De auteurs schetsen specifieke volgende stappen, waaronder het uitbreiden naar multi-task learning (stellaire massa, AGN, starmsvorming), het verbeteren van de behandeling van de zeldzame "onregelmatige" klasse, het onderzoeken van afstand-bewuste learning rate schedulers, en het testen van alternatieve architecturen zoals equivariante transformers.

Het artikel concludeert dat hoewel eerdere studies veelbelovend waren, de methodologische ontwikkeling in afstandmetrieken en uitlijningstrategieën (met name de top-k soft matching) een levensvatbaar pad biedt naar betrouwbare transfer learning voor de volgende generatie astronomische surveys.