Improved photometric redshift estimations through self-organising map-based data augmentation

Probleemstelling

De nauwkeurige bepaling van fotometrische roodverschuivingen ($z_{phot}$) is cruciaal voor kosmologische onderzoeken, zoals het bestuderen van donkere energie via zwakke gravitatielensing en de evolutie van sterrenstelsels. Huidige methoden, vooral machinelearning-algoritmen, zijn afhankelijk van trainingsdatasets met bekende spectroscopische roodverschuivingen ($z_{spec}$).

Het fundamentele probleem is dat bestaande spectroscopische surveys onvolledig zijn en een vertekend beeld geven van de kleur-magnitude-ruimte. Ze missen vaak specifieke populaties, met name bij hoge roodverschuivingen ($z \gtrsim 1.5$) en bij zwakke (faint) sterrenstelsels. Deze "under-sampling" leidt tot:

1. Selectiebias: Het trainingsmodel leert niet de volledige verdeling van de populatie.
2. Systeematische fouten: Voorspellingen worden onnauwkeurig, vooral voor objecten buiten het bereik van de trainingsdata.
3. Catastrofale uitval: Een significant aantal sterrenstelsels krijgt een volledig verkeerde roodverschuiving toegewezen.

Methodologie

De auteurs introduceren een raamwerk dat Self-Organising Maps (SOMs) combineert met data-augmentatie om deze lacunes op te vullen. Het proces verloopt als volgt:

1. Gebruik van Mock Catalogi:

   • OpenUniverse2024: Dient als proxy voor de toekomstige waarnemingen van het LSST (Rubin Observatory). Dit catalogus bevat realistische eigenschappen van sterrenstelsels.
   • CosmoDC2: Een onafhankelijk mock-catalogus dat wordt gebruikt voor data-augmentatie. Hoewel het SED-modellen (Spectral Energy Distributions) gebruikt die licht afwijken van OpenUniverse2024, biedt het een brede dekking in de kleur-ruimte.

2. Dataset Generatie:

   • Application Datasets: Realistische fotometrische steekproeven van OpenUniverse2024, inclusief LSST-achtige ruis en selectiecriteria (Gold selection) voor jaar 1 (Y1) en jaar 10 (Y10) van het survey.
   • Degradation Datasets: Synthetische spectroscopische datasets die worden gegenereerd door de Application datasets te "degraderen". Dit simuleert de beperkingen van bestaande surveys (magnitude-limieten, kleur-cuts, en succespercentages van spectroscopie). Dit resulteert in datasets met gaten in de kleur-magnitude-ruimte.
   • Augmentation Datasets: Om de gaten op te vullen, worden sterrenstelsels uit CosmoDC2 geselecteerd.

3. SOM-gebaseerde Augmentatie:

   • Een SOM wordt getraind op de Application datasets om de hoge-dimensionale kleur-ruimte te projecteren op een 2D-rooster van cellen.
   • De auteurs identificeren welke SOM-cellen in de Degradation datasets leeg of ondervertegenwoordigd zijn.
   • Sterrenstelsels uit CosmoDC2 worden gewogen en geselecteerd om deze specifieke lege cellen op te vullen. Dit gebeurt via een adaptieve strategie waarbij de verhouding tussen augmentatie en degradatie wordt afgestemd op het tekort aan bezette cellen.
   • De resulterende Combination Dataset bevat de originele (degraderende) spectroscopische data plus de geaugmenteerde synthetische data.

4. Modellering:

   • De machinelearning-methode FlexZBoost (gebaseerd op XGBoost en basisfunctie-decompositie) wordt getraind op de Combination datasets.
   • Het model leert de conditionele waarschijnlijkheidsdichtheidsfunctie (PDF) $p(z|T)$, waarbij $T$ de trainingsdata is.

Belangrijkste Bijdragen

• SOM-gestuurde Augmentatie: In plaats van simpele kleur-magnitude grenzen te gebruiken (zoals in eerdere werken), gebruikt deze methode een SOM om complexe, niet-lineaire gaten in de multidimensionale ruimte te identificeren en gerichte augmentatie toe te passen.
• Robuustheid tegen Selectiefuncties: Door 501 verschillende realisaties van spectroscopische selecties te genereren, tonen de auteurs aan dat hun methode robuust is tegen variaties in de samenstelling van spectroscopische datasets.
• Validatie op Hoge Roodverschuiving: De studie focust specifiek op de prestaties bij hoge roodverschuivingen ($z > 1.5$), waar traditionele methoden vaak falen door gebrek aan trainingsdata.

Resultaten

De prestaties werden geëvalueerd aan de hand van statistische metrics (mediaan van de schaalbare bias $\bar{\delta}_z$, NMAD, uitbijterfractie $f_o$, en catastrofale uitval $r_c$) voor zowel "lens" (heldere) als "source" (zwakkere) steekproeven.

• Verbetering bij Hoge Roodverschuiving: Voor de source-steekproeven bij $z_{true} \gtrsim 1.5$ leidt de augmentatie tot een significante verbetering:
  • De catastrofale uitval ($r_c$) neemt af met een factor van ongeveer 2.
  • De systematische bias en de uitbijterfractie dalen aanzienlijk (tot 10-20% verbetering in $f_o$).
  • De divergentie van de PIT-histogrammen (een maat voor de kwaliteit van de PDF-modellering) neemt af, wat aangeeft dat de onzekerheidsverdelingen realistischer zijn.
• Lage Roodverschuiving: Voor heldere sterrenstelsels en lage roodverschuivingen ($z < 1.5$) voldoen de resultaten al aan de eisen van LSST, zelfs zonder augmentatie, maar de augmentatie zorgt voor een verdere stabilisatie.
• Vermindering van Variabiliteit: De methode vermindert de spreiding in prestaties tussen verschillende experimenten (realisaties) aanzienlijk. Dit betekent dat de kwaliteit van de fotometrische roodverschuiving minder afhankelijk wordt van de specifieke samenstelling van de beschikbare spectroscopische data.
• Beperkingen: Er blijven nog kleine discrepanties bestaan bij zeer zwakke, hoge-roodverschuiving objecten ($z > 2.0$) vanwege fundamentele verschillen in de SED-modellen tussen CosmoDC2 en OpenUniverse2024.

Betekenis

Deze studie demonstreert dat SOM-gebaseerde data-augmentatie een krachtige techniek is om de beperkingen van spectroscopische surveys te overwinnen voor toekomstige kosmologische projecten zoals LSST.

• Voorbereiding op LSST: De methode biedt een oplossing voor het probleem dat toekomstige diepe surveys meer objecten zullen bevatten dan er spectroscopische kalibraties voor beschikbaar zijn.
• Betrouwbaarheid: Het zorgt voor betrouwbaardere schattingen van de roodverschuiving en de bijbehorende onzekerheidsverdelingen, wat essentieel is voor precisiemetingen van donkere energie en de structuur van het heelal.
• Toekomstige Toepassing: De auteurs plannen om dit raamwerk uit te breiden tot de kalibratie van ensemble-roodverschuivingen en de optimalisatie van tomografische binningsstrategieën, wat een directe bijdrage levert aan de wetenschappelijke output van de Rubin Observatory.