🔭 astrophysics

Improving Generalization and Uncertainty Quantification of Photometric Redshift Models

Dit artikel toont aan dat het combineren van spectroscopische en fotometrische roodverschuivingsgegevens via composiet training of transfer learning de generalisatie, bias, spreiding en uitschieterpercentages van fotometrische roodverschuivingsmodellen voor toekomstige surveys zoals LSST en Euclid aanzienlijk verbetert, terwijl tegelijkertijd Bayesiaanse neurale netwerken en conformal prediction worden toegepast om de onzekerheidskwantificering te verbeteren.

Oorspronkelijke auteurs: Jonathan Soriano, Tuan Do, Srinath Saikrishnan, Vikram Seenivasan, Bernie Boscoe, Jack Singal, Evan Jones

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonathan Soriano, Tuan Do, Srinath Saikrishnan, Vikram Seenivasan, Bernie Boscoe, Jack Singal, Evan Jones

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Raden hoe ver sterren weg zijn

Stel je voor dat je van een grote afstand naar een menigte mensen kijkt. Je kunt hun kleuren zien (rode shirts, blauwe shirts) en hoe helder ze zijn, maar je kunt hun gezichten niet duidelijk zien. Je wilt raden hoe ver elke persoon weg staat.

In de astronomie wordt dit fotometrische roodverschuiving (of "photo-z") genoemd. In plaats van mensen kijken astronomen naar sterrenstelsels. In plaats van shirts kijken ze naar het licht dat van het sterrenstelsel komt door verschillende gekleurde filters (zoals rood, groen en blauw).

Het probleem is: Het is moeilijk om de afstand te raden door alleen naar de kleur te kijken. Om de exacte afstand te weten, heb je meestal een speciaal, duur instrument nodig (spectroscopie) dat werkt als een krachtige zoomlens. Maar dat instrument is traag en kan alleen naar een paar heldere, makkelijk te zien sterrenstelsels kijken. De meeste sterrenstelsels zijn te zwak of zien er te vreemd uit voor dat instrument.

Daarom gebruiken astronomen Machine Learning (AI) om het patroon te leren: "Als een sterrenstelsel er zo uitziet, is het waarschijnlijk die ver weg."

Het Probleem: De AI is Bevooroordeeld

Het artikel legt uit dat de AI-modellen die we gewoonlijk bouwen een groot gebrek hebben. Ze worden getraind met de "zoomlens"-data (spectroscopie).

De Analogie: Stel je voor dat je een student leert om dieren te herkennen, maar je laat hem alleen foto's zien van golden retrievers. De student leert dan: "alle honden zijn golden retrievers."
De Realiteit: Wanneer je die student een foto laat zien van een Chihuahua of een Dane, raakt de student in de war en maakt slechte gissingen (terwijl dit veel voorkomende honden zijn in de echte wereld, maar zeldzaam zijn in de "zoomlens"-data).

In de astronomie is de "zoomlens"-data vol met heldere, veelvoorkomende sterrenstelsels, maar mist het de zwakke, vreemde of verre sterrenstelsels. Als we onze AI alleen hiermee trainen, faalt deze wanneer we het willen gebruiken op de miljarden zwakke sterrenstelsels in de komende gigantische surveys zoals de LSST (een enorm telescoopproject).

De Oplossing: Twee Nieuwe Onderwijststrategieën

De auteurs probeerden twee nieuwe manieren om de AI te onderwijzen, zodat deze alle soorten sterrenstelsels kan afhandelen, niet alleen de makkelijke. Ze gebruikten twee verschillende "leerboeken" (datasets):

Het "Gouden Standaard" Boek (GalaxiesML): Zeer nauwkeurige afstanden, maar alleen voor heldere, veelvoorkomende sterrenstelsels.
Het "Conceptversie" Boek (TransferZ): Minder nauwkeurige afstanden, maar het dekt een enorme variëteit aan sterrenstelsels, inclusief de zwakke en vreemde.

Ze testten twee strategieën om deze boeken te combineren:

Strategie 1: De "Gemengde Klas" (Composiet Dataset)

In plaats van de AI met slechts één boek te onderwijzen, mengden ze de pagina's van beide boeken samen tot één groot tekstboek.

De Analogie: Je plaatst de student in een klaslokaal met zowel de "perfecte" golden retrievers als de "conceptversie" Chihuahuas. De student leert de verschillen en overeenkomsten tussen hen allemaal tegelijkertijd te herkennen.
Het Resultaat: Dit werkte erg goed. De AI die op dit gemengde boek werd getraind, werd veel beter in het raden van afstanden voor alle soorten sterrenstelsels. Het was minder bevooroordeeld en maakte minder wilde fouten dan de AI die alleen op de "Gouden Standaard" werd getraind.

Strategie 2: De "Leerling" (Transfer Learning)

Eerst leerden ze de AI met het "Conceptversie" boek (het boek met veel verschillende soorten sterrenstelsels). Daarna namen ze die getrainde AI en gaven die een "afrondende cursus" met het "Gouden Standaard" boek om de nauwkeurigheid te verfijnen.

De Analogie: Je leert een leerling-timmerman hoe hij een huis moet bouwen met goedkoop, ruw hout (zodat hij de basis van de structuur leert). Daarna geef je hem een eindexamen met duur, perfect hout om zijn vaardigheden te verfijnen.
Het Resultaat: Dit werkte geweldig voor het "perfecte hout" (heldere sterrenstelsels), maar de leerling vergat hoe hij met het "ruwe hout" (zwakke sterrenstelsels) moest omgaan. Hij werd heel goed in één ding, maar slecht in het andere.

Het "Onzekerheidsprobleem": Weten wanneer je het niet weet

In de wetenschap is het niet genoeg om alleen maar een gok te doen; je moet ook weten hoe zeker je bent van die gok.

De Analogie: Als een weervoorspeller zegt "Het gaat regenen", wil je weten of hij voor 99% zeker is of dat hij gewoon wat gokt.
Het Instrument van het Papier: De auteurs gebruikten een wiskundige truc genaamd Split Conformal Prediction. Zie dit als een "veiligheidsnet". Zelfs als de AI niet 100% zeker is, tekent dit hulpmiddel een kader rond het antwoord dat zegt: "We zijn 68% zeker dat het echte antwoord binnen dit kader valt."
De Bevinding: Ze ontdekten dat hoewel de "Gemengde Klas" AI de beste was in het raden van het getal, de "Leerling" AI (en anderen) beter waren in het aangeven wanneer ze konden zeggen: "Ik weet het niet zeker."

Het Eindoordeel

Het papier concludeert dat als je een AI wilt die de rommelige, diverse realiteit van het universum kan aanpakken (zoals de komende LSST-survey), het mengen van de databronnen (De Gemengde Klas) de beste aanpak is.

De Winnaar: De AI die getraind is op de Composiet Dataset (het mengen van beide boeken) was het meest consistent. Het raakte niet in de war door vreemde sterrenstelsels en voldeed aan de meeste strikte eisen voor toekomstige ruimte-surveys.
De Afweging: Hoewel het de beste was in het raden van de afstand, heeft het nog steeds hulp nodig bij het "veiligheidsnet" (onzekerheid). De auteurs merken op dat voor de meest complexe, probabilistische modellen, de AI soms te zelfverzekerd is wanneer dat niet zou moeten.

Kortom: Om een betere telescoop-AI te bou� maken, moet je hem niet alleen voeren met de "perfecte" data. Voer hem ook een beetje van de "rommelige" data, zodat hij leert om het hele universum te herkennen, en niet alleen de makkelijke delen.

Technische Samenvatting: Verbeteren van Generalisatie en Onzekerheidskwantificering van Fotometrische Roodverschuivingsmodellen

Probleemstelling
Nauwkeurige fotometrische roodverschuivingsschatting (photo-z) is cruciaal voor Stage IV kosmologische surveys zoals LSST en Euclid, die precieze metingen van de verdeling van sterrenstelsels vereisen om donkere energie en donkere materie te beperken. Huidige machine learning (ML)-modellen voor photo-z schatting worden doorgaans getraind op spectrale roodverschuivingen, die dienen als hoog-precieze grondwaarheid. Spectroscopische steekproeven zijn echter vaak bevooroordeeld naar heldere sterrenstelsels met emissielijnen en vertegenwoordigen niet volledig de diverse populatie van zwakkere sterrenstelsels die door breedveld-surveys worden onderzocht. Deze distributionele mismatch beperkt de generalisatie van ML-modellen wanneer ze worden toegepast op bredere populaties sterrenstelsels. Bovendien missen deterministische neurale netwerken (NN's), hoewel ze punt-schattingen bieden, een inherente onzekerheidskwantificering, wat essentieel is om biases in zwakke lenswerking-studies te vermijden.

Methodologie
De auteurs pakken deze uitdagingen aan door ML-modellen te ontwikkelen en te evalueren met behulp van twee verschillende bronnen van grondwaarheid:

GalaxiesML: Een dataset van ~286.000 sterrenstelsels met spectrale roodverschuivingen, die heldere, spectroscopisch getargete populaties vertegenwoordigt.
TransferZ: Een nieuw geconstrueerde dataset van ~116.000 sterrenstelsels met fotometrische roodverschuivingen afgeleid van de COSMOS2020-catalogus (met behulp van LePhare template fitting) en HSC-PDR2 fotometrie. Deze dataset dekt zwakkere magnituden en een breder roodverschuivingsbereik, wat complementair is aan de spectroscopische steekproef.

De studie vergelijkt drie trainingsstrategieën:

Single Ground Truth: Trainen op ofwel GalaxiesML ofwel TransferZ alleen.
Composite Dataset: Het trainen van een enkel model op een samengestelde "Combo"-dataset die zowel spectroscopische als fotometrische grondwaarheden bevat.
Transfer Learning: Het voortrainen van een model op de bredere TransferZ-dataset en het vervolgens finetunen ervan op de precieze GalaxiesML-dataset.

Er worden twee modelarchitecturen gebruikt:

Deterministische Neurale Netwerken (NN's): Bieden punt-schattingen.
Bayesiaanse Neurale Netwerken (BNN's): Leveren waarschijnlijkheidsverdelingen om onzekerheid te kwantificeren.

Om het gebrek aan onzekerheid in deterministische modellen aan te pakken en om de kalibratie van BNN's te verbeteren, implementeren de auteurs split conformal prediction. Deze methode gebruikt een kalibratieset om voorspellingsintervallen te genereren met een gegarandeerde statistische dekking (bijv. 68%), waardoor de berekening van outlier-ratio's (3 $\sigma$ ) voor zowel NN's als BNN's mogelijk wordt.

Belangrijkste Bijdragen

TransferZ Dataset: De creatie en release van een benchmark-dataset die COSMOS2020 fotometrische roodverschuivingen combineert met HSC-PDR2 fotometrie, geoptimaliseerd voor het trainen van ML-modellen op zwakkere, diversere populaties sterrenstelsels.
Vergelijkend Kader: Een systematische evaluatie van het trainen op een samengestelde dataset versus transfer learning voor photo-z schatting, waarbij specifiek wordt getest op hun vermogen om te generaliseren over verschillende grondwaarheids-distributies.
Onzekerheidskwantificering: De toepassing van split conformal prediction op zowel deterministische NN's als BNN's om gekalibreerde voorspellingsintervallen te produceren, wat een directe vergelijking van outlier-ratio's tegen de LSST-wetenschappelijke vereisten mogelijk maakt.

Resultaten

Generalisatie: Modellen getraind op een enkele grondwaarheid (ofwel spectroscopisch ofwel fotometrisch) lijden aan significante prestatievermindering wanneer ze worden geëvalueerd op de andere dataset. Zo vertoonde een model getraind op GalaxiesML een 127-voudige toename in bias wanneer het op TransferZ werd getest.
Superioriteit van de Composite Dataset: Het NN-Combo-model, getraind op de samengestelde dataset, demonstreerde de meest robuuste generalisatie. Binnen het roodverschuivingsbereik $0.3 < z < 1.5$ $0.3 < z < 1.5$ behaalde NN-Combo:
- 4,5 keer minder bias vergeleken met een model dat enkel op spectroscopische data is getraind, wanneer geëvalueerd op TransferZ.
- 1,1 keer minder scatter en een 1,4 keer lagere outlier-ratio vergeleken met de spectroscopische baseline.
- Het voldeed aan twee van de drie LSST-wetenschappelijke vereisten (bias en outlier-ratio) op de GalaxiesML-testset en aan één vereiste op de TransferZ-set.
Beperkingen van Transfer Learning: Hoewel transfer learning de prestaties op de fine-tuning dataset (GalaxiesML) verbeterde, resulteerde dit in een asymmetrische prestatie, waarbij de nauwkeurigheid op de fotometrische TransferZ-dataset niet behouden bleef.
Onzekerheidskwantificering:
- BNN's: Produceerden betrouwbare en goed gekalibreerde onzekerheidsschattingen voor spectroscopische bronnen (GalaxiesML), maar waren gevoelig voor distributionele verschuivingen, wat leidde tot miskalibratie op TransferZ.
- Deterministische NN's: Wanneer aangevuld met split conformal prediction, bereikten zij statistische dekkingsniveaus die vergelijkbaar zijn met BNN's, maar hadden zij de neiging om overgedispergeerde waarschijnlijkheidsdichtheidsfuncties (PDF's) te produceren.
Architectuurvergelijking: Deterministische NN's presteerden over het algemeen beter dan BNN's in het handhaven van consistente punt-schattingen over verschillende grondwaarheden, terwijl BNN's superieure onzekerheidskarakterisering boden voor spectroscopische data.

Significantie en Claims
Het artikel claimt dat het trainen op een samengestelde dataset een effectievere strategie is dan transfer learning voor het ontwikkelen van photo-z modellen die generaliseren over diverse populaties sterrenstelsels. De auteurs stellen dat het integreren van fotometrische roodverschuivingen (uit catalogi zoals COSMOS2020) naast spectroscopische data modellen in staat stelt om de volledige distributie van eigenschappen van sterrenstelsels te leren, waardoor de systematische hiaten veroorzaakt door bevooroordeelde spectroscopische sampling worden gemitigeerd.

De studie concludeert dat hoewel het NN-Combo-model nog niet volledig aan alle LSST-wetenschappelijke vereisten voldoet over alle datasets, het een belangrijke stap vormt richting modellen die in staat zijn de bredere populaties sterrenstelsels te behandelen die nodig zijn voor precisie-kosmologie. Het werk benadrukt dat een nauwkeurige karakterisering van photo-z PDF's even cruciaal is als de prestaties van de punt-schattingen voor kosmologische restricties. De auteurs merken beperkingen op, waaronder de mogelijke onderschatting van fouten in de TransferZ grondwaarheid en de aanname van Gaussische foutverdelingen in hun onzekerheidsanalyse, wat suggereert dat toekomstig werk niet-Gaussische PDF's en verdere hyperparameteroptimalisatie voor transfer learning moet verkennen.