A Probabilistic Autoencoder for Galaxy SED Reconstruction and Redshift Estimation: Application to Mock SPHEREx Spectrophotometry

Probleemstelling

Moderne astronomische surveys, zoals de NASA-missie SPHEREx (die vanaf mei 2025 een hemelbreed spectrophotometrisch survey uitvoert), genereren enorme hoeveelheden data met honderden miljoenen spectra. Het bepalen van nauwkeurige fotometrische roodverschuivingen ("photo-z") en het modelleren van de Spectral Energy Distributions (SED) van sterrenstelsels is cruciaal voor kosmologisch onderzoek.

Bestaande methoden, voornamelijk Template Fitting (TF), hebben beperkingen:

1. Ze vertrouwen op discrete bibliotheken van templates, wat de variabiliteit van echte sterrenstelsels mogelijk niet volledig dekt.
2. Ze gebruiken vaak een "profile likelihood"-benadering waarbij storende parameters (zoals stofextinctie) worden geoptimaliseerd. Dit kan leiden tot vertekende of overdreven zelfverzekerde schattingen, vooral bij lage signaal-ruisverhoudingen (SNR), waar storende parameters slecht beperkt zijn.
3. Data-gedreven methoden missen vaak een robuust probabilistisch raamwerk met expliciete priors.

Het doel van dit werk is het ontwikkelen van een robuust, probabilistisch raamwerk dat de continuïteit van SED-variabiliteit beter kan modelleren en betrouwbare onzekerheidskwalificaties biedt voor SPHEREx-achtige data.

Methodologie

De auteurs introduceren een Probabilistic Autoencoder (PAE) framework, genaamd PAESpec, dat bestaat uit drie hoofdcomponenten:

1. Probabilistic Autoencoder (PAE) voor SED-modellering:

   • In plaats van een Variational Autoencoder (VAE) met een vaste Gaussische prior, trainen ze eerst een standaard autoencoder om een compacte, lage-dimensionale latente representatie ($\zeta$) van rust-frame sterrenstelsel-spectra te leren, zonder restrictieve priors.
   • Vervolgens wordt een Normalizing Flow (NF) getraind om de complexe verdeling van deze latente variabelen ($\zeta$) te transformeren naar een eenvoudige basisverdeling (standaard Gaussisch, $u$). Dit maakt het efficiënt mogelijk om uit de complexe SED-manifold te bemonsteren.
   • De decoder reconstructeert het spectrum vanuit de latente variabelen.

2. Forward Modeling en Bayesiaanse Inference:

   • Een expliciet voormodel (forward model) past roodverschuiving ($z$) toe op het gereconstrueerde rust-frame spectrum en convolueert dit met de SPHEREx-filters om de voorspelde flux te krijgen.
   • De auteurs voeren joint Bayesian inference uit over de latente SED-parameters en de roodverschuiving.
   • Ze gebruiken Microcanonical Langevin Monte Carlo (MCLMC) voor het bemonsteren van de posterior-verdeling. Dit is efficiënter dan traditionele Hamiltonian Monte Carlo (HMC) voor deze specifieke problemen.

3. Alternatieve SBI-benadering:

   • Voor grootschalige toepassingen presenteren ze ook een Simulation-Based Inference (SBI) methode. Deze gebruikt een Transformer-encoder gekoppeld aan een conditionele normalizing flow om direct de posterior $p(z|x)$ te leren uit de data. Dit is een "amortized" methode die geen iteratieve sampling vereist.

Belangrijkste Bijdragen

• PAESpec Framework: Een open-source implementatie die een continu, geleerd SED-manifold combineert met expliciete Bayesiaanse priors, in tegenstelling tot de discrete benadering van template fitting.
• Diagnostiek van Outliers: De auteurs identificeren dat TF vaak "oververzekerd" is bij bronnen met een onbepaalde likelihood-oppervlakte. Ze tonen aan dat een snelle cut op de verhouding tussen de onzekerheid van de PAE en TF ($\hat{\sigma}_{PAE} / \hat{\sigma}_{TF} > 2$) bronnen kan identificeren die bijna zeker TF-outliers zijn.
• Verklaring van Discrepanties: Door de "profile likelihood" van de PAE te vergelijken met die van TF, tonen ze aan dat TF kunstmatig smalle pieken produceert op een vlak likelihood-oppervlak, terwijl de PAE de bredere, minder informatieve aard van de data eerlijker weergeeft.
• Schaalbaarheid: De introductie van de SBI-variant (Transformer + Flow) die ongeveer 200x sneller is dan de PAE-inferentie, terwijl vergelijkbare prestaties worden behaald.

Resultaten

De methoden zijn getest op gesimuleerde 102-band SPHEREx-spectra (mock data) en vergeleken met Template Fitting (TF):

• SED-Reconstructie: De PAE kan spectra met hoge fideliteit reconstrueren (fouten op het niveau van 1-3%), zelfs bij complexe emissielijnen en PAH-kenmerken.
• Roodverschuivingsschatting:
  • De PAE presteert beter dan TF in het terugvinden van bronnen (source recovery) en het verminderen van de outlier-fraction (bronnen met $|\Delta z| > 3\sigma$).
  • Voor hoge precisie ($\sigma_z/(1+z) < 0.01$) is de prestatie vergelijkbaar, maar de PAE heeft een lagere outlier-fraction (2.4% vs 3.4% voor TF).
  • Bij lagere precisie (fijere bronnen) is het voordeel van de PAE groter: tot 40% meer bronnen worden succesvol gerecupereerd met een aanzienlijk lagere outlier-fraction (1.4% vs 5.5% voor TF).
• Kalibratie: De PAE-posteriors zijn beter gekalibreerd (Probability Integral Transform - PIT - is uniformer), vooral wanneer een informatieve roodverschuivingsprior ($p(z)$) wordt gebruikt. TF neigt tot ondergeschatte onzekerheden bij lage SNR.
• Snelheid: De SBI-methode (Transformer) bereikt een doorvoer van $\sim 9 \times 10^6$ sterrenstelsels per node-uur, wat een factor 200 sneller is dan de MCLMC-gebaseerde PAE, met vergelijkbare nauwkeurigheid.

Betekenis en Conclusie

Dit werk biedt een fundamentele verschuiving in hoe fotometrische roodverschuivingen worden geschat voor toekomstige surveys zoals SPHEREx.

1. Betrouwbaarheid: Het PAE-framework levert minder vertekende en beter gekalibreerde onzekerheden op, wat essentieel is voor kosmologische analyses zoals zwakke lensing en clustering.
2. Diagnostisch Hulpmiddel: De mogelijkheid om TF-outliers te identificeren en te verwijderen door vergelijking met de PAE, biedt een praktische methode om bestaande datasets te schonen.
3. Flexibiliteit: Het raamwerk maakt het mogelijk om expliciete priors in te bouwen en kan eenvoudig worden uitgebreid met emissielijnen of data van andere surveys.
4. Schaalbaarheid: De combinatie van een nauwkeurige, probabilistische PAE voor diepgaande analyse en een ultra-snelle SBI-variant voor grootschalige verwerking, biedt een complete oplossing voor de dataproblematiek van de volgende generatie telescopen.

De auteurs concluderen dat hoewel TF nog steeds nuttig is, de PAE en SBI-methoden superieure statistische eigenschappen bieden voor de complexe, ruige data van moderne spectrophotometrische surveys.