Improved photometric redshift estimations through self-organising map-based data augmentation

Titolo: Miglioramento delle stime dei redshift fotometrici attraverso l'aumento dei dati basato su Self-Organising Map (SOM)

1. Il Problema

Le indagini astronomiche di nuova generazione, in particolare il Legacy Survey of Space and Time (LSST) dell'Osservatorio Vera C. Rubin, produrranno dati fotometrici per centinaia di milioni di galassie. Tuttavia, ottenere redshift spettroscopici precisi per un campione così vasto è estremamente costoso in termini di risorse. Di conseguenza, la cosmologia e lo studio dell'evoluzione delle galassie dipendono sempre più dai redshift fotometrici ($z_{phot}$), che stimano la distanza basandosi sulla luminosità in bande ampie.

Le principali sfide attuali includono:

• Incompleteness del campione di calibrazione: I campioni spettroscopici esistenti hanno limiti di magnitudine e coperture disomogenee nello spazio colore-magnitudine, portando a set di addestramento non rappresentativi.
• Bias sistematici: Le regioni scarsamente campionate (specialmente ad alti redshift, $z \gtrsim 1.5$, e per galassie deboli) causano errori sistematici e un alto tasso di "fallimenti catastrofici" (errori di stima molto grandi).
• Ambiguità delle SED: Le degenerazioni nelle Distribuzioni di Energia Spettrale (SED) delle galassie complicano la mappatura tra colori osservati e redshift.
• Discrepanze tra simulazioni e realtà: I cataloghi simulati utilizzati per l'addestramento spesso differiscono dai dati osservativi reali o da altri cataloghi simulati, introducendo bias quando usati per l'aumento dei dati.

2. Metodologia

Gli autori propongono un framework innovativo che utilizza le Self-Organising Maps (SOM) per identificare e colmare le lacune nei dati spettroscopici di addestramento.

• Cataloghi di Input:
  • OpenUniverse2024: Utilizzato come proxy per i dati osservativi reali del LSST (Y1 e Y10), basato su un modello differenziabile (Diffsky) che produce distribuzioni di colore più fisiche e lisce.
  • CosmoDC2: Utilizzato come catalogo sorgente per l'aumento dei dati. Sebbene basato su un modello diverso (GalSampler), offre una copertura più ampia nello spazio dei colori, specialmente ad alti redshift.
• Pipeline di Generazione dei Dati:
  1. Dataset Application: Selezione fotometrica "Gold" su OpenUniverse2024 con errori fotometrici realistici.
  2. SOM Training: Le SED delle galassie vengono proiettate su una mappa bidimensionale (SOM) per comprimere lo spazio ad alta dimensionalità.
  3. Degradation (Simulazione Spettroscopica): Vengono generati 501 set di dati spettroscopici "degradati" applicando tagli di magnitudine, redshift e colore, nonché tassi di successo spettroscopico probabilistici, per simulare la compilazione eterogenea di survey reali. Questo crea campioni di addestramento con lacune significative nello spazio SOM.
  4. Augmentation (Aumento dei Dati):
     • Le galassie da CosmoDC2 vengono mappate sulla SOM pre-addestrata.
     • Vengono applicati pesi di campionamento per allineare la distribuzione globale di CosmoDC2 a quella di OpenUniverse2024.
     • Aumento adattivo: Le celle della SOM vuote o scarsamente popolate nei dati degradati vengono riempite con galassie pesate da CosmoDC2. Il rapporto di aumento è regolato dinamicamente in base alla frazione di celle mancanti.
  5. Dataset Combination: Unione dei dati degradati e aumentati per formare un set di addestramento completo.
• Modellazione del Redshift:
  • Viene utilizzato l'algoritmo FlexZBoost (basato su XGBoost e decomposizione in funzioni di base) per stimare la densità di probabilità condizionata $p(z|T)$ e i redshift puntuali.
  • Il modello viene addestrato sui dataset Combination e testato sui dataset Application.

3. Contributi Chiave

• Framework SOM-based: Introduzione di un metodo sistematico per identificare le regioni sottocampionate nello spazio colore-magnitudine-ridshift utilizzando le SOM, superando i limiti dei tagli lineari o semplici utilizzati in lavori precedenti (es. Moskowitz et al. 2024).
• Validazione su 501 Realizzazioni: Esecuzione di un vasto numero di esperimenti (501) che variano il rumore fotometrico, le funzioni di selezione spettroscopica e i campioni aumentati, permettendo una valutazione statistica robusta dell'incertezza.
• Gestione delle Discrepanze di SED: Dimostrazione che l'aumento dei dati può migliorare le prestazioni anche quando i cataloghi di addestramento (CosmoDC2) e di test (OpenUniverse2024) utilizzano modelli di SED diversi, purché venga applicata una ricalibrazione tramite pesi SOM.
• Scalabilità per LSST Y1 e Y10: Analisi specifica per le profondità previste dopo 1 anno (Y1) e 10 anni (Y10) di osservazione, mostrando come l'approccio sia cruciale man mano che si spingono i limiti verso galassie più deboli e lontane.

4. Risultati

L'uso dell'aumento dei dati basato su SOM porta a miglioramenti significativi, specialmente per le galassie sorgente (più deboli) e ad alti redshift:

• Riduzione dei Bias e degli Outlier:
  • Per le galassie sorgente ad alto redshift ($z_{true} \gtrsim 1.5$), l'aumento dei dati riduce il bias sistematico e il tasso di fallimenti catastrofici ($|z_{phot} - z_{true}| > 1.0$) di un fattore di circa 2.
  • La frazione di outlier ($f_o$) diminuisce del 10-20% nel caso LSST Y1.
• Miglioramento della Densità Condizionata:
  • L'aumento dei dati riduce la perdita di informazione nella modellazione della densità di probabilità (misurata tramite la divergenza delle istogrammi PIT normalizzati), rendendo le distribuzioni di probabilità più affidabili e meno distorte.
• Robustezza:
  • L'aumento dei dati riduce drasticamente la dispersione delle prestazioni tra le diverse realizzazioni sperimentali, rendendo le stime dei redshift meno sensibili alle variazioni nelle funzioni di selezione spettroscopica.
• Limiti:
  • Per le galassie lente (lens sample, più luminose), le prestazioni sono già elevate senza aumento dei dati, poiché sono ben coperte dai campioni spettroscopici esistenti.
  • Ad altissimi redshift ($z > 2.5$) e per galassie molto deboli (scenario Y10), persistono alcune discrepanze dovute alle differenze intrinseche nei modelli di SED tra i cataloghi simulati, indicando la necessità di cataloghi di simulazione ancora più fedeli.

5. Significato e Impatto

Questo lavoro fornisce una soluzione pratica e scalabile per uno dei problemi più critici della cosmologia di precisione con il LSST: la calibrazione dei redshift fotometrici in presenza di dati spettroscopici incompleti.

• Abilitazione della Cosmologia di Precisione: Migliorando l'accuratezza dei redshift e riducendo i fallimenti catastrofici, il metodo permette una migliore definizione dei bin tomografici e una calibrazione più precisa delle distribuzioni di redshift ensemble, essenziali per lo studio della lente gravitazionale debole e della struttura su larga scala.
• Flessibilità Operativa: Il framework è progettato per adattarsi a diverse combinazioni di survey spettroscopiche (es. DESI, Euclid, 4MOST) che saranno disponibili per il LSST, massimizzando l'utilizzo delle risorse esistenti.
• Futuro: I risultati validano l'uso di tecniche di aumento dei dati guidate da machine learning (SOM) come componente fondamentale della pipeline di analisi del LSST Dark Energy Science Collaboration (DESC), aprendo la strada a stime di redshift più robuste per miliardi di galassie.