The miniJPAS survey quasar selection V: combined algorithm

Sintesi Tecnica: L'Algoritmo Combinato per la Selezione dei Quasar del Survey miniJPAS V.

Problematica
I survey fotometrici generano vasti dataset che richiedono un'efficiente classificazione degli oggetti e la stima del redshift per supportare il follow-up spettroscopico e gli studi cosmologici, come le Oscillazioni Acustiche dei Barioni (BAO) utilizzando l'assorbimento Lyman-$\alpha$. Sebbene siano stati sviluppati singoli algoritmi di machine learning per distinguere i quasar da stelle e galassie utilizzando i dati miniJPAS, questi spesso producono cataloghi leggermente differenti. La sfida consiste nell'integrare in modo ottimale questi diversi output algoritmici per massimizzare sia la purezza (minimizzando la contaminazione) che la completezza (massimizzando il rilevamento) del catalogo finale dei quasar, migliorando al contempo le stime del redshift fotometrico.

Metodologia
Questo lavoro presenta un "algoritmo combinato" che funge da meta-classificatore, integrando gli output di otto classificatori di machine learning precedentemente sviluppati e due stimatori di redshift.

1. Fonti dei Dati:

   • Dati miniJPAS: L'analisi utilizza il Data Release di miniJPAS, che copre circa 1 deg$^2$ con 56 filtri a banda stretta più 4 filtri broadband SDSS. Il campione è limitato a magnitudini di banda $r$ comprese tra $17.0 < r \le 23.5$ (estese a 24.3 per alcuni test) e si concentra principalmente su sorgenti puntiformi ($ERT \ge 0.1$).
   • Dati Simulati (Mock): Utilizzati per l'addestramento e la validazione iniziale. Questi mock si basano su spettri SDSS convoluti con i filtri J-PAS, contenenti numeri uguali di stelle, galassie e quasar per facilitare l'addestramento.
   • Dati Reali: Il DESI Early Data Release (EDR) incrociato con miniJPAS viene utilizzato come tabella di verità indipendente per validare le prestazioni rispetto alle osservazioni reali.

2. Caratteristiche di Input:
   Il modello combinato non utilizza direttamente i dati fotometrici grezzi. Inve بدل, riceve in input i punteggi di confidenza e le stime di redshift da otto classificatori individuali (CNN1, CNN1NE, CNN2, RF, LGBM, ANN1, ANN2 e SQUEZE) e due stimatori di redshift basati su template (QPz e LePhare).

   • Classificazione: Un classificatore Random Forest è addestrato per predire la classe finale (stella, galassia, quasar a basso-$z$, quasar ad alto-$z$) basandosi sugli output di confidenza dei singoli algoritmi.
   • Stima del Redshift: Un regressore Random Forest (implementato tramite XGBoost) è addestrato per raffinare le stime di redshift. Notevolmente, la metrica di addestramento è la Deviazione Assoluta della Mediana Normalizzata ($\sigma_{NMAD}$) piuttosto che l'Errore Quadratico Medio (MSE), per gestire meglio la natura non gaussiana degli errori del redshift fotometrico. Per oggetti brillanti ($r < 22$), le stime di QPz vengono mantenute poiché superano l'ensemble.

3. Metriche di Valutazione:
   Le prestazioni sono valutate tramite il punteggio F1 (media armonica di purezza e completezza), la purezza, la completezza e la precisione del redshift tramite $\sigma_{NMAD}$.

Contributi Chiave

• Apprendimento Ensemble: Il documento introduce un approccio di machine learning a secondo livello che combina in modo ottimale gli output di otto distinti algoritmi, anziché affidarsi a un singolo modello.
• Analisi dell'Importanza delle Caratteristiche: Lo studio quantifica l'importanza relativa degli algoritmi di input, rivelando che l'algoritmo CNN1 domina la decisione combinata, con CNN2 e ANN1 che forniscono contributi secondari significativi.
• Raffinamento del Redshift: È stato sviluppato un regressore dedicato per migliorare le stime di redshift, mirando specificamente alla riduzione degli outlier catastrofici (confusione di linee) sfruttando stime alternative da SQUEZE e altri, anche quando sono meno precise di QPz per gli oggetti brillanti.
• Validazione su Dati Reali: A differenza di precedenti lavori della serie che si basavano esclusivamente su mock, questo articolo valida l'algoritmo combinato contro il DESI EDR, fornendo un controllo critico di realtà rispetto alle prestazioni basate sulle simulazioni.

Risultati

• Prestazioni sui Mock:

  • L'algoritmo combinato supera tutti i classificatori individuali sui set di test dei mock.
  • Per i quasar ad alto redshift ($z \ge 2.1$) a $r \le 23.5$, l'algoritmo combinato raggiunge un punteggio F1 di 0.88 (Purezza: 0.91, Completezza: 0.85).
  • Per i quasar a basso redshift ($z < 2.1$) a $r \le 23.5$, il punteggio F1 è 0.79 (Purezza: 0.79, Completezza: 0.79).
  • La precisione del redshift sui mock produce una $\sigma_{NMAD} = 0.11$ complessiva, con $\sigma_{NMAD} = 0.03$ per i quasar ad alto-$z$ e $0.19$ per quelli a basso-$z$.

• Prestazioni su Dati Reali (DESI EDR):

  • Quando applicato all'incrocio con DESI, la dinamica delle prestazioni cambia significamente. L'algoritmo combinato non supera i classificatori individuali; di fatto, le sue prestazioni calano rispetto ai risultati dei mock.
  • Nello specifico, l'algoritmo CNN1, che guida il modello combinato, mostra un calo significativo della purezza sui dati reali rispetto ai mock.
  • Al contrario, algoritmi come SQUEZE e Random Forest (RF), che hanno performato scarsamente sui mock, mostrano sostanziali guadagni di prestazione sui dati reali.
  • La precisione del redshift sui dati reali è inaspettatamente alta, con $\sigma_{NMAD} = 0.02$, significativamente migliore della previsione del mock di 0.11.

• Produzione del Catalogo:

  • Sono rilasciati due cataloghi: uno per le sorgenti puntiformi (784 quasar) e uno che include sorgenti estese (11.487 quasar).
  • Gli autori osservano che il numero di sorgenti estese è irragionevolmente alto, suggerendo che l'algoritmo combinato non sia robusto per oggetti non puntiformi.
  • Per allinearsi alle aspettative teoriche (Palanque-Delabrouille et al. 2016), si raccomanda un taglio di confidenza $\ge 0.67$ per le sorgenti puntiformi, ottenendo circa 298 quasar fino a $r=23$.

Significato e Limitazioni
Il documento conclude che, sebbene l'algoritmo combinato riesca a ottimizzare l'integrazione di diversi metodi di machine learning, la discrepanza tra le prestazioni dei mock e dei dati reali indica che i mock simulati non sono abbastanza realistici. Gli autori attribuiscono ciò al fatto che i mock si basano su spettri SDSS e non catturano pienamente le proprietà degli oggetti più deboli o le specifiche caratteristiche di rumore della sovrapposizione DESI/miniJPAS.

La significatività di questo lavoro risiede nella dimostrazione che:

1. I metodi ensemble possono migliorare la selezione dei quasar su dati simulati.
2. Gli attuali dati mock possono portare all'overfitting o a una stima errata dell'importanza degli algoritmi durante la transizione ai dati reali.
3. È necessaria una nuova versione più raffinata dei mock per validare completamente l'approccio combinato e per tenere adeguatamente conto delle sorgenti estese.

Gli autori affermano con modestia che il campione di dati non è ancora abbastanza grande per una piena considerazione statistica e che il catalogo attuale dovrebbe essere utilizzato con la consapevolezza che le metriche di prestazione derivate dai mock potrebbero non tradursi pienamente in applicazioni nel mondo reale senza un ulteriore raffinamento dei mock stessi.