The miniJPAS survey quasar selection V: combined algorithm

Technische Samenvatting: De miniJPAS Survey Quasar Selectie V. Gecombineerd Algoritme

Probleemstelling
Fotometrische surveys genereren enorme datasets die efficiënte objectclassificatie en roodverschuivingsschattingen vereisen om spectroscopische opvolging en kosmologische studies, zoals Baryon Acoustic Oscillations (BAO) met Lyman-$\alpha$ absorptie, te ondersteunen. Hoewel individuele machine learning-algoritmen zijn ontwikkeld om quasars te onderscheiden van sterren en sterrenstelsels met behulp van miniJPAS-data, leveren deze vaak licht afwijkende catalogi op. De uitdaging ligt in het optimaal combineren van deze diverse algoritmische outputs om zowel de zuiverheid (minimaliseren van contaminatie) als de volledigheid (maximaliseren van detectie) van de uiteindelijke quasarcatalogus te maximaliseren, terwijl ook de fotometrische roodverschuivingsschattingen worden verbeterd.

Methodologie
Dit werk presenteert een "gecombineerd algoritme" dat fungeert als een meta-classifier, die de outputs van acht eerder ontwikkelde machine learning-classifiers en twee roodverschuivingsschatters integreert.

1. Databronnen:

   • miniJPAS Data: De analyse maakt gebruik van de miniJPAS Data Release, die $\sim1$ deg$^2$ beslaat met 56 smalbandige filters plus 4 SDSS breedbandfilters. De steekproef is beperkt tot $r$-band magnituden $17.0 < r \le 23.5$ (uitgebreid naar 24.3 voor sommige tests) en richt zich primair op puntvormige bronnen ($ERT \ge 0.1$).
   • Gesimuleerde Data (Mocks): Gebruikt voor training en initiële validatie. Deze mocks zijn gebaseerd op SDSS-spectra geconvolveerd met J-PAS filters, bevattende gelijke aantallen sterren, sterrenstelsels en quasars om training te faciliteren.
   • Real Data: De DESI Early Data Release (EDR) die is gekruist met miniJPAS wordt gebruikt als een onafhankelijke waarheidstabel om de prestaties tegenover echte observaties te valideren.

2. Input Kenmerken:
   Het gecombineerde model gebruikt geen ruwe fotometrische data direct. In plaats daarvan verwerkt het de betrouwbaarheidsscores en roodverschuivingsschattingen van acht individuele classifiers (CNN1, CNN1NE, CNN2, RF, LGBM, ANN1, ANN2, en SQUEZE) en twee template-fitting roodverschuivingsschatters (QPz en LePhare).

   • Classificatie: Een Random Forest Classifier wordt getraind om de uiteindelijke klasse (ster, sterrenstelsel, lage-$z$ quasar, hoge-$z$ quasar) te voorspellen op basis van de betrouwbaarheidsscores van de individuele algoritmen.
   • Roodverschuivingsschatting: Een Random Forest Regressor (geïmplementeerd via XGBoost) is getraind om roodverschuivingsschattingen te verfijnen. Opvallend genoeg is de trainingsmetriek de genormaliseerde mediane absolute afwijking ($\sigma_{NMAD}$) in plaats van de gemiddelde kwadratische fout, om beter om te gaan met de niet-Gaussische aard van fotometrische roodverschuivingsfouten. Voor heldere objecten ($r < 22$) worden de QPz-schattingen behouden, aangezien deze de ensemble-methode overtreffen.

3. Evaluatiemetrieken:
   Prestaties worden beoordeeld aan de hand van de F1-score (harmonisch gemiddelde van zuiverheid en volledigheid), zuiverheid, volledigheid en $\sigma_{NMAD}$ voor roodverschuivingsprecisie.

Belangrijkste Bijdragen

• Ensemble Learning: Het artikel introduceert een tweede-laagse machine learning-benadering die de outputs van acht verschillende algoritmen optimaal combineert, in plaats van te vertrouwen op een enkel model.
• Feature Importance Analyse: De studie kwantificeert de relatieve belangrijkheid van de input-algoritmen, waarbij wordt vastgesteld dat het CNN1-algoritme de gecombineerde beslissing domineert, met CNN2 en ANN1 als significante secundaire bijdragers.
• Roodverschuivingsverfijning: Een specifieke regressor is ontwikkeld om roodverschuivingsschattingen te verbeteren, waarbij specifiek wordt getarget op het verminderen van catastrofale uitschieters (lijnverwarring) door alternatieve schattingen van SQUEZE en anderen te benutten, zelfs wanneer deze minder precies zijn dan QPz voor heldere objecten.
• Validatie met Real Data: In tegen tegenstelling tot eerdere werken in deze serie die uitsluitend op mocks vertrouwden, valideert dit artikel het gecombineerde algoritme tegen de DESI EDR, wat een cruciale realiteitstoets biedt op de simulatiegebaseerde prestaties.

Resultaten

• Prestaties op Mocks:

  • Het gecombineerde algoritme presteert beter dan alle individuele classifiers op de mock testsets.
  • Voor hoog-roodverschoven quasars ($z \ge 2.1$) bij $r \le 23.5$ bereikt het gecombineerde algoritme een F1-score van 0.88 (Zuiverheid: 0.91, Volledigheid: 0.85).
  • Voor laag-roodverschoven quasars ($z < 2.1$) bij $r \le 23.5$ is de F1-score 0.79 (Zuiverheid: 0.79, Volledigheid: 0.79).
  • De roodverschuivingsprecisie op mocks levert een $\sigma_{NMAD} = 0.11$ op over het geheel, met $\sigma_{NMAD} = 0.03$ voor hoog-$z$ en $0.19$ voor laag-$z$ quasars.

• Prestaties op Real Data (DESI EDR):

  • Wanneer toegepast op de DESI cross-match, verschuift de prestatiedynamiek aanzienlijk. Het gecombineerde algoritme presteert niet beter dan de individuele classifiers; sterker nog, de prestaties dalen ten opzichte van de resultaten op de mocks.
  • Specifiek vertoont het CNN1-algoritme, dat de gecombineerde model aanstuurt, een significante daling in zuiverheid op real data vergeleken met de mocks.
  • Daarentegen laten algoritmen zoals SQUEZE en Random Forest (RF), die slecht presteerden op de mocks, substantiële prestatiewinsten zien op de real data.
  • De roodverschuivingsprecisie op real data is onverwacht hoog, met $\sigma_{NMAD} = 0.02$, wat aanzienlijk beter is dan de mock-voorspelling van 0.11.

• Catalogusproductie:

  • Er worden twee catalogi vrijgegeven: één voor puntvormige bronnen (784 quasars) en één die ook uitgebreide bronnen bevat (11.487 quasars).
  • De auteurs merken op dat het aantal uitgebreide bronnen onredelijk hoog is, wat suggereert dat het gecombineerde algoritme niet robuust is voor niet-puntvormige objecten.
  • Om in lijn te blijven met de theoretische verwachtingen (Palanque-Delabrouille et al. 2016), wordt een betrouwbaarheidsgrens van $\ge 0.67$ aanbevolen voor puntvormige bronnen, wat resulteert in ~298 quasars tot $r=23$.

Betekenis en Beperkingen
Het artikel concludeert dat hoewel het gecombineerde algoritme succesvol de integratie van diverse machine learning-methoden optimaliseert, de discrepantie tussen de prestaties op mocks en real data aangeeft dat de gesimuleerde mocks niet realistisch genoeg zijn. De auteurs wijten dit aan het feit dat de mocks gebaseerd zijn op SDSS-spectra en niet volledig de eigenschappen van zwakkere objecten of de specifieke ruiskenmerken van de DESI/miniJPAS overlap kunnen vatten.

De betekenis van dit werk ligt in de demonstratie dat:

1. Ensemble-methoden de quasarselectie op gesimuleerde data kunnen verbeteren.
2. Huidige mock-data kunnen leiden tot overfitting of een foutieve inschatting van de algoritmische belangrijkheid bij de overgang naar real data.
3. Een nieuwe, meer verfijnde versie van de mocks vereist is om de gecombineerde benadering volledig te valideren en om rekening te houden met uitgebreide bronnen.

De auteurs stellen bescheiden dat de dataset nog niet groot genoeg is voor een volledige statistische overweging, en dat de huidige catalogus gebruikt dient te worden met de wetenschap dat de prestatie-indicatoren afgeleid van mocks mogelijk niet volledig vertalen naar real-world toepassingen zonder verdere verfijning van de mocks.