The miniJPAS survey quasar selection V: combined algorithm

Technische Zusammenfassung: Der miniJPAS Survey Quasar-Selektions-Kombinationsalgorithmus V.

Problemstellung
Photometrische Durchmusterungen erzeugen riesige Datensätze, die eine effiziente Objektklassifizierung und Rotverschiebungsbestimmung erfordern, um spektroskopische Folgemessungen und kosmologische Studien, wie etwa die Baryonische Akustische Oszillation (BAO) mittels Lyman-$\alpha$-Absorption, zu unterstützen. Während einzelne Algorithmen des maschinellen Lernens entwickelt wurden, um Quasare von Sternen und Galaxien unter Verwendung von miniJPAS-Daten zu unterscheiden, liefern sie oft leicht unterschiedliche Kataloge. Die Herausforderung besteht darin, diese vielfältigen algorithmischen Ausgaben optimal zu kombinieren, um sowohl die Reinheit (Minimierung der Kontamination) als auch die Vollständigkeit (Maximierung der Detektion) des endgültigen Quasar-Katalogs zu maximieren und gleichzeitig die photometrischen Rotverschiebungsbestimmungen zu verbessern.

Methodik
Diese Arbeit präsentiert einen „kombinierten Algorithmus“, der als Meta-Klassifikator fungiert und die Ausgaben von acht zuvor entwickelten Klassifikatoren des maschinellen Lernens sowie zweier Rotverschiebungs-Schätzer integriert.

1. Datenquellen:

   • miniJPAS-Daten: Die Analyse nutzt den miniJPAS Data Release, der $\sim1$ deg$^2$ mit 56 schmalbandigen Filtern plus 4 SDSS-Breitbandfiltern abdeckt. Die Stichprobe ist auf $r$-Band-Magnituden von $17.0 < r \le 23.5$ beschränkt (für einige Tests auf 24.3 erweitert) und konzentriert sich primär auf punktförmige Quellen ($ERT \ge 0.1$).
   • Simulierte Daten (Mocks): Diese werden für das Training und die initiale Validierung verwendet. Diese Mocks basieren auf SDSS-Spektren, die mit J-PAS-Filtern konvolutiert wurden, und enthalten gleiche Anteile von Sternen, Galaxien und Quasaren, um das Training zu erleichtern.
   • Reale Daten: Der mit miniJPAS überlappende DESI Early Data Release (EDR) wird als unabhängige Wahrheitstabelle zur Validierung der Leistung gegenüber realen Beobachtungen verwendet.

2. Eingangsmerkmale:
   Das kombinierte Modell verwendet nicht direkt die rohen photometrischen Daten. Stattdessen verarbeitet es die Konfidenzwerte und Rotverschiebungsbestimmungen von acht einzelnen Klassifikatoren (CNN1, CNN1NE, CNN2, RF, LGBM, ANN1, ANN2 und SQUEZE) sowie zwei Template-Fitting-Rotverschiebungs-Schätzern (QPz und LePhare).

   • Klassifizierung: Ein Random Forest Classifier wird trainiert, um die endgültige Klasse (Stern, Galaxie, Low-$z$ Quasar, High-$z$ Quasar) basierend auf den Konfidenzausgaben der einzelnen Algorithmen vorherzusagen.
   • Rotverschiebungsbestimmung: Ein Random Forest Regressor (implementiert via XGBoost) wird trainiert, um die Rotverschiebungsbestimmungen zu verfeinern. Bemerkenswerterweise ist die Trainingsmetrik die normalisierte mittlere absolute Abweichung ($\sigma_{NMAD}$) statt des mittleren quadratischen Fehlers, um die nicht-gaußsche Natur der photometrischen Rotverschiebungsfehler besser zu handhaben. Für helle Objekte ($r < 22$) werden die QPz-Schätzungen beibehalten, da diese das Ensemble übertreffen.

3. Evaluationsmetriken:
   Die Leistung wird mittels des F1-Scores (harmonisches Mittel aus Reinheit und Vollständigkeit), der Reinheit, der Vollständigkeit und $\sigma_{NMAD}$ für die Präzision der Rotverschiebung bewertet.

Wesentliche Beiträge

• Ensemble-Lernen: Die Arbeit führt einen Second-Layer-Ansatz des maschinellen Lernens ein, der die Ausgaben von acht unterschiedlichen Algorithmen optimal kombiniert, anstatt sich auf ein einzelnes Modell zu verlassen.
• Analyse der Merkmalsrelevanz (Feature Importance): Die Studie quantifiziert die relative Wichtigkeit der Eingangsalgorithmen und zeigt auf, dass der CNN1-Algorithmus die kombinierte Entscheidung dominiert, wobei CNN2 und ANN1 signifikante sekundäre Beiträge leisten.
• Verfeinerung der Rotverschiebung: Es wurde ein dedizierter Regressor entwickelt, um die Rotverschiebungsbestimmungen zu verbessern, wobei gezielt darauf abgezielt wird, katastrophale Ausreißer (Linienverwechslung) durch die Nutzung alternativer Schätzungen von SQUEZE und anderen zu reduzieren, selbst wenn diese gegenüber QPz für helle Objekte weniger präzise sind.
• Validierung mit realen Daten: Im Gegensatz zu früheren Arbeiten dieser Serie, die ausschließlich auf Mocks basierten, validiert diese Arbeit den kombinierten Algorithmus gegen den DESI EDR, was eine kritische Realitätsprüfung gegenüber der simulationsbasierten Leistung darstellt.

Ergebnisse

• Leistung auf Mocks:

  • Der kombinierte Algorithmus übertrifft alle einzelnen Klassifikatoren auf den Mock-Testsets.
  • Für Quasare mit hoher Rotverschiebung ($z \ge 2.1$) bei $r \le 23.5$ erreicht der kombinierte Algorithmus einen F1-Score von 0,88 (Reinheit: 0,91, Vollständigkeit: 0,85).
  • Für Quasare mit niedriger Rotverschiebung ($z < 2.1$) bei $r \le 23.5$ liegt der F1-Score bei 0,79 (Reinheit: 0,79, Vollständigkeit: 0,79).
  • Die Präzision der Rotverschiebung auf Mocks ergibt ein $\sigma_{NMAD} = 0,11$ insgesamt, mit $\sigma_{NMAD} = 0,03$ für High-$z$ und $0,19$ für Low-$z$ Quasare.

• Leistung auf realen Daten (DESI EDR):

  • Bei Anwendung auf den DESI-Cross-Match verschiebt sich die Leistungsdynamik signifikant. Der kombinierte Algorithmus übertrifft die individuellen Klassifikatoren nicht; tatsächlich sinkt seine Leistung im Vergleich zu den Mock-Ergebnissen.
  • Speziell der CNN1-Algorithmus, der das kombinierte Modell antreibt, zeigt eine signifikante Abnahme der Reinheit auf realen Daten im Vergleich zu den Mocks.
  • Umgekehrt zeigen Algorithmen wie SQUEZE und Random Forest (RF), die auf Mocks schlecht abschnitten, substanzielle Leistungssteigerungen auf realen Daten.
  • Die Präzision der Rotverschiebung auf realen Daten ist unerwartet hoch, mit $\sigma_{NMAD} = 0,02$, was deutlich besser ist als die Vorhersage der Mocks von 0,11.

• Katalogerstellung:

  • Es werden zwei Kataloge veröffentlicht: einer für punktförmige Quellen (784 Quasare) und einer, der auch ausgedehnte Quellen enthält (11.487 Quasare).
  • Die Autoren merken an, dass die Anzahl der ausgedehnten Quellen unangemessen hoch ist, was darauf hindeutet, dass der kombinierte Algorithmus nicht robust für nicht-punktförmige Objekte ist.
  • Um mit den theoretischen Erwartungen (Palanque-Delabrouille et al. 2016) übereinzustimmen, wird ein Konfidenz-Cut von $\ge 0,67$ für punktförmige Quellen empfohlen, was $\sim298$ Quasare bis $r=23$ ergibt.

Bedeutung und Limitationen
Die Arbeit kommt zu dem Schluss, dass der kombinierte Algorithmus zwar die Integration diverser Methoden des maschinellen Lernens erfolgreich optimiert, die Diskrepanz zwischen der Leistung auf Mocks und realen Daten jedoch darauf hindeutet, dass die simulierten Mocks nicht realistisch genug sind. Die Autoren führen dies darauf zurück, dass die Mocks auf SDSS-Spektren basieren und nicht die Eigenschaften schwächerer Objekte oder die spezifischen Rauscheigenschaften des DESI/miniJPAS-Überlapps vollständig erfassen.

Die Bedeutung dieser Arbeit liegt in der Demonstration, dass:

1. Ensemble-Methoden die Quasar-Selektion auf simulierten Daten verbessern können.
2. Aktuelle Mock-Daten zu Overfitting oder einer Fehlabschätzung der Algorithmen-Wichtigkeit führen können, wenn man auf reale Daten übergeht.
3. Eine neue, verfeinerte Version der Mocks erforderlich ist, um den kombinierten Ansatz vollständig zu validieren und ausgedehnte Quellen angemessen zu berücksichtigen.

Die Autoren stellen bescheiden fest, dass die Datenprobe noch nicht groß genug für eine vollständige statistische Betrachtung ist und dass der aktuelle Katalog mit dem Verständnis verwendet werden sollte, dass die aus Mocks abgeleiteten Leistungsmetriken ohne weitere Verfeinerung der Mocks nicht vollständig auf reale Anwendungen übertragbar sind.