Catching Disguised Transients with ASTRANet: Anomaly-Aware Spectroscopic Classification and Conformal Calibration

Technische Samenvatting: Het vangen van vermomde transiënten met ASTRANet

Probleemstelling
Tijd-domein surveys (bijv. ZTF, toekomstige LSST) genereren jaarlijks honderdduizenden transiënte kandidaten, maar de spectrografische opvolging is ernstig beperkt door de snelheid waarmee dit kan gebeuren. Huidige deep learning-classifiers voor de identificatie van spectrografische transiënten zijn doorgaans "closed-set", wat betekent dat ze elk invoerspectrum dwingen in een bekende trainingsklasse met een softmax-waarschijnlijkheid, ongeacht of het spectrum daadwerkelijk bij die klasse behoort. Deze architectuur creëert een gevaarlijke foutmodus: foutieve antwoorden met een hoge betrouwbaarheid. Deze classifiers falen vaak bij het identificeren van zeldzame, fysiek bijzondere of nieuwe objecten (anomalieën), omdat ze getraind zijn om de fout te minimaliseren op veelvoorkomende klassen, waardoor de fouten die tot ontdekking leiden effectief worden verborgen. Bestaande oplossingen vertrouwen vaak op enkelvoudige score-gebaseerde anomaliedetectie of fotometrische lichtcurves, waarbij onzekerheidskwantificering (UQ) en anomaliedetectie (AD) als aparte assen worden behandeld, wat volgens de auteurs onvoldoende is voor de fysiek diverse foutmodi van spectrografische data.

Methodologie: Het ASTRANet-framework
De auteurs presenteren ASTRANet, een vertrouensbewust framework ontworpen voor spectrografische transiënte classificatie en ontdekking. Het integreert drie gekoppelde modules:

1. Hiërarchische Spectrale Classifier (ASTRANet):

   • Input: Werkt direct op observer-frame spectra zonder dat de roodverschuiving van het gaststelsel of de spectrale fase verplichte inputs zijn. Deze worden behanden als optionele metadata die via Feature-wise Linear Modulation (FiLM) worden geïnjecteerd en tijdens de training willekeurig worden gemaskeerd om ervoor te zorgen dat het netwerk roodverschuivings-invariante representaties leert.
   • Architectuur: Een deep ensemble van zes modellen gebouwd op een multi-scale convolutionele stem en een gedilateerde temporele convolutionele backbone (TCN). Het maakt gebruik van multi-head attention pooling om een 192-dimensionale embedding te genereren.
   • Output: Voorspelt gezamenlijk een grove superklasse (Thermonucleair, Core-Collapse, Non-SN) en een fijnmazige klasse (7 klassen: Ia, Ibc, SLSN, II, AGN, CV, TDE). De fijne head consumeert de grove softmax als een soft prior via een stop-gradient mechanisme.

2. Anomaliedetectielaag (ASTRANet-Sentinel):

   • Mechanisme: Berekent 16 complementaire anomaliescores uit de ensemble-embeddings en logits, verspreid over vier fysiek gemotiveerde families:
     • Onzekerheid: (bijv. predictieve entropie, ODIN, energie).
     • Afstand: (bijv. Mahalanobis-afstanden, kNN, cosinusafstand).
     • Dichtheid: (bijv. GMM-likelihoods, isolation forest, LOF).
     • Hybride: (bijv. hiërarchische entropie combinatie, manifold residual scores).
   • Integratie: Deze scores worden niet-lineair gecombineerd met behulp van een gradient-boosted decision tree (LightGBM) tot een enkele cross-family anomaliescore ($s_{AD}$). De auteurs tonen aan dat een niet-lineaire combiner essentieel is omdat geen enkele familie van scores alle foutmodi kan detecteren.
   • Training: De encoder ondergaat "outlier-exposure" fine-tuning, waarbij een entropie-term en een embedding-margin term de exposure-anomalieën naar een uniforme distributie duwen en weg van de klasse-centra, wat de detectie van near-out-of-distribution (OOD) objecten aanzienlijk verbetert.

3. Conformale Onzekerheidskwantificatielaag (ASTRANet-CP):

   • Kalibratie: Gebruikt Mondrian conformal prediction om de anomaliescores en classifier-outputs te kalibreren. Dit biedt distributievrije, finite-sample garanties die geldig zijn onder willekeurige distributieverschuivingen.
   • Outputs: Genereert voor elk spectrum:
     • Een gekalibreerde Mondrian p-waarde ($p_M$) die de waarschijnlijkheid aangeeft dat de voorspelling onjuist is.
     • Een adaptieve voorspellingsset (APS) van plausibele klassen bij een door de gebruiker gespecificeerd dekkingsniveau.
     • Per-klasse ensemble waarschijnlijkheidsintervallen ($\bar{p}_k \pm \sigma_k$) die de diepe ensemble-disagreement vastleggen.
     • Een decompositie van predictieve entropie in aleatorische (data-ruis) en epistemische (model-disagreement) componenten.
   • Innovatie: Introduceert AD-gestratificeerde Mondrian Conformal Prediction (AD-MCP), die kalibratie stratificeert op basis van zowel de voorspelde klasse als de anomaliescore-kwintielen. Dit corrigeert de onderdekking die wordt waargenomen bij standaard Mondrian predictors binnen hoog-anomale operationele regimes.

Belangrijkste Bevindingen en Resultaten
Het framework werd gevalideerd op een hold-out set van 289 zeldzame en buiten de taxonomie vallende transiënten (11 klassen) die bewust waren uitgesloten van de training.

• Foutmodus-taxonomie: De auteurs identificeren empirisch vijf verschillende foutregimes van closed-set classifiers, die elk verschillende detectiesignaturen vereisen:

  1. Continuüm-vermomde AGN-klasse events: Zelfverzekerd foutief geclassificeerd als CV's; alleen detecteerbaar via cross-family niet-lineaire combinatie.
  2. Spectrografische vermomming binnen fysieke buren: Zeldzame klassen (bijv. Ca-rijke SNe, Novae) die bijna-degenerat zijn met trainingsklassen; detecteerbaar via cross-family combinatie.
  3. Continuüm-gedomineerde misclassificaties: Kenmerkloze spectra die aan verkeerde klassen worden toegewezen met intermediaire betrouwbaarheid; detecteerbaar via afstand/dichtheid scores.
  4. Legitiem ambigue progenitor-regimes: Echte fysieke ambiguïteit (bijv. FBOTs, ILRTs); detecteerbaar via ensemble-disagreement en hybride scores.
  5. Ver-out-of-distribution events: Klassieke OOD-gevallen; detecteerbaar door elke gevoelige score.
  • Cruciaal resultaat: Regimes I en II (die ~43% van de zeldzame populatie vormen) zijn alleen herstelbaar door de cross-family niet-lineaire combinatie; single-family pipelines falen om hen te detecteren.

• Prestaties:

  • Classificatie: Behaalt 87% algemene nauwkeurigheid en 83% macro recall op de testset.
  • Anomaliedetectie: De volledige cross-family pipeline herstelt 82,4% van de zeldzame spectra bij een 1% false-alarm rate (FAR), vergeleken met ~34% voor de basiscombinatie zonder outlier exposure en aanzienlijk lagere percentages voor elke single-family ensemble.
  • Complementariteit: Classifier-interne UQ (bijv. softmax betrouwbaarheid) en embedding-gebaseerde AD zijn structureel complementair. Interne UQ domineert bij in-distribution boundary errors, terwijl AD domineert bij OOD-vermommingen (Regime I). Ze signaleren grotendeels disjuncte foutpopulaties.

• Operationele Mogelijkheden:

  • Maakt real-time triage mogelijk zonder host-roodverschuiving of fase.
  • Maakt "AD-orthogonale onthouding" mogelijk, waarbij het systeem kan weigeren een voorspelling te doen op basis van interne onzekerheid, terwijl het nog steeds anomalieën signaleert op basis van de AD-laag.
  • Biedt gekalibreerde risicoallocatie, waardoor operators expliciete false-alarm budgetten kunnen instellen.

Betekenis en Claims
Het artikel beweert de methodologische infrastructuur te hebben gelegd voor vertrouensbewuste spectrografische ontdekking in het tijdperk van de Vera C. Rubin Observatory. De belangrijkste bijdragen zijn:

1. Eerste Roodverschuivings-vrije Multi-Class Classifier: ASTRANet is de eerste fijnmazige, multi-class spectrografische classifier die werkt op observer-frame spectra zonder dat roodverschuiving of fase bij inferentie vereist is, wat een kritieke real-time afhankelijkheid wegneemt.
2. Fysica-gestuurde Fouttaxonomie: Het biedt de eerste empirische karakterisering van vijf foutmodi in spectrografische classificatie, waarbij wordt aangetoond dat een enkele anomaliescore-familie onvoldoende is vanwege de fysieke diversiteit van de anomalieën.
3. Structurele Complementariteit: Het stelt vast dat classifier-interne onzekerheid en embedding-gebaseerde anomaliedetectie orthogonale assen van vertrouwen zijn die gelijktijdig, en niet vervangbaar, moeten worden ingezet.
4. Gekalibreerde Ontdekking: Door de integratie van conformal prediction (specifiek AD-MCP) biedt het framework distributievrije garanties en uniforme conditionele dekking over anomalie-strata, wat een verdedigbare opvolging mogelijk maakt.

De auteurs stellen dat zonder een dergelijk framework een aanzienlijk deel van de zeldzame en bijzondere transiënten (met name die in de "vermomde" regimes) stilletjes verloren zal gaan aan routineclassificatie in toekomstige high-volume surveys. Het framework wordt momenteel voorbereid voor integratie met de ZTF BOOM broker.