Catching Disguised Transients with ASTRANet: Anomaly-Aware Spectroscopic Classification and Conformal Calibration

Sintesi Tecnica: Catturare i Transienti Disfrazati con ASTRANet

Definizione del Problema
I survey nel dominio del tempo (ad esempio, ZTF, il futuro LSST) generano centinaia di migliaia di candidati transienti ogni anno, ma il follow-up spettroscopico è severamente limitato dal tasso di acquisizione. Gli attuali classificatori di deep learning per l'identificazione di transienti spettroscopici sono tipicamente "a set chiuso" (closed-set), il che significa che costringono ogni spettro di input in una classe di addestramento nota tramite una probabilità softmax, indipendentemente dal fatto che lo spettro appartenga realmente a quella classe. Questa architettura crea un pericoloso modo di fallimento: risposte errate ad alta confidenza. Questi classificatori spesso non riescono a identificare oggetti rari, fisicamente peculiari o nuovi (anomalie) perché sono addestrati per minimizzare l'errore sulle classi comuni, nascondendo efficacemente proprio quei fallimenti che portano alla scoperta. I rimedi esistenti spesso si affidano a un singolo punteggio di rilevamento delle anomalie o a curve di luce fotometriche, trattando l'quantificazione dell'incertezza (UQ) e il rilevamento delle anomalie (AD) come assi separati, il che gli autori sostengono essere insufficiente per i diversificati modi di fallimento dei dati spettroscopici.

Metodologia: Il Framework ASTRANet
Gli autori presentano ASTRANet, un framework consapevole della confidenza progettato per la classificazione e la scoperta di transienti spettroscopici. Esso integra tre moduli accoppiati:

1. Classificatore Spettrale Gerarchico (ASTRANet):

   • Input: Opera direttamente sugli spettri nell'osservatore senza richiedere il redshift della galassia ospite o la fase spettrale come input obbligatori. Questi sono trattati come metadati opzionali iniettati tramite Feature-wise Linear Modulation (FiLM) e mascherati casualmente durante l'addestramento per garantire che la rete apprenda rappresentazioni invarianti rispetto al redshift.
   • Architettura: Un deep ensemble di sei modelli basato su uno stelo convoluzionale multi-scala e un backbone a convoluzione temporale dilatata (TCN). Utilizza un pooling a multi-head attention per generare un embedding a 192 dimensioni.
   • Output: Predice congiuntamente una superclasse grossolana (Termonucleare, Core-Collapse, Non-SN) e una classe fine (7 classi: Ia, Ibc, SLSN, II, AGN, CV, TDE). La testa fine consuma la softmax della superclasse come un prior "soft" tramite un meccanismo di stop-gradient.

2. Livello di Rilevamento delle Anomalie (ASTRANet-Sentinel):

   • Meccanismo: Calcola 16 punteggi di anomalia complementari dagli embedding dell'ensemble e dai logit, spaziando su quattro famiglie motivate dalla fisica:
     • Incertezza: (ad es., entropia predittiva, ODIN, energia).
     • Distanza: (ad es., distanze di Mahalanobis, kNN, distanza coseno).
     • Densità: (ad es, verosimiglianze GMM, isolation forest, LOF).
     • Ibrido: (ad es., combinazione di entropia gerarchica, punteggi di residuo del manifold).
   • Integrazione: Questi punteggi sono combinati non linearmente utilizzando un albero di decisione potenziato dal gradiente (LightGBM) in un singolo punteggio di anomalia cross-family ($s_{AD}$). Gli autori dimostrano che un combinatore non lineare è essenziale perché nessun singolo tipo di famiglia di punteggi può rilevare tutti i modi di fallimento.
   • Addestramento: L'encoder subisce un fine-tuning di "outlier-exposure", dove un termine di entropia e un termine di margine dell'embedding spingono le anomalie di esposizione verso una distribuzione uniforme e lontano dai centroidi di classe, migliorando significativamente il recupero di oggetti quasi fuori distribuzione (OOD).

3. Livello di Quantificazione dell'Incertezza Conforme (ASTRANet-CP):

   • Calibrazione: Utilizza la previsione conforme Mondrian per calibrare i punteggi di anomalia e gli output del classificatore. Ciò fornisce garanzie distribution-free e a campioni finiti valide sotto arbitrarie variazioni di distribuzione.
   • Output: Per ogni spettro, genera:
     • Un p-valore Mondrian calibrato ($p_M$) che indica la probabilità che la predizione sia errata.
     • Un set di predizione adattivo (APS) di classi plausibili a un livello di copertura specificato dall'utente.
     • Intervalli di probabilità per classe dell'ensemble ($\bar{p}_k \pm \sigma_k$) che catturano il disaccordo del deep-ensemble.
     • Una decomposizione dell'entropia predittiva in componenti aleatorie (rumore dei dati) ed epistemiche (disaccordo del modello).
   • Innovazione: Introduce la Conformal Prediction Mondrian stratificata per AD (AD-MCP), che stratifica la calibrazione sia per classe predetta che per quintili del punteggio di anomalia. Questo corregge la sotto-copertura osservata nei predittori Mondrian standard all'interno di regimi operativi ad alta anomalia.

Risultati Chiave e Performance
Il framework è stato validato su un set di test di 289 transienti rari e fuori tassonomia (11 classi) deliberatamente esclusi dall'addestramento.

• Tassonomia dei Modi di Fallimento: Gli autori identificano empiricamente cinque regimi di fallimento dei classificatori a set chiuso, ciascuno dei quali richiede diverse firme di rilevamento:

  1. Eventi di classe AGN con continuo camuffato: Classificati con alta confidenza come CV; rilevabili solo tramite combinazione non lineare cross-family.
  2. Disfrazzo spettroscopico tra vicini fisici: Classi rare (ad es., SNe ricche di Ca, Novae) quasi degenerate con le classi di addestramento; rilevabili tramite combinazione cross-family.
  3. Misclassificazioni dominate dal continuo: Spettri privi di caratteristiche mappati su classi errate con confidenza intermedia; rilevabili tramite punteggi di distanza/densità.
  4. Regimi di progenitore legittimamente ambigui: Reale ambiguità fisica (ad es., FBOTs, ILRTs); rilevabili tramite disaccordo dell'ensemble e punteggi ibridi.
  5. Eventi far-out-of-distribution: Casi textbook di OOD; rilevabili da qualsiasi punteggio sensibile.
  • Risultato Cruciale: I regimi I e II (che costituiscono circa il 43% della popolazione rara) sono recuperabili solo attraverso la combinazione non lineare cross-family; le pipeline a singola famiglia falliscono nel rilevarli.

• Performance:

  • Classificazione: Raggiunge l'87% di accuratezza complessiva e l'83% di recall macro sul set di test.
  • Rilevamento delle Anomalie: La pipeline completa cross-family recupera l'82,4% degli spettri rari a un tasso di falso allarme (FAR) dell'1%, rispetto a circa il 34% per la combinazione base senza outlier exposure e tassi significativamente inferiori per qualsiasi ensemble a singola famiglia.
  • Complementarità: L'UQ interna al classificatore (ad es., confidenza softmax) e l'AD basata sull'embedding sono strutturalmente complementari. L'UQ interna domina sugli errori di confine in-distribution, mentre l'AD domina sul disfrazzo OOD (Regime I). Esse segnalano popolazioni di fallimento largamente disgiunte.

• Capacità Operative:

  • Permette il triage in tempo reale senza redshift dell'ospite o fase.
  • Consente l'astensione ortogonale all'AD, dove il sistema può rifiutarsi di impegnarsi in una predizione basandosi sull'incertezza interna pur segnalando le anomalie tramite lo strato AD.
  • Permette un'allocazione del rischio calibrata, consentendo agli operatori di impostare budget espliciti per i falsi allarmi.

Significatività e Rivendicazioni
Il paper sostiene di aver stabilito l'infrastruttura metodologica per la scoperta spettroscopica consapevole della confidenza nell'era dell'Osservatorio Vera C. Rubin. I suoi contributi primari sono:

1. Primo Classificatore Multi-Classe Indipendente dal Redshift: ASTRANet è il primo classificatore spettroscopico fine-grained e multi-classe che opera su spettri nell'osservatore senza richiedere redshift o fase durante l'inferenza, rimuovendo una dipendenza critica in tempo reale.
2. Tassonomia dei Fallimenti Guidata dalla Fisica: Fornisce la prima caratterizzazione empirica di cinque modi di fallimento nella classificazione spettroscopica, dimostrando che una singola famiglia di punteggi di anomalia è insufficiente a causa della diversità fisica delle anomalie.
3. Complementarità Strutturale: Stabilisce che l'incertezza interna al classificatore e il rilevamento delle anomalie basato sull'embedding sono assi di confidenza ortogonali che devono essere implementati simultaneamente, non intercambiabilmente.
4. Scoperta Calibrata: Integrando la previsione conforme (specificamente l'AD-MCP), il framework fornisce garanzie distribution-free e una copertura condizionale uniforme attraverso gli strati di anomalia, consentendo un'allocazione del follow-up difendibile.

Gli autori sostengono che senza un framework del genere, una parte significativa di transienti rari e peculiari (specificamente quelli nei regimi di "disfrazzo") andrà silenziosamente persa a causa della classificazione di routine nei futi survey ad alto volume. Il framework è attualmente in fase di preparazione per l'integrazione con il broker ZTF BOOM.