Catching Disguised Transients with ASTRANet: Anomaly-Aware Spectroscopic Classification and Conformal Calibration

Resumo Técnico: Capturando Transientes Disfarçados com ASTRANet

Definição do Problema
Pesquisas de domínio temporal (ex: ZTF, futuro LSST) geram centenas de milhares de candidatos a transientes anualmente, porém o acompanhamento espectroscópico é severamente limitado pela taxa de disponibilidade. Os atuais classificadores de aprendizado profundo para identificação de transientes espectroscópicos são tipicamente de "conjunto fechado" (closed-set), o que significa que forçam cada espectro de entrada em uma classe de treinamento conhecida via probabilidade softmax, independentemente de o espectro genuinamente pertencer àquela classe ou não. Esta arquitetura cria um modo de falha perigoso: respostas erradas de alta confiança. Esses classificadores frequentemente falham em identificar objetos raros, fisicamente peculiares ou novos (anomalias) porque são treinados para minimizar o erro em classes comuns, ocultando efetivamente as falhas que levam à descoberta. As soluções existentes frequentemente dependem de detecção de anomalias de pontuação única ou curvas de luz fotométricas, tratando a quantificação de incerteza (UQ) e a detecção de anomalias (AD) como eixos separados, o que os autores argumentam ser insuficiente para os diversos modos de falha físicos dos dados espectroscópicos.

Metodologia: O Framework ASTRANet
Os autores apresentam o ASTRANet, um framework consciente de confiança projetado para classificação e descoberta de transientes espectroscópicos. Ele integra três módulos acoplados:

1. Classificador Espectral Hierárquico (ASTRANet):

   • Entrada: Opera diretamente em espectros no referencial do observador sem exigir redshift da galáxia hospedeira ou fase espectral como entradas obrigatórias. Estes são tratados como metadados opcionais injetados via Modulação Linear por Características (FiLM) e mascarados aleatoriamente durante o treinamento para garantir que a rede aprenda representações invariantes ao redshift.
   • Arquitetura: Um ensemble profundo de seis modelos construído sobre um caule convolucional multiescala e um backbone de convolução temporal dilatada (TCN). Emprega agrupamento de atenção de múltiplas cabeças (multi-head attention pooling) para gerar um embedding de 192 dimensões.
   • Saída: Prediz conjuntamente uma superclasse grosseira (Termonuclear, Colapso de Núcleo, Não-SN) e uma classe de grão fino (7 classes: Ia, Ibc, SLSN, II, AGN, CV, TDE). A cabeça de grão fino consome o softmax da superclasse como um prior suave via um mecanismo de interrupção de gradiente (stop-gradient).

2. Camada de Detecção de Anomalias (ASTRANet-Sentinel):

   • Mecanismo: Computa 16 pontuações de anomalia complementares a partir dos embeddings e logits do ensemble, abrangendo quatro famílias motivadas fisicamente:
     • Incerteza: (ex: entropia preditiva, ODIN, energia).
     • Distância: (ex: distâncias de Mahalanobis, kNN, distância de cosseno).
     • Densidade: (ex: verossimilhança de GMM, floresta de isolamento, LOF).
     • Híbrida: (ex: combinação de entropia hierárquica, pontuações de resíduo de variedade).
   • Integração: Estas pontuações são combinadas não linearmente usando uma árvore de decisão de gradiente aumentado (LightGBM) em uma única pontuação de anomalia ($s_{AD}$). Os autores demonstram que um combinador não linear é essencial porque nenhuma família de pontuações sozinha pode detectar todos os modos de falha.
   • Treinamento: O codificador passa por um ajuste fino de "exposição a outliers", onde um termo de entropia e um termo de margem de embedding empurram as anomalias de exposição em direção a uma distribuição uniforme e para longe dos centroides de classe, melhorando significamente a recuperação de objetos quase fora da distribuição (OOD).

3. Camada de Quantificação de Incerteza Conformal (ASTRANet-CP):

   • Calibração: Utiliza predição de Mondrian para calibrar as pontuações de anomalia e as saídas do classificador. Isso fornece garantias de amostra finita e independentes de distribuição, válidas sob deslocamentos de distribuição arbitrários.
   • Saídas: Para cada espectro, gera:
     • Um p-valor de Mondrian calibrado ($p_M$) indicando a probabilidade de a predição estar errada.
     • Um conjunto de predição adaptativo (APS) de classes plausíveis em um nível de cobertura especificado pelo usuário.
     • Intervalos de probabilidade de ensemble por classe ($\bar{p}_k \pm \sigma_k$) capturando o desacordo do deep-ensemble.
     • Uma decomposição da entropia preditiva em aleatória (ruído de dados) e epistêmica (desacordo do modelo).
   • Inovação: Introduz a Predição Conformal de Mondrian estratificada por AD (AD-MCP), que estratifica a calibração tanto pela classe prevista quanto pelos quintis da pontuação de anomalia. Isso corrige a subcobertura observada em preditores Mondrian padrão dentro de regimes operacionais de alta anomalia.

Principais Descobertas e Resultados
O framework foi validado em um conjunto de teste de 289 transientes raros e fora da taxonomia (11 classes) deliberadamente excluídos do treinamento.

• Taxonomia de Modos de Falha: Os autores identificam empiricamente cinco regimes de falha de classificadores de conjunto fechado, cada um exigindo assinaturas de detecção distintas:

  1. Eventos de classe AGN com contínuo disfarçado: Classificados com confiança como CVs; detectáveis apenas via combinação não linear entre famílias.
  2. Disfarce espectroscópico dentro de vizinhos físicos: Classes raras (ex: SNe ricas em Ca, Novae) degeneradas com classes de treinamento; detectáveis via combinação entre famílias.
  3. Classificações dominadas pelo contínuo: Espectros sem características mapeados para classes erradas com confiança intermediária; detectáveis via pontuações de distância/densidade.
  4. Regimes de progenitor legitimamente ambíguos: Ambiguidade física genuína (ex: FBOTs, ILRTs); detectáveis via desacordo de ensemble e pontuações híbridas.
  5. Eventos fora da distribuição (OOD) extremos: Casos clássicos de OOD; detectáveis por qualquer pontuação sensível.
  • Resultado Crucial: Os regimes I e II (constituindo ~43% da população rara) são apenas recuperáveis através da combinação não linear entre famílias; pipelines de família única falham em detectar esses casos.

• Desempenho:

  • Classificação: Alcança 87% de precisão geral e 83% de recall macro no conjunto de teste.
  • Detecção de Anomalias: O pipeline completo de múltiplas famílias recupera 82,4% dos espectros raros a uma taxa de falso alarme (FAR) de 1%, comparado a ~34% para a combinação base sem exposição a outliers ou para qualquer ensemble de família única.
  • Complementaridade: A incerteza interna do classificador (ex: confiança da softmax) e a detecção de anomalias baseada em embedding são estruturalmente complementares. A UQ interna domina em erros de fronteira de distribuição, enquanto a AD domina em disfarces OOD (Regime I). Elas sinalizam populações de falha amplamente distintas.

• Capacidades Operacionais:

  • Permite triagem em tempo real sem necessidade de redshift do hospedeiro ou fase.
  • Permite a "abstenção ortogonal à AD", onde o sistema pode recusar-se a assumir uma predição baseada na incerteza interna, enquanto ainda sinaliza anomalias através da camada de AD.
  • Permite alocação de risco calibrada, permitindo que operadores definam orçamentos explícitos de falsos alarmes.

Significância e Alegações
O artigo afirma estabelecer a infraestrutura metodológica para a descoberta espectroscópica consciente de confiança na era do Observatório Vera C. Rubin. Suas principais contribuições são:

1. Primeiro Classificador de Múltiplas Classes Livre de Redshift: O ASTRANet é o primeiro classificador espectroscópico de grão fino que opera em espectros no referencial do observador sem exigir redshift ou fase durante a inferência, removendo uma dependência crítica de tempo real.
2. Taxonomia de Falha Baseada em Física: Fornece a primeira caracterização empírica de cinco modos de falha para classificação espectroscópica, demonstrando que uma única família de pontuação de anomalia é insuficiente devido à diversidade física das anomalias.
3. Complementaridade Estrutural: Estabelece que a incerteza interna do classificador e a detecção de anomalias baseada em embedding são eixos ortogonais de confiança que devem ser implantados simultaneamente, não alternativamente.
4. Descoberta Calibrada: Ao integrar predição conformal (especificamente AD-MCP), o framework fornece garantias independentes de distribuição e cobertura condicional uniforme através de estratos de anomalia, permitindo um acompanhamento defensável.

Os autores argumentam que, sem tal framework, uma fração significativa de transientes raros e peculiares (especificamente aqueles nos regimes de "disfarce") será silenciosamente perdida para a classificação rotineira em futuras pesquisas de alto volume. O framework está sendo preparado para integração com o broker ZTF BOOM.