Leveraging Multimodality for Real-Time Classification of Transients and Variables found by the Zwicky Transient Facility

Resumo Técnico: Alavancando a Multimodalidade para a Classificação em Tempo Real de Transientes e Variáveis encontrados pelo Zwicky Transient Facility

Declaração do Problema
Pesquisas modernas no domínio do tempo, como o Zwicky Transient Facility (ZTF) e o futuro Legacy Survey of Space and Time (LSST) do Observatório Vera C. Rubin, geram centenas de milhares a milhões de alertas todas as noites. Um gargalo crítico neste influxo de dados é a necessidade de uma classificação robusta e em tempo real para priorizar fontes para recursos escassos de acompanhamento espectroscópico. Observações em estágios iniciais são frequentemente caracterizadas por curvas de luz esparsas e degenerações entre classes, tornando a classificação detalhada difícil. Embora o aprendizado de máquina tenha sido adotado para abordar isso, confiar apenas em curvas de luz costuma resultar em um desempenho subótimo em épocas iniciais. Além disso, sistemas existentes muitas vezes carecem da flexibilidade para fornecer classificações em diferentes níveis de granularidade conforme mais dados se tornam disponíveis.

Metodologia
Os autores introduzem o ORACLE-2, uma família de classificadores multimodais e hierárquicos projetados para melhorar a classificação em tempo real ao alavancar múltiplas modalidades de dados: curvas de luz, metadados tabulares e imagens. O trabalho baseia-se no framework Online Ranked Astrophysical CLass Estimator (ORACLE), que organiza as classes em uma taxonomia que progride de categorias grosseiras (Transiente vs. Persistente) para categorias granulares (ex: subtipos específicos de supernovas).

O estudo desenvolve três variantes específicas de modelos:

1. ORACLE-2 Lite: Utiliza apenas curvas de luz.
2. ORACLE-2: Combina curvas de luz com metadados tabulares.
3. ORACLE-2 Omni: Integra curvas de luz, metadados e imagens.

Detalhes Arquiteturais:

• Backbone de Séries Temporais: Utiliza Unidades Recorrentes de Portão (GRUs) para processar curvas de luz. Diferente de versões anteriores, o ORACLE-2 introduz um mecanismo de pooling de atenção sobre toda a sequência para agregar estados ocultos em um vetor de contexto de dimensão fixa, mitigando a dificuldade que as RNNs enfrentam com dependências de longo prazo em pesquisas de alta cadência.
• Backbone de Metadados: Emprega um Perceptron de Camada Multicamadas (MLP) para processar características tabulares (ex: localização no céu, propriedades da galáxia hospedeira, magnitudes AllWISE).
• Backbone de Imagem: Utiliza uma rede neural convolucional ConvNeXt-Pico, pré-treinada no conjunto de dados Galaxy Zoo, para processar imagens de referência (seja ZTF de canal único ou Pan-STARRS-1 de três canais). O modelo aprende implicitamente as associações com a galáxia hospedeira sem engenharia de características explícita.
• Estratégia de Treinamento: Os modelos são treinados usando uma função de perda de Entropia Cruzada Hierárquica Ponderada (WHXE) para lidar com a estrutura taxonômica e o desequilíbrio de classes. Uma rotina de treinamento de três etapas é empregada para o modelo multimodal Omni: pré-treinamento independente dos ramos, um estágio de "aquecimento" (warm-up) com um backbone congelado e uma cabeça de classificação treinável, e finalmente, ajuste fino (fine-tuning) total.

Conjuntos de Dados

• ZTF (Dados Reais): O conjunto de dados Bright Transient Survey (BTS) contendo ~14.800 fontes com rótulos espectroscópicos, incluindo vários subtipos de supernovas (Ia, Ib/c, II, SLSN-I), Núcleos Galácticos Ativos (AGN), Variáveis Cataclísmicas (CV) e estrelas variáveis.
• ELAsTiCC (Dados Simulados): Um conjunto de dados simulado para o LSST contendo ~50 milhões de observações de ~5 milhões de fontes, usado para testar escalabilidade e desempenho em volumes de pesquisa futuros.

Resultados Principais

• Superioridade Multimodal: A incorporação de modalidades adicionais melhora consistentemente o desempenho da classificação. No conjunto de dados ZTF BTS, o modelo ORACLE-2 Omni alcança um F1 macro de 0,73 aos 1024 dias pós-detecção. Isso representa uma melhoria de até 11% sobre os modelos que utilizam curvas de luz e metadados (ORACLE-2) e de até 40% sobre os modelos de apenas curva de luz (ORACLE-2 Lite).
• Desempenho em Tempo Inicial: Os ganhos da multimodalidade são mais pronunciados em tempos iniciais (dentro da primeira semana), onde a melhoria do F1 macro atinge 9–13%. Isso é crítico para decisões de triagem quando a morfologia da curva de luz ainda não está totalmente desenvolvida.
• Modalidades de Imagem: Embora as imagens de três canais do Pan-STARRS-1 rendam uma classificação de imagem isolada ligeiramente melhor do que as imagens de canal único do ZTF, a variante de canal único do modelo Omni performa de forma comparável à variante PS1 no cenário multimodal completo. Isso sugere que a morfologia da curva de luz e os metadados compensam a falta de imagens multibanda, tornando a abordagem de canal único do ZTF mais prática para implantação em tempo real.
• Prontidão para o LSST: No conjunto de dados simulado ELAsTiCC, o modelo ORACLE-2 alcança um F1 macro de 0,88 aos 1024 dias, igualando ou superando outros modelos de estado da arte (ex: ATCAT, RoMAE) e demonstrando robustez para futuras pesquisas de alto volume.
• Vazão (Throughput): A adição do ramo de imagem reduz o throughput da GPU por um fator de três, mas reduz o throughput da CPU em apenas ~35%. Dado que o pipeline de produção dos autores roda em CPUs, o overhead computacional é considerado aceitável diante dos ganhos de desempenho.

Implantação no Mundo Real
A variante de canal único do ORACLE-2 Omni foi implantada no broker BOOM para o fluxo de alertas do ZTF em maio de 2026. Em um período de monitoramento em tempo real (15 de maio – 11 de junho de 2026), o modelo processou 344 novas fontes com rótulos espectroscópicos, alcançando um F1 macro de profundidade-1 de 0,88 e uma acurácia de 0,99. Ele identificou com sucesso fontes transientes raras e interessantes para acompanhamento.

Significância e Alegações
O artigo afirma que combinar múltiplas modalidades (curvas de luz, metadados e imagens) melhora significamente a classificação em tempo inicial, permitindo uma triagem mais eficaz de fluxos de alertas de alto volume. As principais contribuições são:

1. Framework Multimodal Prático: Demonstrar que abordagens multimodais não são apenas teoricamente superiores, mas praticáveis e implantáveis em tempo real em ambientes de brokers.
2. Flexibilidade Hierárquica: Fornecer um framework flexível que permite classificações grosseiras confiáveis em tempos iniciais e classificações granulares conforme os dados se acumulam.
3. Aprendizado Implícito: Mostrar que modelos de aprendizado profundo podem aprender implicitamente características salientes do ambiente da fonte (galáxias hospedeiras) a partir de imagens sem engenharia de características explícita.
4. Ciência Aberta: Lançar a família de modelos ORACLE-2, os backbones de imagem e o framework de classificação hierárquica como ferramentas de pesos abertos para facilitar a integração em outros pipelines.

Os autores concluem que, embora desafios permaneçam em relação a classes sub-representadas e mudanças de distribuição entre dados simulados e reais, abordagens multimodais são essenciais para gerenciar o volume de dados das pesquisas atuais e futuras de domínio temporal.