ASTRAFier: A Novel and Scalable Transformer-based Stellar Variability Classifier

Resumo Técnico: ASTRAFier

1. O Problema

As missões espaciais como Kepler e TESS (Transiting Exoplanet Survey Satellite) geraram milhões de curvas de luz, oferecendo oportunidades sem precedentes para estudar a variabilidade estelar. No entanto, a escala massiva desses dados exige métodos de análise automatizados e eficientes.

• Desafios Atuais: Métodos tradicionais de classificação frequentemente dependem de feature engineering (engenharia de características), onde características estatísticas ou espectrais são extraídas manualmente antes de serem alimentadas em modelos de aprendizado de máquina. Isso é trabalhoso, difícil de manter e pode perder padrões temporais complexos.
• Necessidade: É necessário um modelo de aprendizado profundo capaz de processar diretamente as séries temporais brutas (curvas de luz), sem necessidade de pré-processamento manual de características, que seja escalável para milhões de observações e capaz de capturar tanto dependências de curto quanto de longo prazo.

2. Metodologia: Arquitetura ASTRAFier

Os autores propõem o ASTRAFier (Astronomical Sequence TRansformer-based vAriability classifier), um modelo híbrido de aprendizado profundo que integra três componentes principais para processar curvas de luz diretamente:

• Arquitetura Híbrida: O modelo combina:
  1. BiLSTM (Long Short-Term Memory Bidirecional): Para capturar dependências temporais de curto e médio prazo, processando a sequência em ambas as direções (passado e futuro).
  2. Transformers (Mecanismo de Atenção): Para capturar dependências globais e correlações de longo alcance na série temporal.
  3. CNNs (Redes Neurais Convolucionais): Para extrair características locais e padrões temporais específicos através de filtros convolucionais.
• Tratamento de Séries Temporais Astronômicas:
  • Codificação Posicional Adaptada: Diferente dos Transformers padrão que assumem entradas uniformemente espaçadas, o ASTRAFier utiliza uma codificação posicional baseada no timestamp real das observações. Isso lida com as lacunas frequentes em dados astronômicos (devido a operações da espaçonave ou cortes de qualidade).
  • Máscaras de Preenchimento (Padding Masks): Como as curvas de luz têm comprimentos variáveis, o modelo utiliza máscaras binárias para ignorar posições de preenchimento (padding) durante o cálculo de atenção e médias, garantindo que dados inválidos não influenciem o aprendizado.
• Fluxo de Dados:
  1. A curva de luz bruta é embutida (embedding) em um espaço de maior dimensão.
  2. Passa por três blocos sequenciais "ASTRAFier", onde cada bloco contém uma camada BiLSTM (com projeção CNN), um Encoder Transformer e um módulo CNN, todos conectados por conexões residuais ("Add and Norm").
  3. A saída é agregada via masked averaging (média ponderada pelas máscaras) e classificada por uma Rede Perceptron Multicamadas (MLP).
• Incerteza: Durante a inferência, utiliza-se Monte-Carlo Dropout para calibrar probabilidades e estimar a incerteza preditiva.

3. Dados e Treinamento

• Conjuntos de Dados: O modelo foi treinado e validado usando curvas de luz do Kepler e do TESS (especificamente os setores 14, 15 e 26, que cobrem o campo de visão do Kepler).
• Pré-processamento: As curvas de luz foram limpas de valores NaN e outliers, e um filtro Gaussiano foi aplicado para remover tendências de longo prazo instrumentais, preservando a variabilidade estelar.
• Classes de Variabilidade: O modelo classifica em 8 categorias principais (incluindo binárias de eclipse, pulsadores do tipo $\delta$ Scuti/$\beta$ Cephei, variáveis rotacionais, pulsadores solares-like, etc.) e uma classe adicional de "Instrumental/Junk" para identificar artefatos não astrofísicos.
• Configuração: Treinado com 128 curvas de luz por batch, utilizando o otimizador AdamW e perda de entropia cruzada ponderada por classe para lidar com desequilíbrios.

4. Resultados Principais

• Desempenho no Kepler: O modelo alcançou uma acurácia de 94,26% no conjunto de teste do Kepler, comparável aos melhores métodos anteriores, mas com uma arquitetura mais simples e eficiente.
• Desempenho no TESS: No conjunto de teste do TESS, alcançou 88,22% de acurácia.
  • O modelo demonstrou alta precisão na detecção de binárias de eclipse (100% de recall no conjunto de teste).
  • A introdução da classe "Instrumental/Junk" foi eficaz para filtrar artefatos, reduzindo a contaminação das classes astrofísicas.
• Escalabilidade: O modelo foi implantado em ~2,8 milhões de curvas de luz do TESS (setores 14, 15 e 26), gerando um catálogo de candidatos a variáveis. O tempo de inferência é rápido o suficiente para processar milhões de curvas em horas usando GPUs modernas.
• Estudo de Ablação: Experimentos mostraram que a arquitetura completa (BiLSTM + Transformer + CNN) supera significativamente variantes que removem um dos componentes, confirmando a importância sinérgica de cada módulo.
• Análise Visual (UMAP e HR Diagram): A visualização das representações latentes e diagramas H-R confirmaram que o modelo separa bem as classes, embora existam sobreposições naturais (ex: entre pulsadores g-mode e rotacionais, ou entre osciladores solares-like e gigantes vermelhas), o que reflete desafios físicos reais na classificação.

5. Contribuições e Significância

• Inovação Arquitetural: O ASTRAFier é um dos primeiros modelos a integrar eficazmente Transformers, BiLSTMs e CNNs para classificação de variabilidade estelar, eliminando a necessidade de engenharia de características manual.
• Tratamento de Dados Reais: A adaptação da codificação posicional para lidar com timestamps irregulares e o uso de máscaras robustas tornam o modelo aplicável a dados astronômicos reais, que são frequentemente descontínuos.
• Catálogo em Larga Escala: A capacidade de classificar milhões de curvas de luz rapidamente permite a criação de catálogos de variáveis para missões futuras (como PLATO) e para o programa de ciência complementar do TESS.
• Manutenibilidade e Flexibilidade: Por ser um modelo end-to-end, é mais fácil de manter e re-treinar para detectar novos tipos de variabilidade sem reescrever pipelines de extração de características.
• Futuro: Os autores indicam que o modelo está sendo usado como base para um "modelo de fundação" (foundation model) para o TESS, visando tarefas não supervisionadas como agrupamento e detecção de anomalias.

Em suma, o ASTRAFier representa um avanço significativo na automação da análise de variabilidade estelar, combinando a precisão de modelos de ponta com a escalabilidade necessária para a era dos grandes dados astronômicos.