ASTRAFier: A Novel and Scalable Transformer-based Stellar Variability Classifier

Resumen Técnico: ASTRAFier

1. El Problema

Las misiones fotométricas espaciales como Kepler y TESS han generado millones de curvas de luz que cubren casi todo el cielo, ofreciendo oportunidades sin precedentes para estudiar la variabilidad estelar. Sin embargo, la escala masiva de estos datos requiere métodos de análisis automatizados eficientes.

• Limitaciones de los métodos tradicionales: Las clasificaciones anteriores a menudo dependían de la ingeniería de características (extracción manual de estadísticas, periodogramas de Lomb-Scargle, entropía, etc.) antes de alimentar modelos de aprendizaje automático. Este proceso es laborioso, puede perder información temporal compleja y requiere mantenimiento constante.
• Desafíos de los datos astronómicos: Las curvas de luz astronómicas presentan longitudes variables, huecos en los datos (debido a operaciones de la nave o cortes de calidad) y ruidos sistemáticos, lo que dificulta el uso directo de arquitecturas estándar como los Transformers, que asumen entradas uniformemente espaciadas.

2. Metodología

Los autores presentan ASTRAFier (Astronomical Sequence TRansformer-based vAriability classifier), un modelo de aprendizaje profundo híbrido diseñado para procesar curvas de luz crudas sin ingeniería de características.

• Arquitectura Híbrida: El modelo integra tres componentes clave que se complementan mutuamente:
  1. BiLSTM (Long Short-Term Memory Bidireccional): Captura dependencias de memoria a largo plazo y contextos temporales tanto forward como backward.
  2. Transformers (Atención Multi-cabeza): Captura el contexto global y las correlaciones entre elementos de la secuencia mediante mecanismos de auto-atención.
  3. CNN (Redes Neuronales Convolucionales): Detecta características locales y patrones temporales específicos mediante filtros convolucionales.
• Diseño Específico:
  • Codificación Posicional Adaptada: A diferencia de los Transformers estándar que usan índices enteros, ASTRAFier utiliza una codificación posicional derivada directamente de los timestamps de las observaciones. Esto permite manejar curvas de luz con huecos y espaciados no uniformes.
  • Máscaras de Relleno (Padding Masks): Se implementan máscaras binarias en todas las etapas críticas (atención, LSTM, promedios globales) para asegurar que las posiciones de relleno (datos ficticios añadidos para igualar longitudes de lote) no influyan en el aprendizaje ni en la inferencia.
  • Bloques Residuales: Cada módulo (BiLSTM, Transformer, CNN) está conectado mediante conexiones residuales ("Add and Norm") para facilitar el flujo de gradientes y preservar la información característica extraída.
  • Salida: Los bloques se apilan tres veces. La salida se promedia en la dimensión temporal (usando promedios enmascarados) y se pasa a una red neuronal densa (MLP) con activación softmax para obtener probabilidades de clase.

3. Contribuciones Clave

• Marco End-to-End: Eliminación total de la ingeniería de características; el modelo aprende directamente de las series temporales de flujo.
• Escalabilidad: El modelo está diseñado para procesar grandes volúmenes de datos de manera eficiente.
• Nueva Arquitectura Híbrida: La combinación específica de BiLSTM, Transformers y CNNs con codificación posicional basada en tiempo demuestra ser superior a usar estos componentes de forma aislada.
• Catálogo Público: Se ha generado y liberado un catálogo de variabilidad estelar basado en la clasificación de ~2.8 millones de curvas de luz de TESS.
• Código Abierto: El modelo y el código están disponibles públicamente para la comunidad astronómica.

4. Resultados

El modelo fue entrenado y validado utilizando curvas de luz de Kepler y TESS (sectores 14, 15 y 26, que se superponen con el campo de visión de Kepler).

• Rendimiento en Kepler:
  • Logró una precisión de clasificación del 94.26% en el conjunto de validación.
  • Resultados comparables o superiores a trabajos previos (como Audenaert et al. 2021), pero con una arquitectura más simple y menor complejidad computacional.
• Rendimiento en TESS:
  • Al entrenar solo con datos de TESS, alcanzó un 87.09% de precisión.
  • Al combinar datos de Kepler y TESS para el entrenamiento final, la precisión en el conjunto de validación de TESS mejoró al 88.22%.
  • Clases con mejor rendimiento: Eclipses (100% de recall), DSCT BCEP y RRLYR CEPH.
  • Desafíos: Se observó confusión entre variables rotacionales/contacto y variables aperiódicas, así como entre pulsadores g-mode y osciladores solares-like, especialmente en datos no etiquetados con ruido sistemático.
• Despliegue a Gran Escala:
  • El modelo clasificó exitosamente ~2.8 millones de curvas de luz de TESS en aproximadamente 8 horas utilizando dos GPUs NVIDIA H200.
  • Se identificaron candidatos a variables estelares, aunque se recomienda un umbral de probabilidad más estricto (0.75-0.8) para minimizar falsos positivos en clases con poca representación en el entrenamiento (como RR Lyrae).

5. Significado e Impacto

• Eficiencia Operativa: ASTRAFier demuestra que es posible clasificar millones de curvas de luz con alta precisión sin necesidad de preprocesamiento manual de características, lo cual es crucial para futuras misiones como PLATO (lanzamiento previsto en 2027) que generarán datos aún más masivos.
• Flexibilidad: Al no depender de características predefinidas, el modelo es fácilmente reentrenable para detectar nuevos tipos de variabilidad o patrones no contemplados inicialmente.
• Fundamento para Modelos Base: El trabajo sienta las bases para el desarrollo de "modelos fundacionales" (foundation models) en astrofísica, capaces de realizar tareas más allá de la clasificación, como agrupamiento (clustering), detección de anomalías y estimación de parámetros físicos.
• Relevancia Científica: El catálogo generado proporciona una base sólida para estudios de poblaciones estelares, identificación de objetivos para observaciones de seguimiento y la preparación de campos de visión para futuras misiones espaciales.

En conclusión, ASTRAFier representa un avance significativo en la automatización del análisis de variabilidad estelar, combinando lo mejor de las arquitecturas modernas de IA (Transformers) con la robustez necesaria para los datos astronómicos reales, permitiendo explotar al máximo el potencial de los grandes sondeos del cielo.