Leveraging Multimodality for Real-Time Classification of Transients and Variables found by the Zwicky Transient Facility

Resumen Técnico: Aprovechamiento de la Multimodalidad para la Clasificación en Tiempo Real de Transitorios y Variables detectados por el Zwicky Transient Facility

Planteamiento del Problema
Los sondeos modernos en el dominio del tiempo, como el Zwicky Transient Facility (ZTF) y el próximo Legacy Survey of Space and Time (LSST) del Observatorio Vera C. Rubin, generan cientos de miles a millones de alertas cada noche. Un cuello de botella crítico en este aluvión de datos es la necesidad de una clasificación robusta y en tiempo real para priorizar fuentes para los escasos recursos de seguimiento espectroscópico. Las observaciones en etapas tempranas suelen caracterizarse por curvas de luz dispersas y degeneraciones entre clases, lo que dificulta la clasificación detallada. Si bien se ha adoptado el aprendizaje automático para abordar esto, depender únicamente de las curvas de luz suele ofrecer un rendimiento subóptimo en épocas tempranas. Además, los sistemas existentes a menudo carecen de la flexibilidad para proporcionar clasificaciones con distintos niveles de granularidad a medida que se dispone de más datos.

Metodología
Los autores presentan ORACLE-2, una familia de clasificadores jerárquicos multimodales diseñados para mejorar la clasificación en tiempo real mediante el aprovechamiento de múltiples modalidades de datos: curvas de luz, metadatos tabulares e imágenes. Este trabajo se basa en el marco de trabajo del Online Ranked Astrophysical CLass Estimator (ORACLE), que organiza las clases en una taxonomía que progresa desde categorías gruesas (Transitorio vs. Persistente) hasta categorías granulares (por ejemplo, subtipos específicos de supernovas).

El estudio desarrolla tres variantes específicas del modelo:

1. ORACLE-2 Lite: Utiliza únicamente curvas de luz.
2. ORACLE-2: Combina curvas de luz con metadatos tabulares.
3. ORACLE-2 Omni: Integra curvas de luz, metadatos e imágenes.

Detalles Arquitectónicos:

• Base de Series Temporales: Utiliza Unidades Recurrentes Gated (GRUs) para procesar las curvas de luz. A diferencia de versiones anteriores, ORACLE-2 introduce un mecanismo de agrupación por atención (attention pooling) sobre la secuencia completa para agregar los estados ocultos en un vector de contexto de dimensión fija, mitigando la dificultad que enfrentan las RNN con las dependencias de largo plazo en sondeos de alta cadencia.
• Base de Metadatos: Emplea un Perceptrón Multicapa (MLP) para procesar características tabulares (por ejemplo, ubicación en el cielo, propiedades de la galaxia anfitriona, magnitudes de AllWISE).
• Base de Imágenes: Utiliza una red neuronal convolucional (CNN) ConvNeXt-Pico, preentrenada con el conjunto de datos Galaxy Zoo, para procesar imágenes de referencia (ya sean de canal único de ZTF o de triple canal de Pan-STARRS-1). El modelo aprende implícitamente las asociaciones con la galaxia anfitriona sin necesidad de ingeniería de características explícita.
• Estrategia de Entrenamiento: Los modelos se entrenan utilizando una función de pérdida de Entropía Cruzada Jerárquica Ponderada (WHXE) para gestionar la estructura taxonómica y el desequilibrio de clases. Se emplea una rutina de entrenamiento de tres pasos para el modelo multimodal Omni: preentrenamiento independiente de las ramas, una etapa de "calentamiento" (warm-up) con una base congelada y una cabeza de clasificación entrenable, y finalmente, un ajuste fino (fine-tuning) completo.

Conjuntos de Datos

• ZTF (Datos Reales): El conjunto de datos Bright Transient Survey (BTS) que contiene aproximadamente 14,800 fuentes con etiquetas espectroscópicas, incluyendo varios subtipos de supernovas (Ia, Ib/c, II, SLSN-I), Núcleos Galácticos Activos (AGN), Variables Cataclísmicas (CV) y estrellas variables.
• ELAsTiCC (Datos Simulados): Un conjunto de datos simulado para LSST que contiene aproximadamente 50 millones de observaciones de aproximadamente 5 millones de fuentes, utilizado para probar la escalabilidad y el rendimiento ante futuros volúmenes de sondeo.

Resultos Clave

• Superioridad Multimodal: La incorporación de modalidades adicionales mejora consistentemente el rendimiento de la clasificación. En el conjunto de datos ZTF BTS, el modelo ORACLE-2 Omni alcanza una puntuación F1 macro de 0.73 a los 1024 días post-detección. Esto representa una mejora de hasta un 11% sobre los modelos que utilizan curvas de luz y metadatos (ORACLE-2) y de hasta un 40% sobre los modelos que utilizan solo curvas de luz (ORACLE-2 Lite).
• Rendimiento en Etapas Tempranas: Las ganancias de la multimodalidad son más pronunciadas en tiempos tempranos (dentro de la primera semana), donde la mejora de la puntuación F1 macro alcanza el 9–13%. Esto es crítico para las decisiones de triaje cuando la morfología de la curva de luz aún no se ha desarrollado completamente.
• Modalidades de Imagen: Aunque las imágenes de triple canal de Pan-STARRS-1 ofrecen una clasificación de imagen independiente ligeramente mejor que las imágenes de canal único de ZTF, la variante de canal único de ZTF del modelo Omni se desempeña de manera comparable a la variante de PS1 en el entorno multimodal completo. Esto sugiere que la morfología de la curva de luz y los metadatos compensan la falta de imágenes multibanda, haciendo que el enfoque de canal único de ZTF sea más práctico para el despliegue en tiempo real.
• Preparación para LSST: En el conjunto de datos simulado ELAsTiCC, el modelo ORACLE-2 logra una puntuación F1 macro de 0.88 a los 1024 días, igualando o superando a otros modelos de vanguardia (por ejemplo, ATCAT, RoMAE) y demostrando robustez para futuros sondeos de alto volumen.
• Capacidad de Procesamiento (Throughput): La adición de la rama de imagen reduce el throughput de la GPU por un factor de tres, pero solo reduce el throughput de la CPU en aproximadamente un 35%. Dado que el flujo de producción de los autores se ejecuta en CPUs, la carga computacional adicional se considera aceptable dado los aumentos en el rendimiento.

Despliegue en el Mundo Real
La variante de canal único de ZTF de ORACLE-2 Omni fue desplegada en el broker BOOM para el flujo de alertas de ZTF en mayo de 2026. En un periodo de monitoreo en tiempo real (15 de mayo – 11 de junio de 2026), el modelo procesó 344 nuevas fuentes con etiquetas espectroscópicas, logrando una F1 macro de nivel-1 de 0.88 y una precisión de 0.99. Identificó con éxito fuentes transitorias raras e interesantes para seguimiento.

Significancia y Reivindicaciones
El artículo sostiene que la combinación de múltiples modalidades (curvas de luz, metadatos e imágenes) mejora significativamente la clasificación en etapas tempranas, permitiendo un triaje más efectivo de los flujos de alertas de alto volumen. Las contribuciones clave son:

1. Marco Multimodal Práctico: Demostrar que los enfoques multimodales no solo son teóricamente superiores, sino también prácticamente desplegables en entornos de brokers en tiempo real.
2. Flexibilidad Jerárquica: Proporcionar un marco flexible que permite clasificaciones gruesas confiables en etapas tempranas y clasificaciones granulares a medida que se acumulan los datos.
3. Aprendizaje Implícito: Mostrar que los modelos de aprendizaje profundo pueden aprender implícitamente características salientes del entorno de la fuente (galaxias anfitrionas) a partir de imágenes sin necesidad de ingeniería de características explícita.
4. Ciencia Abierta: Liberar la familia de modelos ORACLE-2, las bases de imágenes y el marco de clasificación jerárquica como herramientas de pesos abiertos para facilitar su integración en otros procesos.

Los autores concluyen que, si bien persisten desafíos relacionados con las clases subrepresentadas y los cambios de distribución entre datos simulados y reales, los enfoques multimodales son esenciales para gestionar el volumen de datos de los sondeos actuales y futuros en el dominio del tiempo.