StarEmbed: Benchmarking Time Series Foundation Models on Astronomical Observations of Variable Stars

1. El Problema

Los Modelos Fundacionales de Series Temporales (TSFMs) han demostrado una gran capacidad para aprender representaciones generales en dominios como finanzas, comercio y tráfico. Sin embargo, estos modelos no han sido entrenados con datos astronómicos, a pesar de la abundancia de datos en este campo.

Las series temporales astronómicas (curvas de luz de estrellas) presentan desafíos únicos que difieren sustancialmente de los conjuntos de datos estándar utilizados para preentrenar TSFMs:

• Muestreo Irregular: Las observaciones no ocurren en intervalos de tiempo constantes debido a ciclos día/noche, estaciones y condiciones meteorológicas.
• Heterocedasticidad: La incertidumbre en las mediciones varía significativamente entre observaciones individuales.
• Datos Multivariados: Las observaciones se realizan en múltiples bandas de filtro (longitudes de onda), proporcionando información de "color" además de brillo.
• Falta de Benchmarks: No existía un estándar público y riguroso para evaluar cómo se generalizan los TSFMs genéricos en este dominio específico, lo que dificultaba comparar las representaciones aprendidas por modelos fundacionales frente a los métodos tradicionales de astrofísica.

2. Metodología

Los autores introducen StarEmbed, el primer benchmark público estandarizado para evaluar TSFMs en curvas de luz estelares.

• Conjunto de Datos:

  • Se utilizaron datos del Zwicky Transient Facility (ZTF), específicamente la liberación de datos DR23.
  • Se integraron con el Catálogo de Estrellas Variables Periódicas de las Encuestas Catalina (CSPVS), que proporciona etiquetas expertas verificadas.
  • El dataset resultante contiene ~40,000 curvas de luz de estrellas variables periódicas, divididas en 7 clases astrofísicas (EW, EA, RRab, RRc, RRd, RS CVn, LPV).
  • Se establecieron divisiones fijas de entrenamiento, validación y prueba (proporción 7:1:2) para garantizar la reproductibilidad.

• Modelos Evaluados:
  Se compararon tres TSFMs de última generación (entrenados en datos no astronómicos) y un modelo específico del dominio:

  1. Moirai: Modelo fundacional diseñado para cualquier frecuencia de muestreo y dimensionalidad.
  2. Chronos y Chronos-Bolt: Modelos que tratan el pronóstico como un problema de modelado de lenguaje (tokenización de series temporales).
  3. Astromer: Un transformador específico para astronomía preentrenado en datos de la encuesta MACHO.
  4. Baseline (Referencia): Extracción de características manuales (hand-crafted features) utilizando paquetes como FATS y light_curve (69 características por banda, total 138), seguida de clasificadores tradicionales (Random Forest, MLP, etc.).

• Tareas de Evaluación (Zero-Shot):
  Los modelos se evaluaron sin fine-tuning (ajuste fino) en los datos astronómicos, utilizando solo sus representaciones (embeddings) congeladas:

  1. Agrupamiento No Supervisado (Clustering): Uso de K-means y agrupamiento jerárquico (Ward) para ver si las clases naturales se separan.
  2. Clasificación Supervisada: Entrenamiento de cabezales ligeros (k-NN, regresión logística, Random Forest, MLP) sobre los embeddings fijos.
  3. Detección de Fuentes Fuera de Distribución (OOD): Identificación de estrellas raras o anómalas no presentes en las clases de entrenamiento, utilizando un algoritmo de "Bosque de Aislamiento Multi-clase".

3. Contribuciones Clave

1. StarEmbed: Creación del primer benchmark estandarizado para TSFMs en datos astronómicos, con un dataset curado de ~40k estrellas y divisiones fijas.
2. Evaluación de Transferencia: Demostración de cómo los modelos fundacionales genéricos (entrenados en datos no astronómicos) se comportan frente a datos con muestreo irregular y heterocedasticidad.
3. Liberación de Recursos: Publicación de los embeddings, el dataset, el código y la documentación para fomentar la comparación justa y la reproducibilidad.
4. Cambio de Paradigma: Evidencia que sugiere un cambio desde pipelines supervisados específicos hacia el uso de representaciones fundacionales genéricas para el análisis de datos a escala de petabytes.

4. Resultados Principales

• Agrupamiento (Clustering):

  • Los modelos Chronos (especialmente Chronos-tiny) lograron un rendimiento excelente, superando a Moirai y Astromer, y acercándose a las características manuales en métricas de consistencia de pares (ARI).
  • Astromer (específico del dominio) tuvo un rendimiento pobre en configuración zero-shot, con sus embeddings colapsando hacia direcciones similares, lo que indica falta de estructura discriminativa sin ajuste fino.
  • Las características manuales obtuvieron el mejor rendimiento global en separabilidad de clases.

• Clasificación Supervisada:

  • Las características manuales con un clasificador Random Forest siguen siendo el estado del arte (SOTA), alcanzando un F1 de ~0.804.
  • Chronos-tiny se posicionó como el segundo mejor, superando consistentemente a Moirai y Astromer en casi todas las métricas, demostrando que puede extraer información útil para la clasificación sin haber visto datos astronómicos previamente.
  • Se observó que las características más importantes en el baseline manual eran el periodo de variabilidad, el cual los TSFMs parecen tener dificultades para capturar perfectamente debido al muestreo irregular.

• Detección de Fuentes OOD (Fuera de Distribución):

  • Chronos-Bolt-tiny superó drásticamente a todos los demás modelos, incluidas las características manuales, en la detección de fuentes anómalas.
  • Logró una pureza de ~52-56% en el top 10% de puntuaciones OOD, lo que representa una mejora de ~5x en eficiencia de búsqueda en comparación con representaciones aleatorias. Esto sugiere que su objetivo de entrenamiento basado en parches crea una variedad de "inliers" más compacta, haciendo que las anomalías sean más fáciles de detectar.

• Limitaciones:

  • Los TSFMs actuales, al no tratar nativamente el muestreo irregular, pierden información crítica sobre el periodo de la estrella, lo que limita su rendimiento en clasificación comparado con métodos que calculan el periodo explícitamente (como el periodo de Lomb-Scargle).

5. Significado e Impacto

El trabajo StarEmbed marca un hito en la intersección entre la astronomía y la inteligencia artificial:

• Validación de Generalización: Demuestra que los TSFMs genéricos tienen un potencial significativo para generalizar a dominios científicos complejos y no vistos, incluso sin ajuste fino.
• Paradigma Futuro: Sugiere que la astronomía del futuro, que generará petabytes de datos (ej. Observatorio Vera C. Rubin), podría beneficiarse de adoptar representaciones fundacionales genéricas con cabezales ligeros, en lugar de construir pipelines supervisados específicos para cada tarea.
• Desafío para la IA: Señala la necesidad de desarrollar TSFMs que incorporen mecanismos arquitectónicos para manejar el muestreo irregular y la heterocedasticidad, o que incluyan datos científicos en sus conjuntos de preentrenamiento, para cerrar la brecha de rendimiento con los métodos tradicionales de astrofísica.

En resumen, StarEmbed establece que, aunque las características manuales siguen siendo superiores para tareas de clasificación estándar, los modelos fundacionales como Chronos ya ofrecen capacidades de detección de anomalías y generalización que podrían transformar el análisis de datos astronómicos a gran escala.