Domain-Informed Multi-View Self-Distillation for Astronomical Light-Curve Representation Learning with JEPA

Resumen Técnico: Aprendizaje de Representaciones de Curvas de Luz Astronómicas mediante Auto-destilación Multivista Informada por el Dominio con JEPA

Planteamiento del Problema

Las curvas de luz astronómicas, que describen las variaciones temporales de brillo de objetos celestes, son fundamentales para comprender el universo dinámico. Sin embargo, el aprendizaje de representaciones globales robustas a partir de estas series temporales es un desafío debido a tres características distintivas que difieren de los datos de series temporales estándar:

1. Muestreo Extremadamente Irregular: Las observaciones terrestres están limitadas a la noche, lo que crea brechas inevitables entre noches y estaciones, además de cadencias intra-noche irregulares.
2. Ruido Complicado: El ruido surge de efectos cuánticos, turbulencia atmosférica, clima e instrumentación. Crucialmente, este ruido está correlacionado temporalmente y, para fuentes tenues, el ruido puede superar la señal misma.
3. Amplio Rango Dinámico de Escalas Temporales: Los fenómenos abarcan desde minutos hasta años, y un solo objeto puede exhibir múltiples periodos de variación.

Los modelos de fundación de series temporales ("off-the-shelf") existentes, como las arquitecturas basadas en Transformers, suelen tener un rendimiento inferior en curvas de luz. Los embeddings temporales estándar no logran capturar la densidad de muestreo, y el pre-entrenamiento autorregresivo (por ejemplo, estilo GPT) tiende a sobreajustarse a secuencias con alto ruido. En consecuencia, estos modelos frecuentemente no logran superar a las características diseñadas a mano en benchmarks como StarEmbed.

Metodología

Los autores proponen un marco de Auto-destilación Multivista Informada por el Dominio basado en la Arquitectura de Predicción de Embedding Conjunto (JEPA). La innovación central radica en combinar sesgos inductivos específicos del dominio con una estrategia de aprendizaje multivista para manejar la irregularidad y el ruido.

1. Arquitectura Multivista
El modelo procesa tres vistas distintas de cada curva de luz, asumiendo que comparten semánticas similares derivadas de los datos brutos:

• Secuencia Bruta ($T$): Los datos originales de la serie temporal $\{(t_i, m_{t_i}, e_{t_i})\}$.
• Periodograma de Lomb-Scargle Generalizado (GLS) ($P$): Un espectro de potencia utilizado para extraer la periodicidad y diagnosticar objetivos con múltiples modos de oscilación.
• Curva de Luz Plegada en Fase ($T_p$): Los datos brutos plegados sobre el periodo dominante ($P_o$) para extraer la morfología de las variaciones periódicas.

2. Codificadores Especializados
Cada vista es procesada por un codificador Transformer separado equipado con dos componentes novedosos:

• Embedding Posicional Rotatorio Continuo (C-RoPE): A diferencia de los embeddings posicionales discretos, C-RoPE mapea coordenadas temporales continuas $t$ a rotaciones complejas en el espacio oculto. Esto asegura que el mecanismo de atención sea invariante a los desplazamientos de tiempo absoluto y dependa solo de los intervalos relativos ($\Delta t$), acomodando espaciamientos temporales arbitrarios.
• Embedding Numérico Consciente del Error (EANE): En lugar de tratar las mediciones como estimaciones puntuales, EANE las modela como distribuciones de probabilidad $N(m_{t_i}, e_{t_i}^2)$. Calcula el vector de embedding esperado integrando sobre la PDF Gaussiana de la incertidumbre de la medición, propagando la información del error a través de la red.

3. Objetivo de Entrenamiento: LeJEPA
El modelo se entrena utilizando la regularización LeJEPA, una pérdida de auto-destilación multivista. El objetivo consta de dos términos:

• Pérdida de Alineación ($L_{inv}$): Minimiza la distancia entre los embeddings latentes de las tres vistas y su centroide, asegurando la consistencia semántica entre las vistas.
• Pérdida de Regularización ($L_{SIGReg}$): Alinea la función característica empírica de las características proyectadas con una distribución Gaussiana estándar. Esto optimiza el espacio latente para el linear probing y el k-NN basado en radio.

Contribuciones Clave

• Primer Modelo de Deep Learning que Supera las Características Diseñadas a Mano: El modelo propuesto es el primer modelo de fundación que supera a las características diseñadas a mano (basadas en FATS) en el benchmark de clasificación StarEmbed en 15 de 16 métricas.
• Nuevos Mecanismos de Embedding: Introducción de C-RoPE para el muestreo irregular y EANE para la incertidumbre de la medición, abordando características específicas de los datos astronómicos que los modelos genéricos ignoran.
• Estrategia Multivista Informada por el Dominio: Demostración de que la combinación de vistas (bruta, espectral [GLS] y plegada en fase) mediante auto-destilación produce representaciones superiores en comparación con los enfoques de una sola vista.
• Adaptabilidad Cross-Domain: El marco muestra potencial más allá de la astronomía, logrando resultados SOTA o competitivos en 5 de 12 conjuntos de datos de series temporales irregulares en el benchmark PYRREGULAR tras la adaptación de dominio.

Resultados Experimentales

• Benchmark StarEmbed: En la tarea de clasificación, el modelo completo logró un rendimiento superior en 15/16 métricas en comparación con las características diseñadas a mano y otros baselines (Chronos-2, Astromer-2, FALCO).
• Aprendizaje Few-Shot: En linear probing con datos limitados, el modelo superó consistentemente a las características diseñadas a mano. Con 1 muestra por clase, alcanzó un macro-F1 de 42.56 ± 7.21, comparado con 30.28 de las características diseñadas a mano. Con 100 muestras por clase, alcanzó 63.58 ± 1.20.
• Estudios de Ablación:
  • Eliminar C-RoPE o EANE degradó el rendimiento, confirmando la necesidad de manejar el tiempo irregular y la incertidumbre.
  • Eliminar cualquiera de las tres vistas (Bruta, GLS, Plegada en Fase) redujo la precisión, validando el enfoque multivista.
  • Usar la pérdida CLIP estándar en lugar de LeJEPA resultó en un menor rendimiento.
• Aplicaciones:
  • Búsqueda de Similitud: Recuperó exitosamente curvas de luz de la misma clase (ej. variables RRc) basándose en la distancia L2 en el espacio de embedding.
  • Estimación de Parámetros: Los linear probes sobre los embeddings recuperaron exitosamente el periodo y la amplitud de señales sinusoidales ($R^2 \approx 0.81$ y $0.99$), aunque la fase no fue recuperada debido a la invariancia a la traslación temporal del modelo.
  • Detección de Deriva: El modelo detectó eficazmente derivas de cero de fotometría, donde EANE y las entradas multivista mejoraron la detección de pequeñas derivas.

Significado y Reivindicaciones

El artículo argumenta que el aprendizaje de representaciones de series temporales exitoso requiere sesgos inductivos específicos del dominio en lugar de una arquitectura universalmente óptima. Los autores afirman que los modelos "off-the-shelf" fallan porque carecen de los priors específicos necesarios para los datos astronómicos (ej. invariancia a la traslación temporal, propagación de la incertidumbre y extracción de periodicidad).

Al integrar el conocimiento del dominio (GLS, plegado de fase) directamente en la arquitectura y el objetivo de entrenamiento, el método propuesto cierra la brección entre la ingeniería de características diseñada a mano y el aprendizaje profundo. Los resultados sugieren que, si bien las vistas específicas (GLS/Plegado en Fase) son difíciles de reemplazar por módulos aprendibles para curvas de luz debido a la naturaleza no diferenciable de las frecuencias de Nyquist en el muestreo irregular, la estrategcia de auto-destilación multivista es transferible. Los autores concluyen que, para otros dominios, un éxito similar requiere adaptar las vistas y los codificadores a la dinámica subyacente específica de las series temporales de ese dominio.