Contrast All the Time: Learning Time Series Representation from Temporal Consistency

Resumen Técnico: CaTT (Contrast All The Time)

Planteamiento del Problema
El aprendizaje de representaciones de series temporales (TS) es crítico para tareas de uso descendente (downstream), sin embargo, los datos de TS no etiquetados a gran escala siguen siendo infrautilizados debido al alto costo de la anotación. Aunque el aprendizaje contrastivo autosupervisado ha tenido éxito en la visión por computadora (CV) y el procesamiento de lenguaje natural (NLP), su aplicación a las series temporales enfrenta desafíos específicos. Los métodos contrastivos de TS existentes suelen depender de aumentos de datos, que pueden introducir sesgos inductivos, o dependen de heurísticas de selección de pares (por ejemplo, seleccionar pares positivos/negativos específicos de un lote). Estas estrategias de selección suelen ser ineficientes, no logran aprovechar la dimensión temporal completa de los datos y presentan dificultades de escalabilidad en entornos de transmisión (streaming) dinámicos y del mundo real. Además, muchos enfoques no utilizan eficazmente la consistencia temporal inherente donde los pasos de tiempo adyacentes deberían compartir naturalmente representaciones similares.

Metodología
Los autores proponen CaTT (Contrast All The Time), un nuevo marco de aprendizaje contrastivo no supervisado diseñado para aprender representaciones de series temporales aprovechando la estructura temporal natural de los datos sin depender de aumentos de datos o heurísticas complejas de selección de pares.

• Concepto Central: CaTT se aparta de los enfoques convencionales al contrastar todos los pasos de tiempo en paralelo. En lugar de seleccionar un único par positivo por ancla, utiliza la dimensión temporal completa, tratando los pasos de tiempo adyacentes como pares positivos implícitos y todos los demás pasos no adyacentes como negativos.
• Pérdida MP-Xent: El marco introduce una pérdida de Entropía Cruzada de Múltiples Positivos (MP-Xent). Esta es una adaptación de la clásica pérdida N-pair (Sohn, 2020) y la pérdida NT-Xent (SimCLR).
  • Para un lote de $N$ secuencias con longitud $T$, CaTT forma una pérdida NT-tuple.
  • Para un paso de tiempo de referencia $z_{i,t}$, los pasos adyacentes ($z_{i,t-1}$ y $z_{i,t+1}$) sirven como múltiples pares positivos.
  • Todos los demás pasos en la secuencia (excluyendo la referencia y sus vecinos inmediatos) sirven como pares negativos.
  • La función de pérdida está formulada para maximizar la similitud del ancla con sus múltiples positivos mientras minimiza la similitud con todos los negativos, todo lo cual se computa eficientemente mediante operaciones matriciales para evitar la alta complejidad computacional del particionamiento (slicing) ingenuo.
• Arquitectura: El método emplea una red neuronal convolucional (CNN) 1D simple como columna vertebral (backbone) del codificador. La entrada es una secuencia de serie temporal $x$ de longitud $T$, la cual es proyectada en un espacio de representación $z$. El entrenamiento es de extremo a extremo (end-to-end), requiriendo ningún paso de identificación separado para los pares positivos.
• Preprocesamiento: Para conjuntos de datos específicos (por ejemplo, señales médicas), los autores aplican la Transformada de Fourier de Tiempo Corto (STFT) a subventanas para generar instancias temporalmente dependientes, asegurando que la suposición de que las instancias consecutivas comparten características similares se cumpla.

Contribuciones Clave

1. Marco CaTT: Un nuevo marco de aprendizaje contrastivo no supervisado para series temporales que integra la selección de pares positivos directamente en el proceso de aprendizaje utilizando una formulación de NT-par, eliminando la necesidad de heurísticas externas de selección de pares.
2. Pérdida MP-Xent: La adaptación de la pérdida N-pair para introducir múltiples pares positivos (pasos de tiempo adyacentes) en el objetivo de entropía cruzada escalada por temperatura normalizada, lo que acelera el aprendizaje al considerar más pares por actualización y mejora la convergencia.
3. Evaluación Exhaustiva: Los autores realizaron experimentos en 16 conjuntos de datos públicos a través de cuatro tareas distintas de uso descendente:
   • Ajuste fino lineal para clasificación (backbone congelado).
   • Clasificación semisupervisada.
   • Pronóstico de series temporales (corto y largo plazo).
   • Detección de anomalías.

Resultados
El artículo reporta que CaTT produce embeddings superiores comparados con las líneas base de vanguardia (incluyendo TS2Vec, InfoTS, CoST, SimMTM y MF-CLR) en todas las tareas evaluadas:

• Clasificación: En los conjuntos de datos HARTH, SLEEPEEG y ECG, CaTT alcanzó la mayor precisión, puntuaciones F1, precisión (precision) y exhaustividad (recall). Notablemente, logró estos resultados con tiempos de entrenamiento significativamente menores (por ejemplo, 6.12s frente a 2322.75s para MF-CLR en HARTH).
• Aprendizaje Semisupervisado: CaTT demostró robustez con datos etiquetados limitados (5%, 10%, 20%), superando consistentemente a las líneas base en precisión.
• Pronóstico: En los conjuntos de datos ETT y Weather, CaTT entregó resultados competitivos de Error Cuadrático Medio (MSE) y Error Absoluto Medio (MAE), a menudo superando o igualando a modelos especializados en pronósticos como MF-CLR y CoST, manteniendo una eficiencia de preentrenamiento superior.
• Detección de Anomalías: En el benchmark TSB-AD, CaTT mostró un rendimiento competitivo en métricas de detección (VUS-PR) y fue el método más rápido entre los probados.
• Eficiencia: Un hallazgo principal es que CaTT es significamente más rápido de entrenar que los enfoques contrastivos existentes, lo que lo hace adecuado para aplicaciones a gran escala.

Significancia y Reivindicaciones
El artículo afirma que CaTT representa un cambio en cómo se utiliza la consistencia temporal en el aprendizaje contrastivo. Al alejarse del aumento de datos y de la selección selectiva de pares hacia un enfoque de "contrastar todo el tiempo", el método aprende directamente de la estructura natural de los datos temporales. Los autores aseguran que:

• El uso de múltiples pares positivos (pasos de tiempo adyacentes) dentro de una pérdida NT-tuple es crucial para aprender representaciones semánticamente significativas y asegurar la estabilidad del entrenamiento (los enfoques de un solo positivo resultaron frecuentemente en pérdidas NaN).
• El enfoque es altamente eficiente, ofreciendo un equilibrio de alto rendimiento y bajo costo computacional que es particularmente adecuado para aplicaciones de series temporales dinámicas y del mundo real donde la velocidad de inferencia y la escalabilidad son críticas.
• El método es versátil, desempeñándose eficazmente a través de tareas de clasificación, pronóstico y detección de anomalías sin requerir cambios arquitectónicos específicos de la tarea.

El código fuente del método está disponible públicamente, facilitando la reproducibilidad y la investigación posterior.