Resumen Técnico: Mantis: Modelo de Fundación Ligero para la Clasificación de Series Temporales

Planteamiento del Problema

Si bien los modelos de fundación han revolucionado los dominios de la visión y el lenguaje, su aplicación a la clasificación de series temporales (TSC) sigue estando subexplorada. La literatura existente se centra predominantemente en la previsión de series temporales, utilizando a menudo paradigmas de preentrenamiento (por ejemplo, reconstrucción enmascarada o modelado autorregresivo) que son inherentemente más adecuados para la imputación o la predicción que para las tareas discriminativas. Además, la clasificación de series temporales es un problema fundamental en diversos dominios como el reconocimiento de actividad humana, la atención médica, las finanzas y la neurociencia, pero existe una escasez de modelos de fundación diseñados específicamente para esta tarea. Además, los enfoques existentes suelen depender del ajuste fino (fine-tuning), mientras que existe la necesidad de capacidades robustas de extracción de características zero-shot que puedan generalizar sin necesidad de datos etiquetados extensos o actualizaciones de parámetros.

Metodología

Los autores presentan Mantis, un modelo de fundación ligero basado en Transformers, preentrenado exclusivamente en datos sintéticos mediante aprendizaje contrastivo autosupervisado. La metodología se basa en tres pilares técnicos fundamentales:

1. Tokenizador de Series Temporales Multivista

Para adaptar eficazmente la arquitectura Transformer a las series temporales, Mantis emplea una Unidad Generadora de Tokens dedicada que mapea las secuencias crudas a un número fijo de tokens (32) para controlar los costes de atención. Esta unidad procesa la entrada a través de tres ramas paralelas:

• Rama de Señal: Aplica normalización de instancia, seguida de convolución y agrupación media (mean pooling) para extraer características a nivel de parche.
• Rama Diferencial: Aplica el mismo procedimiento de parcheo a la diferencia temporal de primer orden de la señal para fomentar la estacionariedad y reducir la influencia de la tendencia a largo plazo.
• Rama de Estadísticas: Divide la señal bruta (no normalizada) en parches no superpuestos y codifica la media y la desviación estándar de cada parche utilizando un Codificador Escalar Multiescala.
  Estas características se concatenan y se proyectan linealmente en incrustaciones (embeddings) de tokens.

2. Preentrenamiento Contrastivo Sintético

A diferencia de muchos modelos de fundación preentrenados en conjuntos de datos del mundo real (que pueden solaparse con los benchmarks de evaluación), Mantis es preentrenado exclusivamente con datos sintéticos generados por CauKer.

• Objetivo: El modelo se entrena utilizando una pérdida contrastiva InfoNCE autosupervisada. El objetivo es aprender representaciones donde las aumentaciones de la misma serie temporal estén cerca (pares positivos) mientras que las representaciones de series diferentes estén alejadas (pares negativos).
• Aumentación: La estrategia de aumentación principal es el Recorte y Redimensionamiento Aleatorio (RCR), que recorta aleatoriamente un segmento de la serie temporal y lo redimensiona a la longitud original. Esto fomenta la invarianza al estiramiento y la compresión temporal, lo cual es crucial para la clasificación pero menos adecuado para la previsión.
• Racional: Los datos sintéticos proporcionan una alta diversidad y eficiencia de muestreo, asegurando que el modelo aprenda representaciones generalizables sin filtración de datos (data leakage) de los benchmarks estándar como UCR o UEA.

3. Metodología Mejorada en Tiempo de Prueba

Para cerrar la brecha de rendimiento entre los modelos de fundación y los enfoques especializados, los autores proponen un pipeline de inferencia que aprovecha el codificador congelado:

• Representaciones por Capas: En lugar de depender únicamente de la última capa del Transformer, el modelo utiliza representaciones de capas intermedias. Los experimentos muestran que las capas intermedias suelen codificar características más discriminativas para las tareas de clasificación, particularmente a medida que aumenta la escala de los datos de preentrenamiento.
• Agregación de Tokens de Salida: Los autores proponen concatenar el token [CLS] con la media de los tokens no de clasificación, capturando información complementaria que a menudo se descarta en los Transformers discriminativos estándar.
• Auto-Ensamble (SE): La serie temporal de entrada (y su diferencia de primer orden) se interpola a múltiples longitudes de secuencia. Dado que el número de tokens es fijo, variar la longitud de interpolación cambia el campo receptivo y el solapamiento entre tokens, generando embeddings complementarios que se concatenan.
• Fusión de Incrustaciones de Modelos Cruzados: Las incrustaciones de Mantis se combinan con las de otros modelos de fundación (por ejemplo, modelos basados en visión como TiViT-H o TiConvNext) para aprovechar aspectos complementarios de los datos de series temporales.

Contribuciones Clave

1. Arquitectura Mantis: Un modelo de fundación basado en Transformer y ligero, diseñado específicamente para la clasificación de series temporales, que cuenta con una novedosa estrategia de tokenización multivista.
2. Preentrenamiento Sintético: Demostración de que el preentrenamiento exclusivamente en datos sintéticos mediante aprendizaje contrastivo produce una fuerte generalización zero-shot, superando a los modelos preentrenados en datos del mundo real de tamaño similar.
3. Optimización en Tiempo de Prueba: Introducción de un conjunto de técnicas de inferencia (selección de capas intermedias, agregación de tokens, auto-ensamble y fusión de modelos cruzados) que aumentan significativamente el rendimiento zero-shot sin requerir ajuste fino.
4. Rendimiento de Vanguardia (SOTA): Establecimiento de nuevos resultados de vanguardia en múltiples benchmarks (UCR, UEA, HAR, EEG) en el régimen de codificador congelado.

Resultados Experimentales

Se realizaron experimentos extensos en cuatro colecciones de conjuntos de datos diversos:

• Archivo UCR (128 conjuntos de datos univariantes): Mantis y sus variaciones (SE-Mantis, modelos fusionados) superaron consistentemente a los modelos de fundación existentes (por ejemplo, MOMENT, Chronos2, TiRex) y a los baselines especializados (por ejemplo, TS2Vec, Catch22+). Mantis alcanzó una precisión promedio de 0.8195 en el benchmark completo de UCR, superando al siguiente mejor modelo de fundación.
• Archivo UEA (27 conjuntos de datos multivariantes): Mantis superó significativamente a otros modelos por más de un 2%, logrando una precisión de 0.7420.
• Reconocimiento de Actividad Humana (HAR) y EEG: Mantis demostró un fuerte rendimiento en benchmarks específicos de dominio, incluyendo datos de unidades de medición inercial y señales de interfaz cerebro-computadora, superando a menudo las adaptaciones basadas en visión y otros TSFM.
• Eficiencia: Mantis es altamente eficiente, con solo 2.2 millones de parámetros (después de la poda) e tiempos de inferencia comparables a los baselines estadísticos como Catch22+, lo que lo hace adecuado para entornos con recursos computacionales limitados.

Significado y Reivindicaciones

El artículo afirma que Mantis establece un nuevo estado del arte para la clasificación de series temporales zero-shot, demostrando que:

• El Preentrenamiento Específico de la Tarea Importa: Los modelos preentrenados con objetivos alineados con la clasificación (pérdida contrastiva) y arquitecturas adaptadas para TSC superan a los modelos de previsión de propósito general.
• Los Datos Sintéticos son Viables: El preentrenamiento en datos sintéticos es una estrategia altamente eficiente en términos de muestras que evita la filtración de datos y fuerza una robusta generalización fuera de la distribución (out-of-distribution).
• Las Capas Intermedias son Críticas: Las "leyes de escala" del preentrenamiento en la clasificación de series temporales se desbloquean en el tiempo de prueba al aprovechar las representaciones de las capas intermedias en lugar de solo la última capa.
• Despliegue Ligero: Se puede lograr un alto rendimiento con modelos ligeros que no requieren un ajuste fino pesado, facilitando el despliegue en entornos con restricciones de recursos.

Los autores enfatizan que su trabajo cierra la brecha entre el éxito de los modelos de fundación en otras modalidades y las necesidades específicas de la clasificación de series temporales, proporcionando una solución robusta, ligera y generalizable para diversos dominios de aplicación.