Unsupervised Feature Based Algorithms for Time Series Extrinsic Regression

Resumen Técnico: Algoritmos Basados en Características No Supervisados para la Regresión Externa de Series Temporales

Definición del Problema
La Regresión Externa de Series Temporales (TSER) implica construir un modelo predictivo para estimar una variable de respuesta continua basada en un conjunto de series temporales de entrenamiento, donde la respuesta no se deriva directamente de la serie en sí misma (a diferencia de la predicción). Mientras que la Clasificación de Series Temporales (TSC) y la predicción están bien estudiadas, la TSER ha recibido menos atención. Un estudio previo de referencia [5] estableció un archivo de 19 problemas y evaluó 13 algoritmos, encontrando que el aprendizaje profundo (InceptionTime) y los métodos basados en kernels (ROCKET) funcionaron bien, aunque ningún algoritmo individual superó significativamente a los demás. Los autores argumentan que el campo requiere más investigación para mejorar la precisión del modelo y abordar la falta de progreso desde la referencia inicial.

Metodología
El estudio expande el panorama de la TSER a través de tres pasos metodológicos principales:

1. Expansión del Archivo: Los autores aumentaron el archivo de referencia de la TSER de 19 a 63 conjuntos de datos. Esta nueva colección incluye 24 conjuntos de datos univariados y 20 multivariados (además de los 19 originales), obtenidos de competiciones de Kaggle y repositorios de investigación aplicada. Los conjuntos de datos cubren diversos dominios como análisis económico, monitoreo de energía, ciencias ambientales, salud de equipos y análisis de sentimientos. El preprocesamiento de datos involucró interpolación lineal para valores faltantes y truncamiento para series de longitudes desiguales.
2. Adaptación e Implementación de Algoritmos: El estudio adapta algoritmos de TSC de última generación para tareas de regresión. El enfoque central está en enfoques basados en características no supervisados, que transforman las series temporales en vectores de características sin utilizar la variable objetivo durante la fase de transformación.
   • FreshPRINCE: Una tubería que combina la biblioteca de extracción de características TSFresh (generando ~800 características no supervisadas) con un regresor Bosque de Rotación (RotF). El RotF se adaptó para regresión reemplazando el clasificador C4.5 con un regresor CART y promediando las predicciones.
   • DrCIF (Bosque de Intervalos Canónicos de Representación Diversa): Un conjunto basado en intervalos. Divide las series temporales en tres representaciones: la serie original, las diferencias de primer orden y los periodogramas. Luego selecciona intervalos aleatorios dentro de estas representaciones y extrae características de resumen (utilizando el conjunto Catch22 más siete estadísticas estándar como la media y la pendiente). Se entrena un conjunto de regresores CART sobre estas características concatenadas.
   • Otros Líneas Base: El estudio evalúa un total de 21 regresores, incluidos modelos de ML estándar (Ridge, SVR, Random Forest, XGBoost), modelos lineales funcionales (FPCR), métodos basados en distancias (kNN con Euclídea y DTW), métodos convolucionales/basados en kernels (ROCKET, MultiROCKET) y arquitecturas de aprendizaje profundo (FCN, ResNet, InceptionTime individual y conjunto, CNN).
3. Diseño Experimental: Los experimentos se realizaron utilizando 30 remuestreos (divisiones de entrenamiento/prueba) por conjunto de datos para garantizar robustez estadística. El rendimiento se midió utilizando el Error Cuadrático Medio Raíz (RMSE). La significancia estadística se evaluó mediante pruebas de rangos con signo de Wilcoxon por pares con corrección de Holm, visualizadas mediante diagramas de Diferencia Crítica (CD).

Contribuciones Clave

1. Expansión de Conjuntos de Datos: La liberación de 44 nuevos conjuntos de datos, llevando el archivo total de la TSER a 63 problemas.
2. Innovación Algorítmica: La introducción de dos nuevos algoritmos de TSER, FreshPRINCE y DrCIF, adaptados de metodologías de TSC exitosas.
3. Evaluación Exhaustiva: Una evaluación rigurosa de 21 regresores distintos, incluidos modelos estándar listos para usar, análisis funcional y aprendizaje profundo, proporcionando una nueva línea base para el campo.
4. Código Abierto: Provisión de implementaciones compatibles con scikit-learn y directrices detalladas de reproducibilidad.

Resultados

• Reproducción de Línea Base: En los 19 conjuntos de datos originales, el estudio reprodujo los hallazgos de [5], confirmando que ningún algoritmo individual dominó significativamente a los demás, aunque el ordenamiento de los algoritmos cambió ligeramente con correcciones estadísticas menos conservadoras.
• Rendimiento del Archivo Extendido: En el archivo completo de 63 conjuntos de datos, los regresores estándar como Random Forest y Bosque de Rotación (RotF) superaron a muchos métodos de aprendizaje profundo y kernels específicos de series temporales. Notablemente, RotF surgió como un algoritmo estándar de alto rendimiento.
• Superioridad de las Nuevas Propuestas: El estudio demuestra que FreshPRINCE y DrCIF superan significativamente a todos los otros 18 regresores probados, incluido el regresor estándar de mejor rendimiento (RotF) y el conjunto de aprendizaje profundo (InceptionTimeE).
  • DrCIF y FreshPRINCE lograron los rangos promedio de RMSE más bajos.
  • InceptionTimeE, aunque a menudo clasificado como el mejor en problemas específicos, mostró alta varianza e inestabilidad, fallando frecuentemente en encontrar relaciones predictivas en conjuntos de datos donde otros modelos tuvieron éxito.
  • Estudio de Ablación: Para FreshPRINCE, el estudio confirmó que la ganancia de rendimiento proviene de la combinación específica de la transformación TSFresh y el regresor RotF; usar TSFresh con otros regresores (como Random Forest o XGBoost) no produjo los mismos resultados que el emparejamiento con RotF.
• Características de los Datos: El rendimiento varió según las propiedades de los datos. DrCIF funcionó relativamente mejor en series cortas y datos multivariados con menos canales, mientras que FreshPRINCE destacó con conjuntos de entrenamiento más grandes y conjuntos de datos con más de 5 canales.

Significado y Afirmaciones
El artículo afirma que el campo de la TSER ha estado estancado y que los enfoques propuestos basados en características no supervisadas representan un salto significativo hacia adelante. Los autores afirman que:

• Ningún regresor previamente evaluado puede superar una adaptación de regresión de un clasificador estándar (específicamente Bosque de Rotación).
• FreshPRINCE y DrCIF son los únicos modelos que superan significativamente al regresor estándar Bosque de Rotación, estableciendo un nuevo estado del arte para la TSER.
• La diversidad en el rendimiento entre los algoritmos principales sugiere que los conjuntos heterogéneos podrían ser un área fructífera para la investigación futura.
• El estudio proporciona una referencia más robusta y grande (63 conjuntos de datos) que revela limitaciones en conclusiones anteriores extraídas de conjuntos de datos más pequeños.

Los autores permanecen modestos respecto a las limitaciones, señalando que los datos no se muestrearon aleatoriamente (potencialmente sobrerrepresentando ciertos dominios), no se realizó ajuste de hiperparámetros debido a restricciones computacionales y no se realizaron análisis diagnósticos complejos (como análisis de residuos). Sin embargo, concluyen que su trabajo proporciona una contribución significativa para avanzar en el campo de la TSER al demostrar que la extracción de características no supervisada combinada con regresores de conjunto robustos es actualmente el enfoque más efectivo.