RhyMix: A Lightweight Adaptive Multi-Rhythm Network for Long-Term Time Series Forecasting

Resumen Técnico: RhyMix

Planteamiento del Problema
Las series temporales multivariantes (MTS) del mundo real exhiben dinámicas complejas caracterizadas por patrones temporales simultáneos, incluyendo fluctuaciones de corto plazo, ciclos estacionales periódicos, tendencias de largo plazo y cambios abruptos irregulares. Las arquitecturas de pronóstico existentes suelen depender de estrategias de modelado temporal de vía única que luchan por capturar esta diversidad de manera simultánea. Los modelos basados en Transformers capturan dependencias de largo alcance pero a menudo suavizan las variaciones locales y sufren de una complejidad cuadrática. Las redes convolucionales capturan patrones locales pero tienen campos receptivos limitados, mientras que los modelos lineales son eficientes pero no logran capturar la dinámica no lineal. Además, muchos modelos de vanguardia (SOTA) dependen de supuestos estructurales rígidos (por ejemplo, tamaños de parche fijos, MLPs uniformes) o requieren recursos computacionales pesados, como pasos de precomputación (por ejemplo, SVD) o modelos base externos, lo que limita su capacidad de despliegue en entornos de borde (edge) con recursos limitados. Existe una necesidad crítica de una arquitectura que sea ligera, computacionalmente eficiente (complejidad lineal) y capaz de modelar adaptativamente la dinámica temporal multiescala sin sacrificar la precisión.

Metodología
Los autores proponen RhyMix (RHYthm MIXture), una arquitectura híbrida ligera diseñada en torno a un paradigma de modelado de doble vía paralela con mecanismos de compuerta adaptativa (adaptive gating). La arquitectura procesa las señales temporales a través de dos ramas de codificación coordinadas:

1. Vía de Pronóstico Cíclico: Esta rama incorpora un sesgo inductivo estacional explícito mediante cuatro tablas de incrustación cíclica aprendibles con periodos $P \in \{12, 24, 48, 168\}$ (que representan ciclos de medio día, diario, dos días y semanal). Utiliza pesos de periodo aprendibles para enfatizar dinámicamente las periodicidades relevantes para cada muestra de entrada.
2. Vía MSTCN-CA (Red de Convolución Temporal Multiescala con Atención de Canal): Esta rama emplea una red de convolución temporal ligera que consiste en dos bloques de Convolución Temporal Multiescala (TMS) apilados. Cada bloque utiliza cuatro convoluciones depthwise dilatadas en paralelo con tasas de dilatación $d \in \{1, 2, 4, 8\}$ para capturar dependencias temporales a través de diferentes campos receptivos. Integra atención de canal para modular las características multiescala basadas en las características de la entrada.

Compuerta Adaptativa y Fusión:
Una innovación clave es el uso de compuertas adaptativas en múltiples niveles:

• Compuerta de Vía (Path Gating): Una compuerta híbrida (MLP) equilibra dinámicamente las contribuciones de las vías Cíclica y MSTCN-CA basándose en las características de la entrada.
• Compuerta de Cabezal (Head Gating): Una compuerta de vía combina dinámicamente cuatro cabezales de pronóstico especializados para cada muestra y canal. Estos cabezales capturan distintos patrones temporales:
  1. Proyección Directa: Una capa lineal.
  2. Descomposición Tendencia-Estacionalidad: Utilizando una media móvil adaptativa.
  3. Extracción de Patrones Locales: Utilizando convoluciones depthwise.
  4. Fusión Periódica: Utilizando CNNs 2D para fusionar las entradas con las incrustaciones cíclicas.

El modelo utiliza la Normalización de Instancia Reversible (RevIN) para la normalización y desnormalización, asegurando el enfoque en los patrones temporales relativos. Toda la arquitectura mantiene una complejidad lineal $O(L \cdot C)$ con respecto a la longitud de la secuencia ($L$) y los canales ($C$), evitando los costos cuadráticos asociados con la autoatención o las proyecciones basadas en SVD.

Contribuciones Clave

1. Diseño de Arquitectura: Introducción de RhyMix, una arquitectura híbrida que combina el modelado cíclico de periodo explícito con la extracción de características multiescala basada en TCN mediante un diseño de doble vía paralela.
2. Mecanismo Adaptativo: Implementación de mecanismos de compuerta adaptativa que combinan dinámicamente cuatro cabezales de pronóstico especializados y equilibran dos vías de codificación por cada muestra, permitiendo que el modelo se adapte a patrones temporales específicos sin supuestos estructurales fijos.
3. Eficiencia: Logro de un rendimiento SOTA con un tamaño de modelo compacto de aproximadamente 40,269 parámetros (157 KB) y complejidad lineal, reduciendo significativamente el recuento de parámetros en comparación con modelos SOTA recientes (por ejemplo, 10 veces menos que Time-o1).
4. Desempeño: Validación en 12 conjuntos de datos de referencia diversos (electricidad, tráfico, clima, finanzas) demostrando un rendimiento superior o competitivo, logrando resultados SOTA en 10 de los 12 conjuntos de datos.

Resultados Experimentales
Los autores evaluaron RhyMix en 12 conjuntos de datos de referencia disponibles públicamente (ETTh1/2, ETTm1/2, ECL, Traffic, Weather, Exchange, PEMS03/4/7/8) con ventanas de observación de $L=96$ y horizontes de hasta $H=720$.

• Precisión: RhyMix alcanzó el mejor desempeño (menor MSE/MAE) en 10 de los 12 conjuntos de datos. Superó a bases recientes incluyendo a Time-o1, TimeMixer++, GCMNet, SEG-MOE, SOFTS, PatchTST e iTransformer.
• Eficiencia: El modelo demostró una latencia de inferencia de 4.47 ms por muestra y una huella de memoria de inferencia pico de 9.35 MB.
• Estudios de Ablación: La eliminación sistemática de componentes (Vía Cíclica, Vía MSTCN-CA, Compuertas Adaptativas, Características Periódicas, Conv Local) confirmó que cada módulo contribuye sinérgicamente. Las características periódicas fueron identificadas como el componente más crítico, mientras que el diseño de doble vía proporcionó ganancias complementarias dependiendo de las características del conjunto de datos (por ejemplo, Vía Cíclica para ECL, MSTCN-CA para ETTh1).
• Comparación de Complejidad: RhyMix escala linealmente con el horizonte ($O(H)$), mientras que modelos como Time-o1 escalan cuadráticamente ($O(H^2)$) debido a las matrices de proyección. RhyMix utiliza hasta 99 veces menos parámetros que TimeMixer++.

Significancia y Reivindicaciones
El artículo afirma que RhyMix aborda la compensación entre la precisión del pronóstico y la eficiencia computacional. Al integrar sesgos estacionales explícitos con convoluciones multiescala basadas en datos y compuertas adaptativas, RhyMix captura diversos patrones temporales manteniéndose ligero. Los autores posicionan a RhyMix como una solución práctica para dispositivos de borde con recursos limitados y aplicaciones en tiempo real, ofreciendo una arquitectura autónoma que no requiere precomputación ni modelos base externos. El trabajo sugiere que el modelado de multi-ritmo adaptativo puede lograr un rendimiento SOTA sin la pesada carga computacional de los enfoques actuales basados en Transformers o de híbridos complejos.

Limitaciones
Los autores reconocen que RhyMix muestra limitaciones en conjuntos de datos con fuertes dependencias espaciales entre sensores (por ejemplo, el conjunto de datos Traffic con 862 sensores), donde arquitecturas especializadas en Dependencia de Canal (CD) como SOFTS o iTransformer funcionan mejor. Además, en el conjunto de datos PEMS04 con un horizonte largo ($H=96$), RhyMix fue ligeramente superado por MSTN-Transformer, lo que sugiere que los mecanismos de compuerta adaptativa pueden ser menos efectivos para ciertas predicciones de largo horizonte en ciertas distribuciones de datos. Los autores señalan que esto refleja un compromiso de diseño que prioriza el aprendizaje multiescala de propósito general sobre los sesgos inductivos especializados.