Horizon Activation Mapping for Neural Networks in Time Series Forecasting

Título: Mapeo de Activación de Horizonte para Redes Neuronales en Predicción de Series Temporales

Enunciado del Problema
Los modelos de redes neuronales para predicción de series temporales han logrado mejoras significativas en el rendimiento, particularmente en tareas de largo horizonte. Sin embargo, el campo carece de un marco unificado para la selección de modelos e interpretabilidad que sea agnóstico a tipos de capas específicos o familias de modelos. Los métodos existentes de interpretabilidad, como Grad-CAM, están diseñados para visión por computadora y dependen de mapas de atención espacial, los cuales no se traducen trivialmente a la naturaleza espacio-temporal de la predicción multivariada. Además, aunque existen diversas familias de modelos (por ejemplo, basadas en MLP, autoatención, SSM, difusión), no hay un conjunto de datos supervisado a gran escala ni un marco analítico capaz de comparar sus dinámicas de aprendizaje internas y actividades de gradiente a través de diferentes arquitecturas. La selección actual de modelos a menudo depende de métricas de error (MSE, MAE) que pueden ser similares entre diferentes familias, oscureciendo los paisajes de optimización subyacentes y las estrategias de aprendizaje.

Metodología: Mapeo de Activación de Horizonte (HAM)
Los autores introducen el Mapeo de Activación de Horizonte (HAM), una técnica visual de interpretabilidad inspirada en Grad-CAM pero adaptada para la predicción de series temporales. HAM analiza las magnitudes de actualización del gradiente a través de subseries dentro de un horizonte de predicción para identificar propiedades del modelo.

• Modos Causal y Anticausal: Para un horizonte de tamaño $H$, HAM calcula promedios de la norma del gradiente utilizando dos modos de enmascaramiento aplicados a la función de pérdida antes de la retropropagación:
  • Modo Causal ($c$): Incluye subseries desde el paso de tiempo 0 hasta $h$.
  • Modo Anticausal ($a$): Incluye subseries desde el paso de tiempo $h$ hasta $H$.
• Promedios de Norma del Gradiente: El marco calcula la norma promedio del gradiente con respecto a los parámetros del modelo $\theta$ sobre estas subseries enmascaradas.
• Visualizaciones:
  • Gráficos HAM: Muestran los promedios de la norma del gradiente frente a los pasos de tiempo, comparados contra una "línea de proporcionalidad" que representa una distribución uniforme de las normas del gradiente.
  • Gráficos de Diferencia: Muestran la diferencia entre los promedios de gradiente causal y anticausal, escalados a $[-1, 1]$, para resaltar disparidades en el aprendizaje a lo largo del horizonte.
  • Gráficos de Área Interpolada: Normalizan el área máxima por modelo al rango $[0, 1]$ para comparar modelos de diferentes tamaños de horizonte.
• Métricas Clave: El marco identifica el Punto Equivariante del Gradiente, donde el promedio de la norma del gradiente de los primeros $h$ pasos de tiempo es igual al de los restantes $H-h$ pasos de tiempo. También calcula el área con signo entre las curvas y la línea de proporcionalidad para magnificar las variaciones.

Configuración Experimental
El estudio evalúa HAM en diversas familias de modelos entrenados en el conjunto de datos ETTm2 (división 60-20-20 para entrenamiento-validación-prueba) utilizando una GPU NVIDIA A40. Los modelos incluyen:

• Basados en MLP: CycleNet, N-Linear, N-HITS.
• Autoatención: FEDformer, Pyraformer.
• Modelos de Espacio de Estados (SSM): SpaceTime.
• Difusión: Multi-Resolution DDPM.

Los experimentos cubren diversos tamaños de horizonte ($H = \{96, 192, 336, 720\}$) e investigan los efectos de:

• Tasas de Dropout.
• Tamaños de lote.
• Parada temprana (épocas posteriores a la parada).
• Divisiones del conjunto de datos (entrenamiento vs. validación vs. prueba).
• Predicción univariada vs. multivariada.
• Hiperparámetros arquitectónicos (por ejemplo, longitud de la cola cíclica, estrategias de normalización).

Resultados Clave y Observaciones

1. Efectos del Dropout: En modelos multivariados (específicamente N-HITS), añadir dropout (0.2) aumentó las magnitudes generales del gradiente en más de 3 veces, particularmente en regiones más largas del horizonte.
2. Dinámicas del Tamaño de Lote:
   • Las magnitudes del gradiente y las métricas de error mostraron relaciones complejas con el tamaño de lote.
   • En modelos convergidos (N-HITS, N-Linear, CycleNet), los promedios de la norma del gradiente interpolados a través de tamaños de lote exhibieron una tendencia de saturación polinómica, sugiriendo una aproximación exponencial potencial a través de tamaños de lote por época.
   • CycleNet mostró diferencias sutiles en el rendimiento basadas en el tamaño de lote, con una actividad anticausal que aumentaba en tamaños de lote más pequeños (50) y una actividad causal que disminuía en tamaños más grandes (100).
3. Parada Temprana: Los modelos detenidos anticipadamente mostraron magnitudes de gradiente reducidas, particularmente en el modo causal. El punto equivariante del gradiente de los modelos con parada temprana se desplazó más cerca de $H/2$, sugiriendo que las actividades en regiones de horizonte más largo no mejoraron el rendimiento una vez que el modelo alcanzó un mínimo local.
4. Divisiones del Conjunto de Datos: Los datos de entrenamiento empujaron las curvas más cerca de la línea de proporcionalidad. Los conjuntos de validación en N-HITS mostraron aspectos "fuera de distribución" de manera más distinta que en CycleNet.
5. Univariada vs. Multivariada: La predicción multivariada presentó mayores dificultades de aprendizaje espacial. La eliminación de los pasos de tiempo iniciales en subseries multivariadas empujó las curvas anticausales por debajo de la línea de proporcionalidad, un comportamiento no observado en casos univariados.
6. Especificidades Arquitectónicas:
   • N-Linear: La normalización (restar el valor del último paso de tiempo) redujo los errores en un 16% y alteró las magnitudes del gradiente, disminuyéndolas causalmente en el primer 23% del horizonte y aumentándolas posteriormente.
   • CycleNet: La longitud de la cola cíclica influyó en el ordenamiento de los valores. La longitud de ciclo más pequeña (64) correspondió al mejor rendimiento y mostró magnitudes más grandes interactuando entre longitudes de subseries.
   • SpaceTime: Exhibió actividades autorregresivas exponenciales. Su modo causal transitó de tendencias lineales (en $H=96$) a tendencias exponenciales (en $H=\{192, 336, 720\}$), resaltando regiones más largas del horizonte.
   • N-HITS: Su comportamiento se alineó con el teorema de aproximación neuronal, con aumentos anticausales que apoyan las suposiciones de horizonte infinito.
   • Difusión (Multi-Resolution DDPM): Mostró normas de gradiente característicamente más grandes para subseries más pequeñas en comparación con las expectativas proporcionales, sugiriendo una propiedad de la predicción basada en difusión.

Significado y Afirmaciones
El artículo afirma que HAM proporciona un marco granular y agnóstico al modelo para:

• Selección de Modelos: Comparar estrategias de aprendizaje y paisajes de optimización entre diferentes familias de redes neuronales (MLP, Atención, SSM, Difusión) más allá de métricas de error simples.
• Elección del Conjunto de Validación: Utilizar variabilidades relativas en los gráficos HAM para seleccionar conjuntos de validación apropiados.
• Insight Arquitectónico: Atribuir tendencias específicas en los gráficos HAM a propiedades teóricas, como el teorema de aproximación neuronal de N-HITS y la naturaleza autorregresiva exponencial de SpaceTime.
• Generalización: El marco es aplicable independientemente de los tipos de capas utilizados en el modelo, abordando la limitación de métodos anteriores que eran específicos de ciertas arquitecturas.

Los autores señalan que, aunque HAM utiliza promedios de norma generales, los gráficos por capa pueden elucidar aún más las dinámicas de aprendizaje para subseries más cortas y más largas. El estudio concluye que HAM sirve como una herramienta para comprender el "paisaje de optimización" de la predicción de series temporales, permitiendo cambios arquitectónicos interpretables y comparaciones entre familias.