A new recurrent neural network for forecasting seasonal time series

Resumen Técnico: Una Nueva Red Neuronal Recurrente para el Pronóstico de Series Temporales Estacionales

Planteamiento del Problema
El pronóstico de series temporales estacionales requiere modelos especializados capaces de manejar estructuras periódicas. Si bien los métodos estadísticos como SARIMA y el suavizado exponencial (ETS) son los estándares tradicionales, y las Redes Neuronales Artificiales (ANN) ofrecen capacidades de modelado no lineal, los enfoques de ANN existentes suelen depender de técnicas de descomposición externas o simplemente incluyen variables de retardo como entradas para capturar la estacionalidad. Los autores señalan que las ANN estándar no utilizan inherentemente la lógica del suavizado exponencial, donde la retroalimentación sobre los pronósticos del modelo puede mejorar el rendimiento. Además, el aprendizaje tradicional basado en gradientes en las ANN es susceptible de quedar atrapado en óptimos locales, y las métricas de error estándar (como el MSE) tratan todos los errores históricos por igual, lo que potencialmente descuida la importancia crítica de las observaciones recientes en el pronóstico.

Metodología
El artículo propone una nueva Red Neuronal Artificial Recurrente (RNN) diseñada específicamente para modelar la dinámica estacional sin una descomposición previa de los datos. La arquitectura y el proceso de aprendizaje se definen de la siguiente manera:

• Arquitectura de la Red: La red propuesta consta de dos rutas operativas distintas sintetizadas por un parámetro de combinación ($\beta$):

  1. Topología de Neurona Convolucional: Este componente procesa $p$ observaciones retardadas ($x_{t-j}$) utilizando pesos y sesgos, integrados con una función de activación logística para introducir no linealidad.
  2. Suavizado Recurrente Estacional: Este componente imita la lógica del suavizado exponencial. Toma entradas actuales y estacionales retardadas ($x_{t-1}$ y $x_{t-s}$) e incorpora la retroalimentación de las salidas históricas de la red ($\hat{x}_{t-1}$ y $\hat{x}_{t-s}$). Esta ruta utiliza coeficientes de suavizado ($\alpha_1, \alpha_2$) y un factor de peso ($\alpha_3$) para modelar los componentes de nivel y estacionalidad.
     La salida final es una suma ponderada de estas dos rutas.

• Algoritmo de Aprendizaje (PSO): Para evitar las trampas de los óptimos locales comunes en los métodos basados en gradientes, los parámetros de la red (pesos, sesgos, coefjes de suavizado y factores de combinación) se optimizan mediante Optimización por Enjambre de Partículas (PSO).

  • Función Objetivo: Se introduce una nueva función objetivo, el Error Cuadrático Medio Ponderado (WMSE). A diferencia del MSE estándar, el WMSE asigna pesos exponencialmente más altos a las observaciones recientes, priorizando la precisión de los puntos de datos más recientes.
  • Estrategias de Entrenamiento: El proceso de entrenamiento emplea un mecanismo de parada temprana para prevenir el sobreajuste y una estrategia de reinicio dinámico para reinicializar el enjambre si la optimización se estanca, asegurando la búsqueda de un óptimo global.

• Configuración Experimental: El modelo fue evaluado en seis conjuntos de datos diversos de series temporales estacionales:

  1. Pasajeros de aerolíneas internacionales logarítmicos (Mensual, $s=12$).
  2. Consumo de cerveza australiana (Trimestral, $s=4$).
  3. Contaminación del aire en Ankara ($SO_2$) (Mensual, $s=12$).
  4. Consumo de electricidad en Turquía (Mensual, $s=12$).
  5. Presión atmosféica de la ciudad de Giresun (Mensual, $s=12$).
  6. Temperatura de la ciudad de Giresun (Mensual, $s=12$).

  El rendimiento se comparó con modelos de Memoria a Largo Plazo (LSTM), Redes Neuronales Artificiales Pi-Sigma (PS-ANN) y Redes Neuronales Recurrentes Simples (SRNN). Cada modelo fue sometido a un ajuste de hiperparámetros mediante un conjunto de validación, y el rendimiento final se evaluó en un conjunto de prueba durante 30 ejecuciones independientes para asegurar la fiabilidad estadística.

Resultados Clave
En los seis conjuntos de datos, la red propuesta demostró un rendimiento de pronóstico superior en comparación con los modelos de referencia:

• Precisión: El método propuesto logró consistentemente el Error Cuadrático Medio Raíz (RMSE) más bajo en los conjuntos de prueba. Por ejemplo, en el conjunto de datos de pasajeros de aerolíneas, logró un RMSE medio de 0.089 en comparación con 0.271 para LSTM y 0.317 para SRNN.
• Estabilidad: La red propuesta exhibió desviaciones estándar significativamente menores en las métricas de error a través de las 30 ejecuciones, lo que indica una mayor robustez contra la inicialización aleatoria en comparación con el rendimiento volátil de SRNN y PS-ANN.
• Significancia Estadística: Se realizaron pruebas de rango firmado de Wilcoxon no paramétricas para comparar las distribuciones de los errores. Los resultados arrojaron valores $p$ muy por debajo del umbral de $10^{-3}$ para todas las comparaciones, confirmando que las mejoras de rendimiento de la red propuesta sobre los referentes son estadísticamente significativas y no se deben al azar.

Significancia y Reivindicaciones
Los autores afirman que este estudio cierra la brecha entre las filosofías clásicas del suavizado exponencial y el aprendizaje profundo moderno. Al integrar la lógica de suavizado estacional y los bucles de retroalimentación dinámica directamente en la arquitectura de la red neuronal, el modelo captura dinámicas no lineales complejas y dependencias estacionales sin requerir la descomposición previa de los datos.

La importancia del trabajo radica en:

1. Innovación Arquitectónica: Creación de una estructura recurrente que respeta inherentemente los periodos estacionales a través de mecanismos de retroalimentación similares al suavizado exponencial.
2. Avance en la Optimización: El uso de PSO con una función objetivo WMSE personalizada y estrategias de reinicio aborda eficazmente los desafíos de los óptimos locales y la necesidad de priorizar las tendencias de datos recientes.
3. Validación Empírica: El rendimiento superior constante en conjuntos de datos económicos, ambientales y de servicios públicos sugiere que el modelo es una alternativa robusta y matemáticamente sólida para problemas complejos de pronóstico estacional.

El artículo concluye que la red propuesta ofrece una solución altamente estable y precisa para series temporales estacionales, con trabajos futuros que podrían explorar extensiones a periodos estacionales múltiples y anidados.