Resumen Técnico: StateFlow – Modelado Recurrente de Doble Estado para el Pronóstico de Series Temporales de Largo Horizonte

1. Planteamiento del Problema

El pronóstico de series temporales multivariantes de largo horizonte (LTSF) es un desafío crítico en dominios como la demanda de energía, el flujo de tráfico y el modelado financiero. Las dificultades primarias surgen de la no estacionariedad, los cambios de régimen y la acumulación de errores a lo largo de horizontes de predicción extendidos. Si bien las arquitecturas recientes basadas en Transformers han logrado un sólido rendimiento al capturar dependencias de largo alcance mediante la autoatención, a menudo sufren de una complejidad computacional cuadrática respecto a la longitud de la entrada y dependen de patrones de interacción global que pueden ser computacionalmente costosos para ventanas de observación (lookback) largas.

Por el contrario, las redes neuronales recurrentes (RNN) escalan linealmente con la longitud de la secuencia y ofrecen una estructura causal natural. Sin embargo, los modelos recurrentes convencionales (por ejemplo, LSTM, GRU) suelen comprimir la información temporal en un único estado oculto, fallando al modelar explícitamente las desviaciones sistemáticas de la predicción (como la deriva o el sesgo) que surgen de cambios no estacionarios. Esta limitación resulta frecuentemente en que su rendimiento se quede rezagado frente a los métodos modernos basados en Transformers en entornos de largo horizonte.

El artículo aborda la brecha en la extensión de la Red Neuronal Recursiva Consciente de la Variabilidad (VARNN) —diseñada originalmente para la regresión de secuencias de un solo paso— hacia el entorno de pronóstico de largo horizonte. La hipótesis central es que el modelado explícito de los residuos de la predicción como un estado recurrente distinto puede mejorar la robustez de los modelos recurrentes lineales para la extrapolación a largo plazo.

2. Metodología: El Marco de Trabajo StateFlow

El marco propuesto StateFlow utiliza VARNN como un núcleo recurrente de doble estado para capturar dos señales complementarias de la secuencia de observación, procesadas mediante una estrategia de independencia de canales.

2.1 Codificador Recurrente de Doble Estado

El codificador mantiene dos trayectorias recurrentes distintas para cada paso de tiempo $t$:

1. Trayectoria del Estado Oculto ($h_t$): Representa la dinámica temporal primaria, incluyendo tendencias, estacionalidad, cambios de nivel y patrones recurrentes. Se actualiza utilizando la observación actual y los estados previos.
2. Trayectoria de la Memoria de Residuos ($e_t$): Rastrea explícitamente desviaciones locales estructuradas de la predicción. Es impulsada por una transformación recurrente no lineal de los residuos ($r_t$) entre las predicciones base de un paso ($\hat{x}_{base}$) y los valores observados ($x_{t+1}$).

A diferencia de las RNN convencionales que codifican implícitamente las desviaciones dentro de un único estado latente, VARNN separa estas señales. El estado oculto condiciona el siguiente paso, mientras que el estado de memoria de residuos proporciona una señal dedicada para las desviaciones sistemáticas, permitiendo al modelo distinguir entre la dinámica primaria y la deriva local.

2.2 Decodificador Basado en Bloques (Chunk-Based)

Para mapear las trayectorias del codificador al horizonte futuro sin incurrir en la explosión de parámetros asociada con el aplanamiento de secuencias completas, StateFlow emplea un decodificador basado en bloques:

• Resumen de Bloques (Chunk Summarization): Las trayectorias del estado oculto y de la memoria de residuos se dividen en bloques superpuestos. Cada bloque se aplana y se proyecta en un embedding de dimensión fija a través de ramas de resumen separadas. Esto preserva los patrones locales mientras reduce el crecimiento de los parámetros.
• Cabezal de Pronóstico: Los embeddings resumidos de ambas ramas se concatenan y se pasan a través de una proyección lineal para generar el pronóstico de múltiples pasos.

2.3 Estrategia de Optimización de Dos Etapas

Para cerrar la brecha entre el aprendizaje de residuos de un paso y el pronóstico de largo horizonte, el modelo emplea un procedimiento de entrenamiento de dos etapas:

1. Etapa 1 (Preentrenamiento del Codificador): El codificador VARNN se entrena utilizando un objetivo de predicción de un solo paso sobre la ventana de observación. Esto proporciona una señal de aprendizaje explícita para que el estado de memoria de residuos capture las desviaciones estructuradas.
2. Etapa 2 (Decodificación Específica del Horizonte): El codificador preentrenado se congela y se entrena un decodificador específico para el horizonte utilizando una pérdida de pronóstico de múltiples pasos. Esta separación estabiliza la optimización y permite que el mismo codificador sea reutilizado a través de diferentes horizontes de predicción.

2.4 Complejidad Computacional

StateFlow mantiene una complejidad computacional lineal con respecto a la longitud de la observación ($L$) y el horizonte de pronóstico ($H$). El codificador recurrente escala como $O(L)$, y el decodificador basado en bloques evita la complejidad cuadrática ($O(L^2)$) típica de los mecanismos de autoatención.

3. Contribuciones Clave

El artículo detalla las siguientes contribuciones:

• Investigación de la Recurrencia en LTSF: Demuestra que la recurrencia puede seguir siendo competitiva para el pronóstico de largo horizonte cuando las dinámicas de desviación se incorporan explícitamente en las transiciones de estado.
• Extensión de VARNN: Extiende VARNN desde la regresión de un solo paso hacia el pronóstico de largo horizonte, utilizando trayectorias de estado oculto y de memoria de residuos como representaciones de pronóstico de doble estado.
• Marco de Trabajo StateFlow: Introduce un marco de pronóstico de trayectoria recurrente que cuenta con un decodificador de horizonte basado en bloques que resume por separado las dinámicas de estado oculto y de memoria de residuos antes de la predicción directa de múltiples pasos.
• Optimización de Dos Etapas: Propone una estrategia de entrenamiento que primero aprende representaciones conscientes de los residuos mediante la predicción de un solo paso y luego entrena decodificadores específicos para el horizonte, permitiendo la reutilización del codificador.
• Validación Empírica: Proporciona experimentos sistemáticos y estudios de ablación que muestran que la recurrencia de memoria de residuos es un sesgo inductivo competitivo y eficiente en parámetros para el pronóstico de largo horizonte.

4. Resultados Experimentales

4.1 Rendimiento de Referencia (Benchmark)

StateFlow fue evaluado en siete estándares de referencia para LTSF (ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic) frente a diez líneas base de última generación, incluyendo modelos basados en Transformers (iTransformer, PatchTST, Autoformer), modelos convolucionales (TimesNet) y modelos lineales (DLinear, RLinear).

• Competitividad: StateFlow logró un rendimiento competitivo, obteniendo el mayor número de victorias en primer lugar (15 victorias en MSE y 14 victorias en MAE a través de 28 configuraciones de conjunto de datos-horizonte).
• Comparación: Se desempeñó de manera comparable o superior a sólidas líneas base lineales, convolucionales y basadas en Transformers, evitando la autoatención temporal cuadrática.
• Datos de Alta Dimensión: En conjuntos de datos de alta dimensión como ECL y Traffic, iTransformer se mantuvo más fuerte en algunos entornos, lo que sugiere que el modelado explícito de la dependencia entre variables puede seguir ofreciendo ventajas en esos contextos específicos. StateFlow, sin embargo, se enfoca en el modelado temporal independiente de canales.

4.2 Estudios de Ablación

• Representaciones del Codificador: La representación de doble estado ($h, e$) superó consistentemente al uso de solo el estado oculto ($h$), solo el estado de memoria de residuos ($e$), o las predicciones base con residuos. Esto confirma que la combinación de la dinámica primaria con las señales de desviación estructurada genera representaciones de pronóstico más ricas.
• Estrategia de Fusión: El resumen de bloques separado para las trayectorias de estado oculto y de residuos (antes de la concatenación) resultó superior al agrupamiento conjunto, preservando los roles distintos de los dos estados.
• Decodificación por Bloques vs. Directa: El decodificador basado en bloques logró una precisión comparable o superior al aplanamiento directo, reduciendo casi a la mitad los parámetros del modelo.
• Elección del Codificador Recurrente: VARNN superó a los codificadores estándar de RNN, GRU y LSTM en términos de la relación precisión-eficiencia. Notablemente, VARNN utilizó significativamente menos parámetros (por ejemplo, ~80% menos que LSTM) mientras lograba un MSE promedio menor.
• Estrategia de Optimización: La estrategia de optimización de dos etapas proporcionó una ganancia medible (por ejemplo, una mejora del +1.88% para VARNN) sobre el entrenamiento de una sola etapa, resaltando la efectividad de preentrenar el estado de memoria de residuos mediante la predicción de un solo paso.

5. Significado y Reivindicaciones

El artículo afirma que StateFlow ofrece una alternativa eficiente a los modelos basados en atención para el pronóstico de largo horizonte. Al modelar explícitamente las dinámicas de la memoria de residuos dentro de un marco recurrente, el modelo captura los cambios no estacionarios y las desviaciones sistemáticas que los modelos recurrentes estándar pasan por alto.

La importancia radica en demostrar que el codificado recurrente lineal, cuando se aumenta con un estado dedicado de memoria de residuos y un decodificador basado en bloques, puede competir con arquitectas complejas de Transformers sin incurrir en los costos computacionales cuadráticos. Los autores sugieren que incorporar las dinámicas de desviación en la recurrencia proporciona un sesgo inductivo prometedor y eficiente en parámetros para LTSF. El trabajo no pretende resolver todos los desafíos en el pronóstico multivariante de alta dimensión (reconociendo la necesidad potencial de modelado de dependencia entre variables), sino que establece una base sólida para los enfoques recurrentes conscientes de los residuos.

Se identifica como trabajo futuro la investigación del modelado de dependencia entre variables y la aplicación del marco a otras tareas de análisis de series temporales.