Resumo Técnico: StateFlow – Modelagem Recorrente de Estado Duplo para Previsão de Séries Temporais de Longo Horizonte

1. Definição do Problema

A previsão de séries temporais multivariadas de longo horizonte (LTSF) é um desafio crítico em domínios como demanda de energia, fluxo de tráfego e modelagem financeira. As principais dificuldades decorrem da não-estacionaridade, mudanças de regime e o acúmulo de erros ao longo de horizontes de previsão estendidos. Embora arquiteturas recentes baseadas em Transformers tenham alcançado um forte desempenho ao capturar dependências de longo alcance via autoatenção, elas frequentemente sofrem com a complexidade computacional quadrática em relação ao comprimento da entrada e dependem de padrões de interação global que podem ser computacionalmente caros para janelas de observação (lookback) longas.

Inversamente, redes neurais recorrentes (RNNs) escalam linearmente com o comprimento da sequência e oferecem uma estrutura causal natural. No entanto, modelos recorrentes convencionais (ex: LSTMs, GRUs) tipicamente comprimem a informação temporal em um único estado oculto, falhando em modelar explicitamente desvios sistemáticos de previsão (como deriva ou viés) que surgem de mudanças não estacionárias. Essa limitação frequentemente resulta em um desempenho inferior aos métodos modernos baseados em Transformers em cenários de longo horizonte.

O artigo aborda a lacuna na extensão da Rede Neural Recorrente Sensível à Variabilidade (VARNN) — originalmente projetada para regressão de sequência de passo único — para o cenário de previsão de longo horizonte. A hipótese central é que modelar explicitamente os resíduos de previsão como um estado recorrente distinto pode aumentar a robustez de modelos recorrentes lineares para extrapolação de longo prazo.

2. Metodologia: O Framework StateFlow

O framework proposto StateFlow utiliza a VARNN como um backbone recorrente de estado duplo para capturar dois sinais complementares da sequência de observação (lookback), processados via uma estratégia independente de canal (channel-independent).

2.1 Codificador Recorrente de Estado Duplo

O codificador mantém duas trajetórias recorrentes distintas para cada passo de tempo $t$:

1. Trajetória do Estado Oculto ($h_t$): Representa a dinâmica temporal primária, incluindo tendências, sazonalidade, mudanças de nível e padrões recorrentes. É atualizada usando a observação atual e os estados anteriores.
2. Trajetória de Memória de Resíduo ($e_t$): Rastreia explicitamente desvios locais estruturados de previsão. É impulsionada por uma transformação recorrente não linear dos resíduos ($r_t$) entre as previsões base de um passo ($\hat{x}_{base}$) e os valores observados ($x_{t+1}$).

Ao contrário das RNNs convencionais que codificam implicitamente os desvios dentro de um único estado latente, a VARNN separa esses sinais. O estado oculto condiciona o próximo passo, enquanto o estado de memória de resíduo fornece um sinal dedicado para desvios sistemáticos, permitindo que o modelo distinga entre a dinâmica primária e a deriva local.

2.2 Decodificador de Horizonte Baseado em Blocos (Chunk-Based)

Para mapear as trajetórias do codificador para o horizonte futuro sem incorrer na explosão de parâmetros associada ao achatamento (flattening) de sequências completas, o StateFlow emprega um decodificador baseado em blocos:

• Sumarização de Blocos (Chunk Summarization): As trajetórias de estado oculto e de memória de resíduo são divididas em blocos sobrepostos. Cada bloco é achatado e projetado em um embedding de dimensão fixa via ramos de sumarização separados. Isso preserva padrões locais enquanto reduz o crescimento de parâmetros.
• Cabeça de Previsão (Forecasting Head): Os embeddings sumarizados de ambos os ramos são concatenados e passados por uma projeção linear para gerar a previsão de múltiplos passos.

2.3 Estratégia de Otimização em Dois Estágios

Para unir o aprendizado de resíduo de passo único com a previsão de longo horizonte, o modelo emprega um procedimento de treinamento em dois estágios:

1. Estágio 1 (Pré-treinamento do Codificador): O codificador VARNN é treinado usando um objetivo de previsão de um passo sobre a janela de observação. Isso fornece um sinal de aprendizado explícito para o estado de memória de resíduo capturar desvios estruturados.
2. Estágio 2 (Decodificação Específica do Horizonte): O codificador pré-treinado é congelado, e um decodificador específico para o horizonte é treinado usando perda de previsão de múltiplos passos. Essa separação estabiliza a otimização e permite que o mesmo codificador seja reutilizado em diferentes horizontes de previsão.

2.4 Complexidade Computacional

O StateFlow mantém a complexidade computacional linear em relação ao comprimento da observação ($L$) e ao horizonte de previsão ($H$). O codificador recorrente escala como $O(L)$, e o decodificador baseado em blocos evita a complexidade quadrática ($O(L^2)$) típica dos mecanismos de autoatenção.

3. Principais Contribuições

O artigo delineia as seguintes contribuições:

• Investigação da Recorrência em LTSF: Demonstra que a recorrência pode permanecer competitiva para previsão de longo horizonte quando a dinâmica de desvio é explicitamente incorporada nas transições de estado.
• Extensão da VARNN: Estende a VARNN da regressão de passo único para a previsão de longo horizonte, utilizando trajetórias de estado oculto e de memória de resíduo como representações de previsão de estado duplo.
• Framework StateFlow: Introduz um framework de previsão de trajetória recorrente apresentando um decodificador de horizonte baseado em blocos que sumariza separadamente as dinâmicas de estado oculto e de memória de resíduo antes da previsão direta de múltiplos passos.
• Otimização em Dois Estágios: Propõe uma estratégia de treinamento que primeiro aprende representações sensíveis a resíduos via previsão de um passo e depois treina decodificadores específicos de horizonte, permitindo a reutilização do codificador.
• Validação Empírica: Fornece experimentos sistemáticos e ablações mostrando que a recorrência de memória de resíduo é um viés indutivo competitivo e eficiente em termos de parâmetros para previsão de longo horizonte.

4. Resultados Experimentais

4.1 Desempenho em Benchmarks

O StateFlow foi avaliado em sete benchmarks padrão de LTSF (ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic) contra dez baselines de estado da arte, incluindo modelos baseados em Transformer (iTransformer, PatchTST, Autoformer), modelos convolucionais (TimesNet) e modelos lineares (DLinear, RLinear).

• Competitividade: O StateFlow alcançou um desempenho competitivo, garantindo o maior número de vitórias em primeiro lugar (15 vitórias em MSE e 14 vitórias em MAE em 28 configurações de dataset-horizonte).
• Comparação: Teve desempenho comparável ou superior aos fortes baselines lineares, convolucionais e baseados em Transformer, evitando a autoatenção temporal quadrática.
• Dados de Alta Dimensão: Em datasets de alta dimensão como ECL e Traffic, o iTransformer permaneceu mais forte em algumas configurações, sugerindo que a modelagem explícita de dependência entre variáveis pode ainda oferecer vantagens nesses contextos específicos. O StateFlow, contudo, foca na modelagem temporal independente de canal.

4.2 Estudos de Ablação

• Representações do Codificador: A representação de estado duplo ($h, e$) superou consistentemente o uso apenas do estado oculto ($h$), apenas do estado de memória de resíduo ($e$), ou previsões base brutas com resíduos. Isso confirma que combinar a dinâmica primária com sinais de desvio estruturado gera representações de previsão mais ricas.
• Estratégia de Fusão: A sumarização de blocos separada para as trajetórias de estado oculto e de resíduo (antes da concatenação) provou ser superior à sumarização conjunta, preservando os papéis distintos dos dois estados.
• Bloco vs. Decodificação Direta: O decodificador baseado em blocos alcançou precisão comparável ou superior ao achatamento direto, reduzindo os parâmetros do modelo em quase metade.
• Escolha do Codificador Recorrente: A VARNN superou os codificadores padrão RNN, GRU e LSTM em termos de equilíbrio precisão-eficiência. Notavelmente, a VARNN utilizou significativamente menos parâmetros (ex: ~80% menos que a LSTM) enquanto alcançava um MSE médio menor.
• Estratégia de Otimização: A estratégia de otimização em dois estágios proporcionou um ganho mensurável (ex: melhoria de +1,88% para a VARNN) sobre o treinamento de um estágio, destacando a eficácia do pré-treinamento do estado de memória de resíduo via previsão de um passo.

5. Significância e Alegações

O artigo alega que o StateFlow oferece uma alternativa eficiente aos modelos baseados em atenção para previsão de longo horizonte. Ao modelar explicitamente a dinâmica de memória de resíduo dentro de um framework recorrente, o modelo captura mudanças não estacionárias e desvios sistemáticos que os modelos recorrentes padrão perdem.

A significância reside em demonstrar que a codificação recorrente linear, quando aumentada com um estado dedicado de memória de resíduo e um decodificador baseado em blocos, pode competir com arquiteturas complexas de Transformer sem incorrer em custos computacionais quadráticos. Os autores sugerem que incorporar a dinâmica de desvio na recorrência fornece um viés indutivo promissor e eficiente em termos de parâmetros para LTSF. O trabalho não afirma resolver todos os desafios na previsão multivariada de alta dimensão (reconhecendo a necessidade potencial de modelagem de dependência entre variáveis), mas estabelece uma base sólida para abordagens recorrentes sensíveis a resíduos.

Trabalhos futuros são identificados como a investigação da modelagem de dependência entre variáveis e a aplicação do framework a outras tarefas de análise de séries temporais.