Benchmarking State Space Models, Transformers, and Recurrent Networks for US Grid Forecasting

Resumo Técnico: Benchmarking de Modelos de Espaço de Estado, Transformers e Redes Recorrentes para Previsão da Rede Elétrica dos EUA

1. O Problema

A previsão de carga de curto prazo (STLF) é fundamental para operações de rede elétrica, incluindo compromisso de unidades e despacho econômico. Apesar da rápida inovação arquitetural em deep learning (de LSTMs para Transformers e Modelos de Espaço de Estado - SSMs), a maioria dos estudos avalia esses modelos em conjuntos de dados limitados (1 a 5 redes), dificultando a generalização das vantagens arquitetônicas para a diversidade das redes elétricas dos EUA.

Além disso, existe uma lacuna na compreensão de como a disponibilidade de dados meteorológicos (covariáveis) interage com diferentes arquiteturas. Os operadores da rede necessitam de diretrizes claras sobre qual arquitetura implantar com base em seus dados específicos (apenas carga histórica vs. carga + clima) e nas características de suas redes (ex.: curva de pato, isolamento elétrico, picos de inverno/verão).

2. Metodologia

Os autores realizaram um benchmark abrangente e sistemático comparando cinco arquiteturas modernas de redes neurais em seis grandes Operadores de Sistema Independente (ISOs) dos EUA, utilizando dados horários da EIA-930 (2022–2025).

Arquiteturas Avaliadas:

• Modelos de Espaço de Estado (SSMs):
  • PowerMamba: Introduz decomposição de série (Tendência/Sazonalidade) e codificação bidirecional para lidar com frequências disparatas e contexto temporal.
  • S-Mamba: Uma abordagem minimalista baseada no bloco Mamba padrão, focada em eficiência computacional ($O(n)$).
• Transformers:
  • PatchTST: Paradigma independente de canais (channel-independent), que trata cada variável de forma separada usando patches temporais.
  • iTransformer: Tokeniza variáveis inteiras em vez de passos de tempo, permitindo atenção cruzada explícita entre variáveis (ex.: Carga vs. Temperatura).
• Rede Recorrente (Baseline):
  • LSTM: Uma LSTM bidirecional de duas camadas como referência tradicional.

Adaptações Específicas para a Rede:
Para garantir uma comparação justa e relevante para a operação da rede, todas as arquiteturas foram adaptadas com:

1. Embeddings Temporais: Incorporação de hora do dia e dia da semana.
2. Codificação Bidirecional: Processamento dentro da janela de histórico (sem vazamento de dados do futuro).
3. Integração Modular de Clima: Uma camada de fusão específica para cada arquitetura que permite adicionar covariáveis meteorológicas (temperatura, umidade, vento, etc.) sem re-treinar o núcleo do modelo. As estratégias de fusão variam conforme o viés indutivo do modelo (ex.: soma antecipada para SSMs, atenção cruzada para iTransformer).

Configuração Experimental:

• Janelas de Previsão ($W$): De 24 a 168 horas.
• Métricas: MSE (%), MAPE (%) e caudas de erro (P0.5/P99.5).
• Controles: Experimentos controlados por tamanho de parâmetros para distinguir ganhos de capacidade de ganhos arquitetônicos.
• Generalização: Avaliação estendida para geração solar, eólica, preços atacadistas e serviços auxiliares.

3. Principais Contribuições

1. Benchmark Multi-ISO: A primeira comparação sistemática de SSMs, Transformers e RNNs em seis ISOs dos EUA com hiperparâmetros e protocolos idênticos.
2. Análise de Integração de Clima: Desenvolvimento de estratégias de fusão térmica alinhadas ao atraso térmico (thermal lag) e descoberta de que a eficácia da integração climática é determinada pela arquitetura, não apenas pela capacidade do modelo.
3. Generalização Multitarefa: Demonstração de que o ranking das arquiteturas depende do tipo de sinal (carga, solar, vento, preço), desafiando a ideia de um "modelo único para todos".
4. Diretrizes Práticas: Fornecimento de orientações acionáveis para operadores de rede sobre qual arquitetura escolher com base na disponibilidade de dados e nas características da rede.

4. Resultados Chave

A. Previsão Apenas com Carga (Load-Only):

• PatchTST foi o modelo mais forte, superando os outros em 15 de 30 avaliações (MAPE), especialmente em redes com padrões diurnos regulares (CAISO, MISO, ERCOT).
• SSMs (PowerMamba e S-Mamba) foram altamente competitivos, liderando em redes com padrões mais irregulares ou sazonais complexas (ISO-NE, PJM, NYISO).
• iTransformer teve desempenho inferior quando usado apenas com a variável de carga, pois seu mecanismo de atenção cruzada degenera para quase identidade com uma única variável.
• LSTM apresentou o pior desempenho médio, degradando significativamente em horizontes de previsão mais longos.

B. Impacto da Integração de Clima:

• A adição de dados meteorológicos reverteu o ranking: o iTransformer melhorou sua precisão de forma muito mais eficiente (3x mais que o PatchTST) quando dados climáticos foram adicionados.
• Causa Arquitetural: Experimentos controlados por parâmetros confirmaram que o ganho do iTransformer é devido à sua capacidade inerente de misturar informações entre variáveis (atenção cruzada), e não apenas ao maior número de parâmetros.
• Fatores Determinantes: O benefício do clima não depende apenas da extrema variabilidade climática, mas da dificuldade de previsão de base. Redes isoladas ou menores (ERCOT, SWPP) e com alta variabilidade (ISO-NE) beneficiam-se mais, enquanto redes grandes com suavização geográfica (MISO, PJM) atingem um "efeito de teto" onde o clima agrega pouco valor extra.

C. Generalização para Outros Sinais:

• PatchTST domina sinais com forte periodicidade diurna (Geração Solar e Serviços Auxiliares).
• SSMs lideram em sinais com flutuações caóticas e menos periódicas (Eólica e Preços Atacadistas).
• O iTransformer continua a ter desempenho pobre em tarefas de variável única, mas se recupera fortemente em tarefas multivariadas (como preços com clima).

5. Significado e Implicações

Este trabalho fornece um guia prático para operadores de rede elétrica:

• Não existe um modelo universal: A escolha da arquitetura deve ser baseada na disponibilidade de dados de entrada.
  • Cenário 1 (Apenas Carga): Prefira PatchTST ou SSMs.
  • Cenário 2 (Carga + Clima): Prefira iTransformer ou variantes de SSMs conscientes do clima.
• Priorização de Investimento: A integração de dados meteorológicos deve ser priorizada em redes com alta dificuldade de previsão de base (isoladas ou pequenas), e não necessariamente apenas nas regiões com maior variabilidade de temperatura.
• Eficiência vs. Precisão: Os SSMs (como S-Mamba) oferecem um equilíbrio atraente entre alta precisão (com clima) e complexidade de inferência linear ($O(n)$), sendo ideais para implantação em tempo real em dispositivos de borda.

O estudo estabelece um novo padrão para avaliação de modelos de previsão de energia, destacando que a interação entre a arquitetura do modelo, a natureza dos dados e a disponibilidade de covariáveis é o fator crítico para o sucesso operacional.