🤖 machine learning

Short-Term Electricity Demand Forecasting for New England Using a Hybrid Transformer-XGBoost Framework with Weather, Calendar, and COVID-19 Indicators

Este artigo propõe uma estrutura híbrida Transformer-XGBoost para a previsão de curto prazo da demanda de eletricidade na Nova Inglaterra que, apesar de incorporar indicadores da COVID-19 e alcançar alta precisão, demonstra que tais características epidemiológicas acabam por degradar o desempenho nos testes ao amplificar o sobreajuste a padrões pandêmicos obsoletos uma vez que ocorreram adaptações comportamentais.

Autores originais: Reza Ghanavati, Behrooz Mosallaei

Publicado 2026-06-23

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Reza Ghanavati, Behrooz Mosallaei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar quanta eletricidade toda a região da Nova Inglaterra usará amanhã. É um pouco como tentar prever quanta água um jardim gigante e sedento beberá. Você sabe que o clima importa (dias quentes precisam de mais AC, dias frios precisam de mais calefação), e você sabe que o dia da semana importa (as pessoas usam mais energia em dias úteis do que nos fins de semana). Mas o que acontece quando o mundo inteiro muda de repente, como durante uma pandemia? É esse o enigma que este artigo tenta resolver.

Aqui está uma divisão simples do que os pesquisadores fizeram e do que descobriram, usando analogias do cotidiano.

O Objetivo: Prevendo a Sede da Rede Elétrica

A eletricidade é complicada porque você não pode realmente armazená-la em um armazém gigante; você tem que produzir exatamente o que as pessoas precisam, agora mesmo. Se você errar o cálculo, as luzes podem piscar ou você pode desperdiçar dinheiro produzindo energia que ninguém usa. Os pesquisadores queriam construir uma "bola de cristal" para prever a demanda diária de eletricidade para a Nova Inglaterra com alta precisão.

A Receita: Uma Cozinha Híbrida

A equipe criou um novo método usando uma abordagem "híbrida". Pense nisso como um restaurante com dois chefs trabalhando juntos:

Chef 1 (O Transformer): Este é um chef de IA de alta tecnologia especializado em ler histórias. Ele observa a "história" dos últimos 3 de uso de eletricidade e das notícias da pandemia (como contagens de casos e mortes). Ele é ótimo para detectar padrões longos e complexos em uma linha do tempo, de forma semelhante a como um humano pode ler um romance e entender o humor de um personagem ao longo de muitos capítulos.
Chef 2 (XGBoost): Este é um chef muito aguçado e lógico que ama tabelas e planilhas. Ele observa fatos específicos: "É terça-feira", "A temperatura em Boston é 40°F", e "Tivemos 500 novos casos ontem". Ele é excelente em tomar decisões rápidas baseadas em dados concretos.

A Estrutura Híbrida: O Chef 1 lê a história e entrega uma nota de resumo para o Chef 2. O Chef 2 então combina esse resumo com todos os fatos concretos para fazer a previsão final. Os pesquisadores esperavam que essa equipe fosse melhor do que usar apenas o Chef 2 sozinho.

Os Ingredientes

Para fazer sua previsão, eles misturaram muitos tipos de dados:

Clima: Eles não olharam apenas para uma cidade; eles verificaram o clima em seis cidades diferentes na Nova Inglaterra (como Boston, Portland e Burlington) para obter uma imagem completa.
Calendário: Eles levaram em conta feriados, fins de semana e estações do ano.
O Fator Pandemia: Eles incluíram dados sobre casos e mortes de COVID-19, esperando capturar como o vírus mudou os hábitos das pessoas (como trabalhar de casa).
Histórico: Eles observaram o que aconteceu ontem, na semana passada e no mês passado.

O Teste de Sabor: Funcionou?

Eles testaram sua "Cozinha Híbrida" contra uma "Cozinha Solo" (apenas o Chef 2/XGBoost sem o leitor de histórias de IA).

O Resultado: A Cozinha Híbrida foi ligeiramente melhor em adivinhar a quantidade exata de eletricidade necessária. No entanto, quando os pesquisadores realizaram um teste estatístico rigoroso (como um árbitro verificando se a diferença de pontuação era real ou apenas sorte), descobriram que as duas cozinhas estavam essencialmente empatadas. O modelo híbrido não foi estatisticamente melhor do que o modelo simples.
A Lição: Se você tem uma boa lista de fatos (clima, calendário, histórico), você não precisa necessariamente do sofisticado leitor de histórias de IA para obter um ótimo resultado. O chef simples e lógico foi quase tão bom quanto.

A Grande Surpresa: O Ingrediente Pandemia

A parte mais interessante do artigo é o que aconteceu com o "Ingrediente Pandemia" (dados de COVID-19).

Durante a Pandemia (Treinamento): Quando o modelo estava aprendendo com dados de 2020–2021, os dados da pandemia eram muito úteis. Eles ajudavam o modelo a entender por que o uso de eletricidade estava estranho (ex: escritórios vazios, casas cheias).
Após a Pandemia (Teste): Quando eles testaram o modelo em dados do final de 2022 e início de 2023, as coisas ficaram estranhas. Por esse tempo, as pessoas já haviam se adaptado ao vírus; voltamos ao trabalho e os hábitos se normalizaram.
- A Falha: O modelo achou que os dados da pandemia ainda eram super importantes. Na verdade, ele dependeu mais desses dados durante a fase de teste do que durante a fase de aprendizado!
- A Analogia: Imagine um aluno que aprende que "chuva significa cancelamento de treino de futebol". Ele estuda muito durante uma estação chuvosa. Mas então, a estação muda e fica ensolarada, mas o aluno ainda verifica a previsão de chuva obsessivamente e cancela o treino mesmo assim. O modelo continuou olhando para os números da pandemia como se o mundo ainda estivesse em lockdown.
- A Consequência: Como o modelo continuou usando essa informação "obsoleta", ele na verdade fez previsões ligeiramente piores no modelo híbrido quando os dados da pandemia foram incluídos, em comparação a quando eles foram removidos.

O Veredito Final

O Histórico é Rei: A coisa mais importante para prever eletricidade é saber o que aconteceu ontem e na semana passada. Se você remover isso, o modelo falha miseravelmente.
O Clima é Rainha: Saber a temperatura e o dia da semana é a próxima coisa mais importante.
A Pandemia é um "Ingrediente de Tempo Limitado": Os dados sobre a COVID-19 foram úteis apenas enquanto o mundo estava em lockdown ativo. Assim que as pessoas se adaptaram (por meados de 2022), esses dados tornaram-se "ruído". Eles não ajudaram a prever o futuro; apenas confundiram o modelo ao fazê-lo pensar que as regras antigas ainda se aplicavam.

Em resumo: Os pesquisadores construíram um sistema inteligente que funciona muito bem. Eles descobriram que, embora a IA sofisticada ajude, um modelo lógico sólido com bons dados de clima e histórico é quase tão bom quanto. Mais importante ainda, eles aprenderam que, quando o mundo muda (como uma pandemia), você deve ter cuidado para não deixar o modelo ficar preso no passado, usando regras antigas que não se aplicam mais.

Resumo Técnico: Previsão de Demanda de Eletricidade de Curto Prazo para a Nova Inglaterra Utilizando uma Estrutura Híbrida Transformer–XGBoost

1. Definição do Problema

A previsão precisa da demanda de eletricidade de curto prazo é fundamental para que os operadores de sistemas de potência gerenciem o despacho em tempo real, o compromisso de unidades e o fechamento do mercado de energia. Embora métodos estatísticos clássicos (ex: ARIMA) e abordagens modernas de aprendizado de máquina (ex: XGBoost, LSTMs, Transformers) tenham sido amplamente aplicados, a previsão continua sendo um desafio em regiões com alta sensibilidade climática e interrupções estruturais na demanda.

Este estudo aborda os desafios específicos do mercado de eletricidade da Nova Inglaterra (ISO-NE), caracterizado por variações climáticas sazonais extremas e mudanças estruturais de comportamento causadas pela pandemia de COVID-19 (2020–2022). Uma lacuna crítica identificada é a incerteza quanto ao valor preditivo de indicadores epidemiológicos (contagens de casos, taxas de mortalidade) à medida que a adaptação comportamental progride da fase aguda da pandemia para um período de estabilização pós-aguda. O artigo investiga se uma arquitetura híbrida, combinando aprendizado profundo para extração de características temporais com gradient boosting para predição tabular, oferece uma precisão superior sobre uma linha de base robusta apenas tabular, e como a utilidade das características da era pandêmica evolui ao longo do tempo.

2. Metodologia

Dados e Engenharia de Características

O estudo utiliza dados diários de demanda de eletricidade para a área de controle da Nova Inglaterra de 1º de fevereiro de 2020 a 23 de março de 2023. O pipeline de engenharia de características integra:

Observações Meteorológicas: 16 variáveis diárias (temperatura máxima/média/mínima, ponto de orvalho, umidade, velocidade do vento, pressão, precipitação) de seis cidades representando todos os seis estados da Nova Inglaterra (Boston, Bridgeport, Burlington, Concord, Portland, Providence), resultando em 96 características meteorológicas brutas.
Indicadores de Calendário e Sazonalidade: Flags binárias para feriados, fins de semana, dias úteis e "dias de ponte" (bridge days), além de variáveis contínuas para dia da semana, dia do ano e estação.
Lags Autorregressivos: Lags de demanda de 1, 7, 14 e 30 dias para capturar persistência e sazonalidade.
Indicadores Epidemiológicos: Oito características derivadas de contagens de casos e mortes por COVID-19, incluindo contagens diárias brutas, médias móveis de 7 e 14 dias e taxas de crescimento percentual diário.

Arquitetura do Modelo

A estrutura proposta emprega uma arquitetura Híbrida Transformer–XGBoost:

Codificador Transformer: Processa janelas deslizantes (comprimento $L=30$ ) de canais de séries temporais (8 características de COVID + 4 lags de demanda). Utiliza codificação posicional senoidal, 4 cabeças de atenção e duas camadas de codificação para produzir um vetor de incorporação (embedding) temporal de 32 dimensões. Este componente é projetado para capturar dependências temporais de longo alcance e padrões de interação complexos.
Regressor XGBoost: Recebe a concatenação do vetor de incorporação do Transformer e o conjunto completo de características tabulares (clima, calendário, lags) como entrada. É configurado com árvores rasas ( $max\_depth=3$ ) e forte regularização para evitar o overfitting.

Treinamento e Otimização

Divisão de Dados: Uma divisão cronológica estrita (70% treinamento, 15% validação, 15% teste) garante que não haja vazamento temporal (temporal leakage). O StandardScaler é ajustado exclusivamente no conjunto de treinamento.
Ajuste de Hiperparâmetros: Otimização Bayesiana usando Optuna com um amostrador Tree-structured Parzen Estimator (TPE) multivariado sobre 500 tentativas. Um MedianPruner descarta tentativas pouco promissoras precocemente.
Métricas de Avaliação: Erro Quadrático Médio (RMSE), Erro Percentual Absoluto Médio (MAPE) e o Coeficiente de Determinação ( $R^2$ ). A significância estatística das diferenças de desempenho é avaliada via teste de Diebold-Mariano (DM) com a correção de Harvey-Leybourne-Newbold.
Interpretabilidade: Explicações SHapley Aditivas (SHAP) são utilizadas para quantificar as contribuições das características e analisar mudanças temporais na importância das características.

3. Principais Resultados

Desempenho Preditivo

Ambos os modelos alcançaram alta precisão no conjunto de teste retido (outubro de 2022 – março de 2023):

Modelo Híbrido: RMSE = 8.876 MWh, MAPE = 2,05%, $R^2$ = 0,906.
Linha de Base XGBoost-Only: RMSE = 9.304 MWh, MAPE = 2,21%, $R^2$ = 0,896.

Embora o modelo híbrido tenha apresentado métricas marginalmente melhores, o teste de Diebold-Mariano ($DM = -1,126, p = 0,262$) confirmou que a diferença de 427,7 MWh no RMSE é estatisticamente indistinguível de ruído. Assim, as duas arquiteturas são consideradas estatisticamente equivalentes em precisão preditiva para este conjunto de dados.

Importância das Características e Ablação

Dominância dos Lags: Os lags autorregressivos de demanda (particularmente o lag de 1 dia) foram as características mais críticas. A remoção deles aumentou o RMSE de teste em aproximadamente 15–18% em ambos os modelos.
Clima e Calendário: Estas características sozinhas explicaram aproximadamente 84–85% da variância da demanda ( $R^2 \approx 0,84$ ).
Incorporações (Embeddings) do Transformer: A remoção das incorporações do Transformer degradou o RMSE de teste do modelo híbrido em 7,4%, confirmando que elas capturam uma estrutura temporal genuína, embora o ganho marginal sobre a linha de base tabular tenha sido modesto.
Características de COVID-19 (A Assimetria):
- Período de Treinamento: As características de COVID melhoraram a precisão de treinamento (a remoção delas aumentou o RMSE de treinamento em 2,5% para o XGBoost-only).
- Período de Teste: O efeito foi assimétrico. A remoção das características de COVID melhorou o RMSE de teste do XGBoost-only em 1,2%, mas degradou o RMSE de teste do híbrido em 3,2%.
- Análise SHAP: Um achado crítico revelou que 5 das 8 características de COVID foram classificadas como mais importantes pelo modelo híbrido no conjunto de teste pós-agudo do que durante o período de pandemia ativa no treinamento. Isso indica que o modelo aplicou excessivamente padrões aprendidos da pandemia a um período onde as respostas comportamentais haviam se normalizado, levando a falhas sistemáticas.

4. Significância e Alegações

O artigo estabelece que, embora arquiteturas híbridas de aprendizado profundo possam capturar dinâmicas temporais, elas não produzem necessariamente ganhos de precisão estatisticamente significativos sobre modelos de gradient boosting bem ajustados quando ricas características tabulares estão disponíveis.

A principal contribuição deste trabalho é a identificação da decaimento da validade temporal como um mecanismo de erro de previsão. O estudo demonstra que as características epidemiológicas, embora altamente informativas durante a fase de interrupção aguda (2020–2021), tornaram-se ruído contraproducente na fase pós-aguda (final de 2022–2023) porque os direcionadores comportamentais (confinamentos, mandatos de trabalho remoto) que ligavam as métricas virais à demanda de eletricidade haviam se dissipado.

Os autores concluem que:

Parcimônia Operacional: Para a previsão de demanda diária neste contexto, um modelo XGBoost puramente tabular é uma escolha operacional competitiva, oferecendo precisão semelhante ao modelo híbrido com menor complexidade de implementação.
Gestão do Ciclo de Vida das Características: As características epidemiológicas devem ser limitadas temporalmente ou aposentadas uma vez que a adaptação comportamental esteja completa. Depender delas após a fase aguda da pandemia leva ao overfitting em padrões obsoletos, um fenômeno detectável via análise temporal SHAP, onde a importância da característica aumenta apesar da diminuição da utilidade preditiva.
Direcionadores Comportamentais vs. Virológicos: O estudo esclarece que a resposta da demanda ao COVID foi impulsionada por interrupções comportamentais e não apenas pelas taxas de transmissão viral isoladamente; uma vez que o comportamento normalizou, a correlação entre contagens de casos e demanda quebrou, independentemente da circulação viral contínua.