Stealing Accuracy: Predicting Day-ahead Electricity Prices with Temporal Hierarchy Forecasting (THieF)

O artigo apresenta a previsão de hierarquia temporal (THieF) como um método eficaz para prever preços de eletricidade no dia seguinte, demonstrando que a reconciliação de previsões entre produtos horários e blocos de 2 a 24 horas melhora significativamente a precisão em mercados como o alemão e o espanhol, com custos computacionais comparáveis e aplicabilidade a diversas arquiteturas de modelos.

O essencial

Imagine que você é o capitão de um navio tentando prever o clima para a próxima semana. Você tem três ferramentas:

1. Um oráculo que diz exatamente como estará o tempo em cada hora (mas ele se perde nos detalhes).
2. Um sábio que olha para o dia inteiro e diz se será "bom" ou "ruim" (muito preciso na média, mas sem detalhes).
3. Um grupo de especialistas que olha para blocos de 4 horas ou 8 horas.

O problema é que, muitas vezes, o oráculo diz "vai chover às 14h", o sábio diz "o dia será ensolarado" e os especialistas dizem "o meio-dia será nublado". Se você tentar tomar uma decisão baseada apenas no oráculo, pode errar feio. Se usar só o sábio, não saberá quando abrir ou fechar as velas.

O que este artigo faz?
Os autores criaram um "maestro" chamado THieF (Forecasting Temporal Hierarchy). A função desse maestro não é inventar novos dados, mas sim reconciliar as previsões conflitantes. Ele pega a visão de curto prazo (hora a hora), a visão de médio prazo (blocos de 4h, 8h) e a visão de longo prazo (média do dia todo) e as mistura de forma inteligente para que todas as previsões façam sentido juntas.

A Analogia da Orquestra

Pense na previsão de preço de energia elétrica como uma orquestra:

• Os músicos individuais são os modelos que preveem o preço de cada hora (1H). Às vezes, um violinista (o modelo de 1 hora) toca uma nota muito aguda e errada porque está nervoso com o ruído do trânsito.
• O maestro é o THieF. Ele ouve o violino, mas também ouve o contrabaixo (a média de 12 horas) e a percussão (a média de 24 horas).
• Se o violino diz "o preço vai subir 1000%" e o contrabaixo diz "o preço está estável", o maestro sabe que o violino está exagerando. Ele ajusta a nota do violino para baixo, usando a sabedoria do contrabaixo como âncora.

O que eles descobriram?

Os pesquisadores testaram isso nos mercados de energia da Alemanha e da Espanha durante 4 anos (um período cheio de crises, pandemias e guerras, o que torna tudo muito difícil de prever). Eles usaram desde modelos matemáticos simples (como uma calculadora avançada) até inteligências artificiais superpoderosas (como um "cérebro" de IA gigante chamado Mitra).

O resultado foi surpreendente:

1. Funciona para todos: Não importa se você usa uma calculadora simples ou um supercomputador de IA. Quando o "maestro" (THieF) ajusta as previsões, todas ficam melhores.
2. Quanto maior o bloco, maior o ganho: Prever o preço de uma única hora é difícil e melhora um pouco (cerca de 5%). Mas prever o preço médio de um "bloco" de 24 horas (o dia todo) ou de 12 horas melhora muito (até 13% de precisão).
3. É barato: Fazer essa "reconciliação" não custa quase nada de tempo de computador. É como adicionar um passo extra na receita de um bolo que não demora nada a mais para assar, mas faz o bolo ficar muito mais saboroso.

Por que isso importa no mundo real?

Hoje em dia, as pessoas não compram energia apenas "hora a hora". Elas compram em blocos (ex: "quero energia das 14h às 18h" ou "quero energia para o dia todo").

• Se você é um trader de energia e sua previsão para a hora está errada, você perde dinheiro.
• Se sua previsão para o bloco de 12 horas está errada, você pode comprar energia cara demais ou vender muito barata.

O THieF garante que, se você disse que o preço médio do dia será X, a previsão das horas individuais some exatamente para dar X. Isso evita decisões "subótimas" (decisões ruins por falta de alinhamento).

Resumo em uma frase

O artigo prova que, ao misturar previsões de curto prazo (hora a hora) com previsões de longo prazo (blocos de horas e dias) e forçá-las a concordar entre si, conseguimos prever o preço da energia elétrica com muito mais precisão, economizando dinheiro e evitando erros, seja usando inteligência artificial ou matemática simples.

A lição final: Às vezes, a resposta certa não está em escolher o especialista mais inteligente, mas em fazer todos os especialistas conversarem e chegarem a um consenso.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Stealing accuracy: Predicting day-ahead electricity prices with temporal hierarchy forecasting (THieF)" em português:

Título: Roubar Precisão: Previsão de Preços de Eletricidade para o Dia Seguinte com Previsão de Hierarquia Temporal (THieF)

Autores: Arkadiusz Lipiecki, Kaja Bilińska, Nikolaos Kourentzes, Rafał Weron.
Contexto: Estudo aplicado aos mercados de eletricidade da Alemanha (EPEX-DE) e Espanha (OMIE) durante um período de teste desafiador de 4 anos (2021-2024).

---

1. O Problema

As decisões operacionais nos mercados de eletricidade exigem previsões de curto prazo em diferentes níveis de granularidade (ex.: preços horários, blocos de 2h, 4h, até a média diária/baseload).

• Desalinhamento: Modelos tradicionais frequentemente geram previsões independentes para cada nível temporal. Essas previsões podem não ser coerentes entre si (ex.: a soma das previsões horárias não iguala a previsão do bloco de 24h), levando a decisões subótimas.
• Falta de Aplicação: Embora a "Previsão de Hierarquia Temporal" (THieF) seja estabelecida em outras áreas, sua aplicação à previsão de preços de eletricidade (EPF) era inexistente na literatura, com exceção de estudos relacionados a curvas de oferta/demanda agregadas, mas não focados na hierarquia temporal de preços.
• Complexidade do Mercado: O mercado europeu está em transição para intervalos de negociação mais curtos (15 minutos), aumentando a importância de produtos de bloco e a necessidade de reconciliação de previsões.

2. Metodologia

O estudo propõe e avalia o uso da Previsão de Hierarquia Temporal (THieF) para reconciliar previsões de preços de eletricidade. O processo segue três etapas principais:

1. Agregação Temporal Não Sobreposta:

   • Os dados horários ($m=24$) são agregados em níveis hierárquicos baseados nos divisores de 24: 1H, 2H, 3H, 4H, 6H, 8H, 12H e 24H (baseload).
   • Utiliza-se uma matriz de somação ($S$) para transformar as séries temporais originais em níveis agregados (médias), garantindo que a soma das previsões reconciliadas seja coerente com a hierarquia.

2. Geração de Previsões Base (Base Forecasts):

   • Foram utilizados quatro modelos distintos com arquiteturas variadas para gerar previsões independentes em cada nível da hierarquia:
     1. ARX (Regressão Linear): Modelo clássico com variáveis exógenas (preços passados, carga, vento, futuros de carvão/gás).
     2. NARX (Rede Neural Não Linear): Rede neural feedforward rasa (5 neurônios) com arquitetura série-paralelo.
     3. XGB (Gradient Boosting): Ensemble de árvores de decisão (XGBoost) com otimização de hiperparâmetros.
     4. Mitra (Transformer): Modelo de base (foundation model) pré-treinado da Amazon (AutoGluon), baseado em uma arquitetura Transformer de 12 camadas e 72 milhões de parâmetros, usado em modo zero-shot (sem ajuste fino).
   • Entradas: 20 características, incluindo preços defasados, limites diários, previsões de carga e geração eólica, e preços futuros de combustíveis.

3. Reconciliação (Reconciliation):

   • As previsões base de todos os níveis são combinadas para produzir previsões reconciliadas e coerentes.
   • O método utiliza a fórmula de mínimos quadrados ponderados generalizados: $\tilde{P}_d = S(S^T W^{-1} S)^{-1} S^T W^{-1} \hat{P}_d$.
   • Estimativa de Covariância: Dado que a matriz de covariância dos erros ($W$) é grande (60x60) e o tamanho da amostra de treino é limitado, utilizou-se o método de shrinkage de correlação constante (Ledoit e Wolf, 2004) para regularizar a matriz e evitar sobreajuste.

3. Principais Contribuições

• Primeira Aplicação em EPF: É o primeiro estudo a aplicar THieF especificamente para previsão de preços de eletricidade, preenchendo uma lacuna na literatura.
• Uso de Modelos Foundation: Pela primeira vez, um modelo pré-treinado de grande escala (Mitra/Transformer) foi utilizado não apenas para previsão, mas também integrado em uma estrutura de hierarquia temporal.
• Validação em Cenários Críticos: O estudo foi testado em um período de 4 anos (2021-2024) que incluiu a pandemia, a invasão da Ucrânia, crises de preços de gás e volatilidade extrema, demonstrando robustez.
• Custo Computacional Baixo: Demonstra que o custo computacional da reconciliação é insignificante comparado ao custo de gerar as previsões base, tornando a abordagem viável para uso diário.

4. Resultados

Os resultados foram avaliados através do Erro Absoluto Médio (MAE) e do Erro Quadrático Médio Raiz (RMSE) nos mercados alemão e espanhol.

• Melhoria de Precisão Consistente: A reconciliação melhorou a precisão em todos os níveis de hierarquia e para todos os modelos, em ambos os mercados.
  • Ganhos Máximos: Até 5,5% de melhoria no MAE para preços horários e até 13,4% para preços de baseload (24h).
  • Tendência: Os ganhos de precisão aumentam conforme o tamanho do bloco de tempo aumenta (maior agregação).
• Desempenho por Modelo:
  • O modelo XGB obteve os maiores ganhos médios (6,7% no MAE na Alemanha e 4,8% na Espanha).
  • O modelo Mitra (Transformer) também se beneficiou significativamente, confirmando que a THieF é útil mesmo para modelos de base complexos e pré-treinados.
• Significância Estatística: Testes de Diebold-Mariano multivariados confirmaram que as previsões reconciliadas são estatisticamente superiores às não reconciliadas na maioria dos casos (nível de significância de 1% na Alemanha).
• Robustez Temporal: As melhorias foram consistentes ao longo dos anos, embora tenham sido ligeiramente menores no mercado espanhol em anos de menor volatilidade (2023-2024) em comparação com a Alemanha, que manteve picos de preços extremos.

5. Significância e Conclusão

• Viabilidade Prática: O estudo recomenda a adoção da THieF na prática diária de previsão de preços de eletricidade. O custo computacional adicional é mínimo (apenas o custo de treinar modelos em níveis agregados), enquanto os benefícios em precisão são substanciais.
• Relevância para o Mercado: Com a expansão dos produtos de bloco no mercado europeu e a transição para intervalos de 15 minutos, a capacidade de gerar previsões coerentes em múltiplas granularidades torna-se crítica para o comércio e a operação do sistema.
• Implicação Teórica: A eficácia da THieF em modelos tão diversos (desde regressão linear simples até Transformers massivos) sugere que a principal fonte de erro nas previsões de preços é a especificação incorreta do modelo (misspecification). A reconciliação temporal ajuda a mitigar esse erro ao combinar informações de diferentes visões da série temporal, recuperando padrões que modelos individuais não conseguem capturar sozinhos.

Em resumo, o artigo prova que "roubar precisão" (melhorar a acurácia) através da reconciliação de hierarquias temporais é uma estratégia robusta, estatisticamente significativa e computacionalmente eficiente para o mercado de eletricidade.