State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading

Resumo Técnico: A Representação de Estado é Fundamental no Aprendizado por Reforço Profundo para Negociação de Energia

Formulação do Problema
A negociação de energia para hidroelétricas de bombeamento é um problema de tomada de decisão sequencial sob incerteza. Um agente deve decidir a cada hora se bombeia água (consome energia), libera água (gera energia) ou mantém o estado, com base nos níveis atuais do reservatório e nas informações de mercado. O objetivo é maximizar a receita ao explorar as diferenças de preço entre as horas de bombeamento e de geração. Embora o Aprendizado por Reforço (RL) seja uma escolha natural para este cenário, a qualidade da política aprendida depende fortemente da representação de estado fornecida ao agente. O artigo investiga como diferentes famílias de características de mercado — especificamente características absolutas, relativas e de previsão — afetam o desempenho e a generalização de agentes de RL profundo model-free quando as condições de mercado mudam (ex: mudanças nos níveis de preço, volatilidade ou localização geográfica).

Metodologia
Os autores utilizam o HydroDam, um ambiente controlado que simula uma instalação de bombeamento com restrições físicas fixas (capacidade, eficiência, taxas de fluxo) e um espaço de ação fixo (bombear, manter, liberar na taxa máxima). A função de recompensa é definida como a receita imediata de negociação, contabilizando preços de eletricidade positivos e negativos.

Para isolar o impacto da representação de estado, o estudo utiliza um estudo de ablação controlado usando uma arquitetura e protocolo de treinamento Double DQN (DDQN) fixos. A única variável alterada entre os experimentos são as características de estado de entrada. As famílias de características testadas são:

1. Características Absolutas: Preços atuais normalizados, preços com transformação logarítmica e codificações de calendário (seno/cosseno para hora/dia, indicadores de fim de semana).
2. Características Relativas: Características que comparam o preço atual com o histórico recente, incluindo z-scores de 24h/168h, escores de preços móveis (baseados em quantis), características de calendário relativas e indicadores técnicos (RSI, Bandas de Bollinger, médias móveis).
3. Características de Previsão: Uma previsão de preço de 24 horas gerada por um conjunto (ensemble) de cinco modelos LightGBM, incluindo z-scores de preços futuros e estimativas de incerteza do ensemble.

Configuração Experimental

• Dados: Os dados de treinamento e validação consistem em preços de mercado day-ahead da Bélgica de 2007–2011.
• Avaliação:
  • Teste de Mesmo Mercado: O desempenho é avaliado com dados belgas de 2012–2025, um período que contém volatilidade significativamente maior, preços negativos e a crise energética de 2021–2022.
  • Teste de Cruzamento de Zonas: Políticas fixas são avaliadas em outras 39 zonas de licitação da ENTSO-E para testar a transferência zero-shot através de diferentes regimes de mercado.
• Baselines: Uma heurística de escore de preço móvel (comprar quando os preços estão baixos em relação aos percentis recentes, vender quando estão altos) serve como um baseline forte, não-RL. O lucro ótimo é calculado via programação dinâmica com conhecimento perfeito do futuro para normalizar os resultados como uma porcentagem do máximo teórico.

Principidades Contribuições

1. Testbed Controlado: O artigo formula o HydroDam como um testbed específico para estudar a representação de estado em RL profundo model-free para negociação de energia, mantendo o ambiente e o algoritmo fixos.
2. Ablação de Características: Compara sistematicamente representações de estado absolutas, relativas e de previsão, isolando seus efeitos individuais e combinados.
3. Análise de Generalização: Avalia políticas em períodos de tempo não vistos e mercados geográficos não vistos, demonstrando que a representação de estado é um fator crítico para a transferibilidade, e não meramente um detalhe de pré-processamento.

Resultados
O estudo revela que a representação de estado altera drasticamente a eficácia percebida do agente de RL:

• Características Absolutas: Alcançaram o maior desempenho de validação (78,9% do lucro ótimo), mas sofreram um sério overfitting, caindo para 28,8% no conjunto de teste do mesmo mercado e uma mediana de 5,7% entre as zonas cruzadas.
• Características Relativas & de Previsão (Individuais): Ambas tiveram um desempenho ruim isoladamente. Políticas apenas de características relativas atingiram apenas 10,3% no teste, e políticas apenas de previsão atingiram 33,4%, ambas falhando em superar consistentemente a heurística de escore de preço móvel nas medianas de zonas cruzadas.
• Características Combinadas: A combinação de famílias de características gerou resultados significativamente mais robustos.
  • Absoluta + Relativa: Alcançou 49,9% no conjunto de teste e uma mediana de 39,8% nas zonas cruzadas.
  • Absoluta + Relativa + Previsão: Alcançou o desempenho mais forte, atingindo 55,6% no conjunto de teste e uma mediana de 47,5% em 39 zonas. Este modelo completo superou a heurística em 38,2 de 39 zonas em média.

Significância e Alegações
O artigo afirma que, na negociação de armazenamento de energia, a representação de estado é uma parte central do design da política, não uma escolha menor de pré-processamento. Os resultados sugerem que:

• Confiar em uma única família de características leva a uma baixa generalização quando os regimes de mercado mudam (ex: de períodos históricos calmos para períodos de crise com preços negativos).
• A transferência robusta requer uma representação de estado híbrida que combine:
  1. Escala de preço (características absolutas) para entender a magnitude das oportunidades.
  2. Contexto relativo recente para se adaptar às mudanças nos níveis de preço.
  3. Informação de previsão de curto horizonte para antecipar condições futuras.
• Embora a abordagem combinada melhore significativamente o desempenho, ela não resolve todos os cenários de mercado (ex: zonas Nórdicas com baixos spreads intraday permanecem desafiadoras), indicando que o design de estado é necessário, mas não suficiente para o sucesso universal.

Os autores concluem que, para RL model-free em negociação de energia, os agentes precisam ter acesso simultâneo à escala de preço, posição relativa e informação de previsão para manter a eficácia sob condições de mercado mutáveis.