State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading

Resumen Técnico: La representación del estado es fundamental en el Aprendizaje por Refuerzo Profundo para el comercio de energía

Formulación del problema
El comercio de energía para la hidroelectricidad de bombeo es un problema de toma de decisiones secuenciales bajo incertidumbre. Un agente debe decidir cada hora si bombear agua (consumir energía), liberar agua (generar energía) o mantener la situación, basándose en los niveles actuales del embalse y la información del mercado. El objetivo es maximizar los ingresos explotando las diferencias de precios entre las horas de bombeo y de generación. Dado que el Aprendizaje por Refuerzo (RL) es un ajuste natural para este entorno, la calidad de la política aprendida depende fuertemente de la representación del estado proporcionada al agente. El artículo investiga cómo diferentes familias de características del mercado —específicamente las características absolutas, relativas y de pronóstico— afectan el rendimiento y la generalización de los agentes de RL profundo sin modelo cuando las condiciones del mercado cambian (por ejemplo, cambios en los niveles de precios, volatilidad o ubicación geográfica).

Metodología
Los autores utilizan HydroDam, un entorno controlado que simula una instalación de bombeo con restricciones físicas fijas (capacidad, eficiencia, caudales) y un espacio de acciones fijo (bombear, mantener, liberar a la tasa máxima). La función de recompensa se define como el ingreso comercial inmediato, teniendo en cuenta los precios de la electricidad positivos y negativos.

Para aislar el impacto de la representación del estado, el estudio emplea un estudio de ablación controlado utilizando una arquitectura y un protocolo de entrenamiento Double DQN (DDQN) fijos. La única variable que cambia en los experimentos es las características del estado de entrada. Las familias de características probadas son:

1. Características Absolutas: Precios actuales normalizados, precios con transformación logarítmica y codificaciones de calendario (seno/coseno para hora/día, indicadores de fin de semana).
2. Características Relativas: Características que comparan los precios actuales con la historia reciente, incluyendo puntuaciones z de 24h/168h, puntuaciones de precios rodantes (basadas en cuantiles), características de calendario relativas e indicadores técnicos (RSI, Bandas de Bollinger, medias móviles).
3. Características de Pronóstico: Un pronóstico de precios de 24 horas generado por un conjunto de cinco modelos LightGBM, que incluye puntuaciones z de precios futuros y estimaciones de incertidumbre del conjunto.

Configuración Experimental

• Datos: Los datos de entrenamiento y validación consisten en precios del mercado diario belga de 2007–2011.
• Evaluación:
  • Mismo Mercado (Same-Market Test): El rendimiento se evalúa con datos belgas de 2012–2025, un periodo que contiene una volatilidad significativamente mayor, precios negativos y la crisis energética de 2021–2022.
  • Prueba de Zona Cruzada (Cross-Zone Test): Políticas fijas se evalúan en otras 39 zonas de licitación de ENTSO-E para probar la transferencia de cero disparos (zero-shot transfer) a través de diferentes regímenes de mercado.
• Líneas Base (Baselines): Una heurística de puntuación de precio rodante (comprar cuando los precios son bajos en relación con los percentiles recientes, vender cuando son altos) sirve como una línea base fuerte de no-RL. El beneficio óptimo se calcula mediante programación dinámica con conocimiento perfecto para normalizar los resultados como un porcentaje del máximo teórico.

Contribuciones Clave

1. Banco de Pruebas Controlado: El artículo formula HydroDam como un banco de pruebas específico para estudiar la representación del estado en el RL profundo sin modelo para el comercio de energía, manteniendo el entorno y el algoritmo fijos.
2. Ablación de Características: Compara sistemáticamente las representaciones de estado absolutas, relativas y de pronóstico, aislando sus efectos individuales y combinados en el rendimiento de la política.
3. Análisis de Generalización: Evalúa las políticas en periodos de tiempo no vistos y en mercados geográficos no vistos, demostrando que la representación del estado es un factor crítico para la transferibilidad, y no simplemente un detalle de preprocesamiento.

Resultos
El estudio revela que la representación del estado altera drásticamente la efectividad percibida del agente de RL:

• Características Absolutas: Lograron el mayor rendimiento de validación (78.9% del beneficio óptimo) pero sufrieron un sobreajuste severo, cayendo al 28.8% en el conjunto de prueba del mismo mercado y a una mediana de 5.7% en las zonas cruzadas.
• Características Relativas y de Pronóstico (Individuales): Ambas funcionaron mal de forma aislada. Las políticas de solo relativas alcanzaron solo un 10.3% en el conjunto de prueba, y las de solo pronóstico un 33.4%, fallando ambas en superar consistentemente la heurística de puntuación de precio rodante en las medianas de las zonas cruzadas.
• Características Combinadas: La combinación de familias de características produjo resultados significativamente robustos.
  • Absolutas + Relativas: Alcanzaron un 49.9% en el conjunto de prueba y una mediana de 39.8% en zonas cruzadas.
  • Absolutas + Relativas + Pronóstico: Lograron el rendimiento más sólido, alcanzando un 55.6% en el conjunto de prueba y una mediana de 47.5% a través de 39 zonas. Este modelo completo superó a la heurística en 38.2 de 39 zonas en promedio.

Significancia y Reivindicaciones
El artículo sostiene que en el comercio de almacenamiento de energía, la representación del estado es una parte central del diseño de la política, no una elección menor de preprocesamiento. Los resultados sugieren que:

• Depender de una sola familia de características conduce a una generalización deficiente cuando los regímenes de mercado cambian (por ejemplo, de periodos históricos tranquilos a periodos de crisis con precios negativos).
• La transferencia robusta requiere una representación de estado híbrida que combine:
  1. Escala de precio (características absolutas) para entender la magnitud de las oportunidades.
  2. Contexto relativo reciente para adaptarse a los cambios en los niveles de precios.
  3. Información de pronóstico de corto horizonte para anticipar condiciones futuras.
• Si bien el enfoque combinado mejora significativamente el rendimiento, no resuelve todos los entornos de mercado (por ejemplo, las zonas nórdicas con bajos diferenciales intradía siguen siendo desafiantes), lo que indica que el diseño del estado es necesario pero no suficiente para el éxito universal.

Los autores concluyen que para el RL sin modelo en el comercio de energía, los agentes requieren acceso simultáneo a la escala de precios, la posición relativa y la información de pronóstico para mantener la efectividad bajo condiciones de mercado cambiantes.