Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

Resumen Técnico: Pronosticar lo que Importa: Aprendizaje por Refuerzo Enfocado en la Decisión para la Carga Controlada de VE con Tiempos de Salida Desconocidos

Formulación del Problema
La rápida adopción de los vehículos eléctricos (VE) introduce desafíos significativos para los sistemas de potencia, incluyendo picos de demanda y la inestabilidad de la red. Si bien el Aprendizaje por Refuerzo (RL, por sus siglas en inglés) ofrece un enfoque basado en datos para optimizar los esquemas de carga de VE (por ejemplo, minimizando costos o aplanando las cargas), su efectividad se ve frecuentemente obstaculizada por la información incompleta. Una incertidumbre crítica en escenarios del mundo real es el tiempo de salida del vehículo. Sin saber cuándo saldrá un vehículo, un agente de RL no puede determinar con precisión la flexibilidad de tiempo disponible para desplazar la carga hacia horas de baja demanda, lo que podría derivar en sesiones de carga incompletas o una gestión de costos subóptima.

La literatura existente a menudo asume un conocimiento perfecto de los tiempos de salida o depende de modelos de pronóstico tradicionales entrenados únicamente para la precisión predictiva (por ejemplo, minimizando el Error Cuadrático Medio). Sin embargo, el artículo argumenta que un pronosticador optimizado para la precisión no produce necesariamente predicciones que conduzcan a decisiones de control óptimas. Los errores en los pronósticos estándar pueden propagarse a través del bucle de control, degradando el desempeño general de la política de control.

Metodología: Aprendizaje por Refuerza Enfocado en la Decisión (DF-RL)
Para abordar la desconexión entre la precisión de la predicción y la calidad de la decisión, los autores proponen un marco de Aprendizaje por Refuerzo Enfocado en la Decisión (DF-RL). La innovación central es el entrenamiento conjunto de extremo a extremo de un pronosticador de tiempo de salida y un agente de control de RL, donde el pronosticador se actualiza basándose en la calidad de las decisiones de control posteriores, en lugar de solo en el error de predicción.

• Formulación del MDP: El problema se modela como un Proceso de Decisión de Markov (MDP). El espacio de estados incluye variables mensurables (precio de la electricidad, demanda de energía restante, hora del día) y una duración de sesión restante predicha ($\hat{d}_t$). El espacio de acciones es binario: cargar a plena potencia o permanecer inactivo.
• El Pronosticador: Una red neuronal ($f_\psi$) predice la duración total de la sesión ($\hat{T}_t$) basándose en características temporales, energía cargada hasta el momento y energía restante. La duración restante se deriva restando el tiempo transcurrido de esta predicción.
• El Agente de RL: Los autores utilizan Soft Actor-Critic (SAC), un algoritmo actor-crítico fuera de la política (off-policy) que maximiza el retorno esperado mientras mantiene la entropía de la política para la exploración.
• Objetivo de Entrenamiento Conjunto: El pronosticador se entrena utilizando una función de pérdida compuesta (Eq. 9):
  $$L_{total} = \beta L_R + ( - \beta) L_{DF}$$
  • $L_R$: Una pérdida de regresión estándar (MSE) que mide la desviación entre el pronóstico y la duración real de la sesión.
  • $L_{DF}$: El componente enfocado en la decisión, que aprovecha la función de ventaja ($A(s,a)$) del agente de RL para guiar las actualizaciones del pronosticador. Este término incentiva al pronosticador a producir predicciones que resulten en mayores recompensas acumuladas para el agente de RL.
  • $\beta$: Un hiperparámetro ($\in [0,1]$) que equilibra el peso entre la precisión de la predicción y la calidad de la decisión.

Contribuciones Clave

1. Marco DF-RL para la Carga de VE: El artículo introduce una aplicación novedosa del aprendizaje enfocado en la decisión a la programación de carga de VE, apuntando específicamente a la incertidumbre de los tiempos de salida. A diferencia de trabajos previos que integran el aprendizaje DF con el Control Predictivo Basado en Modelos (MPC) o métodos de optimización (que requieren la diferenciación implícita compleja de las condiciones KKT), este enfoque integra el aprendizaje DF directamente en un flujo de trabajo de RL.
2. Optimización de Extremo a Extremo: El marco permite que el pronosticador sea entrenado directamente desde el objetivo de control. El pronosticador y la política de RL se actualizan conjuntamente, permitiendo que el pronosticador aprenda "qué importa" para el controlador en lugar de solo minimizar el error estadístico.
3. Aumentación de Estado: El método enriquece la representación del estado del agente de RL con un pronóstico de la duración de la sesión basado en redes neuronales, permitiendo que el agente tome decisiones informadas a pesar de la falta de datos de partida reales.

Resultados Experimentales
Los autores evaluaron el marco DF-RL utilizando un conjunto de datos del mundo real de sesiones de carga de VE de un estacionamiento de un hospital. Compararon su enfoque contra:

• BAU: Carga inmediata al llegar.
• RL (Sin Pronóstico): RL sin ninguna información de tiempo de salida.
• RL (Pronosticador Convencional): RL con un pronosticador entrenado solo con pérdida de regresión ($\beta=1$).
• RL (Salida Real): Un modelo de límite superior (upper-bound) con conocimiento perfecto de los tiempos de salida.

Hallazgos Clave:

• Mejora del Desempeño: El método propuesto DF-RL (específicamente con $\beta=0.2$ o $0.4$) logró una mejora del 14% en la recompensa total y una reducción del 55% en la energía no suministrada (carga que falló porque el VE se fue) en comparación con el método de RL sin pronóstico de tiempo de salida.
• Comparación con el Pronóstico Convencional: En comparación con el método de RL que utiliza un pronosticador convencional ($\beta=1$), el enfoque DF-RL redujo la demanda no satisfecha en aproximadamente un 14% (del 7.3% al 6.3% en el mejor de los casos) y mejoró la recompensa total en un 5%.
• Perspectiva de Comportamiento: El artículo señala que el DF-RL no necesariamente produce predicciones numéricas más exactas del tiempo de salida. En cambio, produce predicciones "conservadoras" que son más útiles para la toma de decisiones. Por ejemplo, en un estudio de caso, el pronosticador DF-RL predijo una duración de sesión ligeramente más corta que la realidad, lo que impulsó al agente a cargar antes y completar la sesión con éxito. En contraste, el pronosticador convencional sobreestimó la duración, lo que provocó un retraso en la carga y una sesión incompleta.
• Compromisos (Trade-offs): Los valores más bajos de $\beta$ (priorizando la calidad de la decisión sobre la exactitud bruta) resultaron en menos VE insatisfechos pero costos de carga ligeramente más altos, reflejando un compromiso entre satisfacer las demandas de energía y minimizar los gastos de electricidad.

Significancia y Reivindicaciones
El artículo afirma que la principal significancia de este trabajo radica en demostrar que la precisión de la predicción no es el único determinante del desempeño del control. Al entrenar al pronosticador con la retroalimentación del agente de control, el sistema aprende a generar predicciones que son robustas a las restricciones y objetivos específicos del problema de carga.

Los autores declaran modestamente que, si bien su enfoque DF-RL produce decisiones de carga superiores a los modelos base, es un paso hacia el manejo de la incertidumbre en la carga de VE sin la complejidad de integrar el aprendizaje DF con resolvedores de optimización tradicionales. Reconocen que el trabajo actual se centra en un escenario de un solo vehículo con un perfil de precio determinista y planean trabajos futuros para extender el marco a escenarios cooperativos de múltiples vehículos, perfiles de precios dinámicos y modelos de pronóstico más expresivos para capturar patrones temporales como la estacionalidad.