Resumen Técnico: Aprendizaje por Refuerzo Jerárquico con Restricciones y Frontera Dinámica para la Programación Espacio-Temporal de Vehículo-a-Red (V2G)

1. Formulación del Problema

El artículo aborda el desafío de integrar flotas de Vehículos Eléctricos (EV) a gran escala en el marco del Flujo de Potencia Óptima (OPF) para la programación de Vehículo-a-Red (V2G). Esta integración es crítica para la estabilidad de la red y la mitigación de las energías renovables, pero enfrenta dos obstáculos principales:

1. Complejidad Computacional: Las formulaciones tradicionales de Programación No Lineal Entera Mixta (MINLP) para OPF-EV sufren de altos costos computacionales debido a los estados de conexión discretos de los EV y las ecuaciones de flujo de potencia no lineales. Los solvers como SCIP escalan pobremente, y el Control Predictivo Basado en Modelo (MPC) incurre en una sobrecarga significativa debido a su naturaleza iterativa, lo que hace que la coordinación en tiempo real de grandes flotas sea impracticable.
2. Satisfacción de Restricciones en el Aprendizaje: Los métodos existentes de Aprendizaje por Refuerzo Profundo (DRL) luchan por equilibrar la escalabilidad con la aplicación estricta de restricciones. La mayoría de los enfoques de "Safe RL" dependen de penalizaciones blandas o proyecciones post-hoc que no garantizan la adherencia estricta a las restricciones de igualdad de balance de potencia de CA (AC-OPF) o a las demandas de carga temporalmente acopladas de los EV individuales. Además, los marcos de RL estándar suelen asumir dimensiones de estado/acción fijas, fallando al no poder acomodar la llegada y salida dinámica de los EV.

El objetivo es minimizar el costo combinado de generación de la red y el costo de carga de los EV mientras se satisfacen las ecuaciones de flujo de potencia de CA, los límites de generador/voltaje y se garantiza que cada EV alcance su estado de carga (SOC) objetivo antes de su partida.

2. Metodología: Marco HPC-RL

Los autores proponen HPC-RL (Política Jerárquica para el Aprendizaje por Refuerzo con Restricciones), una arquitectura de dos capas diseñada para desacoplar las restricciones espaciales de la red de las restricciones temporales de los EV.

2.1 Nivel Superior: GRG-SAC Integrado con la Física

El nivel superior gestiona las variables a nivel de red (potencia activa/reactiva del generador, magnitudes de voltaje y ángulos de fase) y las demandas de carga agregadas.

• Integración de GRG: En lugar de tratar las ecuaciones de flujo de potencia como restricciones blandas, el marco las integra analíticamente en el proceso de generación de la política utilizando el método de Gradiente Reducido Generalizado (GRG) combinado con Soft Actor-Critic (SAC).
• Descomposición de Variables: Las variables de decisión se dividen en acciones básicas ($a_B$, p. ej., potencia del generador, magnitudes de voltaje en buses no de carga) producidas por la política de RL, y variables no básicas ($a_N$, p. ej., voltajes de buses de carga, ángulos de fase).
• Mapeo Implícito: Las variables no básicas se derivan determinísticamente resolviendo las restricciones de igualdad de balance de potencia ($h(a_B, a_N) = 0$) mediante el método de Newton. Esto crea un mapeo implícito $a_N = \phi(a_B)$.
• Propagación de Gradientes: Utilizando el Teorema de la Función Implícita, los gradientes se propagan a través de este mapeo para actualizar la política, asegurando que las actualizaciones permanezcan dentro del espacio tangente de las restricciones de igualdad.
• Manejo de Desigualdades: Un mecanismo de proyección mapea las acciones al conjunto factible si se violan las restricciones de desigualdad (p. ej., límites de voltaje).

2.2 Nivel Inferior: Estrategia de Frontera Dinámica

El nivel inferior gestiona la disposición de los EV individuales dentro de las estaciones de carga para abordar las restricciones temporalmente acopladas (garantizar que los EV alcancen el SOC objetivo antes de la partida).

• Fronteras Dinámicas: El marco introduce una estrategia novedosa para calcular los límites de potencia de carga factibles en tiempo real ($P^{min}_{i,ch}$ y $P^{max}_{i,ch}$) para cada EV.
  • El límite superior está restringido por las tasas de carga físicas y la capacidad residual de la batería.
  • El límite inferior se calcula basándose en el tiempo restante hasta la partida y el déficit entre el SOC actual y el objetivo, garantizando que la carga pueda completarse si se aplica la potencia mínima.
• Asignación de Prioridad: El asignador de nivel inferior primero asegura que todos los EV reciban su potencia mínima requerida (impuesta por las fronteras dinámicas). La capacidad restante de la estación se distribuye a los EV con la mayor urgencia de carga (basada en los déficits de SOC e inminencia de partida).
• Representación de Estado: Una capa especializada de incrustación de demanda codifica los requisitos de carga futuros en el espacio de estados para mejorar la eficiencia del aprendizaje.

3. Contribuciones Clave

1. Cumplimiento Unificado de Restricciones Espacio-Temporales: El artículo integra el método GRG en el RL para imponer estrictamente la seguridad física de la red a nivel espacial (igualdad de flujo de potencia) mientras utiliza una estrategia de frontera dinámica para garantizar las demandas de carga temporales. Esto va más allá de las penalizaciones blandas hacia la satisfacción de restricciones duras.
2. Escalabilidad Jerárquica: Al desacoplar la disposición de potencia a nivel de red de la asignación individual de los EV, el marco supera la "maldición de la dimensionalidad" asociada con las flotas de EV de gran escala y tamaño variable.
3. Factibilidad en Tiempo Real: El método logra una programación casi óptima con tasas de violación de restricciones cercanas a cero, reduciendo drásticamente el tiempo de computación en línea en comparación con los solvers tradicionales.

4. Resultados Experimentales

Se realizaron experimentos en sistemas de 14, 30 y un sistema modificado de 141 buses (IEEE 14, 30 y 141), comparando HPC-RL contra MPC y varios baselines de Safe RL (CPO, CUP, DDPGLA, SACLA).

• Satisfacción de Restricciones: HPC-RL logró un 100% de satisfacción de la demanda y violaciones de restricciones cercanas a cero en todas las escalas. En contraste, los métodos de Safe RL de referencia a menudo sufrieron violaciones severas de restricciones (p. ej., CPO mostró magnitudes de violación de 0.77–164.25) o fallaron en cumplir las demandas de carga de los EV (66–92% de satisfacción).
• Eficiencia Computacional: HPC-RL redujo el tiempo de inferencia en línea por factores de 52×, 67× y 319× en comparación con MPC en los sistemas de 14, 30 y 141 buses, respectivamente. Mientras que MPC tomó cientos o miles de segundos, HPC-RL operó en menos de 5 segundos incluso para el sistema de 141 buses.
• Optimalidad: HPC-RL incurrió en una brecha de costo de objetivo moderada (aprox. 7–13%) en comparación con la solución óptima de MPC, pero proporcionó una solución factible donde MPC era computacionalmente prohibitivo para uso en tiempo real.
• Escalabilidad: El sistema mantuvo la eficiencia a medida que aumentaba el número de EV activos de 1 a 50, con tiempos de inferencia que permanecieron bajos (menos de 2 segundos para 50 EVs) en comparación con el crecimiento exponencial de MPC.
• Estudios de Ablación:
  • Incrustación de Demanda: Incorporar información de demanda futura en la representación del estado mejoró significativamente la velocidad de convergencia y redujo las violaciones de restricciones.
  • Asignación de Prioridad: La asignación basada en prioridad dinámica superó la distribución promedio estática en la acumulación de recompensas manteniendo la seguridad de las restricciones.

5. Significación y Reivindicaciones

El artículo afirma que HPC-RL proporciona un paradigma computacionalmente tratable y físicamente confiable para la coordinación de V2G a gran escala. Su significancia radica en resolver el compromiso fundamental entre la escalabilidad en tiempo real y la satisfacción estricta de las restricciones espacio-temporales acopladas. Al integrar analíticamente las restricciones de la física en el proceso de aprendizaje y desacoplar las obligaciones temporales mediante fronteras dinámicas, el método permite el despliegue de la programación V2G basada en RL en escenarios donde la optimación tradicional es demasiado lenta y el RL estándar es inseguro. Los autores posicionan esto como un paso hacia el manejo de la generación renovable estocástica y las topologías de distribución complejas en trabajos futuros.