Physics Informed Reinforcement Learning with Gibbs Priors for Topology Control in Power Grids

1. Planteamiento del Problema

El control de la topología en redes eléctricas es un problema de toma de decisiones secuenciales extremadamente desafiante debido a dos factores principales:

• Espacio de acciones combinatorio: El número de posibles reconfiguraciones de la red crece exponencialmente con el tamaño de la red y la complejidad de las subestaciones, lo que hace que la exploración en Aprendizaje por Refuerzo (RL) sea ineficiente.
• Costo computacional de la simulación: Evaluar la viabilidad y el riesgo de una acción requiere ejecutar flujos de potencia (power flow), lo cual es computacionalmente costoso. Realizar esto en línea (online) para grandes conjuntos de candidatos es prohibitivo en tiempo real.

Además, las intervenciones críticas solo son necesarias cuando la red se acerca a límites térmicos o de seguridad (regímenes peligrosos). En condiciones normales, la mejor acción suele ser "no hacer nada" (no-op).

2. Metodología Propuesta

Los autores proponen un marco de Aprendizaje por Refuerzo Informado por la Física (Physics-Informed RL) que aborda simultáneamente la escalabilidad y el costo computacional mediante los siguientes componentes:

A. Formulación Semi-Markov (Control Basado en Riesgo)

En lugar de tomar decisiones en cada paso de tiempo microscópico, el agente actúa solo cuando la red entra en un régimen peligroso.

• Se define un indicador de riesgo basado en la relación de carga máxima de las líneas ($\text{Risk}(o_t) = \max \rho_\ell$).
• Se utiliza un proceso de decisión semi-Markoviano donde el agente interviene solo cuando el riesgo supera un umbral $\delta_h$. Esto reduce drásticamente la frecuencia de decisiones y enfoca el cómputo en estados críticos.

B. Representación Gráfica y Sustituto de Riesgo (GNN Surrogate)

• Representación: La red se modela como un grafo donde los nodos son barras (busbars) y las aristas son líneas/transformadores. Se utilizan características eléctricas (inyecciones, voltajes, cargas) y de mantenimiento.
• Sustituto de Riesgo: Se entrena una red neuronal gráfica (GNN) para predecir el riesgo de sobrecarga en el siguiente paso ($\text{Risk}(o_{t+1})$) dado un estado actual y una acción candidata. Este modelo actúa como un "sustituto" rápido de la simulación física completa.

C. Prior de Gibbs Informado por la Física

Se introduce una distribución de probabilidad a priori (Prior) sobre el espacio de acciones basada en la física del sistema:

• Puntuación Física: Se calcula una puntuación $s_\phi(a|G_t) = -\frac{1}{\tau} \widehat{\text{Risk}}_\phi(G_t, a)$, donde $\tau$ es una temperatura. Las acciones con menor riesgo predicho obtienen puntuaciones más altas.
• Distribución de Gibbs: Esta puntuación define una distribución de Gibbs $p_{\text{phys}}(a|G_t) \propto \exp(s_\phi)$.

D. Selección de Candidatos y Reponderación de la Política

El método combina la política aprendida con el prior físico en dos etapas:

1. Selección Top-K: Se reduce el espacio de acciones combinatorio a un conjunto pequeño de candidatos ($A^K_t$) seleccionando las $K$ acciones factibles con el menor riesgo predicho por el GNN.
2. Reponderación (Reweighting): La política final no solo se basa en los logits aprendidos por el agente ($\ell_\theta$), sino que se repondera sumando la puntuación física:
   $$\tilde{\ell}(a|G_t) = \ell_\theta(a|G_t) + \beta s_\phi(a|G_t)$$
   Donde $\beta$ controla la fuerza del prior. La acción final se selecciona de este conjunto reducido y reponderado.

E. Entrenamiento

El entrenamiento se realiza en dos etapas:

1. Entrenamiento del Sustituto: Se entrena el GNN para predecir el riesgo de una acción usando datos de simulación (pérdida L2).
2. Entrenamiento de la Política: Se utiliza PPO (Proximal Policy Optimization) en los pasos macro (decisiones de riesgo). La política aprende a seleccionar acciones dentro del conjunto restringido $A^K_t$, optimizando la recompensa acumulada (supervivencia de la red).

3. Contribuciones Clave

1. Método Informado por la Física: Introduce un mecanismo que selecciona un subconjunto pequeño y dependiente del estado de acciones factibles, mejorando la escalabilidad en espacios de acción discretos grandes.
2. Regla de Política Agnóstica: Propone una regla que puede reponderar las puntuaciones de cualquier agente de RL utilizando un prior basado en la física, inyectando conocimiento del entorno sin necesidad de reestructurar completamente el algoritmo de aprendizaje.
3. Validación en Entornos Realistas: Demuestra la eficacia del enfoque en tres entornos de red eléctrica de complejidad creciente (IEEE 14, 36 y 118 buses), mostrando generalización y equilibrio entre calidad de control y eficiencia.

4. Resultados Experimentales

El método se evaluó en tres entornos del marco Grid2Op (L2RPN) comparado con políticas aleatorias, PPO estándar, y oráculos (búsqueda exhaustiva) o baselines especializados (LJN):

• Caso 14 (Red pequeña):
  • El método propuesto alcanza un rendimiento casi idéntico al Oráculo Greedy (127,822.5 vs 127,822.8 de recompensa).
  • Es 6 veces más rápido que el oráculo (0.032 ms/step vs 0.190 ms/step).
• Caso 36 (Red mediana):
  • Supera al PPO en un 24.4% de recompensa y un 27.6% en pasos sobrevividos.
  • Alcanza el 94.6% de la recompensa del oráculo, pero con un tiempo de decisión 200 veces menor (0.924 ms vs 184.2 ms).
• Caso 118 (Red grande y compleja con adversario):
  • Mejora drásticamente al PPO: +255% en recompensa y +284% en pasos sobrevividos.
  • Aunque el baseline especializado (LJN) tiene mejor recompensa absoluta, el método propuesto es 2.5 veces más rápido (32.4 ms vs 81.5 ms), ofreciendo un mejor equilibrio entre calidad y costo computacional.

5. Significado y Conclusión

El trabajo demuestra que es posible superar las limitaciones de exploración y costo computacional en el control de redes eléctricas mediante la integración de conocimiento físico (a través de un prior de Gibbs y un sustituto GNN) dentro de un marco de RL.

• Eficiencia: Al restringir la búsqueda a un subconjunto de acciones físicamente plausibles y actuar solo en momentos críticos, se reduce drásticamente la carga computacional en línea.
• Robustez: El método mejora la estabilidad de la red frente a fallos en cascada y perturbaciones, superando a los enfoques de RL puro.
• Aplicabilidad: Proporciona una arquitectura viable para la implementación en tiempo real, donde la velocidad de decisión es tan crítica como la calidad de la acción.

En resumen, el enfoque combina la flexibilidad del aprendizaje automático con la rigurosidad de la física de la red, logrando un control de topología que es tanto robusto como computacionalmente eficiente.