Topology-Aware Graph Reinforcement Learning for Energy Storage Systems Optimal Dispatch in Distribution Networks

Título: Aprendizaje por Refuerzo Gráfico Consciente de la Topología para la Despacho Óptimo de Sistemas de Almacenamiento de Energía en Redes de Distribución

1. Planteamiento del Problema

La operación en tiempo real de las redes de distribución (RD) se ha vuelto cada vez más compleja debido a la alta penetración de recursos energéticos distribuidos (DER), la volatilidad de los precios de la electricidad y la necesidad de mantener la seguridad del voltaje.

• Desafío Principal: El despacho óptimo de los Sistemas de Almacenamiento de Energía (ESS) requiere coordinar decisiones de carga/descarga para minimizar costos operativos y mantener la estabilidad del voltaje, todo ello bajo restricciones físicas no lineales (flujo de potencia) y cambios dinámicos en la topología de la red (reconfiguración).
• Limitaciones de los Métodos Actuales:
  • Optimización Basada en Modelos (NLP): Aunque ofrecen soluciones de alta calidad, son computacionalmente costosas para la toma de decisiones en tiempo real, especialmente en redes grandes o con condiciones cambiantes frecuentes.
  • Aprendizaje por Refuerzo (RL) Tradicional: Los enfoques basados en Redes Neuronales (NN) estándar suelen tratar el estado como un vector plano, ignorando la estructura gráfica inherente de la red eléctrica. Esto limita su capacidad para capturar dependencias espaciales, generalizar ante cambios de topología y gestionar redes heterogéneas.

2. Metodología Propuesta

Los autores desarrollan una arquitectura de Aprendizaje por Refuerzo (RL) consciente de la topología basada en el algoritmo TD3 (Twin Delayed Deep Deterministic Policy Gradient), integrando Redes Neuronales de Grafos (GNN) como codificadores de características.

• Formulación del Problema:

  • Se modela como un Proceso de Decisión de Markov (MDP) donde el objetivo es minimizar el costo de energía y penalizar las violaciones de voltaje.
  • Estado: Incluye tiempo, precio eléctrico, demanda, estado de carga (SOC) de los ESS y voltajes en nodos con ESS.
  • Acción: Potencia de carga/descarga de cada ESS.
  • Recompensa: Combinación ponderada del beneficio económico y una función de penalización por desviaciones de voltaje.

• Arquitectura del Agente (TD3-GNN):

  • Codificador de Características Gráficas: En lugar de aplanar el estado, la red se representa como un grafo $G=(E, X)$, donde $E$ es la matriz de adyacencia (conexiones eléctricas) y $X$ son las características de los nodos.
  • Mecanismo de Pasaje de Mensajes: Se utilizan tres variantes de GNN para extraer embeddings que capturan la topología y el acoplamiento eléctrico:
    1. GCN (Graph Convolutional Network): Agregación normalizada de vecinos.
    2. TAGConv (Topology Adaptive Graph Convolution): Utiliza filtros polinomiales para capturar dependencias de múltiples saltos (multi-hop) en una sola capa.
    3. GAT (Graph Attention Network): Asigna pesos de atención a los vecinos, permitiendo enfocarse en las conexiones eléctricamente más influyentes.
  • Representación Asimétrica Actor-Crítico:
    • Actor: Utiliza embeddings centrados en los nodos de ESS (agregación local) para generar acciones.
    • Crítico: Utiliza un pooling global (promedio de todos los nodos) para estimar el valor de la recompensa considerando las restricciones de toda la red.

3. Contribuciones Clave

1. Desarrollo de un Codificador Gráfico Específico: Integración de GCN, TAGConv y GAT dentro de un marco RL para el despacho de ESS, permitiendo que el agente aprenda representaciones que incorporan explícitamente la conectividad de la red.
2. Evaluación Sistemática de Variantes GNN: Comparación exhaustiva de las tres arquitecturas de GNN frente a una base de referencia de Redes Neuronales (NN) tradicionales y un optimizador global (NLP) en dos sistemas de prueba (34 y 69 barras).
3. Análisis de Robustez y Transferencia:
   • Evaluación del rendimiento bajo múltiples escenarios de reconfiguración topológica (cambios en las conexiones de ramas).
   • Pruebas de transferencia cruzada (zero-shot) entre redes de diferentes tamaños (34 a 69 barras y viceversa), algo que los métodos basados en NN fijos no pueden realizar directamente.

4. Resultados Principales

Los experimentos se realizaron en los sistemas IEEE de 34 y 69 barras con un horizonte de operación de 24 horas.

• Rendimiento Económico y Velocidad:

  • Velocidad de Ejecución: Los agentes RL redujeron el tiempo de ejecución en un factor de 86 a 614 veces en comparación con la resolución online del problema NLP.
  • Costos: En el sistema de 34 barras, la base NN fue competitiva. Sin embargo, en el sistema más complejo de 69 barras, los métodos TD3-GCN y TD3-TAGConv superaron a la base NN, logrando un ahorro de costos aproximadamente un 9% y 2.5% mayor respectivamente en comparación con la base NN.

• Regulación de Voltaje:

  • Los controladores basados en GNN redujeron consistentemente tanto la frecuencia como la magnitud de las violaciones de voltaje en comparación con TD3-NN.
  • Este beneficio fue más pronunciado en el sistema de 69 barras y bajo escenarios de reconfiguración, demostrando que la conciencia de la topología es crucial para redes más profundas y complejas.

• Generalización y Transferencia:

  • Reconfiguración Intra-red: Los modelos entrenados en una topología base mantuvieron un buen rendimiento al transferirse a topologías reconfiguradas dentro del mismo sistema, aunque con cierta degradación. Los métodos GAT mostraron cierta sensibilidad a cambios específicos en la topología de múltiples saltos.
  • Transferencia Cruzada (Zero-shot): La transferencia entre sistemas de tamaños fundamentalmente diferentes (ej. 34 a 69 barras) resultó en una degradación significativa del rendimiento (caída de precisión en ahorros de costos al 30-50% y aumento de violaciones de voltaje). Esto indica que el conocimiento aprendido no se generaliza fácilmente sin adaptación cuando la estructura de acoplamiento de potencia cambia drásticamente.

5. Significado e Impacto

Este trabajo demuestra que la integración de GNN en el RL es una estrategia superior para el control de redes de distribución modernas, especialmente a medida que estas crecen en complejidad y dinamicidad.

• Ventaja Técnica: Al capturar explícitamente las relaciones espaciales y eléctricas, los controladores GNN toman decisiones más informadas sobre cómo las acciones locales de los ESS afectan el voltaje global, algo que los métodos "topología-agnósticos" (NN estándar) no logran con la misma eficiencia en redes grandes.
• Viabilidad Operativa: La capacidad de tomar decisiones en milisegundos (frente a minutos u horas de la optimización tradicional) hace que esta solución sea viable para la operación en tiempo real de redes con alta penetración de renovables.
• Limitación Identificada: Aunque prometedores, los métodos actuales requieren un entrenamiento específico para cada topología o una estrategia de adaptación (como fine-tuning) para ser efectivos en transferencias cruzadas entre redes de tamaños muy dispares.

En conclusión, el artículo establece un nuevo estándar para el despacho de ESS, demostrando que la conciencia de la topología a través de GNN es esencial para garantizar la seguridad del voltaje y la eficiencia económica en redes de distribución reconfigurables y complejas.