⚡ electrical engineering

A Reinforcement Learning-based Transmission Expansion Framework Considering Strategic Bidding in Electricity Markets

Este artículo propone un marco de optimización conjunta basado en aprendizaje por refuerzo que simultáneamente determina las decisiones de expansión de la red de transmisión y las estrategias de oferta de las empresas generadoras en mercados eléctricos, validando su eficacia mediante estudios de caso en el sistema IEEE de 30 barras.

Autores originales: Tomonari Kanazawa, Hikaru Hoshino, Eiko Furutani

Publicado 2026-02-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tomonari Kanazawa, Hikaru Hoshino, Eiko Furutani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que el sistema eléctrico de un país es como una gran ciudad en constante crecimiento. En esta ciudad hay dos grupos de actores principales que a menudo no se hablan entre sí:

Los "Generadores" (Las Fábricas): Son empresas privadas que producen electricidad. Su único objetivo es ganar dinero. Si ven que hay mucha demanda, pueden subir sus precios (como un vendedor de agua en un desierto) para ganar más. A esto se le llama "oferta estratégica".
Los "Planificadores de la Red" (Los Ingenieros de Carreteras): Son los encargados de construir y ampliar las líneas de transmisión (los cables que llevan la energía). Su trabajo es decidir dónde poner nuevas carreteras para que la electricidad fluya sin atascos.

El Problema: El Bucle Ciego

Hasta ahora, estos dos grupos trabajaban por separado, como si vivieran en planetas distintos:

Los ingenieros construían carreteras pensando en un tráfico "ideal" y predecible.
Los generadores, al ver esas nuevas carreteras, cambiaban sus estrategias de precios para aprovecharse de ellas.

El resultado era un desastre: a veces construían carreteras que nadie necesitaba porque los precios se dispararon, o dejaban de construir rutas vitales porque no sabían que los generadores iban a crear un "cuello de botella" artificial para cobrar más. Era como construir un puente nuevo sin saber si los conductores van a usarlo o si van a inventar un atajo para cobrar peaje.

La Solución: El Entrenador de Videojuegos (Aprendizaje por Refuerzo)

Los autores de este paper (Tomonari, Hikaru y Eiko) proponen una solución genial usando una tecnología llamada Aprendizaje por Refuerzo (RL).

Imagina que creas un simulador de videojuegos (como un "SimCity" eléctrico) donde:

Los generadores son bots (inteligencias artificiales) que aprenden a jugar para ganar la mayor cantidad de puntos (dinero).
El planificador de la red es otro bot que aprende a construir carreteras para que el juego sea eficiente y barato para todos.

En lugar de que uno decida y el otro reaccione, ambos aprenden al mismo tiempo, jugando millones de partidas en el simulador.

La Analogía del "Entrenador y el Atleta"

Piensa en esto como un entrenador de fútbol (el planificador de la red) y un equipo de jugadores (los generadores).

En el método antiguo, el entrenador diseñaba el campo y luego los jugadores jugaban. Si los jugadores hacían trampas o jugaban de forma egoísta, el campo no servía.
En el nuevo método, el entrenador y los jugadores practican juntos en un gimnasio virtual.
- Los jugadores aprenden a ser más inteligentes y a no abusar de las reglas.
- El entrenador aprende a diseñar el campo (agregar líneas) basándose en cómo juegan realmente los jugadores.
- Si los jugadores intentan hacer trampa subiendo precios, el entrenador aprende a construir una nueva línea de transmisión que rompa ese truco, haciendo que el precio baje.

¿Qué descubrieron?

Al dejar que la Inteligencia Artificial "juegue" y aprenda de sus errores en el sistema de 30 nodos (un modelo estándar de red eléctrica), encontraron cosas fascinantes:

Evitan el desperdicio: El sistema aprendió a construir exactamente lo necesario. En un caso, la forma tradicional de planificar hubiera construido demasiada capacidad porque asumía que los precios serían muy altos. El nuevo sistema, al entender que los generadores podrían bajar sus precios si la red mejora, construyó menos y ahorró dinero.
El poder de la ubicación: En otro experimento, el sistema decidió construir una línea en un lugar que los humanos no habían considerado obvio. ¿Por qué? Porque esa línea específica rompía el poder de un generador que estaba cobrando precios abusivos. Al abrir ese "cuello de botella", el precio de la electricidad bajó para todos.

En Resumen

Este papel nos dice que no podemos planificar el futuro de la electricidad ignorando cómo se comportan las personas (o las empresas) en el mercado.

Es como intentar diseñar el sistema de transporte de una ciudad sin tener en cuenta que los conductores pueden elegir rutas alternativas si hay tráfico. La propuesta de los autores es un entrenador inteligente que simula el futuro, donde la construcción de infraestructura y el comportamiento del mercado aprenden el uno del otro al mismo tiempo, resultando en un sistema más barato, eficiente y justo para todos.

A continuación presento un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título del Trabajo

Marco de Expansión de Transmisión Basado en Aprendizaje por Refuerzo que Considera la Oferta Estratégica en Mercados Eléctricos

1. Planteamiento del Problema

La liberalización de los mercados eléctricos ha descentralizado las decisiones de inversión y operación. Mientras que las Compañías Generadoras (GENCOs) buscan maximizar sus beneficios mediante ofertas estratégicas (bidding), los Operadores del Sistema (SO) planifican la expansión de la red de transmisión.

La Brecha: Los modelos tradicionales de optimización multinivel asumen un equilibrio de mercado racional y tienen una flexibilidad limitada para representar comportamientos de oferta estratégicos y la volatilidad de precios.
El Desafío: Existe una desconexión en la literatura actual:
- Los enfoques de simulación de mercado (usando RL) suelen asumir configuraciones de red fijas.
- Los enfoques de planificación de expansión (usando RL u optimización) suelen ignorar cómo las ofertas estratégicas afectan los resultados de la inversión.
Objetivo: Desarrollar un marco que capture la interacción inherente entre la expansión de la red (que influye en los precios nodales) y las estrategias de oferta (que determinan el valor económico de la expansión).

2. Metodología Propuesta

Los autores proponen un marco de co-optimización basado en Aprendizaje por Refuerzo (RL) multiagente. Este enfoque unifica la toma de decisiones de inversión en la red y las estrategias de oferta en un solo proceso de entrenamiento.

A. Modelo de Mercado y Simulación

Entorno: Se modela un mercado eléctrico de día siguiente con $N_g$ unidades generadoras actuando como agentes autónomos.
Algoritmo de RL: Se utiliza MADDPG (Multi-Agent Deep Deterministic Policy Gradient).
- Cada agente (GENCO) tiene un actor descentralizado que observa estados locales (demanda, ofertas anteriores) y decide un precio de oferta.
- Un crítico centralizado evalúa las acciones conjuntas para mitigar la no estacionariedad del entorno multiagente.
Mecanismo de Oferta: Los agentes ajustan sus precios de oferta ( $\lambda^{bid}$ ) sobre sus costos marginales mediante un factor de escalado aprendido. El mercado se despeja mediante un Flujo de Potencia Óptimo de Corriente Continua (DC-OPF) para minimizar el costo de operación sujeto a restricciones de red.

B. Co-optimización de Capacidad de Transmisión

La innovación central es la introducción de una capa de política de diseño que optimiza simultáneamente las decisiones de expansión junto con las políticas de los agentes:

Variables de Diseño ( $\omega$ ): Se tratan como variables aleatorias muestreadas al inicio de cada episodio.
- Caso Continuo: Incremento de capacidad ( $\Delta L_\ell$ ) modelado con una distribución Gaussiana.
- Caso Discreto: Decisión binaria de si expandir o no una línea candidata ( $z_\ell \in \{0, 1\}$ ) modelada con una distribución Bernoulli.
Proceso de Aprendizaje:
1. Se muestrea una configuración de red (decisión de expansión).
2. Se simula el mercado con los agentes aprendiendo a ofertar bajo esa configuración.
3. Se calcula la recompensa total (costo operativo + costo de inversión).
4. Se actualizan tanto las políticas de oferta de los agentes como la política de diseño ( $\mu$ ) utilizando el teorema del gradiente de política para minimizar el costo total esperado.

3. Contribuciones Clave

Primera Aplicación en su Tipo: Es, según los autores, el primer marco basado en RL que realiza co-optimización de la planificación de expansión de transmisión y la oferta estratégica en un solo proceso de aprendizaje unificado.
Integración de Diseño y Operación: Extiende los marcos de simulación de mercado existentes para incluir variables de diseño de la red como parte del espacio de acción del sistema, permitiendo que la red y el comportamiento del mercado co-evolucionen.
Flexibilidad de Modelado: El marco soporta tanto expansiones continuas (ajuste de capacidad) como decisiones discretas de ubicación (siting), adaptándose a diferentes necesidades de planificación.
Superación de la Optimización Secuencial: Demuestra que los enfoques secuenciales (planificar primero, luego simular mercado) fallan en capturar la retroalimentación estratégica, llevando a planes de inversión subóptimos.

4. Resultados (Estudio de Caso IEEE 30-bus)

Se validó el marco utilizando el sistema IEEE de 30 barras con tres generadores estratégicos.

Comparación con Benchmark (PyPSA):
- Se comparó el método propuesto con un enfoque de dos etapas usando PyPSA (optimización de capacidad tradicional) seguido de simulación de mercado.
- Hallazgo: El enfoque de dos etapas asume ofertas exógenas (fijas). Si asume ofertas bajas, no expande la red, lo que resulta en congestión severa y costos operativos reales mucho más altos de lo previsto. Si asume ofertas altas, sobre-invierte en capacidad.
- Resultado Propuesto: El método de co-optimización aprendió a expandir la línea 4-12 en 76.1 MW, logrando un costo total ligeramente menor que el caso de "alta oferta" del benchmark, al internalizar el comportamiento estratégico real de los generadores.
Caso de Decisión Discreta (Siting):
- Se evaluó la selección de líneas candidatas (binaria). El algoritmo seleccionó expandir las líneas 1-2 y 4-12.
- Impacto Estratégico: La expansión de la línea 1-2 redujo significativamente el poder de mercado del Generador 1, obligándolo a bajar sus precios de oferta (de ~90 $/MWh a ~75 $/MWh). Esto demostró que el marco puede identificar ubicaciones de expansión que no solo alivian la congestión, sino que también alteran favorablemente la dinámica competitiva del mercado.
Eficiencia de Costos: El método propuesto logró un equilibrio óptimo entre el costo de inversión y el costo operativo, superando a los métodos secuenciales al evitar tanto la sub-inversión (con congestión) como la sobre-inversión (costos de capital innecesarios).

5. Significado e Impacto

Este trabajo representa un avance significativo en la planificación de sistemas de energía:

Realismo en la Planificación: Proporciona una herramienta que reconoce que la infraestructura de transmisión no es estática frente al comportamiento del mercado; las decisiones de inversión cambian la estrategia de los actores y viceversa.
Escalabilidad: Al basarse en RL, el marco es escalable a horizontes temporales largos y entornos de mercado más complejos (multi-mercado) donde la optimización matemática tradicional (como la programación multinivel) se vuelve computacionalmente intratable.
Política y Regulación: Ofrece a los reguladores y planificadores una metodología para diseñar redes que sean robustas frente a la manipulación estratégica del mercado, promoviendo una asignación de recursos más eficiente y reduciendo los costos totales del sistema eléctrico.

En resumen, el artículo demuestra que la integración de la planificación de la red y el comportamiento estratégico del mercado mediante RL produce planes de expansión más eficientes y realistas que los enfoques tradicionales desacoplados.