⚡ electrical engineering

A Reinforcement Learning-based Transmission Expansion Framework Considering Strategic Bidding in Electricity Markets

Questo articolo propone un framework di ottimizzazione congiunta basato sull'apprendimento per rinforzo che integra simultaneamente le decisioni di espansione della rete di trasmissione e le strategie di offerta strategica delle aziende di generazione all'interno di un unico processo di addestramento.

Autori originali: Tomonari Kanazawa, Hikaru Hoshino, Eiko Furutani

Pubblicato 2026-02-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Tomonari Kanazawa, Hikaru Hoshino, Eiko Furutani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina il mercato dell'elettricità come una grande città in continua espansione. In questa città ci sono due gruppi di attori principali:

I Produttori di Energia (le "Fabbriche"): Sono aziende private che vogliono guadagnare il più possibile. Decidono a che prezzo vendere la loro energia, un po' come un venditore di limonata che alza il prezzo se vede che c'è molta sete e poca concorrenza.
I Gestori della Rete (gli "Architetti"): Sono quelli che costruiscono e riparano le strade (le linee elettriche) per assicurarsi che l'energia arrivi a destinazione senza ingorghi.

Il Problema: Il Gioco del "Chi fa prima?"
Fino a poco tempo fa, questi due gruppi lavoravano in modo separato, come se non si parlassero mai.

Gli architetti costruivano nuove strade basandosi su previsioni statiche, pensando: "Se tutti vendono a prezzo onesto, ci servirà questa strada".
Le fabbriche, però, non erano oneste: se vedevano che c'era un ingorgo, alzavano i prezzi per fare più soldi.
Risultato? Gli architetti costruivano strade inutili (perché i prezzi erano troppo alti e la gente non comprava) o strade insufficienti (perché non avevano previsto che le fabbriche avrebbero creato artificialmente degli ingorghi per alzare i prezzi). Era come costruire un ponte perché si pensava che tutti sarebbero andati in vacanza, ma poi nessuno andava perché i biglietti del treno erano diventati troppo cari.

La Soluzione: L'Allenatore Intelligente (Intelligenza Artificiale)
Questo articolo presenta una nuova idea: usare un allenatore di intelligenza artificiale (basato sul Reinforcement Learning, o "apprendimento per rinforzo") che fa fare a tutti una palestra di simulazione.

Ecco come funziona, con una metafora semplice:

Immagina di avere un videogioco dove:

I produttori sono giocatori che imparano a giocare per vincere (massimizzare i profitti).
L'architetto è un altro giocatore che deve decidere quali muri spostare o quali nuove strade costruire nel livello del gioco.

Invece di farli giocare separatamente, l'allenatore AI li mette nella stessa stanza e li fa giocare insieme per milioni di partite.

Se un produttore prova a fare il furbo e alza troppo il prezzo, l'AI vede che la città va in crisi (costi alti, blackout) e "punisce" quel comportamento.
Se l'architetto costruisce una strada inutile, l'AI vede che si spreca denaro e lo corregge.

La Magia: Imparare Insieme
La vera novità di questo studio è che l'AI non impara solo come vendere l'energia, ma impara anche dove costruire le strade, allo stesso tempo.
È come se l'architetto e il venditore di limonata avessero un unico cervello che pensa: "Se costruisco questa strada qui, il venditore non potrà più alzare i prezzi perché la concorrenza arriverà subito. Quindi costruirò la strada qui, e il venditore si adatterà abbassando il prezzo".

Cosa hanno scoperto?
Hanno provato questo metodo su un modello di città finta (il sistema IEEE a 30 nodi) e hanno visto che:

Risparmio: Si spende meno soldi totali rispetto ai metodi vecchi.
Realismo: Le strade vengono costruite esattamente dove servono davvero, tenendo conto del fatto che le aziende potrebbero cercare di fare i furbi.
Equilibrio: Si trova un punto di mezzo dove le strade sono abbastanza grandi da evitare ingorghi, ma non così grandi da sprecare denaro, e i prezzi sono più stabili.

In sintesi:
Prima, pianificare le strade e i prezzi dell'energia era come cercare di cucinare una torta senza assaggiarla mai: si seguiva una ricetta rigida e spesso il risultato era amaro.
Ora, con questo nuovo metodo, abbiamo un cuoco robot che assaggia la torta milioni di volte mentre la cuoce, modificando sia gli ingredienti (le strade) che il modo in cui mescola (i prezzi), fino a ottenere la torta perfetta per tutti.

Titolo: Un Framework di Espansione della Trasmissione basato sul Reinforcement Learning che Considera le Offerte Strategiche nei Mercati Elettrici

1. Il Problema

La pianificazione dell'espansione della trasmissione nei mercati elettrici liberalizzati è intrinsecamente accoppiata con i comportamenti di offerta strategica delle società di generazione (GENCO).

Limiti degli approcci tradizionali: I modelli di ottimizzazione a più livelli esistenti tendono a presupporre un equilibrio di mercato razionale e hanno una flessibilità limitata nel rappresentare comportamenti strategici complessi e la volatilità dei prezzi. Spesso trattano la pianificazione dell'espansione e l'operazione di mercato come processi separati o sequenziali.
Il divario di ricerca: Esistono due linee di ricerca parallele: una utilizza il Reinforcement Learning (RL) per simulare il comportamento di mercato e le offerte strategiche (assumendo una rete fissa), mentre l'altra usa il RL per la pianificazione dell'espansione (trascurando spesso i dettagli operativi e le dinamiche di offerta).
La sfida: In pratica, gli aggiornamenti della rete influenzano i prezzi nodali e i pattern di dispacciamento, mentre le strategie di offerta e i pattern di congestione determinano il valore economico delle espansioni di trasmissione. È necessario un framework che co-ottimizzi queste decisioni in modo unificato.

2. Metodologia

Gli autori propongono un framework di co-ottimizzazione basato sul Reinforcement Learning (RL) che integra le decisioni di investimento nella trasmissione e le strategie di offerta in un unico processo di apprendimento.

Modello di Mercato:
- Il mercato è modellato come un ambiente multi-agente parzialmente osservabile (giornaliero, day-ahead).
- Le GENCO agiscono come agenti autonomi che massimizzano il proprio profitto decidendo prezzi di offerta ( $\lambda^{bid}$ ) basati su stati locali (domanda, offerte passate).
- Il mercato viene sbloccato (cleared) tramite un flusso di potenza ottimalo in corrente continua (DC-OPF) che rispetta i vincoli di bilancio di potenza e capacità delle linee.
Algoritmo di Apprendimento (MADDPG):
- Viene utilizzato l'algoritmo Multi-Agent Deep Deterministic Policy Gradient (MADDPG).
- Ogni agente possiede una rete "attore" (decentralizzata) che mappa le osservazioni locali alle azioni di offerta e una rete "critico" (centralizzata) che valuta la funzione valore basandosi sulle osservazioni e azioni di tutti gli agenti. Questo mitiga la non stazionarietà tipica degli ambienti multi-agente.
Co-ottimizzazione dell'Espansione (Design Policy Layer):
- Il contributo chiave è l'introduzione di un livello di politica di progettazione che tratta i parametri di design della rete (capacità delle linee) come variabili casuali campionate all'inizio di ogni episodio.
- Viene definita una distribuzione parametrica $p_\mu(\omega)$ $p_{μ} (ω)$ per le decisioni di espansione:
  - Caso Continuo: Una distribuzione Gaussiana per l'aumento di capacità ( $\Delta L_\ell$ ).
  - Caso Discreto: Una distribuzione Bernoulliana per la decisione binaria di potenziare o meno una linea candidata ( $z_\ell \in \{0, 1\}$ ).
- Obiettivo: Minimizzare il costo totale, definito come la somma dei costi operativi (scontati) e dei costi di investimento, aggiornando i parametri $\mu$ della politica di design tramite il teorema del gradiente della politica.

3. Contributi Chiave

Primo Framework Unificato: Questo lavoro è il primo a proporre un framework RL-based per la co-ottimizzazione della pianificazione dell'espansione della trasmissione e delle offerte strategiche nel contesto dei mercati elettrici.
Integrazione Design-Operazione: Estende i framework RL esistenti (tipicamente usati solo per la simulazione di mercato) permettendo alle decisioni di investimento di co-evolvere con le politiche degli agenti.
Gestione della Non Stazionarietà: Utilizza efficacemente l'architettura MADDPG per gestire le interazioni strategiche complesse tra generatori in un ambiente di rete dinamico.
Flessibilità di Modellazione: Il framework supporta sia modelli di espansione continua che discreta (siting), adattandosi a scenari di pianificazione più realistici.

4. Risultati (Studi di Caso sul sistema IEEE 30-bus)

Gli esperimenti sono stati condotti sul sistema IEEE 30-bus con tre generatori strategici.

Confronto con Benchmark (Caso Continuo):
- Un confronto è stato effettuato con un approccio a due stadi (PyPSA per l'espansione + RL per il mercato).
- Il benchmark a due stadi, assumendo offerte strategiche esogene (es. "alta offerta"), ha portato a un'espansione eccessiva (81.4 MW) e costi totali più alti.
- Il metodo proposto ha identificato un'espansione più efficiente (76.1 MW) internalizzando il comportamento strategico, riducendo i costi di investimento e mantenendo i costi operativi bassi.
Decisioni di Siting Discrete (Caso Discreto):
- In uno scenario con decisioni binarie su più linee candidate, il framework ha selezionato l'upgrade di due linee specifiche (1-2 e 4-12).
- Sebbene il costo di investimento fosse leggermente superiore rispetto al caso continuo, il costo operativo è diminuito significativamente.
- Meccanismo chiave: L'upgrade della linea 1-2 ha ridotto la congestione, limitando il potere di mercato del Generatore 1, che ha dovuto abbassare le sue offerte (da ~90 $/MWh a ~75 $/MWh), riducendo i costi complessivi del sistema.
Efficienza: Il framework ha dimostrato di essere in grado di catturare l'interazione tra dinamiche di mercato e decisioni di investimento, producendo piani di espansione economicamente efficienti e coerenti con il comportamento strategico.

5. Significato e Implicazioni

Superamento dei Moduli Tradizionali: Il lavoro dimostra che l'approccio basato su RL supera i limiti dei modelli di ottimizzazione a più livelli tradizionali, offrendo una scalabilità superiore per orizzonti temporali lunghi e ambienti di mercato complessi.
Impatto sulla Pianificazione: Fornisce agli operatori di sistema (SO) e ai pianificatori uno strumento per valutare come le strategie di mercato influenzino il valore reale degli investimenti in rete, evitando sovradimensionamenti o sottodimensionamenti costosi.
Futuro Applicativo: Il framework getta le basi per applicazioni su sistemi di grandi dimensioni, ambienti multi-mercato e una pianificazione integrata generazione-trasmissione, rappresentando un passo avanti verso una gestione più intelligente e adattiva delle reti elettriche future.