Fine-Tuning LLMs to Generate Economical and Reliable Actions for the Power Grid

1. Il Problema: PSPS e la Necessità di Azioni Correttive

Il lavoro affronta la sfida operativa delle Public Safety Power Shutoffs (PSPS), ovvero le interruzioni preventive della fornitura elettrica attuate dalle utility per ridurre il rischio di incendi boschivi durante condizioni meteorologiche estreme.
Quando le linee di trasmissione vengono forzate fuori servizio (disattivate), gli operatori del sistema devono rapidamente identificare azioni correttive per:

• Mitigare i sovraccarichi.
• Ridurre il load shedding (taglio di carico).
• Mantenere la stabilità delle tensioni.

La soluzione tradizionale implica l'uso di ottimizzazione mista intera (MILP) basata sul flusso di potenza in corrente continua (DC-OPF). Tuttavia, calcolare soluzioni ottimali in tempo reale, specialmente considerando i vincoli non lineari della fisica AC (corrente alternata), è computazionalmente costoso e spesso troppo lento per le finestre decisionali critiche. Inoltre, i modelli di linguaggio fondazione (LLM) standard mancano di conoscenza specifica sulla fisica dei sistemi elettrici e non possono garantire la fattibilità delle azioni generate.

2. Metodologia: Una Pipeline di Adattamento Multi-Stadio

Gli autori propongono una pipeline di adattamento verificabile per affinare un LLM istruito (instruction-tuned) in modo che generi piani di commutazione ("switching") affidabili ed economici. La pipeline si articola in tre fasi principali:

A. Formulazione del Problema e Oracolo

Il problema è modellato come un'ottimizzazione DC-OPF con vincoli di "commutazione solo apertura" (open-only switching).

• Vincoli: Si considera un budget limitato di linee aggiuntive che possono essere aperte ($K_\ell$) e vincoli di corridoio (gruppi geografici di linee).
• Oracolo: Un risolutore MILP offline genera le soluzioni ottimali (ground truth) per scenari PSPS simulati, servendo come riferimento per l'addestramento supervisionato.

B. Supervised Fine-Tuning (SFT)

L'obiettivo è distillare la logica dell'oracolo MILP in un LLM.

• Rappresentazione: Gli scenari sono descritti in un formato testuale strutturato (dimensioni della rete, maschera PSPS, budget).
• Grammatica Vincolata: L'output del modello è vincolato a una grammatica specifica (es. open(Sk:LINE) o do_nothing). Questo permette un parsing automatico e una verifica rigorosa della fattibilità (es. rispetto del budget e validità delle linee).
• Obiettivo: Minimizzare la perdita di modellazione linguistica condizionata per imitare le decisioni ottimali dell'oracolo DC.

C. Direct Preference Optimization (DPO)

Poiché l'addestramento SFT si basa su modelli DC (che ignorano le non linearità AC), il modello potrebbe generare azioni economicamente buone ma fisicamente instabili (problemi di tensione).

• Metrica di Preferenza: Vengono generati candidati multipli per ogni scenario e valutati tramite un flusso di potenza AC. Viene calcolato un penalità di tensione ($V_{pen}$) basata sulle deviazioni delle tensioni nodali rispetto ai limiti nominali.
• Coppie di Preferenza: Si costruiscono coppie $(y^+, y^-)$ dove $y^+$ è la soluzione con minore penalità di tensione rispetto a $y^-$.
• Addestramento: Il modello viene raffinato tramite DPO per aumentare la probabilità di scegliere azioni che soddisfano meglio i vincoli di tensione AC, pur rimanendo ancorato alla politica SFT di base.

D. Selezione Best-of-N (Inference-Time)

Per migliorare ulteriormente la qualità senza riaddestrare, durante l'inferenza vengono generati $N$ candidati indipendenti. Vengono filtrati per validità grammaticale e fattibilità, e viene selezionato quello con il punteggio migliore (minima penalità economica o di tensione).

3. Contributi Chiave

1. Formulazione PSPS-Aware: Definizione di un problema di commutazione "solo apertura" con budget e vincoli di corridoio, risolto tramite un oracolo MILP DC.
2. Grammatica Strutturata: Progettazione di un formato di input/output che permette agli LLM di generare piani di commutazione facilmente parsabili e verificabili, integrandosi con gli strumenti esistenti di analisi della rete.
3. Raffinamento Consapevole della Tensione (DPO): Introduzione di una fase di ottimizzazione delle preferenze basata su dati AC per allineare il modello alla sicurezza della tensione, superando i limiti dell'imitazione puramente DC.
4. Pipeline Verificabile: Un approccio end-to-end che combina generazione linguistica, verifica formale e valutazione fisica, mantenendo l'LLM come generatore di candidati e non come controllore diretto non verificato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul sistema di test IEEE 118-bus (118 bus, 186 linee).

• Performance Economica (DC Objective): Sia SFT che DPO migliorano significativamente il valore obiettivo economico rispetto alla generazione zero-shot (modello base), avvicinandosi alle prestazioni dell'oracolo.
• Fattibilità AC:
  • Il modello zero-shot fallisce il flusso di potenza AC nel 50% degli scenari.
  • I modelli affinati (SFT e DPO) riducono drasticamente il tasso di fallimento a singole cifre (circa 6.7%).
  • Un baseline neurale (MLP) ottiene un tasso di fallimento leggermente inferiore (3.3%), ma mostra una maggiore dispersione nei costi economici.
• Qualità della Tensione: Sul sottoinsieme di scenari dove tutti i modelli convergono (common-success set), il modello DPO ottiene la mediana più bassa per la penalità di tensione ($V_{pen}$), dimostrando che il raffinemento basato sulle preferenze migliora effettivamente la qualità della tensione rispetto alla sola imitazione DC.

5. Significato e Conclusioni

Questo lavoro dimostra che è possibile trasformare un LLM generico in un assistente decisionale specializzato per la rete elettrica, superando la mancanza di conoscenza fisica di dominio attraverso un addestramento mirato.

• Efficienza: Sposta il costo computazionale dall'inferenza in tempo reale (risoluzione MILP complessa) alla fase di addestramento offline.
• Affidabilità: L'uso di una grammatica vincolata e della verifica AC garantisce che le raccomandazioni siano sicure e implementabili.
• Scalabilità: La metodologia è agnostica rispetto al backend e può essere applicata a diversi modelli LLM.

In sintesi, il paper propone un ponte pratico tra l'intelligenza artificiale generativa e l'ingegneria dei sistemi di potenza, offrendo un framework per decisioni rapide, economiche e fisicamente valide in scenari di crisi come le PSPS. Il codice e gli script per la generazione dei dati sono stati resi pubblici per garantire la riproducibilità.