Fine-Tuning LLMs to Generate Economical and Reliable Actions for the Power Grid

Titel: Fine-Tuning van LLM's voor het Genereren van Economische en Betrouwbare Acties voor het Elektriciteitsnet

Auteurs: Mohamad Chehade en Hao Zhu (Universiteit van Texas, Austin)

1. Probleemstelling

Het artikel adresseert de uitdaging van Public Safety Power Shutoffs (PSPS). Dit zijn preventieve en correctieve stroomonderbrekingen die nutsbedrijven toepassen tijdens extreme weersomstandigheden om het risico op bosbranden te verminderen.

• De Uitdaging: Wanneer PSPS-gebeurtenissen lijnen uit dienst nemen, kan dit de standaard bedrijfsmodi van het net ongeldig maken. Netbeheerders moeten snel correctieve schakelacties (het openen van extra lijnen) identificeren om overbelasting te verminderen, load shedding (afschakeling van last) te minimaliseren en de spanningskwaliteit te handhaven.
• Beperkingen van Bestaande Methoden: Het berekenen van optimale acties met behulp van Mixed-Integer Linear Programming (MILP) is onder tijdsdruk vaak te duur, vooral wanneer niet-lineaire AC-beperkingen (wisselstroom) in aanmerking moeten worden genomen. Traditionele hulpmiddelen vereisen vaak gespecialiseerde invoer en zijn niet flexibel genoeg voor natuurlijke taalinteractie.
• Rol van LLM's: Hoewel Large Language Models (LLM's) goed zijn in het omzetten van ongestructureerde tekst naar gestructureerde output, missen ze de specifieke kennis van de fysica van het elektriciteitsnet en de operationele veiligheidsbeperkingen. Het trainen van een model vanaf nul is onpraktisch vanwege de schaarse data in dit domein.

2. Methodologie: Een Multi-stap Adaptatiepijplijn

De auteurs stellen een verifieerbare pijplijn voor om een instructie-getrainde LLM aan te passen voor het genereren van "open-only" (alleen openen, geen sluiten) schakelplannen. De aanpak bestaat uit drie hoofdfasen:

A. Supervised Fine-Tuning (SFT) – Imitatie van de Oracle

• Doel: De LLM leren om te imiteren wat een geoptimaliseerde DC-OPF (Direct Current Optimal Power Flow) MILP-oracle zou doen.
• Data-Generatie: Een MILP-oracle wordt offline gebruikt om optimale schakelbeslissingen te genereren voor diverse PSPS-scenario's (met een beperkt budget voor het openen van lijnen).
• Representatie: Scenario's worden vertaald naar compacte, gestructureerde tekstuele samenvattingen. De uitvoer wordt beperkt tot een geconstrueerde grammatica (bijv. open(S3:21) of do_nothing). Dit zorgt ervoor dat de output direct parseerbaar en verifieerbaar is.
• Resultaat: Het model leert de structuur van de optimalisatieproblemen na te bootsen, maar baseert zich nog op DC-approximaties.

B. Direct Preference Optimization (DPO) – Spanningsbewustzijn

• Probleem: SFT leert alleen DC-optimaliteit. Dit garandeert geen goede spanningskwaliteit onder niet-lineaire AC-fysica.
• Oplossing: DPO wordt toegepast om het beleid te verfijnen op basis van voorkeursparen.
• Methode:
  1. Het SFT-model genereert meerdere kandidaat-plannen voor een scenario.
  2. Deze plannen worden geëvalueerd met een AC-powerflow-simulatie.
  3. Een spanningspenalisatiemetric ($V_{pen}$) berekent de afwijkingen van de nominale spanning.
  4. Paren $(y^+, y^-)$ worden geselecteerd waarbij $y^+$ een lagere spanningspenalisatie heeft dan $y^-$.
  5. De LLM wordt getraind om de kans op het "beter" plan ($y^+$) te maximaliseren ten opzichte van het "slechtere" plan, zonder gebruik te maken van Reinforcement Learning (RL).

C. Best-of-N Selectie (Inferentie-tijd)

• Om de kwaliteit verder te verhogen, worden tijdens de inferentie $N$ onafhankelijke kandidaat-plannen gegenereerd.
• Deze worden gevalideerd op grammatica, budget en DC/AC-feasibility.
• Het beste plan wordt geselecteerd op basis van een scorefunctie (combinatie van economische kosten en spanningspenalisatie).

3. Belangrijkste Bijdragen

1. Formulering van het PSPS-probleem: Een DC-OPF MILP-oracle voor open-only schakelen met beperkingen op lijnbudgetten en corridors.
2. Gestructureerde Representatie: Ontwikkeling van een specifieke scenario-representatie en actie-grammatica die het mogelijk maakt voor een LLM om schakelplannen te genereren die eenvoudig te parseren en verifiëren zijn.
3. Spanningsbewuste Voorkeursverfijning: Introductie van een DPO-fase die AC-spanningskwaliteit in het trainingsproces integreert, verdergaand dan de simpele DC-imitatie.
4. Verifieerbare Pijplijn: Een complete workflow die LLM's integreert met bestaande netanalyse-tools, waarbij de LLM fungeert als een kandidaat-generator die voorafgaand aan uitvoering wordt gecontroleerd.

4. Experimentele Resultaten

De methoden zijn getest op het IEEE 118-bus testnet met gesimuleerde PSPS-scenario's.

• Economische Prestaties (DC-doel):
  • De fine-tuned modellen (SFT en DPO) presteren aanzienlijk beter dan de "zero-shot" (niet-getrainde) LLM en benaderen de optimaliteit van de MILP-oracle.
  • De DPO-versie behoudt de economische prestaties van SFT, wat aantoont dat spanningsbewustzijn niet ten koste gaat van de economische efficiëntie.
• AC-Feasibility (Haalbaarheid):
  • De zero-shot LLM faalt in 50% van de gevallen bij AC-powerflow-simulaties (niet-convergentie of schending van beperkingen).
  • Zowel SFT als DPO reduceren dit faalpercentage tot enkele cijfers (6,7%), wat aantoont dat het gebruik van een gestructureerde grammatica en DC-imitatie de fysieke plausibiliteit drastisch verbetert.
  • Een traditionele ML-baseline (MLP) presteert iets beter op het gebied van falen (3,3%), maar de LLM's bieden de voorkeur vanwege hun natuurlijke taalinterface en interpreteerbaarheid.
• Spanningskwaliteit:
  • Op het gezamenlijke succesvolle dataset (waar alle modellen convergeren), behaalt het DPO-model de laagste mediane spanningspenalisatie ($V_{pen}$). Dit bevestigt dat de voorkeursverfijning effectief is in het verbeteren van de spanningsregulatie.

5. Significantie en Conclusie

Dit werk toont aan dat het mogelijk is om foundation LLM's veilig en effectief toe te passen in kritieke infrastructuur zoals het elektriciteitsnet, mits ze worden aangepast via een verifieerbare pijplijn.

• Praktische Toepassing: De aanpak amortiseert de hoge rekentijd van MILP-optimalisatie naar de trainingsfase, waardoor snelle, hoogwaardige aanbevelingen mogelijk zijn tijdens noodsituaties.
• Veiligheid: Door de output te beperken tot een verifieerbare grammatica en te koppelen aan bestaande AC-simulatie-tools, wordt voorkomen dat de LLM als een "zwarte doos" fungeert die onveilige acties voert.
• Toekomst: De auteurs zien dit als een stap richting operator-gerichte assistenten die kunnen samenwerken met bestaande netanalyse-pijplijnen in plaats van deze te vervangen.

De code en data-generatiescripts zijn openbaar gemaakt om reproduceerbaarheid te waarborgen.