SABLE: GPU-Based Power Flow Accelerator for Sparsity-Aware Batched Learning

Technische Samenvatting: SABLE - GPU-gebaseerde Power Flow Accelerator voor Sparsity-Aware Batched Learning

Probleemstelling
De toenemende integratie van gedistribueerde energiebronnen (DERs) vereist hoogdimensionale, scenario-gestuurde netbeveiligingsanalyses, wat het oplossen van duizenden tot tienduizenden AC power flow (PF) instanties met een lage latentie noodzakelijk maakt. Hoewel recente studies succesvol standalone PF-problemen met GPU's hebben versneld, blijft de integratie van deze benaderingen in moderne differentiabele leersystemen (zoals DC3 en DeepLDE) een uitdaging. Bestaande physics-embedded leersystemen missen een sparsity-preserverend executiepad dat een hoge doorvoer kan handhaven tijdens herhaaldelijk gebruik tijdens de trainingstijd. Bijgevolg vertrouwen huidige methoden op dichte, geheugenintensieve GPU-berekeningen, wat een dominante bottleneck vormt in zowel runtime als geheugengebruik.

Drie specifieke beperkingen hinderen de vooruitgang:

1. Structurele Barrières: Er is een kloof tussen efficiënte standalone PF-executie en de end-to-end differentiatie die nodig is voor training. Traditionele 3D gebatched sparse representaties mappen niet helder naar het sparse executiemodel van PyTorch, dat een gebrek heeft aan robuuste ondersteuning voor 3D sparse tensors en backward paths.
2. Prestatiebeperkingen bij Herhaalde Executie: Herhaalde Jacobian-constructie en het oplossen van lineaire vergelijkingen tijdens Newton-Raphson (NR) iteraties en trainingsstappen veroorzaken aanzienlijke overhead door redundante constructie van de sparse-patronen, symbolische reanalyse en geheugenreallocatie.
3. Precisie-mismatch: Moderne GPU's bieden aanzienlijk hogere doorvoer voor single-precision (SP) en mixed-precision (MP) operaties vergeleken met double-precision (DP). Echter, PF-solvers vertrouwen traditioneel op DP, wat een prestatie-mismatch creëert die wordt verergerd wanneer PF-lagen in leernloops worden ingebed.

Methodologie
De auteurs presenteren SABLE (Sparsity-aware Accelerator for a Batched Learning Engine), een GPU-gebaseerd framework ontworend om gebatched AC power flow uit te voeren binnen differentiabele leernloops terwijl sparsity behouden blijft. De methodologie bestaat uit drie kerncomponenten:

1. Block-Diagonal Embedding (BDE) en Zero-Copy Interoperabiliteit:

   • SABLE herformuleert gebatched 3D Jacobians naar een enkele, fixed-pattern 2D sparse template middels Block-Diagonal Embedding. Dit transformeert $N_{batch}$ onafhankelijke sparse matrices naar één globale sparse matrix waarbij elk scenario een blok op de diagonaal inneemt.
   • Deze gedeelde template maakt zero-copy interoperabiliteit mogelijk tussen PyTorch, CuPy en cuDSS via DLPack en device-pointer binding. Dense state vectoren en sparse matrices worden gedeeld zonder redundante geheugenallocatie, waardoor de gehele pipeline GPU-resident blijft.

2. Eenmalige Symbolische Analyse en Herhaalde Numerieke Executie:

   • Symbolische Setup: SABLE voert de symbolische analyse (constructie van het sparsity patroon, indexing metadata en LU-analyse staat) slechts één keer uit voor een gegeven topologie en batchgrootte.
   • In-Place Waarde-updates: Custom CUDA kernels updaten alleen de numerieke waarden van de Jacobian-entries op basis van gecachte metadata, waardoor de herhaalde reconstructie van de sparse structuur wordt vermeden.
   • Block-Aware Indexing: Een custom indexing kernel extraheert de specifieke gereduceerde Jacobians die vereist zijn voor de forward ($J_1$) en backward ($J_1^T, J_2^T, J_3^T$) passes direct uit de basis BDE template. Dit elimineert de noodzaak voor expliciete transpose-operaties of herhaalde geheugenreallocatie.
   • Sparse-Direct Solving: Het framework maakt gebruik van cuDSS voor sparse-direct LU refactorisatie en oplossen, waarbij de onveranderde symbolische structuur over iteraties heen wordt hergebruikt.

3. Stagewise Mixed-Precision (MP) Strategie:

   • Om een balans te vinden tussen numerieke robuustheid en GPU-doorvoer, hanteert SABLE een stagewise precisiebeleid. De externe niet-lineaire logica en residu-berekeningen blijven in Double Precision (FP64) om convergentie en nauwkeurigheid te waarborgen.
   • De computationeel dominante stadia van het oplossen van lineaire vergelijkingen (LU solve) worden uitgevoerd in Single Precision (FP32, om gebruik te maken van de hogere doorvoer van moderne GPU Tensor Cores.

Kernbijdragen

• Gedeelde Sparse Template: De introductie van BDE maakt een herbruikbare, fixed-pattern 2D sparse template mogelijk die differentiabele gebatched PF ondersteunt, wat zero-copy interoperabiliteit over de software stack mogelijk maakt.
• Efficiënte Sparse-Direct Executie: Door de symbolische analyse te ontkoppelen van de numerieke executie, vermijdt SABLE redundante geheugenallocatie en de reconstructie van sparse-patronen, waarbij gebruik wordt gemaakt van in-place waarde-updates en block-aware indexing.
• Stagewise MP: Het framework implementeert een hybride precisie strategie die het oplossen van lineaire vergelijkingen versnelt zonder de numerieke stabiliteit in gevaar te brengen die vereist is voor PF-convergentie.

Experimentele Resultaten
De auteurs evalueerden SABLE op zowel standalone PF-oplossing als end-to-end trainingsscenario's met behulp van de DC3 en DeepLDE frameworks.

• Standalone Prestaties: SABLE demonstreerde significante versnellingen ten opzien van bestaande baselines. Vergeleken met de CPU-gebaseerde pandapower behaalde SABLE doorvoersnelheden van wel 253.4$\times$. Vergeleken met de GPU-gebaseerde ExaPF behaalde SABLE een versnelling van tot wel 5.7$\times$. Opvallend genoeg bleef SABLE uitvoerbaar bij batchgroottes waarbij ExaPF te maken kreeg met Out-Of-Memory (OOM) fouten.
• Component Versnelling: Analyse toonde aan dat SABLE de Jacobian-constructietijd met 8.5$\times$ tot 33.2$\times$ en de lineaire oplostijd met 1.6$\times$ tot 3.6$\times$ verminderde vergeleken met ExaPF.
• Trainingsefficiëntie: In end-to-end training breidde SABLE het haalbare trainings-batchbereik met wel 64$\times$ (bijv. van batchgrootte 1 naar 64 voor een 7336-bus systeem in DC3).
• Doorvoer: De trainingsdoorvoer verbeterde met wel 206.7$\times$ ten opzichte van de corresponderende baseline (DC3) en 64.5$\times$ voor DeepLDE.
• Numerieke Getrouwheid: Experimenten bevestigden dat SABLE numerieke overeenstemming behoudt met referentie-oplossingen, met maximale absolute fouten onder de $5.60 \times 10^{-9}$ en een convergentiegedrag identiek aan double-precision baselines.

Betekenis
Het artikel stelt dat SABLE de kritieke bottlenecks van geheugengebruik en runtime in physics-embedded learning voor energiesystemen aanpakt. Door een sparsity-preserverend, GPU-resident executiepad te bieden, maakt SABLE de training van grootschalige modellen mogelijk die voorheen onhaalbaar waren vanwege geheugenrestricties of computationele kosten. Het framework wordt gepresenteerd als een praktische oplossing voor het versnellen van optimalisatie- en leernloops die herhaalde gebatched power flow solving en differentiatie vereisen.