⚡ electrical engineering

Efficient reformulations of ReLU deep neural networks for surrogate modelling in power system optimisation

Dieses Paper schlägt eine recheneffiziente lineare Programmierungsreformulierung für konvexierte ReLU-tiefe neuronale Netze vor, die deren handhabbare und hochpräzise Integration in Optimierungsprobleme von Stromsystemen ermöglicht, wie durch die überlegene Leistung in einer Fallstudie zum Gebotswesen auf dem dänischen Sekundärmarkt im Vergleich zu bestehenden Methoden demonstriert wird.

Ursprüngliche Autoren: Yogesh Pipada Sunil Kumar, S. Ali Pourmousavi, Jon A. R. Liisberg, Julian Lesmos-Vinasco

Veröffentlicht 2026-01-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yogesh Pipada Sunil Kumar, S. Ali Pourmousavi, Jon A. R. Liisberg, Julian Lesmos-Vinasco

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine riesige, hochkarätige Auktion für Elektrizität. Sie sind ein „Aggregator“, ein Vermittler, der Flexibilität von tausenden Haushalten (Prosumern) kauft, um das Stromnetz zu stabilisieren. Um zu gewinnen, müssen Sie genau vorhersagen, wie viel Energie die Menschen nutzen werden, um Kosten zu sparen, basierend auf dem Preis, den Sie ihnen anbieten.

Das Problem? Das menschliche Verhalten ist chaotisch, nicht-linear und lässt sich nicht einfach mit einfacher Mathematik beschreiben. Um dies zu lösen, nutzen Forscher Künstliche Intelligenz (KI), speziell einen Typ namens Deep Neural Network (DNN). Betrachten Sie die KI als einen superintelligenten Lehrling, der Millionen vergangener Transaktionen studiert hat und nun in der Lage ist, das Ergebnis perfekt zu erraten.

Es gibt jedoch einen Haken: Sie können diesen KI-Lehrling nicht einfach mitten in Ihre Auktionsmathematik setzen. Die mathematischen Anforderungen, um die Auktion durchzuführen (Optimierung), geraten in einen Verkehrsstau, wenn sie versucht, die komplexe „Black Box“-Logik der KI zu verarbeiten. Es ist, als würde man versuchen, ein Formel-1-Auto durch eine enge, gewundene Dorfstraße zu steuern; das Auto ist zu komplex für die Straße.

Das Problem: Der „Verkehrsstau“

Traditionell mussten Forscher die KI in ein starres Format zwingen, indem sie „binäre Schalter“ (wie das Ein- und Ausschalten von Lichtern) verwendeten, um die KI mit der Auktionsmathematik kompatibel zu machen. Dies funktioniert zwar, verwandelt das Problem aber in ein Mixed-Integer Program (MIP).

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen, bei dem jedes Teil entweder „an“ oder „aus“ sein kann. Je größer das Puzzle wird (mehr Neuronen in der KI), desto mehr explodiert die Anzahl der möglichen Kombinationen. Der Computer wird überfordert, benötigt Stunden oder Tage, um eine Lösung zu finden, oder gibt ganz auf.

Die bestehenden „Lösungen“ und warum sie scheitern

Forscher versuchten zwei andere Wege, um die Straße zu glätten:

Penalty-Methoden (PCAR/PCTAR): Diese versuchen, den Computer auszutricksen, indem sie eine „Strafe“ (Penalty) hinzufügen, falls die KI falsch rät.
- Der Fehler: Es ist, als würde man einem Fahrer sagen: „Wenn du vom Weg abkommst, zahlst du eine Strafe.“ Aber der Fahrer könnte entscheiden, dass es billiger ist, die Strafe zu zahlen und trotzdem zu verunglücken. Diese Methoden sind empfindlich; wenn man die Strafe zu niedrig ansetzt, ignoriert die KI sie. Wenn man sie zu hoch ansetzt, bricht die Mathematik zusammen. Die Ergebnisse sind oft unzuverlässig.
Stückweise Linearisierung (Piecewise Linearization, PWL): Diese Methode zerlegt die Kurve der KI in gerade Linien.
- Der Fehler: Sie ist genau, aber es ist, als würde man versuchen, einen glatten Kreis nur mit geraden Lego-Steinen zu zeichnen. Man benötigt so viele Steine, dass das Modell riesig und rechenintensiv wird.

Die Lösung der Arbeit: Die „konvexe“ Abkürzung

Die Autoren schlagen einen cleveren neuen Weg vor, die KI umzuformen, damit sie auf die Straße passt, ohne stecken zu bleiben. Sie nennen es ein Convexified ReLU DNN.

Hier ist der Zaubertrick:

Das Ziel: In diesem speziellen Auktionsproblem besteht das Ziel darin, die Kosten zu minimieren (so wenig wie möglich ausgeben, um Flexibilität zu kaufen).
Die Einschränkung: Die Forscher zwingen die internen Gewichte der KI (die „Regler“, an denen die KI dreht) dazu, für die meisten ihrer Schichten nur positive Zahlen zu sein.
Das Ergebnis: Durch das Erzwingen dieser positiven Regler ändert sich das Verhalten der KI von einer zackigen, unvorhersehbaren Gebirgslandschaft in ein glattes, schüsselförmiges Tal.
- Die Analogie: Stellen Sie sich vor, die KI ist ein Ball, der einen Hügel hinunterrollt. In der alten Version hatte der Hügel versteckte Fallen und Klippen (nicht-konvex). In der neuen Version haben sie den Hügel in eine perfekte, glatte Rutsche verwandelt (konvex). Da das Ziel darin besteht, den niedrigsten Punkt zu finden (Kosten minimieren), rollt der Ball natürlich zum Boden, ohne stecken zu bleiben.

Da die Form nun ein glattes Becken ist, benötigt der Computer keine Schalter oder Strafen. Er kann Lineare Programmierung (LP) verwenden, was wie eine superschnelle, gerade Autobahn ist. Der Computer rast in Millisekunden hindurch, statt Stunden zu benötigen.

Was sie herausgefunden haben

Das Team testete dies in einem realen Szenario: dem dänischen Strommarkt. Sie verglichen ihre neue „glatte Rutsche“-Methode mit den alten „Verkehrsstau“-Methoden und den „Strafen-basierten“ Tricks.

Geschwindigkeit: Ihre Methode war hunderte bis tausende Male schneller als die traditionellen KI-Methoden. Sie löste das Problem in Millisekunden.
Genauigkeit: Sie war fast so gut wie die genauesten (aber langsamen) Methoden. Sie machte nicht die „Absturz“-Fehler, die die „Strafen-basierten“ Methoden machten.
Zuverlässigkeit: Im Gegensatz zu den anderen Methoden blieb ihre Lösung stabil, auch wenn sie die KI größer oder komplexer machten. Sie blieb schnell und zuverlässig.

Der Haken (Das Kleingedruckte)

Diese Abkürzung funktioniert nur, wenn zwei Bedingungen erfüllt sind:

Man versucht, die Ausgabe der KI zu minimieren (wie etwa die Kosten zu minimieren).
Man ist bereit, die KI mit der Regel zu trainieren, dass ihre internen Regler positive Werte sein müssen (was die KI leicht einschränkt, aber in einer Weise, die das wesentliche Verhalten für dieses spezifische Problem immer noch erfasst).

Das Fazit

Dieses Paper erfindet keine neue KI; es erfindet ein neues Übersetzungswerkzeug. Es nimmt ein komplexes, schwer lösbares KI-Modell und übersetzt es in ein einfaches, schnell lösbares mathematisches Problem, vorausgesetzt, man sucht nach den geringsten Kosten. Dies ermöglicht es Netzbetreibern, intelligente KI-Vorhersagen in Echtzeit-Auktionen zu nutzen, ohne darauf zu warten, dass der Computer tagelang lang die Mathematik berechnet.

Technisches Resümee: Effiziente Reformulierungen von ReLU-Deep-Neural-Networks für die Surrogatmodellierung in der Netzoptimierung

Problemstellung
Die Dekarbonisierung von Energiesystemen hat komplexe, nichtlineare Interaktionen eingeführt, die durch dezentrale Energieressourcen getrieben werden und mit konventionellen Optimierungsmodellen schwer zu erfassen sind. Während Machine-Learning (ML)-basierte Surrogatmodellierung, insbesondere unter Verwendung von Rectified Linear Unit (ReLU) Deep Neural Networks (DNNs), eine vielversprechende Lösung zur Darstellung dieser Verhaltensweisen bietet, stellt die direkte Integration von ReLU-DNNs in Optimierungsframeworks erhebliche Herausforderungen dar. Standardansätze unter Verwendung von Mixed-Integer Programming (MIP)-Reformulierungen (z. B. Big-M-Constraints) führen für jedes Neuron Binärvariablen ein, was zu rechnerischer Unbehandelbarkeit führt, wenn Netzwerktiefe und -breite zunehmen. Im Gegensatz dazu verbessern bestehende Lineare Programmierung (LP)-Relaxationen, wie etwa die Penalised Convex Area Relaxation (PCAR) und die Penalised Convex Triangle Area Relaxation (PCTAR), die Handhabbarkeit, stützen sich jedoch stark auf heuristische Strafterme. Diese strafbasierte Methoden lassen oft die garantierte Tightness (Steifheit) und Robustheit vermissen, was zu einer Sensitivität gegenüber der Hyperparameter-Optimierung und einer potenziellen Verschlechterung der Lösungsqualität führt.

Methodik
Das Paper schlägt eine neuartige LP-Reformulierung für eine spezifische Klasse von ReLU-DNNs vor, die als konvexifizierte (cvxd) ReLU-DNNs bezeichnet wird. Die zentrale mathematische Erkenntnis basiert auf Theorem 2.1, welches feststellt, dass, falls der Output eines ReLU-DNN innerhalb eines Optimierungsproblems minimiert wird und die Gewichtmatrizen aller Schichten ab der zweiten Schicht als elementweise nicht-negativ beschränkt sind ( $W_l \geq 0$ für $l \geq 2$ ), die nicht-konvexen ReLU-Aktivierungsfunktionen in diesen Schichten durch lineare Ungleichungen ersetzt werden können, ohne die Tightness zu verlieren.

Speziell:

Konvexifizierung: Die Methode beschränkt die Gewichtmatrizen der verborgenen Schichten (von Schicht $k$ bis zum Output) auf Nicht-Negativität. Diese strukturelle Beschränkung stellt sicher, dass die Minimierung des Objekts durch das Netzwerk propagiert wird, wodurch die $\max(\cdot, 0)$ -Constraints durch lineare Ungleichungen ( $h_l \geq W_l h_{l-1} + b_l$ und $h_l \geq 0$ ) ersetzt werden können.
Anwendungskontext: Die Methode wird innerhalb eines Optimierung mit Constraint-Learning (OCL)-Frameworks angewendet. Die Autoren lernen eine Prosumer-Reaktionsfunktion (eine nichtlineare, nicht-konvexe Sättigungskurve) unter Verwendung eines ReLU-DNN und betten diese in das Gewinnmaximierungsproblem eines Energie-Aggregators für den dänischen tertiären Kapazitätsmarkt (mFRR) ein.
Benchmarking: Die vorgeschlagene Reformulierung wird gegen den Stand der Technik (SOTA) evaluiert:
- MIP-basiert: Standardmäßige Big-M-Reformulierung unter Verwendung des Gurobi ML-Pakets.
- LP-basiert: PCAR- und PCTAR-Relaxationen.
- Konventionell: Stückweise Linearisierung (Piecewise Linearisation, PWL).

Wesentliche Beiträge

Traktable LP-Reformulierung: Das Paper führt eine Methode ein, um ReLU-DNNs in enge (tiefe) LP-Formulierungen umzuwandeln, indem Nicht-Negativitätsbeschränkungen auf die Gewichte nach der ersten Schicht erzwungen werden. Dies eliminiert die Notwendigkeit von Binärvariablen und reduziert die rechnerische Komplexität im Vergleich zu MIP-Ansätzen erheblich.
Garantierte Tightness: Im Gegensatz zu strafbasierten Relaxationen (PCAR/PCTAR) garantiert die vorgeschlagene Methode Tightness und Genauigkeit über verschiedene Netzwerkarchitekturen und Eingangsbedingungen hinweg, sofern die Minimierung und die Bedingungen der Nicht-Negativität der Gewichte erfüllt sind.
Systematische Evaluierung: Die Studie bietet ein umfassendes Benchmarking über mehrere neuronale Netzwerkarchitekturen (variierende Breite und Tiefe) sowie Marktpreisszenarien (niedrig, mittel, hoch) und demonstriert die Skalierbarkeit und Zuverlässigkeit des Ansatzes.

Ergebnisse
Die Evaluierung wurde mittels einer Fallstudie eines Aggregators durchgeführt, der am dänischen mFRR-Markt teilnimmt, wobei 30.000 Trainingsdatenpunkte verwendet wurden und die Tests über 30 Marktszenarien erfolgten.

Rechenleistung: Die vorgeschlagene LP-Reformulierung übertraf MIP-basierte (Gurobi ML) und PWL-Ansätze in Bezug auf die Geschwindigkeit signifikant. Während Gurobi ML und PWL oft Sekunden bis Stunden benötigten (oder bei breiteren Netzwerken innerhalb der Zeitlimits nicht konvergierten), löste die vorgeschlagene Methode Probleme in Millisekunden (z. B. 34 ms für Hochpreisszenarien gegenüber 1–3 Sekunden für andere).
Lösungsqualität: Die vorgeschlagene Methode erzielte realisierte Gewinne, die mit den besten Methoden (PWL und MIP) vergleichbar waren, typischerweise innerhalb von 1 % des Spitzenreiters. Im Gegensatz dazu führten PCAR und PCTAR häufig zu wirtschaftlichen Verlusten, insbesondere in Niedrigpreisszenarien, aufgrund ihrer strafgesteuerten Struktur, die zu einer Fehlabschätzung der Flexibilitätskosten führte.
Skalierbarkeit: Die vorgeschlagene Methode behielt eine konsistente Leistung und Tightness bei zunehmender Netzwerkbreite und -tiefe bei. Im Gegensatz dazu zeigte Gurobi ML schwerwiegende Skalierbarkeitsprobleme, wobei die Laufzeit bei breiteren Netzwerken (z. B. 400 Neuronen) drastisch anstieg und die MIP-Gaps sich signifikant vergrößerten. PCAR und PCTAR zeigten eine inkonsistente Genauigkeit und eine hohe Sensitivität gegenüber der Abstimmung der Straftermin-Parameter.
Genauigkeit: Das vorgeschlagene Modell erreichte konsistent RMSE-Werte (Root Mean Square Error), die nahe am Trainings-RMSE des zugrunde liegenden cvxd-DNN liegen, was die Tightness der Reformulierung bestätigt.

Bedeutung und Ansprüche
Das Paper behauptet, dass konvexifizierte ReLU-DNNs, gepaart mit der vorgeschlagenen LP-Reformulierung, eine skalierbare und zuverlässige Methodik bieten, um gelernte Surrogatmodelle in die Netzoptimierung zu integrieren. Die Bedeutung liegt in der Überbrückung der Kluft zwischen der Ausdrucksstärke von Deep Learning und den rechnerischen Anforderungen der großskaligen Optimierung.

Die Autoren betonen, dass die Methode zwar erfordert, dass der Output des Netzwerks minimiert wird, und Nicht-Negativitätsbeschränkungen auf die Gewichte auferlegt (was die Klasse der lernbaren Funktionen auf konvexe und monoton steigende Beziehungen einschränkt), sie jedoch erfolgreich komplexe Flexibilitätskostenfunktionen in der getesteten Fallstudie erfasst. Die Arbeit positioniert sich als allgemeiner methodischer Fortschritt, der die heuristische Abstimmung und die mangelnde Tightness-Garantie bestehender LP-Relaxationen vermeidet, wodurch sie für Anwendungen wie die Modellierung von Generatorkosten, CO2-Emissionsschätzungen und Chance-Constrained-Formulierungen geeignet ist, bei denen das Ziel die Minimierung beinhaltet. Die Autoren merken an, dass der primäre Fokus auf der Demonstration der Eigenschaften der Reformulierung liegt und nicht auf der spezifischen Aggregator-Anwendung selbst, welche als Vehikel zur Validierung dient.