A Dual-Positive Monotone Parameterization for Multi-Segment Bids and a Validity Assessment Framework for Reinforcement Learning Agent-based Simulation of Electricity Markets

Diese Arbeit stellt eine dual-positive monotone Parametrisierung für mehrsegmentige Gebote sowie ein Validierungsframework vor, um Gradientenverzerrungen bei Reinforcement-Learning-Simulationen von Elektrizitätsmärkten zu vermeiden und die Ergebnisse rigoros im Hinblick auf das Nash-Gleichgewicht zu bewerten.

Das Wesentliche

Das große Problem: Der "Koch", der nicht kochen darf

Stell dir den Strommarkt wie eine riesige Küche vor, in der viele Köche (die Stromerzeuger) ihre Gerichte (Strom) anbieten. Jeder Koch muss ein Menü aus mehreren Gängen (Preisstufen) zusammenstellen. Aber es gibt strenge Regeln:

1. Der Preis muss mit jedem Gang steigen (man kann nicht für den Hauptgang weniger zahlen als für den Vorspeise).
2. Der Preis darf einen bestimmten Höchstwert nicht überschreiten.
3. Die Mengen müssen logisch aufeinander aufbauen.

In der Vergangenheit haben Forscher versucht, künstliche Intelligenz (KI) zu trainieren, um diese Köche zu simulieren. Die KI sollte lernen, das perfekte Menü zu erstellen, um maximalen Gewinn zu machen.

Das Problem war: Die KI war wie ein junger Koch, der gerne experimentiert. Manchmal schrie sie: "Ich mache den Hauptgang billiger als die Vorspeise!" oder "Ich biete negative Mengen an!". Das ist in der echten Welt verboten.

Um das zu fixen, haben die Forscher bisher einen "Kellner" (eine Nachbearbeitungs-Software) dazwischengeschaltet. Wenn die KI einen verrückten Preis nannte, hat der Kellner ihn einfach "zugeschnitten" (abgeschnitten) oder die Reihenfolge der Gänge durcheinander gewirbelt, damit es legal aussah.

Der Fehler dabei: Stell dir vor, du schreibst einen Brief, aber ein Zensor löscht ganze Sätze oder ändert sie nachträglich. Wenn du dann versuchst zu lernen, warum dein Brief nicht ankam, verstehst du es nicht mehr. Die KI weiß nicht mehr, ob sie für ihren eigenen Fehler oder den Fehler des Zensors bestraft wurde. Das nennt man "Gradientenverzerrung" – die KI lernt in die falsche Richtung oder bleibt stecken.

Die Lösung 1: Der "Zwei-Positive-Parameter"-Ansatz (DPMP)

Die Autoren dieses Papiers haben sich etwas Cleveres ausgedacht. Statt der KI zu erlauben, alles durcheinander zu werfen und dann korrigiert zu werden, geben wir ihr eine neue Art zu denken.

Stell dir vor, die KI bekommt zwei spezielle Stifte:

1. Stift A (Die Mengen): Er darf nur positive Zahlen schreiben. Wenn die KI eine Zahl schreibt, wird sie automatisch in einen "Zuwachs" umgewandelt. Wenn sie sagt "5", bedeutet das "5 Einheiten mehr als vorher". Da sie nur positive Zahlen schreiben darf, ist die Menge automatisch steigend. Kein Chaos mehr!
2. Stift B (Die Preise): Auch dieser Stift darf nur positive Zahlen schreiben. Aber statt den Preis direkt zu nennen, schreibt er "Preiserhöhungen". Wenn der erste Gang 10 Euro kostet, und die KI schreibt "+2", ist der zweite Gang 12 Euro. Da sie nur positive Erhöhungen schreiben darf, ist der Preis automatisch steigend.

Der Clou: Die KI muss nichts mehr korrigieren. Sie schreibt einfach positive Zahlen, und das System rechnet sie automatisch in ein perfektes, legales Menü um. Es ist wie ein Koch, der nur Zutaten in Schüsseln mit "Plus" beschriftet bekommt. Er kann unmöglich etwas Falsches mischen.

Das Ergebnis: Die KI lernt viel schneller und besser, weil sie genau weiß, was sie getan hat. In den Tests war die alte Methode (das "Zuschneiden") etwa 30% vom perfekten Ergebnis entfernt, während diese neue Methode nur noch 3% daneben lag.

Die Lösung 2: Der "Wahrheits-Test" (Validitäts-Rahmen)

Aber es gibt noch ein zweites Problem. Selbst wenn die KI gut lernt, wie wissen wir, ob sie wirklich eine "gute" Strategie gefunden hat oder nur zufällig Glück hatte?

In der Wirtschaftswissenschaft gibt es das Konzept des Nash-Gleichgewichts. Das ist wie ein Zustand in einem Spiel, in dem niemand einen Grund hat, seine Strategie zu ändern, weil er damit nicht besser dastehen würde. Wenn alle Köche ihre perfekten Menüs haben, ändert keiner mehr etwas, weil er sonst Geld verliert.

Früher haben Forscher einfach geschaut: "Hey, die Gewinnkurve der KI sieht flach aus, sie hört auf zu steigen. Alles gut!" Aber das ist wie ein Auto, das auf einer Steigung stehen bleibt, weil der Motor schwächelt, nicht weil es am Ziel ist.

Die Autoren schlagen einen neuen Test vor:

• Level 1 (Der Einzelkämpfer): Wir nehmen einen KI-Koch und sagen: "Was wäre das theoretisch perfekte Menü, wenn du allein wärst?" Wir vergleichen, wie nah die KI an diesem perfekten Ideal ist.
• Level 2 (Das Team-Spiel): Wir nehmen die fertige Strategie aller Köche und sagen zu einem von ihnen: "Okay, alle anderen bleiben genau so, wie sie sind. Du darfst jetzt nochmal versuchen, deine Strategie zu optimieren. Kannst du damit mehr Geld verdienen?"
  • Wenn er nein sagen kann (oder nur winzige Verbesserungen findet), dann haben wir das Nash-Gleichgewicht erreicht. Das Spiel ist fair und stabil.
  • Wenn er ja sagen kann und riesige Gewinne macht, dann war das vorherige Ergebnis nur ein Trugschluss.

In den Tests mit dem neuen System (DPMP) haben sie gesehen, dass die KI-Strategien so stabil waren, dass niemand mehr viel Geld durch eine einseitige Änderung hätte machen können. Das Ergebnis war also wirklich verlässlich.

Zusammenfassung in einem Satz

Die Autoren haben eine neue Art entwickelt, wie eine KI ihre "Strom-Angebote" formuliert (indem sie nur positive Schritte erlaubt, statt später zu korrigieren), und sie haben einen neuen Test erfunden, um sicherzustellen, dass die KI wirklich das beste Gleichgewicht gefunden hat und nicht nur zufällig gut aussieht.

Warum ist das wichtig?
Strommärkte sind komplex. Wenn wir Gesetze oder Regeln ändern wollen, müssen wir Simulationen nutzen, die wirklich funktionieren. Mit dieser neuen Methode können wir uns darauf verlassen, dass die Simulationen der Realität nahekommen und wir keine falschen Schlüsse ziehen, wenn wir über die Zukunft der Energieversorgung entscheiden.

Technische Zusammenfassung

Titel:

Eine dual-positive monotone Parametrisierung für mehrsegmentige Gebote und ein Rahmenwerk zur Validitätsbewertung für RL-basierte Simulationen von Elektrizitätsmärkten.

1. Problemstellung

Reinforcement-Learning-Agent-basierte Simulationen (RL-ABS) sind ein wichtiges Werkzeug zur Analyse und Bewertung von Elektrizitätsmarktmechanismen. Es bestehen jedoch zwei wesentliche Defizite in der aktuellen Forschung:

• Mangelhafte Gebotsdarstellung und Gradientenverzerrung: In realen Märkten müssen Gebote aus mehreren Preis-Leistungs-Paaren bestehen, die monoton steigend und durch Preisober- und -untergrenzen beschränkt sind. Bestehende RL-Methoden nutzen oft vereinfachte Modelle oder erzwungene Nachbearbeitungsschritte (Post-Processing) wie Sortieren (Sorting), Beschneiden (Clipping) oder Projektion (Projection), um rohe Netzwerk-Ausgaben in zulässige Gebotskurven zu überführen.
  • Das Kernproblem: Diese Nachbearbeitungsmethoden verletzen oft die Bedingungen der stetigen Differenzierbarkeit, Injektivität und Invertierbarkeit an den Grenzen oder Knicke. Dies führt zu einer Verzerrung der Gradientensignale (Gradient Distortion) und einem Missverhältnis zwischen dem optimierten Ziel und dem tatsächlich ausgeführten Handeln, was zu fehlerhaften Konvergenzen und „spurious convergence" (trügerischer Konvergenz) führt.
• Fehlende Validitätsbewertung: Die meisten Studien stützen ihre Schlussfolgerungen über Marktmechanismen lediglich auf die Konvergenz von Trainingskurven oder Gewinnsteigerungen. Es fehlt eine rigorose quantitative Bewertung, wie weit die Simulationsergebnisse vom theoretischen Nash-Gleichgewicht entfernt sind. Ohne diese Validität sind Vergleiche zwischen verschiedenen Marktmechanismen wenig glaubwürdig.

2. Methodik

Das Paper adressiert diese Probleme durch zwei Hauptkomponenten:

A. Dual-Positive Monotone Parameterization (DPMP)

Um die Gradientenverzerrung zu vermeiden, wird eine neue Parametrisierungsmethode vorgeschlagen, die eine stetig differenzierbare, injektive und invertierbare Abbildung zwischen den Ausgaben des Policy-Netzwerks und dem zulässigen Raum der Gebotskurven gewährleistet.

• Prinzip: Anstatt direkte Preise und Mengen auszugeben, gibt das Policy-Netzwerk zwei positive Vektoren aus:
  1. Ein Vektor für die Breiten der Leistungssegmente (Generation-output widths).
  2. Ein Vektor für die Preiserhöhungen (Price increments) zwischen den Segmenten.
• Transformation:
  • Die Breiten werden durch Normalisierung und kumulative Summation in streng steigende Leistungsgrenzen umgewandelt.
  • Die Preiserhöhungen werden durch eine exponentielle Transformation (z. B. $1 - e^{-s}$) in streng steigende Preise innerhalb der Preisgrenzen umgewandelt.
• Vorteil: Da alle Eingaben strikt positiv sind und die Transformationen stetig differenzierbar und invertierbar sind, wird die Notwendigkeit von zerstörerischen Nachbearbeitungsschritten wie Sortieren oder Beschneiden eliminiert. Dies erhält die Konsistenz der Policy-Gradienten.

B. Zwei-Ebenen-Validitätsbewertungsrahmen (Validity Assessment Framework)

Um die Glaubwürdigkeit der Simulationsergebnisse zu sichern, wird ein zweistufiger Rahmen eingeführt:

1. Einzel-Agent-Ebene (Optimality Gap):
   • Vergleich des erlernten Gewinns mit einem theoretisch berechenbaren Optimum (basierend auf der Gegenpartei-Kostenstruktur).
   • Metrik: Die Lücke zwischen dem RL-Gewinn und dem theoretischen Optimum (Optimality Gap). Dies prüft, ob der Algorithmus die optimale Strategie überhaupt lernen kann.
2. Multi-Agent-Ebene (Exploitability):
   • Bewertung, wie weit das erlernte Strategienprofil vom Nash-Gleichgewicht entfernt ist.
   • Methode: Die Strategien der Gegner werden eingefroren, und ein Agent wird neu trainiert, um eine approximative beste Antwort (Best Response) zu finden.
   • Metrik: Exploitability – der maximale Gewinnzuwachs, den ein Agent durch einseitige Abweichung erzielen kann. Ein niedriger Wert deutet auf ein $\epsilon$-Nash-Gleichgewicht hin.

3. Wichtige Beiträge

1. Theoretische Analyse: Herleitung notwendiger Bedingungen (NC1–NC3) für Nachbearbeitungsabbildungen unter Policy-Gradient-Methoden. Beweis, dass gängige Methoden (Sortieren, Clipping, Projektion) diese Bedingungen verletzen und zu Gradientenverzerrung führen.
2. DPMP-Methode: Entwicklung einer neuen Parametrisierung, die die Constraints (Monotonie, Beschränktheit) direkt in die Struktur der Aktionsebene integriert, ohne die Gradienten zu beschädigen.
3. Validitätsrahmen: Einführung eines quantitativen Rahmens zur Bewertung von RL-ABS-Ergebnissen, der über reine Konvergenz hinausgeht und die Nähe zum Gleichgewicht misst.
4. Umfassende Experimente: Systematische Tests in einem IEEE-39-Bus-Netzwerk mit Netzbeschränkungen, die die Überlegenheit von DPMP gegenüber Baselines und die Stabilität der Ergebnisse belegen.

4. Ergebnisse

• Einzel-Agent-Szenario:
  • DPMP reduzierte den stationären relativen Optimality Gap auf 3,26 % ± 0,73 %.
  • Im Vergleich dazu blieben Baselines (SORT, CLIP, PROJECT) bei Werten von ca. 30–33 % und erreichten das 10 %-Schwellenwert-Ziel nicht innerhalb des Trainingszeitraums.
  • DPMP zeigte eine deutlich bessere Sample-Effizienz und Stabilität.
  • Die Methode war kompatibel mit verschiedenen Algorithmen (A2C, TRPO, PPO, DDPG), wobei PPO und DDPG die besten Ergebnisse erzielten.
• Multi-Agent-Szenario (IEEE 39-Bus):
  • In einer komplexen Netzsimulation mit 10 Agenten erreichte das DPMP-PPO-Strategieprofil eine maximale Exploitability von 1,266 % (durch Agent 9) und einen durchschnittlichen Wert von ca. 0,20 %.
  • 6 von 10 Agenten zeigten keine Exploitability (Wert = 0).
  • Die Ergebnisse deuten darauf hin, dass das erlernte Profil einem $\epsilon$-Nash-Gleichgewicht sehr nahe kommt und keine signifikanten einseitigen Verbesserungen zulässt.

5. Bedeutung und Fazit

Dieses Paper liefert einen wesentlichen methodischen Fortschritt für die Forschung an Elektrizitätsmärkten mittels Reinforcement Learning:

• Erhöhte Zuverlässigkeit: Durch die Beseitigung der Gradientenverzerrung durch DPMP sind die erlernten Strategien mathematisch fundierter und näher am wahren Optimum.
• Vertrauenswürdige Schlussfolgerungen: Der Validitätsrahmen stellt sicher, dass Vergleiche zwischen Marktmechanismen auf stabilen, gleichgewichtsnahen Ergebnissen basieren und nicht auf Artefakten des Trainings oder unzureichender Konvergenz.
• Anwendungsbreite: Die vorgeschlagenen Methoden bieten eine solide Grundlage für die zukünftige Gestaltung und Bewertung von Marktregeln, die Analyse von Marktmacht und die Entwicklung von Strategien in komplexen Energiesystemen. Die Ideen sind zudem potenziell auf andere Bereiche mit monotonen und beschränkten kontinuierlichen Entscheidungsproblemen übertragbar.