Characterizing MARL for Energy Control: A Multi-KPI Benchmark on the CityLearn Environment

Diese Arbeit stellt einen umfassenden Multi-KPI-Benchmark für Multi-Agenten-Reinforcement-Learning-Algorithmen im CityLearn-Umfeld vor und zeigt, dass dezentralisiertes Training mit dezentraler Ausführung (DTDE) zentrale Ansätze in Bezug auf Leistung und Robustheit übertrifft.

Das Wesentliche

Stell dir vor, eine ganze Stadt ist wie ein riesiges, komplexes Orchester. Jedes Haus ist ein Musiker, der sein eigenes Instrument spielt (Stromverbrauch, Heizung, Klimaanlage). Das Ziel ist es, dass alle zusammen ein harmonisches Stück spielen: Es soll nicht zu laut (Stromspitzen) sein, die Instrumente sollen nicht kaputtgehen (Batterien halten lange) und alle sollen zufrieden sein (niemand friert oder schwitzt).

Das Problem: In einer echten Stadt gibt es Tausende von Musikern, die oft nicht wissen, was die anderen tun. Wenn jeder nur auf sein eigenes Blatt Noten schaut, entsteht ein Chaos.

Hier kommt die Künstliche Intelligenz (KI) ins Spiel, genauer gesagt eine spezielle Art namens Multi-Agent Reinforcement Learning (MARL). Man kann sich das wie einen riesigen, unsichtbaren Dirigenten vorstellen, der den Musikern beibringt, wie sie am besten zusammenarbeiten.

Dieser wissenschaftliche Artikel ist im Grunde ein großer Vergleichstest, um herauszufinden, welche Art von "Dirigenten" (welcher KI-Algorithmus) am besten funktioniert. Die Forscher haben dafür eine simulierte Stadt namens CityLearn benutzt.

Hier ist die einfache Zusammenfassung der wichtigsten Erkenntnisse:

1. Der große Wettkampf: Wer ist der beste Dirigent?

Die Forscher haben sechs verschiedene KI-Methoden getestet. Man kann sie in zwei Lager einteilen:

• Die "Egoisten" (Dezentral): Jeder Musiker (Agent) lernt für sich allein, ohne die anderen zu sehen. Sie schauen nur auf ihre eigene Partitur.
  • Das Ergebnis: Diese Methode war überraschend stark! Besonders eine Methode namens IPPO (ein sehr stabiler Egoist) hat den besten Durchschnittswert erreicht. Sie waren zuverlässig und machten selten große Fehler.
• Die "Teamplayer" (Zentralisiert): Alle Musiker schicken ihre Noten an einen zentralen Dirigenten, der während des Trainings alles sieht und Anweisungen gibt.
  • Das Ergebnis: Das kann theoretisch genial sein (manchmal die besten Ergebnisse), aber es ist auch sehr riskant. Wenn der Dirigent einen schlechten Tag hat oder die Daten verwirrend sind, funktioniert das ganze Orchester nicht mehr. Es war sehr unzuverlässig.

Die Lektion: Manchmal ist es besser, wenn jeder für sich gut lernt, als wenn man versucht, alles von oben herab zu steuern. Die "Egoisten" waren robuster.

2. Das Gedächtnis: Warum Erinnerung wichtig ist

Ein Teil der KIs hatte ein "Gedächtnis" (sie erinnerten sich an die letzten Stunden), andere nicht.

• Ohne Gedächtnis: Die KI schaut nur auf den jetzigen Moment. "Jetzt ist es heiß, also kühlen."
• Mit Gedächtnis: Die KI weiß: "Es war vor 2 Stunden heiß, und morgen wird es noch heißer. Ich sollte die Batterie jetzt schon schonen."

Das Ergebnis: Das Gedächtnis war super wichtig für Dinge, die Zeit brauchen, wie das Laden und Entladen von Batterien oder das Vermeiden von plötzlichen Stromspitzen (Ramping). Aber für Dinge, die sofort passieren müssen (wie: "Es ist jetzt zu kalt im Raum, heiz sofort!"), war das Gedächtnis eher unnötig und machte die KI sogar langsamer.

3. Die Batterie-Gesundheit (Ein neuer Maßstab)

Früher haben Forscher nur geschaut: "Wie viel Geld haben wir gespart?" oder "Wie viel CO2 wurde gespart?".
In diesem Papier haben sie einen neuen, wichtigen Maßstab eingeführt: Wie sehr strapazieren wir die Batterien?

Stell dir die Batterien wie die Muskeln eines Läufer vor. Wenn man sie immer bis zum letzten Tropfen leerläuft (tiefes Entladen), werden sie schnell alt und müde.

• Die Erkenntnis: Die KIs mit Gedächtnis haben die Batterien viel schonender behandelt. Sie haben die Batterien nicht bis zum Anschlag entladen, sondern sie in einem gesunden Bereich gehalten. Das bedeutet: Die Batterien halten in der echten Welt viel länger.

4. Was passiert, wenn einer ausfällt? (Robustheit)

In einer echten Stadt kann mal ein Haus aus dem Netz fallen oder ein Sensor kaputtgehen.

• Die Forscher haben getestet: Was passiert, wenn wir einen "Musiker" aus dem Orchester entfernen?
• Das Ergebnis: Da die dezentralen KIs (die "Egoisten") nicht aufeinander angewiesen waren, funktionierte das System weiter, als wäre nichts passiert. Das ist extrem wichtig für die echte Welt, wo Dinge immer mal schiefgehen.

Fazit für den Alltag

Dieser Artikel sagt uns: Um unsere Städte smarter und grüner zu machen, brauchen wir keine perfekten, allwissenden Zentralkontrollen. Stattdessen ist es oft besser, den einzelnen Häusern (Agenten) beizubringen, selbstständig zu lernen, aber ihnen ein Gedächtnis zu geben, damit sie den Stromverbrauch über den Tag hinweg clever planen können.

So sparen wir nicht nur Geld und CO2, sondern lassen auch unsere teuren Batterien länger leben – und das System bleibt stabil, auch wenn mal etwas schiefgeht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Characterizing MARL for Energy Control: A Multi-KPI Benchmark on the CityLearn Environment" auf Deutsch:

1. Problemstellung und Motivation

Die Optimierung urbaner Energiesysteme ist entscheidend für nachhaltige und resiliente Smart Cities. Die Integration verteilter Energiequellen (DERs) wie Photovoltaik, Windkraft und Speichersysteme bringt jedoch komplexe Herausforderungen mit sich, insbesondere die Notwendigkeit flexibler, reaktionsschneller Steuerungssysteme, die Echtzeit-Entscheidungen treffen müssen.

Traditionelle Ansätze, die oft auf manuelle Eingriffe oder einfache Regelalgorithmen setzen, stoßen an ihre Grenzen, wenn es um die dynamische Koordination mehrerer Akteure (Gebäude) geht. Multi-Agent Reinforcement Learning (MARL) bietet hier einen vielversprechenden Ansatz, um dezentrale, koordinierte Entscheidungen in dynamischen Umgebungen zu treffen. Ein zentrales Defizit in der aktuellen Forschung ist jedoch das Fehlen umfassender, zuverlässiger Benchmarks, die MARL-Algorithmen unter realistischen Bedingungen und über eine Vielzahl von Leistungskennzahlen (KPIs) hinweg vergleichen. Bestehende Vergleiche basieren oft auf einfachen Durchschnittswerten, die kritische Einblicke in Worst-Case-Szenarien oder individuelle Agentenbeiträge verschleiern.

2. Methodik

Umgebung (CityLearn):
Die Studie nutzt die Open-Source-Umgebung CityLearn, die ein Viertel mit sechs Gebäuden simuliert. Jedes Gebäude verfügt über Raumkühlung, Warmwasserbereitung (DHW) und Energiespeicher (Batterien). Die Umgebung simuliert reale Lastprofile, Wetterdaten, Strompreise und CO2-Emissionen.

Algorithmen und Architekturen:
Es wurden sechs MARL-Algorithmen evaluiert, die auf zwei Hauptparadigmen und zwei Lernansätzen basieren:

• Paradigmen:
  • DTDE (Decentralized Training with Decentralized Execution): Jeder Agent lernt unabhängig (z. B. IPPO, SAC).
  • CTDE (Centralized Training with Decentralized Execution): Training nutzt globale Informationen, Ausführung ist dezentral (z. B. MAPPO).
• Lernansätze:
  • On-Policy: Proximal Policy Optimization (PPO) Varianten (IPPO, MAPPO).
  • Off-Policy: Soft Actor-Critic (SAC) Varianten.
• Zeitliche Abstraktion: Jeder Algorithmus wurde in zwei Varianten implementiert:
  • Feedforward: Basierend auf aktuellen Beobachtungen.
  • Recurrent (REC): Nutzung von Gated Recurrent Units (GRUs) zur Erfassung zeitlicher Abhängigkeiten (wichtig für Lastzyklen und verzögerte Belohnungen).

Bewertungsprotokoll und KPIs:
Um Robustheit zu gewährleisten, wurden umfangreiche Hyperparameter-Tuning-Experimente mit 21 Konfigurationen und mehreren Seeds durchgeführt. Die Auswertung erfolgt nicht nur über den offiziellen CityLearn-Score, sondern nutzt ein erweitertes Framework:

• Statistische Metriken: Interquartile Mean (IQM) für die mittlere Leistung und Conditional Value at Risk (CVaR) für Worst-Case-Szenarien.
• Neue Domain-spezifische KPIs:
  • Battery Depth of Discharge (DoD): Berechnet mittels Rainflow-Zykluszählung, um die Alterung der Batterien zu quantifizieren.
  • Agent Importance Score: Eine auf Shapley-Werten basierende Metrik, um den individuellen Beitrag jedes Agents zum Gesamtergebnis zu messen und „faule" Agenten zu identifizieren.
• Robustheitstests: Tests unter Agenten-Entfernung (Resilienz) und Skalierungstests (Training mit 3, Test mit 6 Agents).

3. Wichtige Beiträge

1. Rigoroses Robustheits-Benchmarking: Die Studie bietet einen der umfassendsten Vergleiche von MARL-Algorithmen im Energiesektor, der über einfache Durchschnittswerte hinausgeht und Stabilität, Varianz und Worst-Case-Leistung analysiert.
2. Erweiterter Evaluierungsrahmen: Einführung neuer Metriken (Batterielebensdauer, individuelle Agentenbeiträge), die für den realen Einsatz entscheidend sind, aber in Standard-Benchmarks oft fehlen.
3. Tiefgehende Trade-off-Analyse: Systematischer Vergleich der Vor- und Nachteile von DTDE vs. CTDE sowie von Feedforward- vs. Recurrent-Architekturen in Bezug auf verschiedene Zielgrößen (Komfort, Kosten, Emissionen, Ramping).

4. Ergebnisse und Analysen

• Leistungsfähigkeit der Algorithmen:

  • IPPO (Independent PPO) erwies sich als der robusteste Algorithmus. Er erreichte die besten Ergebnisse sowohl im Durchschnitt (niedrigster IQM) als auch im Worst-Case (niedrigster CVaR).
  • MAPPO zeigte eine hohe Varianz zwischen den Seeds. Während es in den besten Läufen sehr gut performte, war es in den schlechtesten Läufen deutlich schwächer als die dezentralen Ansätze. Dies wird auf die Sensitivität des zentralisierten Critics gegenüber hochdimensionalen Eingaben zurückgeführt.
  • SAC zeigte schnelle anfängliche Lernfortschritte, stagnierte aber später oft früher als IPPO.

• Einfluss zeitlicher Abhängigkeiten (Recurrent vs. Feedforward):

  • Recurrent-Architekturen verbesserten signifikant die Leistung bei Metriken mit starker zeitlicher Struktur, insbesondere beim Ramping (Glättung der Lastspitzen) und der Batterienutzung (DoD und Entladedauer).
  • Bei kurzfristigen Zielen wie Komfort (Discomfort) brachten Recurrent-Modelle keinen Vorteil, da diese schnelle, lokale Reaktionen erfordern. Hier performten Feedforward-Modelle oft besser oder gleichauf.

• Batterielebensdauer:

  • Recurrent-Modelle (insbesondere Rec-IPPO) lernten Strategien, die zu flacheren Entladezyklen (niedrigerer DoD) und längeren Entladedauern führten. Dies deutet auf eine schonendere Nutzung der Batterien hin, was die Lebensdauer verlängert, obwohl dies nicht direkt im Reward-Function kodiert war (ein positiver Nebeneffekt der Optimierung von Ramping und Solar-Nutzung).

• Agenten-Kooperation und Robustheit:

  • Die Analyse der Agent Importance zeigte, dass kein einzelner Agent für den Erfolg kritisch ist. Die Beiträge waren gut verteilt, und es gab keine „faulen Agenten".
  • Das System zeigte hohe Resilienz: Selbst wenn einzelne Agenten oder Ressourcen entfernt wurden, blieb die Leistung stabil. Dies unterstreicht die Eignung dezentraler Ansätze für reale, fehleranfällige Umgebungen.

• Skalierbarkeit:

  • Algorithmen, die mit 3 Agenten trainiert und mit 6 Agenten getestet wurden, zeigten gute Skalierbarkeit, wobei IPPO hier erneut als stabilster Ansatz hervorging.

5. Bedeutung und Fazit

Diese Arbeit setzt einen neuen Standard für die Evaluierung von MARL im Energiesektor. Sie zeigt, dass dezentrale Lernansätze (DTDE), insbesondere IPPO, in urbanen Energiemanagement-Szenarien oft robuster und zuverlässiger sind als zentrale Ansätze (CTDE), die anfällig für hohe Varianz sind.

Ein zentrales Erkenntnis ist die Notwendigkeit, zeitliche Abhängigkeiten (Recurrent Networks) gezielt einzusetzen: Sie sind essenziell für Aufgaben mit Langzeitplanung (Batteriesteuung, Lastglättung), aber nicht zwingend für kurzfristige Reaktionen (Komfort).

Die Studie liefert damit wertvolle Leitlinien für die praktische Implementierung von MARL in Smart Grids:

1. Priorisierung von Robustheit und Stabilität (via IQM/CVaR) über reine Spitzenleistung.
2. Nutzung von Recurrent-Netzen für Speicher- und Lastmanagement.
3. Dezentrale Architekturen bieten eine höhere Fehlertoleranz und Skalierbarkeit für reale Anwendungen.

Zukünftige Arbeiten sollten sich auf Reward-Shaping, optimierte Beobachtungsdesigns (Reduktion von Rauschen) und neuere Architekturen wie Multi-Agent-Transformer konzentrieren.