Characterizing MARL for Energy Control: A Multi-KPI Benchmark on the CityLearn Environment

Dit artikel introduceert een uitgebreid benchmarkkader voor multi-agent reinforcement learning in de CityLearn-omgeving, waarbij wordt vastgesteld dat decentrale training en uitvoering (DTDE) samen met tijdsafhankelijk leren superieure prestaties leveren op diverse duurzaamheids- en robuustheidskpi's voor stedelijke energiesystemen.

De kern

Stel je voor dat een stad een enorm, levend organisme is. Elke woning, elk kantoor en elke fabriek is een cel in dit organisme. Deze cellen hebben allemaal hun eigen energiebehoefte: ze moeten koelen, verwarmen en apparaten laten draaien. Maar er is een probleem: we willen dat deze stad groen, goedkoop en stabiel werkt, terwijl de zon soms schijnt en soms niet, en de mensen soms veel en soms weinig stroom gebruiken.

Deze paper is als een grote test voor slimme computerprogramma's (kunstmatige intelligentie) die proberen dit hele energienetwerk te besturen. De onderzoekers van InstaDeep hebben gekeken welke "trainer" het beste werkt om een team van slimme agents (één voor elk gebouw) te leren hoe ze samen moeten werken.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Speelveld: De "CityLearn" Stad

Stel je een wijk voor met zes huizen. Elk huis heeft:

• Een koelkast (voor koeling).
• Een boiler (voor warm water).
• Een batterij (om stroom op te slaan).
• Zonnepanelen (die stroom maken als de zon schijnt).

Elk huis moet beslissen: Zal ik nu stroom gebruiken, of in de batterij stoppen? Zal ik de koelkast harder laten draaien of even rusten? Als ze dit allemaal zelfstandig doen, kan het chaos worden. Als ze te veel stroom tegelijk vragen, crasht het net. Als ze te veel batterijen leegtrekken, gaan ze kapot.

2. De Spelers: De Slimme Trainers (Algoritmes)

De onderzoekers hebben zes verschillende "trainers" getest. Je kunt ze zien als verschillende soorten coaches voor een sportteam:

• De Onafhankelijke Spelers (DTDE): Denk aan een team waar elke speler alleen naar zijn eigen spiegel kijkt. Ze leren alleen van hun eigen ervaringen, zonder dat de trainer de hele groep tegelijk ziet.
  • Voorbeeld: IPPO en SAC.
• De Centraal Getrainde Spelers (CTDE): Denk aan een coach die tijdens de training op een groot scherm ziet wat iedereen doet, zodat hij de hele groep kan corrigeren. Maar tijdens de wedstrijd (in het echt) moet elke speler weer alleen beslissingen nemen.
  • Voorbeeld: MAPPO.
• De Geheugen-Trainers (Recurrent): Sommige trainers leren de spelers niet alleen naar het nu te kijken, maar ook naar het verleden. Ze hebben een geheugen. Ze weten: "Gisteren was het warm, dus vandaag is het waarschijnlijk ook warm."
  • Voorbeeld: REC-IPPO en REC-SAC.

3. De Test: Wat is een goede prestatie?

In plaats van alleen te kijken naar "wie heeft de laagste energierekening?", hebben de onderzoekers naar veel meer dingen gekeken. Het is alsof je een auto niet alleen test op snelheid, maar ook op:

• Comfort: Is het in huis niet te koud of te warm?
• Stabiliteit: Schiet het stroomverbruik niet plotseling omhoog (zoals een schok in de auto)?
• Duurzaamheid: Hoeveel CO2 wordt er uitgestoten?
• Batterijleven: Worden de batterijen niet te snel leeggetrokken (wat ze kapot maakt)?
• Teamwerk: Draagt elk huis evenveel bij, of doet één huis het werk voor de rest?

4. De Grote Ontdekkingen (De Verdict)

A. De "Onafhankelijke" winnaar (IPPO)
De winnaar van de algemene ranglijst was IPPO.

• De Analogie: Stel je voor dat je een groep mensen in een donkere kamer zet. Als je ze allemaal apart laat oefenen zonder dat ze elkaar storen, worden ze vaak stabieler en betrouwbaarder dan een groep die constant probeert met elkaar te overleggen.
• IPPO was het meest consistent. Het maakte minder fouten en deed het zelfs goed in de slechtste scenario's. Het was de "veilige, betrouwbare" keuze.

B. Het geheugen is goud waard (voor bepaalde taken)
De trainers met een geheugen (Recurrent) waren veel beter in het plannen van de batterijen.

• De Analogie: Een batterij is als een fles water. Als je hem elke dag helemaal leegdrinkt en weer volmaakt, gaat hij snel kapot. Een trainer met geheugen ziet: "Ah, morgen is het zonnig, dus ik drink nu niet alles op, maar bewaar een beetje voor straks."
• Hierdoor duurden de batterijen langer en waren de schommelingen in stroomverbruik veel rustiger.

C. De "Centrale Coach" (MAPPO) is riskant
De centrale trainer (MAPPO) kon soms fantastisch presteren (de beste scores in de beste runs), maar was ook erg onstabiel.

• De Analogie: Het is als een dirigent die perfect kan leiden als iedereen meedoet, maar als één muzikant een noot mist, valt het hele orkest in de war. Het was te gevoelig voor toeval.

D. Niemand is een "luie agent"
Een belangrijke ontdekking was dat er geen "luie agenten" waren.

• De Analogie: In een teamwerkproject is het vaak zo dat één persoon het werk doet en de rest niets. Hier bleek dat elk huis even hard werkte. Als je één huis uit het systeem haalde, viel het systeem niet in elkaar. Dit maakt de oplossing heel robuust voor de echte wereld, waar apparaten soms stuk gaan of de verbinding verbroken wordt.

5. Waarom is dit belangrijk voor jou?

Deze paper laat zien dat we niet hoeven te wachten op een super-complex systeem dat alles perfect regelt. Een systeem waar elke woning slim en zelfstandig is, maar wel rekening houdt met het verleden (geheugen), werkt het beste.

Het betekent dat we in de toekomst:

1. Minder stroomuitval zullen hebben (want de schommelingen zijn rustiger).
2. Langere levensduur voor onze thuisbatterijen (want ze worden niet misbruikt).
3. Een groenere stad (want we gebruiken de zonne-energie slimmer).

Kortom: De onderzoekers hebben bewezen dat een team van slimme, zelfstandige buren die hun eigen batterijen slim beheren, een betere stad maakt dan één grote, centrale controller die alles probeert te regelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Characterizing MARL for Energy Control: A Multi-KPI Benchmark on the CityLearn Environment", geschreven in het Nederlands.

Titel: Karakterisering van MARL voor Energiebeheer: Een Multi-KPI Benchmark op de CityLearn-omgeving

1. Probleemstelling

De optimalisatie van stedelijke energiesystemen is cruciaal voor de ontwikkeling van duurzame en veerkrachtige smart cities. Deze systemen worden steeds complexer door de integratie van gedistribueerde energiebronnen (DER's), zoals zonne-energie, wind en opslagsystemen. Traditionele aanpakken voor vraagrespons (Demand Response) zijn vaak handmatig of gebaseerd op starre regels en kunnen niet goed omgaan met de dynamische, tijdsgevoelige en schaalbare uitdagingen van moderne netwerken.

Hoewel Multi-Agent Reinforcement Learning (MARL) een veelbelovende oplossing biedt voor gecoördineerd besluitvormen in deze omgevingen, ontbreekt er een robuust en betrouwbaar benchmarking-framework. Bestaande evaluaties zijn vaak beperkt tot het gemiddelde van enkele prestatie-indicatoren (KPI's), wat kritieke inzichten kan maskeren, zoals de stabiliteit van het algoritme, de prestaties in slechtste gevallen (worst-case), en de bijdrage van individuele agenten.

2. Methodologie

De auteurs voeren een uitgebreide empirische vergelijking uit van zes MARL-algoritmen binnen de CityLearn-omgeving, een open-source platform dat een wijk met zes gebouwen simuleert (met koeling, warmwater en batterijen).

Algoritmen en Architecturen:
De studie vergelijkt algoritmen op basis van twee trainingsparadigma's en twee netwerkarchitecturen:

• Paradigma's:
  • DTDE (Decentralized Training with Decentralized Execution): Agenten leren onafhankelijk (bijv. IPPO, SAC).
  • CTDE (Centralized Training with Decentralized Execution): Agenten gebruiken globale informatie tijdens training, maar handelen lokaal tijdens uitvoering (bijv. MAPPO).
• Architecturen:
  • Feedforward: Standaard netwerken die alleen op de huidige observatie reageren.
  • Recurrent (RNN/GRU): Netwerken die tijdsafhankelijkheden kunnen leren door geheugen van eerdere stappen te behouden.

De onderzochte algoritmen zijn:

• On-policy: Independent PPO (IPPO), Multi-Agent PPO (MAPPO).
• Off-policy: Soft Actor-Critic (SAC).
• Elk hiervan wordt getest in zowel feedforward als recurrente varianten (bijv. REC-IPPO, REC-SAC).

Evaluatieprotocol:
Om reproduceerbaarheid en statistische betrouwbaarheid te garanderen, gebruiken de auteurs:

• Hyperparameter-tuning: Uitgebreide zoektochten voor elke algoritme.
• Statistische metrics: Interquartile Mean (IQM) voor centrale tendens en Conditional Value at Risk (CVaR) voor prestaties onder ongunstige omstandigheden.
• Nieuwe KPI's: Naast standaard CityLearn-metrics (zoals kosten en emissies) introduceren de auteurs:
  • Battery Depth of Discharge (DoD): Gemeten via de Rainflow-cycle counting methode om batterijlevensduur te schatten.
  • Agent Importance Score: Een op Shapley-waarden gebaseerde metric om de bijdrage van individuele agenten te kwantificeren en "luie agenten" te detecteren.

3. Belangrijkste Resultaten

A. Prestatie en Stabiliteit (DTDE vs. CTDE)

• IPPO (Decentralized) overtreft CTDE: Independent PPO (IPPO) bereikt consistent de beste gemiddelde prestaties (laagste IQM) en de beste prestaties in slechtste gevallen (CVaR).
• Instabiliteit van MAPPO: Centralized training (MAPPO) toont een hoge variabiliteit tussen verschillende seeds. Hoewel het in de beste runs uitstekend presteert, faalt het vaak in slechtere runs, wat wijst op gevoeligheid voor initiatie en de complexiteit van de gecentraliseerde criticus.
• Conclusie: Decentralized learners bieden superieure stabiliteit en lagere variabiliteit, terwijl centralisatie risico's introduceert zonder consistent voordeel in gemiddelde prestaties.

B. Impact van Tijdsafhankelijkheid (Recurrent vs. Feedforward)

• Verbetering bij tijdsgevoelige taken: Het toevoegen van recurrente lagen (geheugen) verbetert de prestaties aanzienlijk op metrics die afhankelijk zijn van historische data, zoals ramping (stroomverbruiksschommelingen) en batterijgebruik (DoD en ontladingstijd).
• Geen voordeel bij korte-termijn taken: Voor metrics die reageren op directe, lokale afwijkingen, zoals oncomfort (temperatuur), biedt tijdsafhankelijkheid geen significant voordeel en kan het zelfs prestaties verlagen. Dit bevestigt dat sommige doelen snelle, reactieve controle vereisen in plaats van langere planning.

C. Batterijbeheer en DoD

• Recurrente onafhankelijke agenten (Rec-IPPO en Rec-SAC) leren strategieën met een lagere Depth of Discharge en langere ontladingstijden. Dit suggereert een efficiënter gebruik van opslagcapaciteit en een langere batterijlevensduur, zelfs zonder dat batterijdegradatie expliciet in de beloningsfunctie staat. Dit is een indirect effect van het minimaliseren van ramping en het optimaliseren van zonne-energiegebruik.

D. Robuustheid en Agent-Bijdrage

• Geen "Luie Agenten": De analyse van de Agent Importance Score toont aan dat alle agenten een evenwichtige bijdrage leveren. Er is geen sprake van dat één agent het werk doet terwijl anderen passief zijn.
• Schaalbaarheid en Veerkracht: Het systeem blijft robuust presteren zelfs als agenten worden verwijderd of als het aantal agenten tijdens de evaluatie verschilt van het trainingsaantal. Dit onderstreept de geschiktheid van de geleerde beleidslijnen voor real-world implementaties waar communicatieproblemen of uitval kunnen optreden.

4. Belangrijkste Bijdragen

1. Rigoureuze Benchmarking: Een uitgebreide vergelijking van zes MARL-algoritmen met strikte hyperparameter-tuning en statistische validatie (IQM, CVaR) in de CityLearn-omgeving.
2. Uitgebreid Evaluatiekader: Introductie van nieuwe, praktijkgerichte metrics zoals batterijlevensduur (via DoD) en individuele agent-bijdrage, die verder gaan dan traditionele kosten- en emissie-metrics.
3. Diepgaande Trade-off Analyse: Kwantificering van de afwegingen tussen stabiliteit (DTDE) en piekprestaties (CTDE), en tussen tijdsafhankelijkheid en reactieve controle.
4. Praktische Inzichten: Bewijs dat decentralisatie (IPPO) vaak robuuster en betrouwbaarder is dan centralisatie voor stedelijk energiebeheer, en dat tijdsafhankelijkheid specifiek nuttig is voor langetermijnplanning (batterijen) maar niet noodzakelijk voor korte-termijn comfort.

5. Significantie

Dit werk stelt een nieuwe standaard voor het evalueren van MARL in energietoepassingen. Het benadrukt dat succesvolle implementatie niet alleen draait om het maximaliseren van een gemiddelde score, maar om het begrijpen van de stabiliteit, de schaalbaarheid en de langetermijneffecten op hardware (zoals batterijlevensduur). De bevindingen dat decentralisatie vaak superieure robuustheid biedt en dat tijdsafhankelijkheid selectief moet worden ingezet, bieden waardevolle richtlijnen voor onderzoekers en ingenieurs die MARL willen toepassen in complexe, real-world smart grid scenario's.