Human-Centric Cooperative MARL for Reliable EV Charging Coordination in Smart Cities: A Controlled Multi-Seed Comparison of Centralised and Decentralised Training

Technische Samenvatting: Mensgerichte Coöperatieve MARL voor Betrouwbare EV-Laadcoördinatie

Probleemstelling
Dit artikel behandelt de uitdaging van het efficiënt toewijzen van elektrische voertuigen (EV's) aan laadstations binnen dichte stedelijke omgevingen. Dit probleem wordt gekenmerkt door gedeeltelijke observeerbaarheid, tijdvariërende verkeersvraag en de noodzaak om stationcongestie, langdurige wachttijden en actieradiusangst te voorkomen. Hoewel centrale coördinatie effectief is, kampt dit met schaalbaarheids- en onderhoudsproblemen bij grootschalige stedelijke implementaties. Daarentegen moeten gedecentraliseerde benaderingen een balans vinden tussen lokale besluitvorming en coöperatieve resultaten. De auteurs kaderen dit als een Decentralized Partially Observable Markov Decision Process (Dec-POMDP), waarbij laadstations fungeren als agenten die beslissen of ze een inkomend EV-verzoek accepteren of weigeren op basis van lokale observaties (wachtrij, belasting, afstand, etc.).

Methodologie
De studie voert een gecontroleerde empirische vergelijking uit tussen twee Multi-Agent Reinforcement Learning (MARL) paradigma's op een realistisch stedelijk wegennetwerk (Tangier, Marokko) dat is gesimuleerd met SUMO en TraCI:

1. Independent Q-Learning (IQL): Een Decentralized Training and Decentralized Execution (DTDE) baseline. Elk station fungeert als een onafhankelijke tabulaire Q-learner. Het werkt de Q-tabel bij op basis van lokale beloningen zonder expliciete coördinatie tijdens de training.
2. QMIX: Een Centralized Training with Decentralized Execution (CTDE) benadering. Het maakt gebruik van een monotone mengfunctie (mixing network) om de gezamenlijke actiewaarde-functie te factoriseren, waarbij de Individual-Global-Max (IGM) beperking wordt afgedwongen. Dit stelt agenten in staat om coöperatief gedrag te leren tijdens de training, terwijl ze tijdens de uitvoering lokale besluitvormingscapaciteiten behouden.

Experimentele Opzet

• Omgeving: Een microscopische simulatie van de Aïn Dalia/Boukhalef wijk met 6 heterogene laadstations en maximaal 5 gelijktijdige EV-agenten.
• Trainingsprotocol: Er werd een "vijf-flux curriculum" toegepast, waarbij de verkeersvraag geleidelijk toenam van laag (100 voertuigen/episode) naar extreem (250 voertuigen/episode) over 140 episodes, gevolgd door willekeurige flux-sampling voor 60 episodes.
• Schaal: De vergelijking werd uitgevoerd over 7 willekeurige seeds met 200 trainings-episodes per seed (2.800 episodes in totaal).
• Baselines: Twee niet-RL heuristieken zijn opgenomen: NEAREST (wijst toe aan het dichtstbijzijnde niet-verzadigde station) en WEIGHTED (wijst toe op basis van een samengestelde kostenfunctie van afstand, belasting en wachtrij).
• Evaluatie: De metrieken omvatten acceptatiepercentage, succes-per-acceptatie, timeout-percentages en gemiddelde beloning. Statistische significantie werd beoordeeld met Wilcoxon signed-rank tests en gepaarde Cohen's $d_z$.

Belangrijkste Bijdragen

1. Gecontroleerde Multi-Seed Vergelijking: Het artikel biedt een rigoureuze, multi-seed vergelijking van IQL en QMIX voor EV-laadtoewijzing, een gat in de bestaande literatuur dat vaak vertrouwt op synthetische roosters of evaluaties van één enkel algoritme.
2. Statistische Validatie: De studie valideert prestatieverschillen met robuuste statistische methoden, waarbij wordt aangetoond dat QMIX consequent beter presteert dan IQL over alle seeds heen.
3. Ablatie-analyse: De auteurs voerden een ablatie-studie uit om de bron van het voordeel van QMIX te isoleren. Ze testten configuraties waarbij coöperatieve bonussen en ervaringen delen werden verwijderd om te bepalen of het prestatieverschil voortkomt uit reward shaping of de CTDE/deep mixing architectuur.
4. Mensgerichte Metrieken: De evaluatie geeft prioriteit aan metrieken die direct door bestuurders worden ervaren, zoals "succes per verzoek" (throughput) en timeout-percentages, in plaats van alleen abstracte beloningsscores.

Resultaten

• Trainingsprestaties: QMIX bereikte een gemiddeld trainingsacceptatiepercentage van 81,5% ± 17,1%, wat aanzienlijk beter is dan de 66,0% ± 16,8% van IQL.
• Exploitatie-fase (Pure Greedy): Onder bevroren gewichten ($\epsilon=0$) behield QMIX een acceptatiepercentage van 83,8% ± 20,5% met een success-per-accept rate van 95,4%. IQL bereikte een acceptatiepercentage van 64,4% ± 15,5%. De distributies waren volledig gescheiden (de slechtste seed van QMIX presteerde beter dan de beste seed van IQL).
• Statistische Significantie: De Wilcoxon-test leverde $T=0$ met $p \le 0,016$, en een gepaarde Cohen's $d_z$ van 8,6 voor acceptatiepercentages, wat wijst op een zeer grote effectgrootte.
• Baseline Vergelijking: Niet-RL baselines (NEAREST, WEIGHTED) accepteerden 100% van de verzoeken, maar leden onder hoge timeout-percentages (respectievelijk 9,3% en 4,1%) en lagere success-per-accept rates. QMIX toonde aan dat geleerde selectieve acceptatie (het weigeren van ~16% van de verzoeken) een hogere nuttige throughput oplevert (80,9% success per verzoek) vergeleken met de altijd-accepteren strategieën.
• Ablatie Bevindingen: Het verwijderen van de coöperatieve bonus uit QMIX (A1) resulteerde in een minimale prestatiedaling (83,1% vs 83,8%), wat suggereert dat reward shaping alleen het verschil niet verklaart. Daarentegen resulteerde het verwijderen van ervaringen delen in IQL (A3) of het gebruik van pure IQL (A4) in prestatiedalingen naar de ~72–74% range. Dit suggereert dat het voordeel meer consistent is met de CTDE/deep mixing architectuur dan met reward shaping alleen, hoewel de auteurs opmerken dat de confound van functie-approximatie (tabular vs. deep) een rol blijft spelen.

Betekenis en Claims
Het artikel claimt dat voor betrouwbare EV-laadcoördinatie in smart cities, CTDE-gebaseerde benaderingen (specifiek QMIX) een superieur evenwicht bieden tussen throughput en betrouwbaarheid vergeleken met onafhankelijk leren (IQL) of statische heuristieken.

De auteurs benadrukken een mensgericht perspectief:

• Betrouwbaarheid: QMIX minimaliseert timeout-percentages en actieradiusangst door te leren verzoeken te weigeren die zouden leiden tot falen, in plaats van blindelings al het verkeer te accepteren.
• Privacy en Autonomie: Het gedecentraliseerde executiemodel stelt stations in staat om beslissingen te nemen op basis van lokale observaties zonder een centrale controller, wat gegevensprivacy waarborgt en single points of failure voorkomt.
• Schaalbaarheid: De studie suggereert dat hoewel centrale optimalisatie moeilijk te schalen is, CTDE een praktisch middenpad biedt waarbij agenten tijdens de training samenwerking leren, maar tijdens de inzet onafhankelijk opereren.

De auteurs blijven bescheiden over de causale attributie en erkennen dat het huidige prestatieverschil een combinatie is van CTDE-structuur en deep functie-approximatie. Ze stellen expliciet dat een "deep-IQL" controle (een diepe onafhankelijke leerder zonder mixing) vereist is om de bijdrage van de CTDE-architectuur definitief te isoleren, een taak die is voorbehouden aan toekomstig werk.