Human-Centric Cooperative MARL for Reliable EV Charging Coordination in Smart Cities: A Controlled Multi-Seed Comparison of Centralised and Decentralised Training

Résumé Technique : Apprentissage par renforcement multi-agents coopératif centré sur l'humain pour une coordination fiable de la recharge des VE

Énoncé du problème
Le papier traite du défi de l'allocation efficace des véhicules électriques (VE) aux stations de recharge dans les environnements urbains denses. Ce problème est caractérisé par une observabilité partielle, des demandes de trafic variant dans le temps et la nécessité de prévenir la congestion des stations, les temps d'attente prolongés et l'angoisse de l'autonomie. Si la coordination centralisée offre une certaine efficacité, elle fait face à des problèmes d'évolutivité et de maintenance dans les déploiements urbains de grande envergure. Inversement, les approches décentralisées doivent équilibrer la prise de décision locale avec des résultats coopératifs. Les auteurs cadrent cela comme un Processus de Décision de Markov Partiellement Observable Décentralisé (Dec-POMDP), où les stations de recharge agissent comme des agents décidant d'accepter ou de rejeter les demandes entrantes de VE sur la base d'observations locales (file d'attente, charge, distance, etc.).

Méthodologie
L'étude mène une comparaison empirique contrôlée de deux paradigmes d'apprentissage par renforcement multi-agents (MARL) sur un réseau routier urbain réaliste (Tanger, Maroc) simulé via SUMO et TraCI :

1. Apprentissage Q indépendant (IQL) : Une base de référence DTDE (Entraînement Décentralisé et Exécution Décentralisée). Chaque station agit comme un apprenant Q tabulaire indépendant. Il met à jour sa table Q sur la base de récompenses locales sans coordination explicite pendant l'entraînement.
2. QMIX : Une approche CTDE (Entraînement Centralisé et Exécution Décentralisée). Elle utilise un réseau de mélange monotone pour factoriser la fonction de valeur d'action conjointe, imposant la contrainte de l'Individu-Global-Max (IGM). Cela permet aux agents d'apprendre des comportements coopératifs pendant l'entraînement tout en conservant des capacités de prise de décision locale au moment de l'exécution.

Configuration Expérimentale

• Environnement : Une simulation microscopique du quartier Aïn Dalia/Boukhalef avec 6 stations de recharge hétérogènes et jusqu'à 5 agents VE simultanés.
• Protocole d'entraînement : Un « curriculum à cinq flux » a été employé, augmentant progressivement la demande de trafic d'un niveau faible (100 véhicules/épisode) à un niveau extrême (250 véhicules/épisode) sur 140 épisodes, suivi d'un échantillonnage de flux aléatoire pour 60 épisodes.
• Échelle : La comparaison a été réalisée sur 7 graines (seeds) aléatoires avec 200 épisodes d'entraînement par graine (2 800 épisodes au total).
• Bases de référence : Deux heuristiques non-RL ont été incluses : NEAREST (assigne au véhicule le plus proche d'une station non saturée) et WEIGHTED (assigne sur la base d'un coût composite de distance, de charge et de file d'attente).
• Évaluation : Les métriques comprenaient le taux d'acceptation, le succès par acceptation, les taux de dépassement de délai (timeout) et la récompense moyenne. La signification statistique a été évaluée à l'aide de tests de Wilcoxon et de la valeur $d_z$ appariée de Cohen.

Principales Contributions

1. Comparaison contrôlée multi-graines : Le papier fournit une comparaison rigoureuse et multi-graines de l'IQL et de QMIX pour l'assignation de la recharge des VE, un fossé identifié dans la littérature existante qui repose souvent sur des grilles synthétiques ou des évaluations de algorithmes uniques.
2. Validation statistique : L'étude valide les différences de performance à l'aide de méthodes statistiques robustes, démontrant que QMIX surpasse systématiquement l'IQL sur toutes les graines.
3. Analyse d'ablation : Les auteurs ont réalisé une étude d'ablation pour isoler la source de l'avantage de QMIX. Ils ont testé des configurations supprimant les bonus coopératifs et le partage d'expérience pour déterminer si l'écart de performance provient du façonnage de la récompense ou de l'architecture de mélange profond CTDE.
4. Métriques centrées sur l'humain : L'évaluation donne la priorité aux métriques directement expérimentées par les conducteurs, telles que le « succès par requête » (débit) et les taux de dépassement de délai, plutôt qu'à de simples scores de récompense abstraits.

Résultats

• Performance d'entraînement : QMIX a atteint un taux d'acceptation moyen d'entraînement de 81,5 % ± 17,1 %, surpassant de manière significative les 66,0 % ± 16,8 % de l'IQL.
• Phase d'exploitation (Pur Greedy) : Avec des poids gelés ($\epsilon=0$), QMIX a maintenu un taux d'acceptation de 83,8 % ± 20,5 % avec un taux de succès par acceptation de 95,4 %. L'IQL a atteint 64,4 % ± 15,5 % d'acceptation. Les distributions étaient totalement séparées (le pire résultat de QMIX était supérieur au meilleur résultat de l'IQL).
• Signification statistique : Le test de Wilcoxon a produit $T=0$ avec $p \le 0,016$, et un $d_z$ de Cohen apparié de 8,6 pour les taux d'acceptation, indiquant une taille d'effet très importante.
• Comparaison avec les bases de référence : Les bases de référence non-RL (NEAREST, WEIGHTED) ont accepté 100 % des requêtes mais ont souffert de taux de dépassement de délai élevés (9,3 % et 4,1 %, respectivement) et de taux de succès par acceptation plus faibles. QMIX a démontré qu'une acceptation sélective apprise (rejetant environ 16 % des requêtes) produit un débit utile plus élevé (80,9 % de succès par requête) par rapport aux stratégies d'acceptation systématique.
• Résultats d'ablation : Supprimer le bonus coopératif de QMIX (A1) a entraîné une baisse de performance minimale (83,1 % contre 83,8 %), suggérant que le façonnage de la récompense seul n'explique pas l'écart. Inversement, supprimer le partage d'expérience dans l'IQL (A3) ou utiliser l'IQL pur (A4) a entraîné des baisses de performance vers la plage des 72–74 %. Cela suggère que l'avantage est plus cohérent avec l'architecture CTDE/mélange profond qu'avec le simple façonnage de la récompense, bien que les auteurs notent que le facteur de confusion de l'approximation de fonction (tabulaire vs profond) subsiste.

Signification et Revendications
Le papier affirme que pour une coordination fiable de la recharge des VE dans les villes intelligentes, les approches basées sur le CTDE (spécifiquement QMIX) offrent un meilleur compromis entre débit et fiabilité par rapport à l'apprentissage indépendant (IQL) ou aux heuristiques statiques.

Les auteurs mettent l'accent sur une perspective centrée sur l'humain :

• Fiabilité : QMIX minimise les taux de dépassement de délai et l'angoisse de l'autonomie en apprenant à rejeter les requêtes qui mèneraient à un échec, plutôt qu'en acceptant aveuglément tout le trafic.
• Confidentialité et Autonomie : Le modèle d'exécution décentralisé permet aux stations de prendre des décisions basées sur des observations locales sans contrôleur central, préservant ainsi la confidentialité des données et évitant les points de défaillance uniques.
• Évolutivité : L'étude suggère que si l'optimisation centralisée est difficile à mettre à l'échelle, le CTDE offre un juste milieu pratique où les agents apprennent la coopération pendant l'entraînement mais opèrent indépendamment lors du déploiement.

Les auteurs restent modestes quant à l'attribution causale, reconnaissant que l'écart de performance est actuellement une combinaison de la structure CTDE et de l'approximation de fonction profonde. Ils déclarent explicitement qu'un contrôle « Deep-IQL » (apprenant indépendant profond sans mélange) est nécessaire pour isoler définitivement la contribution de l'architecture CTDE, une tâche réservée aux travaux futurs.