Human-Centric Cooperative MARL for Reliable EV Charging Coordination in Smart Cities: A Controlled Multi-Seed Comparison of Centralised and Decentralised Training

Resumen Técnico: Aprendizaje por Refuerzo Multi-Agente Cooperativo Centrado en el Humano para la Coordinación Fiable de la Carga de Vehículos Eléctricos

Planteamiento del Problema
El artículo aborda el desafío de asignar eficientemente los vehículos eléctricos (VE) a las estaciones de carga dentro de entornos urbanos densos. Este problema se caracteriza por la observabilidad parcial, la demanda de tráfico variable en el tiempo y la necesidad de prevenir la congestión de las estaciones, los tiempos de espera prolongados y la ansiedad por la autonomía. Si bien la coordinación centralizada ofrece efectividad, enfrenta problemas de escalabilidad y mantenimiento en despliegues urbanos extensos. Por el contrario, los enfoques descentralizados deben equilibrar la toma de decisiones local con resultados cooperativos. Los autores enmarcan esto como un Proceso de Decisión de Markov Parcialmente Observable Descentralizado (Dec-POMDP), donde las estaciones de carga actúan como agentes que deciden si aceptar o rechazar las solicitudes entrantes de VE basadas en observaciones locales (cola, carga, distancia, etc.).

Metodología
El estudio realiza una comparación empírica controlada de dos paradigmas de Aprendizaje por Refuerzo Multi-Agente (MARL) en una red de carreteras urbana realista (Tánger, Marruecos) simulada mediante SUMO y TraCI:

1. Aprendizaje Q Independiente (IQL): Un modelo de entrenamiento descentralizado y ejecución descentralizada (DTDE). Cada estación actúa como un aprendiz Q tabular independiente. Actualiza su tabla Q basándose en recompensas locales sin coordinación explícita durante el entrenamiento.
2. QMIX: Un enfoque de entrenamiento centralizado con ejecución descentralizada (CTDE). Utiliza una red de mezcla monotónica para factorizar la función de valor de acción conjunta, imponiendo la restricción de Máximo Global Individual (IGM). Esto permite que los agentes aprendan comportamientos cooperativos durante el entrenamiento, manteniendo sus capacidades de toma de decisiones locales en el momento de la ejecución.

Configuración Experimental

• Entorno: Una simulación microscópica del distrito de Aïn Dalia/Boukhalef con 6 estaciones de carga heterogéneas y hasta 5 agentes de VE concurrentes.
• Protocolo de Entrenamiento: Se empleó un "currículo de cinco flujos", aumentando gradualmente la demanda de tráfico desde baja (100 vehículos/episodio) hasta extrema (250 vehículos/episodio) a lo largo de 140 episodios, seguido de un muestreo de flujo aleatorio durante 60 episodios.
• Escala: La comparación se ejecutó a través de 7 semillas aleatorias con 200 episodios de entrenamiento por semilla (2,800 episodios en total).
• Líneas Base: Se incluyeron dos heurísticas no basadas en RL: NEAREST (asigna a la estación más cercana que no esté saturada) y WEIGHTED (asigna basándose en un costo compuesto de distancia, carga y cola).
• Evaluación: Las métricas incluyeron la tasa de aceptación, éxito por aceptación, tasas de tiempo de espera (timeout) y recompensa media. La significancia estadística se evaluó mediante pruebas de rango firmado de Wilcoxon y el $d_z$ de Cohen emparejado.

Contribuciones Clave

1. Comparación Controlada Multi-Semilla: El artículo proporciona una comparación rigurosa y multi-semilla de IQL y QMIX para la asignación de carga de VE, un vacío identificado en la literatura existente que a menudo depende de rejillas sintéticas o evaluaciones de un solo algoritmo.
2. Validación Estadística: El estudio valida las diferencias de rendimiento utilizando métodos estadísticos robustos, demostrando que QMIX supera consistentemente a IQL en todas las semillas.
3. Análisis de Ablación: Los autores realizaron un estudio de ablación para aislar la fuente de la ventaja de QMIX. Probaron configuraciones eliminando los bonos cooperativos y el intercambio de experiencia para determinar si la brecha de rendimiento proviene del modelado de la recompensa o de la arquitectura de mezcla profunda/CTDE.
4. Métricas Centradas en el Humano: La evaluación prioriza métricas experimentadas directamente por los conductores, como "éxito por solicitud" (throughput) y tasas de tiempo de espera, en lugar de solo puntuaciones de recompensa abstractas.

Resultos

• Rendimiento de Entrenamiento: QMIX logró una tasa de aceptación media de entrenamiento del 81.5% ± 17.1%, superando significativamente el 66.0% ± 16.8% de IQL.
• Fase de Explotación (Greedy Puro): Bajo pesos congelados ($\epsilon=0$), QMIX mantuvo una tasa de aceptación del 83.8% ± 20.5% con una tasa de éxito por aceptación del 95.4%. IQL logró una aceptación del 64.4% ± 15.5%. Las distribuciones estaban totalmente separadas (el peor caso de QMIX superó al mejor caso de IQL).
• Significancia Estadística: La prueba de Wilcoxon arrojó $T=0$ con $p \le 0.016$, y un $d_z$ de Cohen emparejado de 8.6 para las tasas de aceptación, indicando un tamaño de efecto muy grande.
• Comparación con Líneas Base: Las líneas base no basadas en RL (NEAREST, WEIGHTED) aceptaron el 100% de las solicitudes pero sufrieron altas tasas de tiempo de espera (9.3% y 4.1%, respectivamente) y menores tasas de éxito por aceptación. QMIX demostró que la aceptación selectiva aprendida (rechazando aproximadamente el 16% de las solicitudes) genera un throughput útil más alto (80.9% de éxito por solicitud) en comparación con las estrategias de aceptar siempre.
• Hallazgos de Ablación: Eliminar el bono cooperativo de QMIX (A1) resultó en una caída mínima de rendimiento (83.1% vs 83.8%), lo que sugiere que el modelado de la recompensa por sí solo no explica la brecha. Por el contrario, eliminar el intercambio de experiencia en IQL (A3) o usar IQL puro (A4) resultó en caídas de rendimiento al rango del ~72–74%. Esto sugiere que la ventaja es más consistente con la arquitectura de mezcla profunda/CTDE que con el modelado de la recompensa por sí solo, aunque los autores señalan que el factor de confusión de la aproximación de funciones (tabular vs. profunda) persiste.

Significancia y Reivindicaciones
El artículo afirma que para la coordinación fiable de la carga de VE en ciudades inteligentes, los enfoques basados en CTDE (específicamente QMIX) ofrecen un equilibrio superior entre throughput y fiabilidad en comparación con el aprendizaje independiente (IQL) o las heurísticas estáticas.

Los autores enfatizan una perspectiva centrada en el humano:

• Fiabilidad: QMIX minimiza las tasas de tiempo de espera y la ansiedad por la autonomía al aprender a rechazar solicitudes que conducirían al fallo, en lugar de aceptar ciegamente todo el tráfico.
• Privacidad y Autonomía: El modelo de ejecución descentralizada permite que las estaciones tomen decisiones basadas en observaciones locales sin un controlador central, preservando la privacidad de los datos y evitando puntos únicos de falla.
• Escalabilidad: El estudio sugiere que, si bien la optimización centralizada es difícil de escalar, el CTDE proporciona un punto medio práctico donde los agentes aprenden la cooperación durante el entrenamiento pero operan de forma independiente en el despliegue.

Los autores mantienen la modestia respecto a la atribución causal, reconociendo que la brecha de rendimiento es actualmente una combinación de la estructura CTDE y la aproximación de función profunda. Establecen explícitamente que se requiere un control de "IQL-profundo" (aprendiz independiente profundo sin mezcla) para aislar definitivamente la contribución de la arquitectura CTDE, una tarea reservada para trabajos futuros.