Human-Centric Cooperative MARL for Reliable EV Charging Coordination in Smart Cities: A Controlled Multi-Seed Comparison of Centralised and Decentralised Training

Resumo Técnico: MARL Cooperativo Centrado no Humano para Coordenação Confiável de Carregamento de VE

Declaração do Problema
O artigo aborda o desafio de alocar eficientemente veículos elétricos (VEs) a estações de carregamento em ambientes urbanos densos. Este problema é caracterizado por observabilidade parcial, demandas de tráfego variáveis no tempo e a necessidade de prevenir congestionamento nas estações, tempos de espera prolongados e ansiedade de autonomia. Embora a coordenação centralizada ofereça eficácia, ela enfrenta problemas de escalabilidade e manutenção em implantações urbanas de grande escala. Por outro lado, abordagens descentralizadas devem equilibrar a tomada de decisão local com resultados cooperativos. Os autores enquadram isso como um Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP), onde as estações de carregamento atuam como agentes decidindo se aceitam ou rejeitam solicitações de VEs recebidas com base em observações locais (fila, carga, distância, etc.).

Metodologia
O estudo conduz uma comparação empírica controlada de dois paradigmas de Aprendizado por Reforço Multiagente (MARL) em uma rede rodoviária urbana realista (Tânger, Marrocos) simulada usando SUMO e TraCI:

1. Aprendizado Q Independente (IQL): Uma linha de base de Treinamento Descentralizado e Execução Descentralizada (DTDE). Cada estação atua como um aprendiz Q tabular independente. Ele atualiza sua tabela Q com base em recompensas locais sem coordenação explícita durante o treinamento.
2. QMIX: Uma abordagem de Treinamento Centralizado com Execução Descentralizada (CTDE). Utiliza uma rede de mistura monotônica para fatorizar a função de valor de ação conjunta, impondo a restrição de Máximo Global-Individual (IGM). Isso permite que os agentes aprendam comportamentos cooperativos durante o treinamento, mantendo suas capacidades de tomada de decisão local no momento da execução.

Configuração Experimental

• Ambiente: Uma simulação microscópica do distrito de Aïn Dalia/Boukhalef com 6 estações de carregamento heterogêneas e até 5 agentes de VE simultâneos.
• Protocolo de Treinamento: Foi empregado um "currículo de cinco fluxos", aumentando gradualmente a demanda de tráfego de baixa (100 veículos/episódio) para extrema (250 veículos/episódio) ao longo de 140 episódios, seguido por amostragem de fluxo aleatório por 60 episódios.
• Escala: A comparação foi executada em 7 sementes aleatórias com 200 episódios de treinamento por semente (2.800 episódios no total).
• Linhas de Base: Duas heurísticas não-RL foram incluídas: NEAREST (atribui ao posto mais próximo que não esteja saturado) e WEIGHTED (atribui com base em um custo composto de distância, carga e fila).
• Avaliação: As métricas incluíram taxa de aceitação, sucesso-por-aceite, taxas de timeout e recompensa média. A significância estatística foi avaliada usando testes de postos sinalizados de Wilcoxon e $d_z$ pareado de Cohen.

Principais Contribuições

1. Comparação Controlada Multi-Semente: O artigo fornece uma comparação rigorosa e multi-semente de IQL e QMIX para atribuição de carregamento de VE, uma lacuna identificada na literatura existente que frequentemente depende de grades sintéticas ou avaliações de algoritmos únicos.
2. Validação Estatística: O estudo valida as diferenças de desempenho usando métodos estatísticos robustos, demonstrando que o QMIX supera consistentemente o IQL em todas as sementes.
3. Análise de Ablação: Os autores realizaram um estudo de ablação para isolar a fonte da vantagem do QMIX. Eles testaram configurações removendo bônus cooperativos e compartilhamento de experiência para determinar se a diferença de desempenho advém da modelagem de recompensa ou da arquitetura de mistura profunda/CTDE.
4. Métricas Centradas no Humano: A avaliação prioriza métricas experimentadas diretamente pelos motoristas, como "sucesso por solicitação" (throughput) e taxas de timeout, em vez de apenas pontuações de recompensa abstratas.

Resultados

• Desempenho de Treinamento: O QMIX alcançou uma taxa de aceitação média de treinamento de 81,5% ± 17,1%, superando significativamente os 66,0% ± 16,8% do IQL.
• Fase de Explotação (Puramente Gananciosa): Sob pesos congelados ($\epsilon=0$), o QMIX manteve uma taxa de aceitação de 83,8% ± 20,5% com uma taxa de sucesso-por-aceite de 95,4%. O IQL alcançou 64,4% ± 15,5% de aceitação. As distribuições estavam totalmente separadas (o pior resultado do QMIX superou o melhor do IQL).
• Significância Estatística: O teste de Wilcoxon resultou em $T=0$ com $p \le 0,016$, e um $d_z$ pareado de Cohen de 8,6 para taxas de aceitação, indicando um tamanho de efeito muito grande.
• Comparação com Linhas de Base: As linhas de base não-RL (NEAREST, WEIGHTED) aceitaram 100% das solicitações, mas sofreram altos índices de timeout (9,3% e 4,1%, respectivamente) e menores taxas de sucesso-por-aceite. O QMIX demonstrou que a aceitação seletiva aprendida (rejeitando ~16% das solicitações) gera um throughput útil maior (80,9% de sucesso por solicitação) em comparação com as estratégias de sempre aceitar.
• Descobertas de Ablação: Remover o bônus cooperativo do QMIX (A1) resultou em uma queda mínima de desempenho (83,1% vs 83,8%), sugerindo que a modelagem de recompensa sozinha não explica a lacuna. Inversamente, remover o compartilhamento de experiência no IQL (A3) ou usar IQL puro (A4) resultou em quedas de desempenho para a faixa de ~72–74%. Isso sugere que a vantagem é mais consistente com a arquitetura de CTDE/mistura profunda do que com a modelagem de recompensa isolada, embora os autores notem que o fator de confusão da aproximação de função (tabular vs. profunda) permanece.

Significância e Alegações
O artigo afirma que, para a coordenação confiável de carregamento de VE em cidades inteligentes, abordagens baseadas em CTDE (especificamente QMIX) oferecem um equilíbrio superior entre throughput e confiabilidade em comparação com o aprendizado independente (IQL) ou heurísticas estáticas.

Os autores enfatizam uma perspectiva centrada no humano:

• Confiabilidade: O QMIX minimiza as taxas de timeout e a ansiedade de autonomia ao aprender a rejeitar solicitações que levariam à falha, em vez de aceitar cegamente todo o tráfego.
• Privacidade e Autonomia: O modelo de execução descentralizada permite que as estações tomem decisões baseadas em observações locais sem um controlador central, preservando a privacidade dos dados e evitando pontos únicos de falha.
• Escalabilidade: O estudo sugere que, embora a otimização centralizada seja difícil de escalar, o CTDE fornece um meio-termo prático onde os agentes aprendem a cooperação durante o treinamento, mas operam de forma independente na implantação.

Os autores permanecem modestos quanto à atribuição causal, reconhecendo que a lacuna de desempenho é atualmente uma combinação da estrutura CTDE e da aproximação de função profunda. Eles afirmam explicitamente que um controle "deep-IQL" (aprendiz independente profundo sem mistura) é necessário para isolar definitivamente a contribuição da arquitetura CTDE, uma tarefa reservada para trabalhos futuros.