Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach

Resumo Técnico: Controle de Sinais de Tráfego Centrado no Ser Humano para Equidade

Definição do Problema
Coordenar sinais de trânsito ao longo de corredores multimodais apresenta desafios significativos. As abordagens existentes de Aprendizado por Reforço Profundo Multiagente (DRL) são predominantemente centradas em veículos, frequentemente negligenciando pedestres, ciclistas e passageiros de transporte público. Além disso, esses métodos têm dificuldade com espaços de ação discretos de alta dimensão inerentes à coordenação de múltiplas interseções. Os sistemas adaptativos tradicionais (ex: SCATS, SCOOT) muitas vezes exigem ajuste manual e falham em acomodar adequadamente usuários não motorizados. O problema central abordado é a falta de um framework escalável e centrado no ser humano que otimize explicitamente a equidade ao nível do viajante (justiça entre todos os modos de transporte) enquanto gerencia efetivamente a complexidade dos espaços de ação discretos em um ambiente multiagente.

Metodologia: MA2B-DDQN
Os autores propõem o MA2B-DDQN (Multi-Agent Action-Branching Double Deep Q-Network), um framework de DRL cooperativo multiagente projetado para redes de corredores de média escala. A metodologia é construída sobre cinco componentes principais:

1. Ambiente e Representação de Estado:

   • A simulação utiliza o PTV VISSIM modelando um corredor real em Melbourne, Austrália, apresentando três interseções com tráfego misto (carros, ônibus, pedestres).
   • O vetor de estado $S_t$ combina três elementos: condições de tráfego (ocupação de veículos, velocidade, aceleração e contagem de passageiros por célula de faixa), informações de pedestres (contagem de espera por zona) e fases de sinal atuais (codificação one-hot).

2. Arquitetura de Ramificação de Ação (Action Branching):

   • Para enfrentar a "maldição da dimensionalidade" em espaços de ação discretos multiagentes, o espaço de ação é decomposto em $n+1$ dimensões (onde $n$ é o número de interseções).
   • Ações Locais ($n$ dimensões): Cada agente determina independentemente a razão de alocação do tempo de verde ($p_{i,1}$) entre as próximas duas fases.
   • Ação Global (1 dimensão): Uma única ação global seleciona a duração total ($C$) das próximas duas fases para todo o corredor.
   • Esta decomposição permite que o modelo lide com decisões discretas (seleção de fase e duração) de forma mais eficiente do que o DRL de ação conjunta padrão.

3. Mecanismo de Recompensa Centrado no Ser Humano:

   • Ao contrário das recompensas tradicionais baseadas no comprimento da fila de veículos ou vazão, a função de recompensa penaliza o número total de indivíduos atrasados.
   • Ela agrega atrasos para pedestres, ocupantes de veículos e passageiros de transporte público. Um atraso é disparado quando a velocidade do veículo cai abaixo de um limite (5 km/h) ou quando pedestres esperam em zonas de travessia.
   • A recompensa é formulada como $r_t = -(w_{veh} \sum N^{veh}_{i,t} + w_{ped} \sum N^{ped}_{j,t})$, priorizando a redução de viajantes impactados em vez de apenas o fluxo de veículos.

4. Arquitetura de Rede:

   • O modelo emprega um framework Double DQN (DDQN) para mitigar a superestimação do valor Q.
   • A rede utiliza um extrator de características compartilhado (duas camadas densas com ReLU e Normalização de Camada) alimentando $n+1$ cabeças de saída paralelas (uma por dimensão de ação).
   • As ações são selecionadas via $\arg\max$ sobre os valores Q de cada ramo.

5. Algoritmo de Aprendizado:

   • O sistema utiliza Treinamento Centralizado com Execução Descentralizada (CTDE). Os agentes compartilham informações globais durante o treinamento para atualizar políticas, mas executam ações localmente.
   • A função de perda é a média das perdas em todas as $n+1$ dimensões de ação, otimizada usando o otimizador Adam.

Principais Contribuições

1. Equidade Centrada no Ser Humano: O estudo introduz uma abordagem de TSC prospectiva que trata todos os participantes da rede de transporte (ocupantes de veículos privados, passageiros de transporte público, ciclistas e pedestres) de forma igual, otimizando explicitamente para a redução de indivíduos atrasados.
2. Framework Multiagente Cooperativo: Os autores apresentam um framework que determina adaptativamente uma ação global (duração da fase total) usando informações compartilhadas, enquanto simultaneamente otimiza os tempos de sinal locais (divisões de tempo de verde) via agentes individuais.
3. Ramificação de Ação para DRL Multiagente: É a primeira aplicação de uma arquitetura de ramificação de ação ao TSC multiagente. Ela lida efetivamente com o espaço de ação discreto e o ambiente multiagente ao decompor o problema de controle, reduzindo a complexidade da tomada de decisão conjunta.

Resultados Experimentais
O modelo foi avaliado em sete cenários de tráfego realistas em Melbourne, variando de períodos de fora de pico e hora do rush a períodos escolares e condições de saturação próxima. Foi comparado contra nove baselines, incluindo sinais de tempo fixo (Fórmula de Webster, Green Wave) e vários modelos de DRL (MADQN, MADDQN, MADDPG, CMRM, MASAC, MAA2C, MA2B-DQN).

• Desempenho: O MA2B-DDQN alcançou consistentemente o menor Atraso Individual Agregado (AID) e Atraso Per Capita (PCD) em todos os cenários.
  • No Cenário 1 (fora de pico), reduziu o AID em 36,75% em relação ao melhor baseline de sinal fixo e 11,94% em relação ao melhor baseline de DRL (MAA2C).
  • No Cenário 2 (hora do rush), melhorou o desempenho em 11,73% sobre o segundo melhor modelo de DRL.
  • No Cenário 4 (tarde escolar), alcançou uma melhoria de 35,24% sobre o MASAC.
• Robustez: O modelo demonstrou o menor desvio padrão nas métricas de desempenho em testes repetidos, indicando alta estabilidade em comparação com baselines como o MADDPG, que apresentou alta variância.
• Estudos de Ablação:
  • A remoção do mecanismo de ramificação de ação degradou significativamente o desempenho (ex: um aumento de 16,09% no AID no Cenário 1), confirmando seu papel crítico na eficiência do aprendizado.
  • A incorporação da arquitetura Double DQN (DDQN) melhorou o desempenho em 2,93% a 16,40% em relação ao DQN padrão, dependendo do cenário, validando a mitigação da superestimação.
• Compromissos (Trade-offs): Embora o MA2B-DDQN tenha se destacado na equidade geral e no fluxo de veículos, alguns baselines (ex: CMRM, MASAC) ocasionalmente alcançaram atrasos específicos de pedestres menores (APDS/AWTP) ao custo de atrasos de veículos significativamente maiores. O MA2B-DDQN manteve uma otimização mais equilibrada entre os modos.

Significância e Alegações
O artigo afirma que o MA2B-DDQN fornece uma solução escalável e robusta para o controle de sinais de tráfego multimodal que aborda explicitamente a equidade. Sua significância reside em:

• Mudar o paradigma da otimização centrada no veículo para a equidade ao nível do indivíduo, garantindo acesso justo para todos os usuários da via, independentemente do modo de viagem.
• Demonstrar que a ramificação de ação é uma estratégia viável e eficaz para lidar com espaços de ação discretos de alta dimensão em ambientes multiagentes, superando tanto os controles de tempo fixo tradicionais quanto outros métodos de DRL de última geração.
• Oferecer um framework prático adaptável a variadas condições urbanas, validado em um corredor do mundo real com dados de tráfego multimodal realistas.

Os autores concluem que, embora o DRL geralmente supere os métodos de tempo fixo, a combinação específica de ramificação de ação, DDQN e recompensas centradas no ser humano é necessária para alcançar tanto alta eficiência quanto justiça em redes multimodais complexas. Eles observam que, em condições de saturação próxima, a capacidade física da faixa torna-se o fator limitante, mas seu método ainda mantém desempenho superior em relação aos baselines.