VissimRL: A Multi-Agent Reinforcement Learning Framework for Traffic Signal Control Based on Vissim

Resumo Técnico: VissimRL: Um Framework de Aprendizado por Reforço Multiagente para Controle de Sinais de Tráfego Baseado em Vissim

Definição do Problema
O congestionamento de tráfego impõe desafios econômicos e ambientais significativos, necessitando de um Controle de Sinais de Tráfego (TSC) eficaz. Embora o Aprendizado por Reforço (RL) tenha demonstrado potencial em TSC adaptativo, sua aplicação em simuladores industriais de alta fidelidade permanece limitada. As pesquisas existentes utilizam predominantemente simuladores de código aberto como SUMO e CityFlow devido à sua acessibilidade e frameworks de RL padronizados (ex: SUMO-RL). No entanto, essas ferramentas frequentemente dependem de modelos de comportamento de motorista baseados em regras que simplificam excessivamente a dinâmica do tráfego, limitando sua relevância para a indústria e políticas públicas. Por outro lado, o Vissim, um simulador de nível comercial amplamente adotado por agências de transporte devido ao seu modelagem de comportamento de motorista de alta fidelidade e visualização 3D, é subutilizado na pesquisa de RL. Essa lacuna decorre da complexa interface Component Object Model (COM) do Vissim e da ausência de frameworks padronizados de código aberto para uma integração de RL fluida.

Metodologia
O artigo propõe o VissimRL, um framework de RL modular projetado para preencher a lacuna entre as capacidades de simulação de alta fidelidade do Vissim e os algoritmos modernos de RL. A arquitetura consiste em dois componentes primários:

1. Vissim Wrapper: Uma encapsulação em Python da interface COM do Vissim. Este módulo abstrai a complexidade da API COM subjacente (que inclui milhares de atributos e tipos de objetos) em uma API de alto nível e amigável ao usuário. Ele lida com o controle da simulação, operações de sinalização e avaliação de desempenho. Crucialmente, o wrapper emprega mecanismos orientados ao desempenho, como loteamento (batching) e cache de consultas repetidas para minimizar o overhead das chamadas COM, mantendo a eficiência de tempo de execução comparável ou superior ao uso direto do COM.
2. Framework de Ambiente de RL: Este componente implementa interfaces padronizadas compatíveis com as APIs Gymnasium (para agente único) e PettingZoo (para multiagentes). Ele facilita a integração de bibliotecas de RL mainstream (ex: Stable-Baselines3, RLlib). O framework adota um design modular para os elementos centrais de RL:
   • Observação: Suporta representações de estado tanto locais (interseção única) quanto globais (múltiplas interseções), incluindo características como comprimento de fila, estado de fase, densidade e tempos de espera.
   • Ação: Estende as capacidades existentes suportando três tipos distintos de ação: Escolher Próxima Fase, Alternar Próxima ou Não e Definir Duração da Fase.
   • Recompensa: Calcula recompensas ponderadas multiobjetivo baseadas em métricas como tempo de espera interno/limite, atraso, vazão e tempo de viagem.

O framework suporta treinamento de agente único e multiagente, permitindo que agentes aprendam estratégias coordenadas em ambientes complexos e de alta fidelidade sem a necessidade de "código de ligação" adicional.

Principais Contribuições

• Primeiro Framework de RL Multiagente para Vissim: O VissimRL é apresentado como o primeiro framework especificamente projetado para o Vissim que suporta RL multiagente, permitindo a pesquisa em ambientes de simulação de tráfego de alta fidelidade anteriormente inacessíveis à comunidade de RL.
• Arquitetura Padronizada e Modular: O framework fornece interfaces de herança padronizadas para estados, ações e recompensas, reduzindo significativamente a barreira de entrada para pesquisadores. Ele expande as métricas de desempenho suportadas de seis (no SUMO-RL) para onze e introduz três tipos distintos de ação.
• Otimização de Eficiência: Ao implementar loteamento e cache dentro do Vissim Wrapper, o framework reduz o número de chamadas de API COM em até 21% em cargas de trabalho complexas, resultando em menor latência e maior throughput em comparação com implementações puras de COM.
• Eficiência de Desenvolvimento: O wrapper reduz o esforço de desenvolvimento necessário para implementar tarefas de controle equivalentes em aproximadamente 84,5% (reduzindo as Linhas de Código Fonte de 207 para 32) em comparação com a implementação manual de COM.

Resultados Experimentais
Os autores avaliaram o VissimRL através de dois níveis de avaliação:

1. Desempenho do Wrapper: Benchmarks comparando o Wrapper contra o COM Puro através de três cargas de trabalho (Apenas Passo, Passo+Controle de Sinal, Passo+Sinal+Avaliação) demonstraram que o Wrapper introduz um overhead negligenciável (4% de aumento) em tarefas simples de passo, mas na verdade melhora o desempenho (de 6,8% a 12,3% de menor latência) em tarefas interativas devido à redução da frequência de chamadas de API.
2. Efetividade do RL: Experimentos foram conduzidos em redes sintéticas (Interseção Única e Arterial-3) e um cenário do mundo real (Intercambial Dayuan em Taoyuan, Taiwan) usando o algoritmo Proximal Policy Optimization (PPO).
   • Convergência: Todos os três designs de ação mostraram convergência consistente e melhoria rápida no atraso, tempo de viagem e tempo de espera em cenários de interseção única e múltipla.
   • Coordenação Emergente: No cenário multiagente Arterial-3, o sistema aprendeu com sucesso o fenômeno da "Onda Verde", onde os agentes coordenaram os offsets de sinal para permitir que os veículos passassem por múltiplas interseções sem parar. Os offsets e durações de fase aprendidos aproximaram-se dos ótimos teóricos.
   • Aplicação no Mundo Real: No estudo de caso do Intercambial Dayuan, o controle baseado em PPO reduziu o atraso médio em 63% (de 559,7s para 209,0s), o tempo de viagem em 56% e o tempo de espera em 38% em comparação com o controle de tempo fixo.

Significância e Alegações
O artigo afirma que o VissimRL serve como uma ponte crítica entre a pesquisa acadêmica de RL e a simulação de tráfego prática de nível industrial. Ao encapsular as complexidades da interface COM do Vissim enquanto mantém alta eficiência de execução, o framework permite a aplicação de RL em ambientes de alta fidelidade que refletem melhor a dinâmica do tráfego real. Os autores sustentam que o framework demonstra a viabilidade de aplicar RL em tais simulações e suporta melhorias consistentes no desempenho do tráfego e coordenação multiagente emergente. O trabalho é posicionado como uma versão estendida de pesquisas anteriores, com a implementação disponibilizada publicamente para fomentar a reprodutibilidade e o desenvolvimento adicional no controle inteligente de sinais de tráfego.