Traffic Co-Simulation Framework Empowered by Infrastructure Camera Sensing and Reinforcement Learning

Resumo Técnico: Estrutura de Co-Simulação de Tráfego Impulsionada por Sensoriamento de Câmeras de Infraestrutura e Aprendizado por Reforço

Definição do Problema
O congestionamento de tráfego permanece um desafio urbano crítico, necessitando de estratégias de Controle de Sinais de Tráfego (TSC) avançadas que vão além dos sistemas tradicionais de tempo fixo ou atuados. Embora o Aprendizado por Reforço Multiagente (MARL) ofereça um potencial promissor para o controle adaptativo de sinais, os estudos de simulação existentes frequentemente dependem de dados de detecção de veículos "perfeitos", negligenciando as limitações do mundo real, como a confiabilidade dos sensores, a disponibilidade de infraestrutura e o ruído inerente aos sistemas de visão computacional. Além disso, simuladores de tráfego padrão como o SUMO carecem dos dados sintéticos de sensores de alta fidelidade necessários para testar realisticamente estratégias de controle baseadas em visão. Existe uma lacuna em estruturas que integrem o sensoriamento de câmera de nível de solo realista com a simulação de tráfego de rede em larga escala para avaliar a robustez de agentes MARL sob condições de sensoriamento imperfeito.

Metodologia
O estudo propõe uma estrutura de co-simulação integrando o CARLA (para ambiente 3D de alta fidelidade e simulação de sensores) e o SUMO (para fluxo de tráfego microscópico e controle de sinais).

1. Arquitetura da Estrutura:

   • Ambiente: A estrutura utiliza o mapa "Town04" do CARLA, apresentando um grid de centro de cidade com 12 interseções.
   • Sensoriamento: Câmeras RGB virtuais são geradas programaticamente em postes de semáforos dentro do CARLA. O sistema calcula automaticamente os ângulos de yaw (guinada) e pitch (arfagem) das câmeras com base nas coordenadas das linhas de parada das faixas no SUMO para garantir o alinhamento adequado.
   • Detecção: Um sistema de visão computacional baseado em YOLO (especificamente YOLOv5 e YOLOv8) processa imagens das câmeras para detectar e contar veículos nas faixas de aproximação. Para gerenciar a carga computacional, o sistema processa imagens em lotes a cada 5 segundos (a cada 100 ticks de simulação).
   • Tradução de Estado: Um módulo customizado traduz os dados brutos de detecção visual (contagem de veículos) em vetores de estado estruturados (ocupação de faixa e comprimento de fila) exigidos pelos agentes MARL. Isso faz a ponte entre os dados brutos de imagem e o formato de entrada do Q-learning.

2. Aprendizado por Reforço:

   • Agentes: Agentes de Q-learning multiagente são treinados para controlar sinais de tráfego individuais. Cada agente opera independentemente, sem comunicação entre agentes.
   • Espaço de Estado: Definido pelo índice da fase atual, status do tempo mínimo de verde e vetores para ocupação de faixa e comprimento de fila.
   • Espaço de Ação: A seleção do próximo índice de fase verde.
   • Funções de Recompensa: Quatro estruturas de recompensa distintas foram testadas para treinar os agentes:
     1. Diferença nos tempos de espera.
     2. Velocidade média dos veículos próximos à interseção.
     3. Comprimento de fila negativo.
     4. Pressão (diferença entre veículos saindo e aproximando-se).

3. Configuração Experimental:

   • Os agentes foram treinados no SUMO usando dados de verdade fundamental (ground-truth) e depois implantados na co-simulação CARLA-SUMO.
   • Os experimentos foram conduzidos sob cenários de demanda de tráfego média e pesada.
   • O desempenho foi avaliado comparando agentes MARL usando detecção baseada em câmera contra temporização estática, controle atuado e agentes usando observações de verdade fundamental.

Principais Contribuições

• Estrutura de Co-Simulação Inovadora: O estudo apresenta a primeira estrutura para modelar e avaliar explicitamente uma rede de câmeras montadas em infraestrutura para TSC baseado em MARL, integrando renderização 3D de alta fidelidade (CARLA) com fluxo de tráfego em larga escala (SUMO).
• Implantação Automatizada de Câmeras: Uma contribuição técnica envolve o surgimento automatizado de câmeras virtuais em postes de tráfego e o cálculo de sua orientação (yaw/pitch) com base nas coordenadas das linhas de parada das faixas, permitindo a implantação escalável em redes complexas sem configuração manual.
• Avaliação de Robustez: A estrutura testa explicitamente a robustez do MARL contra o sensoriamento imperfeito. Ela compara o desempenho do YOLOv5 e YOLOv8 e analisa como os erros de detecção (falsos positivos/negativos) impactam os agentes treinados com diferentes funções de recompensa.
• Tradução Visão-Estado: O desenvolvimento de um módulo de tradução que converte contagens de detecção visual bruta nos métricas específicas de ocupação e fila exigidas por agentes de Q-learning pré-treinados.

Resultos

• Melhoria de Desempenho: Os agentes MARL superaram significativamente os métodos de temporização estática e controle atuado na redução do tempo total de viagem e dos tempos médios de espera, particularmente ao usar a função de recompensa de velocidade média.
• Impacto da Precisão de Detecção: Embora uma maior precisão de detecção (YOLOv8 vs. YOLOv5) tenha melhorado o desempenho do sistema, o estudo descobriu que os agentes MARL ainda podem alcançar melhorias significativas mesmo com detecção imperfeita.
• Sensibilidade da Função de Recompensa:
  • Agentes treinados com recompensas de velocidade média demonstraram a maior robustez ao ruído de sensoriamento, mostrando uma queda de desempenho inferior a 10% em relação aos cenários de verdade fundamental em tráfego médio.
  • Agentes treinados com comprimento de fila e recompensas de pressão foram altamente sensíveis aos erros de detecção. Em tráfego pesado, o agente de comprimento de fila não conseguiu aprender efetivamente porque observava consistentemente "filas cheias" devido ao represamento (spillback) fora do campo de visão da câmera, levando a uma seleção de fase subótima.
• Compromissos Computacionais: Embora o YOLOv8 tenha oferecido melhor precisão (menor Erro Médio Absoluto), ele dobrou o tempo de execução da simulação (wall-clock time) em relação ao tempo real, destacando um compromredo entre a fidelidade da detecção e a velocidade da simulação.

Significância e Alegações
O artigo afirma que este trabalho representa um passo crítico para a implementação prática de aprendizado por reforço assistido por infraestrutura para veículos autônomos. Ao demonstrar que o controle impulsionado por visão permanece eficaz apesar do sensoriamento imperfeito, o estudo aborda uma barreira importante para a implementação no mundo real. A estrutura serve como um banco de testes virtuais para avaliar estratégias de controle sob condições realistas (clima, iluminação, ruído de sensor) que são difíceis de replicar em ambientes de simulador único.

Os autores posicionam esta abordagem de co-simulação como um passo fundamental para as tecnologias de Gêmeo Digital para o tráfego urbano. Eles argumentam que tais estruturas são essentes para treinar algoritmos de controle robustos que possam lidar com dados ruidosos e variabilidade de infraestrutura antes da implantação. O estudo conclui que, embora a precisão da detecção seja benéfica, a escolha da função de recompensa é primordial para garantir a robustez do sistema diante das limitações de sensoriamento do mundo real.