Adaptive traffic signal control optimization using a novel road partition and multi-channel state representation method

Título: Controle Adaptativo de Sinais de Tráfego Otimizado usando uma Novíssima Partição de Estrada e Método de Representação de Estado Multicanal

1. Problema e Contexto

O congestionamento em interseções urbanas representa um desafio significativo para a eficiência de deslocamento, exacerbando emissões de carbono e consumo de energia. Embora o uso de Inteligência Artificial (IA) e aprendizado por reforço (RL) tenha avançado na otimização de sinais, existem lacunas críticas nos métodos atuais:

• Limitações de Sensores: Os métodos tradicionais de partição de estrada (células fixas) não consideram a faixa de detecção variável dos sensores modernos (como radar-vídeo, que pode cobrir de 150m a 500m). Isso gera uma incompatibilidade entre os parâmetros de entrada dos modelos treinados e a capacidade real de detecção em aplicações práticas.
• Baixa Generalização: Modelos de IA para controle de sinais geralmente exigem treinamento específico para cada interseção, apresentando pouca adaptabilidade e capacidade de transferência para outros cenários.
• Representação de Estado Simplista: Muitos trabalhos anteriores utilizam variáveis agregadas (ex: comprimento da fila total) ou não exploram a distribuição espacial detalhada dos veículos, limitando a precisão das decisões de controle.

2. Metodologia

O estudo propõe um quadro de trabalho baseado em Aprendizado por Reforço Profundo (Deep RL) que integra duas inovações principais: uma fórmula de partição de estrada variável e uma representação de estado multicanal.

• Partição de Estrada Variável (VCL):

  • Em vez de células de comprimento fixo, os autores propõem uma função matemática que combina funções logarítmicas e lineares: $f(x) = a \ln(x + 1) + bx$.
  • Lógica: Células próximas à linha de parada são mais curtas (para maior granularidade, pois têm maior impacto no tempo do sinal), enquanto as células mais distantes são progressivamente mais longas.
  • Adaptabilidade: A fórmula calcula automaticamente os comprimentos das células com base no alcance total de detecção do sensor ($d$) e no número desejado de células ($n$). Isso permite que o mesmo modelo (com o mesmo número de células de entrada) seja aplicado a sensores com alcances diferentes (ex: 300m vs. 500m) sem re-treinamento.

• Representação de Estado Multicanal:

  • O estado do tráfego é abstraído como um tensor 3D (análogo a uma imagem), com dimensões: Número de faixas × Número de células × Variáveis de estado.
  • Os 3 Canais: Para cada célula, são codificados três indicadores críticos:
    1. Número de veículos.
    2. Velocidade média dos veículos.
    3. Ocupação espacial (razão entre o comprimento total dos veículos na célula e o comprimento da célula).
  • Isso permite que a rede neural capture padrões espaciais e temporais complexos, superando a agregação de dados.

• Espaço de Ação e Recompensa:

  • Ação: 8 fases de sinal discretas (ex: leste-oeste reto, esquerda, etc.). O tempo verde é fixo (15 segundos) para a fase selecionada.
  • Recompensa: Uma função ponderada que considera o tempo de espera (penalidade), a velocidade (recompensa) e o consumo de combustível (penalidade). Os valores são normalizados para garantir estabilidade no treinamento.

• Algoritmos de Treinamento:

  • O estudo compara dois algoritmos de RL: Deep Q-Network (DQN) e Proximal Policy Optimization (PPO).
  • O ambiente de simulação é o SUMO (Simulator of Urban MObility), integrado com TensorFlow e Python.

3. Principais Contribuições

1. Fórmula de Partição Adaptativa: Desenvolvimento de uma equação que desacopla o modelo de IA da escala física fixa, permitindo que modelos treinados em um alcance de detecção sejam transferidos diretamente para outros alcances, mantendo a mesma estrutura de entrada (número de células).
2. Representação de Estado Rica: Introdução de uma representação multicanal (veículos, velocidade, ocupação) que fornece uma visão mais holística e microscópica do fluxo de tráfego do que métodos baseados apenas em filas ou contagens.
3. Validação de Transferibilidade: Demonstração experimental de que o modelo treinado em um cenário de 300m mantém desempenho superior ao ser aplicado diretamente em um cenário de 500m, algo impossível com métodos de células fixas.
4. Algoritmo de Geração de Trajetórias: Proposta de um algoritmo para gerar trajetórias de veículos aleatórias de origens a destinos, alinhando-se melhor com redes viárias reais para testes de simulação.

4. Resultados

• Desempenho Comparativo:
  • O modelo VCL-PPO (Partição de Célula Variável + PPO) superou consistentemente todas as outras abordagens, incluindo DQN, PPO com células fixas e PPO sem discretização de células.
  • Em termos de comprimento cumulativo da fila e tempo de espera cumulativo, o VCL-PPO apresentou os melhores resultados em seis cenários de fluxo de tráfego (de 500 a 3000 veículos/hora).
  • O PPO demonstrou maior estabilidade e robustez em comparação ao DQN, especialmente devido à sua capacidade de lidar com sinais de recompensa ruidosos e restrições de ação sequencial.
• Transferência Cruzada (Cross-Range Transferability):
  • Ao transferir um modelo treinado com detecção de 300m para um cenário de 500m (sem ajuste fino), o VCL-PPO manteve desempenho superior ao controle de tempo fixo tradicional.
  • Isso confirma que o modelo aprendeu uma política baseada em uma abstração espacial relativa (célula 1, célula 2, etc.) em vez de distâncias físicas absolutas.
• Convergência: Sob condições de tráfego estocástico (flutuante), a convergência foi mais lenta e oscilante, exigindo mais episódios de treinamento (aprox. 1000) em comparação com fluxos fixos, mas o modelo eventualmente estabilizou.

5. Significância

Este trabalho avança significativamente o campo do controle de tráfego inteligente ao resolver o problema da generalização de modelos de IA. Ao permitir que um único modelo seja aplicado em interseções com diferentes capacidades de sensores, reduz-se drasticamente o custo e o tempo de implantação de sistemas de controle adaptativo. A abordagem proposta torna a tecnologia de controle de sinais mais viável para cidades reais, onde a infraestrutura de sensores varia amplamente, promovendo uma gestão de tráfego mais eficiente, segura e sustentável.