Dual-Interaction-Aware Cooperative Control Strategy for Alleviating Mixed Traffic Congestion

Este artigo propõe a estratégia de controle cooperativo DIACC, baseada em Aprendizado por Reforço Multiagente, que mitiga o congestionamento em tráfego misto através de módulos de percepção de interação local e global, um design de recompensa adaptativo e um mecanismo de refinamento de segurança para otimizar a eficiência do tráfego em cenários de gargalo.

O essencial

Imagine que o trânsito é como uma grande festa de dança onde dois tipos de pessoas estão misturados:

1. Os Dançarinos Automáticos (CAVs): São carros inteligentes que se comunicam entre si, sabem exatamente o que vão fazer e podem se coordenar perfeitamente.
2. Os Dançarinos Humanos (HDVs): São os carros comuns, dirigidos por pessoas. Eles são imprevisíveis: alguns são agressivos (cortam a frente), outros são tímidos (demoram a acelerar) e ninguém sabe ao certo qual será o próximo passo deles.

O problema acontece quando a pista encolhe (como em um gargalo de obra ou uma entrada de rodovia). Os humanos, por serem egoístas ou inseguros, tendem a empurrar e travar a dança, criando engarrafamentos. Os carros automáticos, sozinhos, muitas vezes não sabem como "conversar" com os humanos para desatar o nó.

Este artigo apresenta uma nova estratégia chamada DIACC (uma espécie de "Super Maestro" para o trânsito misto). O objetivo é fazer os carros automáticos dançarem tão bem que o trânsito flua, mesmo com humanos ao redor.

Aqui está como essa estratégia funciona, dividida em três partes mágicas:

1. O Olho que Diferencia (D-IADM)

Imagine que você está em uma sala cheia de gente. Você precisa saber quem é seu amigo (outro carro automático) e quem é um estranho (um carro humano).

• O Problema: Antes, os carros automáticos tratavam todos iguais, o que confundia a estratégia.
• A Solução: O sistema DIACC ensina o carro a olhar para os lados e pensar: "Ah, aquele carro azul é meu parceiro, vamos combinar o passo. Aquele carro vermelho é um humano, ele é imprevisível, então vou apenas observar e me adaptar, sem tentar coordenar com ele."
• A Analogia: É como um maestro que sabe diferenciar os músicos da orquestra (que seguem a partitura) dos espectadores que estão apenas batendo palmas. Ele não tenta fazer os espectadores seguirem a partitura, mas usa o ritmo deles para não tropeçar.

2. O Maestro com Visão de Águia (C-IEC)

Durante o treinamento, os carros precisam de um professor que veja a dança inteira, não apenas o que está na frente deles.

• O Problema: Um carro sozinho só vê o que está logo à sua frente. Ele pode achar que está fazendo o certo, mas sem querer está criando um engarrafamento lá na frente.
• A Solução: O sistema tem um "Critic" (crítico) que é como um Maestro no topo de uma torre. Ele vê a dança de todos os carros, entende como a interação entre eles afeta o fluxo total e diz aos carros: "Ei, se vocês fizerem isso agora, o trânsito vai travar. Mudem de ideia!"
• A Analogia: É a diferença entre um jogador de futebol que só olha para a bola e um técnico que vê o campo inteiro e grita instruções táticas para todos os jogadores ao mesmo tempo.

3. O Treinador que Foca nos Difíceis (Recompensa Inteligente)

Quando você está aprendendo a dançar, você pratica muito o básico, mas também precisa focar nos passos difíceis.

• O Problema: Se o sistema de aprendizado apenas olhar para o "médio", ele ignora os momentos de caos onde o acidente quase acontece.
• A Solução: O sistema usa um truque matemático (chamado softmin com resfriamento) que funciona como um treinador que grita mais alto quando o aluno está errando.
  • No começo, ele deixa todos tentarem coisas novas (exploração).
  • Depois, ele foca a atenção nos carros que estão em situações perigosas ou difíceis, forçando-os a aprender a resolver esses nós específicos.
• A Analogia: Imagine um professor de matemática que, em vez de dar a mesma lição para todos, identifica os alunos que estão travados em problemas difíceis e dedica mais tempo a ajudá-los, garantindo que ninguém fique para trás.

O "Segurança de Bordo" (PSAR)

Além disso, existe um pequeno módulo de segurança que age como um freio de emergência inteligente. Se o carro automático planeja fazer uma manobra arriscada (como mudar de faixa muito rápido), esse módulo intervém e corrige a ação antes que aconteça algo ruim, garantindo que o carro nunca faça algo que possa causar uma colisão.

O Resultado Final?

Os testes mostraram que, ao usar essa estratégia:

• O trânsito flui mais rápido: Menos tempo parado em filas.
• É mais seguro: Quase zero acidentes ou situações de perigo crítico.
• Funciona em qualquer lugar: O sistema aprendeu a lidar com humanos agressivos, tímidos ou normais, e continua funcionando bem mesmo em cenários novos que ele nunca viu antes.

Em resumo, o DIACC é como dar aos carros automáticos "inteligência social" e uma "visão global", permitindo que eles convivam harmoniosamente com os motoristas humanos, transformando um caos de engarrafamento em uma dança fluida e segura.

Resumo técnico

Resumo Técnico: Estratégia de Controle Cooperativo Dual-Interaction-Aware (DIACC) para Alívio de Congestionamentos em Tráfego Misto

1. Problema e Contexto

O crescimento da frota de veículos tem exacerbado os congestionamentos de trânsito. Embora os Veículos Conectados e Automatizados (CAVs) tenham potencial para melhorar o desempenho do tráfego, eles coexistirão com Veículos Conduzidos por Humanos (HDVs) por um período previsível. O principal desafio reside na incerteza e diversidade dos comportamentos dos HDVs, que são imprevisíveis e não cooperativos.

Em cenários de fusão de tráfego em gargalos (bottlenecks) de alta densidade:

• A falta de cooperação entre HDVs leva a congestionamentos severos.
• Estratégias de controle existentes baseadas em regras ou otimização centralizada têm alto custo computacional e dificuldade em modelar interações complexas.
• Métodos de Aprendizado por Reforço (RL) de agente único são limitados a problemas de controle local e não capturam a dinâmica global.
• O Aprendizado por Reforço Multi-Agente (MARL) é promissor, mas as abordagens atuais falham em distinguir adequadamente entre interações CAV-CAV (cooperativas) e CAV-HDV (observacionais), além de negligenciarem o impacto global dessas interações na eficiência do tráfego.

2. Metodologia Proposta: DIACC

O artigo propõe a estratégia Dual-Interaction-Aware Cooperative Control (DIACC), baseada no framework de Aprendizado por Reforço Multi-Agente com Treinamento Centralizado e Execução Descentralizada (CTDE), utilizando especificamente o algoritmo MAPPO (Multi-Agent Proximal Policy Optimization). A estratégia introduz três inovações principais:

A. Módulo de Tomada de Decisão Adaptativa à Interação Descentralizada (D-IADM)

Este módulo atua no "Actor" (agente) para melhorar a percepção local das interações:

• Separação de Interações: Utiliza duas redes de atenção gráfica (Graph Attention Networks - GAT) distintas:
  1. Interação CAV-CAV: Modela interações cooperativas, incorporando informações de decisões anteriores (feedback de decisão) para coordenação explícita.
  2. Interação CAV-HDV: Modela interações observacionais baseadas apenas em trajetórias históricas, reconhecendo a natureza não cooperativa dos HDVs.
• Codificador de Interação Consciente de Trajetória (TAIE): Processa estados locais, estatísticas de fluxo de tráfego e estrutura da estrada para gerar embeddings de observação ricos.
• Refinamento de Ação Baseado em Segurança Proativa (PSAR): Uma camada leve baseada em regras que corrige ações propostas pelo Actor se violarem limites de segurança (distância e TTC - Tempo até Colisão). Isso inclui cancelar mudanças de faixa perigosas ou forçar frenagem, acelerando a convergência do treinamento ao evitar colisões catastróficas.

B. Crítico Aprimorado por Interação Centralizada (C-IEC)

Este módulo atua no "Critic" para melhorar a compreensão global:

• Representação Integrada de Dinâmica de Tráfego (ITDR): Constrói um grafo de interação global entre todos os veículos.
• Mecanismo de Cross-Attention: Utiliza características de tráfego global como Query e características de interação global como Key e Value. Isso permite que o Crítico entenda causalmente como as interações locais influenciam a evolução global do tráfego.
• Objetivo: Fornecer estimativas de valor mais precisas que guiem os Ator a adotarem estratégias cooperativas que otimizem o sistema como um todo, não apenas o benefício individual.

C. Mecanismo de Recompensa Cooperativa

• Agregação Softmin com Annealing de Temperatura: Em vez de recompensas uniformes, o sistema prioriza agentes em cenários de interação intensa (onde a recompensa é baixa).
• Curriculum Learning: A temperatura ($\tau$) é ajustada linearmente durante o treinamento. Inicia-se com um $\tau$ alto para exploração ampla e reduz-se para um $\tau$ baixo, focando a otimização nos casos mais difíceis (interações complexas) nas fases finais.

3. Principais Contribuições

1. D-IADM: Capacita os CAVs a distinguir e adaptar-se diferentemente a comportamentos cooperativos (outros CAVs) e observacionais (HDVs), melhorando a estabilidade do treinamento e a eficiência.
2. C-IEC: Introduz uma estimativa de valor consciente de interações globais, permitindo que o Crítico guie a política para soluções que beneficiam o sistema em cenários de alta densidade.
3. Mecanismo de Recompensa Adaptativa: Foca o aprendizado nos cenários mais desafiadores de coordenação, evitando que agentes em ambientes simples dominem o processo de treinamento.
4. Validação Experimental: Demonstração de que a combinação desses módulos supera tanto métodos baseados em regras (IDM+LC2013) quanto modelos MARL padrão (MAPPO vanilla) e variantes ablatadas.

4. Resultados Experimentais

Os testes foram realizados no simulador SUMO em cenários de gargalo com redução de capacidade de 25% e 50%, variando a taxa de penetração de CAVs (20% a 40%) e o número de veículos.

• Desempenho de Treinamento: O modelo DIACC completo convergiu mais rápido e com maior estabilidade, apresentando a menor taxa de colisões e as maiores recompensas globais. A adição do PSAR reduziu significativamente eventos instáveis no início do treinamento.
• Eficiência de Tráfego:
  • Em cenários de 25% de redução, o DIACC aumentou a velocidade média em até 29,2% comparado ao tráfego misto padrão.
  • Em cenários de 50% de redução (mais críticos), o DIACC manteve velocidades médias superiores, com ganhos de até 76,0% em relação ao tráfego misto sem CAVs inteligentes.
• Segurança: O DIACC alcançou 0% de probabilidade de Eventos Críticos de Segurança (SCEs) em todos os cenários de teste "zero-shot" (cenários não vistos durante o treinamento), eliminando colisões e violações de distância crítica.
• Generalização: O modelo demonstrou robustez em cenários de teste com diferentes distribuições de estilos de direção dos HDVs (agressivo, normal, cauteloso) e diferentes configurações de gargalo, superando o modelo MAPPO-IADM (sem o Crítico C-IEC) especialmente em densidades mais altas (N=30 e N=40).

5. Significância e Conclusão

O trabalho DIACC resolve uma lacuna crítica no controle cooperativo de CAVs: a incapacidade de modelos existentes de lidar simultaneamente com a heterogeneidade das interações (CAV vs. HDV) e a otimização global do tráfego.

• Impacto Prático: A estratégia oferece um caminho viável para a implementação de sistemas de tráfego onde CAVs podem mitigar congestionamentos em gargalos mesmo com uma baixa taxa de penetração e na presença de motoristas humanos imprevisíveis.
• Avanço Científico: Demonstra que a separação explícita de tipos de interação no Actor, combinada com uma estimativa de valor global consciente de interações no Crítico, é essencial para a eficácia do MARL em ambientes de tráfego misto.
• Segurança: A integração de regras de segurança (PSAR) com aprendizado por reforço garante que a exploração durante o treinamento não comprometa a segurança física, um requisito fundamental para aplicações reais.

Em suma, o DIACC estabelece um novo padrão para o controle cooperativo em tráfego misto, equilibrando a autonomia descentralizada com a otimização sistêmica global.