Resumo Técnico: Formação de Comboios de Veículos Conectados, Autônomos e Dirigidos por Humanos via Aprendizado por Reforço Profundo

1. Definição do Problema

As estratégias existentes de formação de comboios (platooning) são predominantemente projetadas para ambientes homogêneos consistindo exclusivamente de Veículos Autônomos Conectados (CAVs) ou Veículos Dirigidos por Humanos Conectados (CHVs). Essas abordagens tipicamente excluem veículos não conectados, como Veículos Autônomos (AVs) ou Veículos Dirigidos por Humanos (HVs), falhando, portanto, em refletir com precisão as condições atuais e de curto prazo de tráfego misto.

Embora estratégias "híbridas" recentes tentem incorporar veículos não conectados em comboios aproveitando os CAVs como repetidores de informação, elas frequentemente sofrem de uma limitação crítica: a integração não regulamentada de HVs/AVs pode desencadear uma expansão rápida do comboio. Esse crescimento descontrolado amplifica o risco de propagação de distúrbios no fluxo de tráfego, exacerbando o conflito inerente entre maximizar a capacidade de tráfego e manter a estabilidade do fluxo. Além disso, as restrições convencionais sobre o comprimento máximo do comboio, projetadas para frotas homogêneas, são insuficientes para esses cenários heterogêneos emergentes. O desafio central é desenvolver uma estratégia de controle que permita a inclusão flexível de veículos não conectados enquanto equilibra dinamicamente a capacidade de tráfego contra a estabilidade e a segurança do fluxo.

2. Metodologia

O estudo propõe uma estratégia de controle de formação de comboios híbrida baseada em Aprendizado por Reforço Profundo (DRL), projetada para operar dentro de um framework de Processo de Decisão de Markov Parcialmente Observável (POMDP).

2.1. Padrão de Formação de Comboio Híbrido

Os autores introduzem um "padrão de formação de comboio híbrido" (Esquema PS2) que permite condicionalmente que veículos não conectados (HVs/AVs) se juntem aos comboios.

• Mecanismo: Os CAVs utilizam a percepção de sensores embarcados (LiDAR, radar, câmeras) para detectar os estados de veículos não conectados adjacentes. Essa informação é então transmitida via comunicação Veículo-para-Tudo (V2X) para outros membros conectados, tornando os estados dos veículos não conectados observáveis dentro do comboio.
• Restrições: Para garantir a integridade do comboio, HVs/AVs são proibidos de atuar como líderes ou veículos de cauda do comboio. Um comboio só pode se formar se o estado de cada veículo for observável para os membros conectados. Isso limita o número máximo de veículos não conectados consecutivos dentro de um comboio a dois (ex: CAV–HV–HV–CAV).
• Comparação: Isso é contrastado com o Esquema PS1, onde apenas CHVs/CAVs formam comboios, e veículos não conectados são excluídos.

2.2. Framework DRL

A estratégia de controle emprega uma arquitetia de Treinamento Centralizado com Execução Descentralizada (CTDE) utilizando o algoritmo Otimização de Política Próxima (PPO).

• Espaço de Estados: A representação do estado integra dados multimodais, incluindo a dinâmica do veículo ego (tipo, posição no comboio, headway temporal) e estados do ambiente circundante (tipos e posições dos dois veículos imediatamente anteriores e posteriores). Este design captura a topologia local sem sucumbir à maldição da dimensionalidade.
• Espaço de Ações: As ações discretas incluem juntar-se a um comboio, deixar um comboio ou manter a condução independente.
• Função de Recompensa: Uma função de recompensa multiobjetivo é formulada para equilibrar três componentes:
  1. Eficiência de Tráfego ($r_{capacity}$): Baseada na porcentagem de aumento na capacidade da faixa em relação a uma linha de base.
  2. Estabilidade de Tráfego ($r_{stability}$): Baseada na melhoria de um discriminante de estabilidade de fluxo de tráfego híbrido ($G_h$), derivado de modelos de seguimento de carro.
  3. Penalidade ($r_{penalty}$): Uma penalidade de restrição aplicada se a capacidade da faixa cair significativamente abaixo da linha de base, impedindo que o agente sacrifique a eficiência em prol de uma estabilidade excessiva.
• Treinamento: A rede de política aprende a ajustar dinamicamente as estruturas dos comboios (tamanho e distribuição) para otimizar o equilíbrio entre capacidade e estabilidade.

3. Principais Contribuições

• Padrão de Formação de Comboio Híbrido: O artigo define um mecanismo viável para integrar veículos não conectados em comboios via propagação de informação mediada por CAVs, abordando as limitações de escalabilidade de frotas estritamente conectadas.
• Estratégia de Controle Baseada em DRL: Desenvolve uma nova estratégia de DRL que vai além de regras de formação fixas. Em vez de assumir uma composição de comboio estática, a estratégia aprende a otimizar dinamicamente as estruturas dos comboios em tempo real para gerenciar o equilíbrio entre vazão e estabilidade.
• Representação de Estado de Múltiplos Níveis: O estudo integra dinâmica de veículos, topologia de comboio e estados de fluxo de tráfego em uma representação de estado unificada, permitindo que agentes tomem decisões descentralizadas baseadas em observações locais enquanto consideram objetivos de estabilidade global.
• Avaliação Abrangente: A abordagem é rigorosamente avaliada contra a formação de comboios conectada tradicional (PS1) e a formação de comboios híbridos não regulamentada (PS2) em quatro dimensões: capacidade de generalização, estabilidade do fluxo de tráfego, segurança e impacto ambiental.

4. Resultados Experimentais

Simulações numéricas foram conduzidas em uma estrada de faixa única com 1.000 veículos sob variadas taxas de penetração de CAV ($P_{CAV}$).

• Desempenho de Treinamento: A estratégia DRL convergiu com sucesso, alcançando uma melhoria de 27,9% no discriminante de estabilidade de tráfego ($G_h$) em comparação com a estratégia híbrida de base (PS2). Isso foi alcançado reduzindo o comprimento máximo do comboio em 28,3% (para ~24 veículos) e aumentando o número total de comboios em 19,3%, distribuindo efetivamente a densidade do tráfego.
• Generalização: A estratégia demonstrou generalização robusta em valores de $P_{CAV}$ de 0,1 a 0,5. Quando $P_{CAV} > 0,1$, a estratégia DRL melhorou o discriminante de estabilidade em 51,08% em comparação com PS1 e PS2. Ao contrário das estratégias fixas, que sofrem crescimento exponencial no tamanho do comboio em taxas de penetração mais altas, a estratégia DRL manteve os comprimentos médios dos comboios em aproximadamente 35 veículos.
• Propagação de Distúrbios: Em cenários envolvendo distúrbios de desaceleração do veículo líder, a estratégia DRL suprimiu significativamente as oscilações de velocidade. Ela reduziu o pico médio do Inverso do Tempo de Colisão (TTCI) em 52,95% em comparação com o comboio convencional (PS1) sob baixa penetração de CAV ($P_{CAV}=0,1$).
• Segurança e Eficiência: A estratégia reduziu o desvio padrão de pico da velocidade em até 38,60% em comparação com PS1. Em termos de impacto ambiental, sob baixa penetração de CAV, a estratégia DRL reduziu o consumo de combustível médio de pico em 1,90%, as emissões de CO2 em mais de 1,2% e as emissões de NOx em até 7,1% em comparação com estratégias convencionais.

5. Significância e Alegações

Os autores alegam que a abordagem proposta baseada em DRL resolve efetivamente o conflito entre vazão de tráfego e estabilidade em ambientes de tráfego misto. Ao otimizar dinamicamente as estruturas dos comboios em vez de aderir a regras de formação rígidas, a estratégia suprime a propagação de distúrbios de velocidade e aumenta a segurança dos fluxos de tráfego mistos.

O estudo enfatiza que, enquanto as estratégias híbridas tradicionais (PS2) maximizam a capacidade ao permitir comboios grandes e não regulamentados, elas comprometem a estabilidade. Por outro lado, a estratégia DRL alcança um "equilíbrio não linear", aceitando uma redução marginal na capacidade de pico (aprox. 4,6% em comparação com PS2 no treinamento) para obter ganhos substanciais em estabilidade e segurança. O artigo conclui que esta abordagem oferece uma solução robusta para o período de transição do tráfego misto, onde veículos não conectados permanecem prevalentes, e sugere que trabalhos futuros devem abordar interações de múltiplas faixas, falhas de comunicação e divisão dinâmica de comboios.