Integrated Automated Car Following and Lane-changing control based on a Parametrized Deep Q-network with Hybrid Action Space

Resumo Técnico: Controle Integrado de Seguimento de Veículo e Mudança de Faixa Automatizado Baseado em uma Deep Q-Network Parametrizada

Definição do Problema
As abordagens atuais para o controle de veículos automatizados frequentemente tratam a mudança de faixa e o seguimento de veículo como tarefas independentes. Modelos tradicionais baseados em regras, como o Minimizing Overall Braking Decelerations Induced by Lane Changes (MOBIL) combinado com o Intelligent Driver Model (IDM), dependem de regras pré-definidas e aproximações explícitas de trajetória. Esses métodos têm dificuldade em lidar com a natureza dinâmica e estocástica do tráfego, particularmente quando as decisões de mudança de faixa dependem de interações complexas com veículos circundantes (por exemplo, ajustar a velocidade para utilizar uma brecha aceitável). Além disso, as abordagens existentes de Aprendizado por Reforço (RL) frequentemente abordam essas subtarefas separadamente ou tentam integrá-las discretizando ações contínuas (como a aceleração), o que pode levar a uma perda da estrutura natural do espaço de ação e redução da eficiência. O desafio central reside em gerenciar um espaço de ação híbrido, onde as decisões de mudança de faixa são discretas, enquanto a aceleração e a execução da trajetória são contínuas.

Metodologia
O estudo propõe uma estrutura de controle integrada para Veículos Conectados e Automatizados (CAVs) utilizando uma Parametrized Deep Q-Network (P-DQN). Este algoritmo é projetado para operar diretamente em um espaço de ação híbrido discreto-contínuo sem discretizar variáveis contínuas.

• Espaço de Estados: O estado do sistema ($S_t$) compreende dois componentes:
  1. Interações de Veículos ($S^1_t$): Inclui posições laterais/longitudinais relativas e velocidades de quatro veículos circundantes (líder/seguidor nas faixas atual e adjacente).
  2. Contexto da Via ($S^2_t$): Inclui a distância do veículo ego para as bordas da via, o centro ideal da faixa e a diferença de índice de faixa entre a faixa atual e a ideal.
• Espaço de Ações: A estrutura emprega um espaço de ação híbrido $A_t = [A^h_t, A^l_t]^T$:
  • Ação Discreta de Alto Nível ($k_t$): Determina a decisão de mudança de faixa (0: esquerda, 1: manter, 2: direita).
  • Ações Contínuas de Baixo Nível ($A^l_t$): Controla as acelerações lateral ($a_{x,0}$) e longitudinal ($a_{y,0}$). A faixa de ações contínuas é parametrizada pela decisão discreta (por exemplo, a aceleração lateral é restrita a valores negativos para uma mudança de faixa à esquerda).
• Função de Recompensa: A recompensa total ($R_{total}$) é uma soma ponderada de cinco componentes projetados para equilibrar segurança, eficiência e conforto:
  1. Segurança: Penaliza a proximidade com veículos circundantes e bordas da via usando funções de penalidade logarítmicas.
  2. Seguimento de Veículo: Incentiva a manutenção de um intervalo de tempo desejado com o veículo à frente.
  3. Manutenção de Faixa: Penaliza o desvio do centro da faixa quando não há mudança de faixa.
  4. Mudança de Faixa: Recompensa o alinhamento com a "faixa ideal" (determinada pela velocidade dos veículos líderes nas faixas adjacentes).
• Algoritmo: A P-DQN utiliza uma rede crítica para estimar a função de valor de ação $Q(S, k, A_l)$ e uma rede de ator para fornecer os parâmetros contínuos ideais $A_l$ para uma dada ação discreta $k$. A rede é treinada para maximizar as recompensas cumulativas usando uma função de perda de mínimos quadrados e gradiente descendente estocástico.

Principais Contribuições

1. Estrutura de Controle Integrada: O estudo apresenta uma estratégia de controle unificada que gerencia simultaneamente a mudança de faixa e o seguimento de veículo, tratando-os como processos interdependentes em vez de subtarefas isoladas.
2. Implementação de Espaço de Ação Híbrido: O artigo implementa a P-DQN para lidar com o desafio específico dos espaços de ação híbridos no controle de CAVs, evitando as limitações da discretização de ações contínuas.
3. Otimização Multiobjetivo: A estrutura integra com sucesso quatro subobjetivos — prevenção de colisões, seguimento de veículo, manutenção de faixa e eficiência de mudança de faixa — em uma única política de aprendizado.

Resultados
Experimentos numéricos foram conduzidos em quatro cenários com diferentes níveis de complexidade, incluindo velocidades constantes e dinâmicas de veículos circundantes.

• Convergência: O algoritmo P-DQN alcançou convergência dentro de 2.000 a 3.000 episódios de treinamento.
• Desempenho Comportamental: Diferente dos métodos tradicionais (ex: MOBIL) que podem rejeitar uma mudança de faixa devido a restrições imediatas de lacuna, a P-DQN aprendeu a ajustar a velocidade longitudinal (acelerar ou desacelerar) para criar ou utilizar brechas, permitindo mudanças de faixa bem-sucedidas. O agente manteve distâncias seguras tanto dos veículos à frente quanto dos que vinham atrás durante as manobras e aderiu aos centros das faixas.
• Análise Comparativa: Quando comparada a um modelo base MOBIL+IDM:
  • Segurança: A P-DQN demonstrou valores significativamente menores de Tempo de Colisão Inverso (Inverse-TTC) (ex: 0,075 vs. 0,214 no Cenário 1), indicando um menor risco de colisão.
  • Conforto: A P-DQN alcançou métricas de desconforto de condução substancialmente menores (baseadas na magnitude da aceleração), com valores variando de 0,599 a 1,260 em comparação com 1,596 a 3,712 para a linha de base MOBIL+IDM.

Significância e Alegações
O artigo afirma que a estrutura P-DQN proposta resolve as limitações das estratégias de controle separadas e dos modelos baseados em regras ao integrar efetivamente os comportamentos de mudança de faixa e seguimento de veículo. Ao utilizar um espaço de ação híbrido, o modelo permite que os CAVs tomem decisões coordenadas onde o ajuste de velocidade facilita mudanças de faixa seguras, mimetizando comportamentos humanos de condução realistas. O estudo conclui que esta abordagem integrada produz um desempenho superior em termos de segurança de condução e conforto em comparação com a combinação estabelecida de MOBIL e IDM, forneando uma solução mais adaptável para cenários de tráfego complexos sem depender de regras rígidas pré-definidas.