PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning

1. Declaração do Problema

A mudança de faixa em rodovias urbanas, particularmente aquelas com entradas e saídas frequentes, é uma tarefa complexa de tomada de decisão que envolve a coordenação dos controles laterais e longitudinais do veículo. As abordagens atuais enfrentam vários desafios:

• Segurança e Eficiência: Mudanças de faixa inadequadas contribuem para mais de 10% dos acidentes em rodovias e 10% do congestionamento de tráfego. Motoristas humanos frequentemente falham em tomar decisões críticas devido a erros de percepção.
• Limitações da IA Existente:
  • Sistemas de Agente Único: Frequentemente focam na eficiência do veículo ego, negligenciando a coordenação global do tráfego.
  • Sistemas Multi-Agente Centralizados (MARL): Embora melhorem a coordenação, sofrem com riscos de privacidade de dados, alta sobrecarga computacional e falta de escalabilidade em redes grandes e heterogêneas.
  • Lacunas no Aprendizado Federado (FL): As aplicações existentes de FL na condução autônoma focam principalmente no controle de movimento de baixo nível (por exemplo, evitar colisões) em vez de tomada de decisão integrada de alto nível para mudança de faixa multi-agente que equilibra manobras obrigatórias e discricionárias.

2. Metodologia: Estrutura PALCAS

Os autores propõem o PALCAS, um Sistema de Recomendação de Mudança de Faixa Consciente de Prioridade construído sobre uma estrutura de Aprendizado por Reforço Multi-Agente Federado (Fed-MARL).

Arquitetura do Sistema

• Infraestrutura: A rodovia é segmentada em clusters, cada um gerenciado por uma Unidade de Borda (RSU). As RSUs atuam como agentes coordenando Veículos Conectados e Automatizados (CAVs) dentro de sua cobertura.
• Comunicação:
  • V2X (Veículo-para-Tudo): CAVs comunicam-se com sua RSU local.
  • I2I (Infraestrutura-para-Infraestrutura): RSUs comunicam-se entre si para compartilhar estatísticas globais de tráfego.
  • Aprendizado Federado: As RSUs treinam modelos locais usando dados locais e periodicamente carregam parâmetros para um servidor central para agregação (FedAvg), depois baixam o modelo global atualizado. Isso preserva a privacidade dos dados enquanto permite o compartilhamento de conhecimento.

Formulação Matemática

• Tipo de Problema: O sistema é formulado como um Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP).
• Algoritmo: O sistema utiliza Redes Q Profundas Parametrizadas (PDQN) para lidar com um espaço de ação híbrido:
  • Ações Discretas: Mudar de faixa para a esquerda, mudar de faixa para a direita ou manter a faixa.
  • Ações Contínuas: Comandos de aceleração ou desaceleração.
• Espaço de Estados: Uma representação hierárquica que funde:
  • Microscópico: Estado do veículo ego (posição, velocidade, aceleração) e estados dos veículos circundantes.
  • Macroscópico: Densidade de tráfego em nível de cluster e velocidade média.
  • Global: Estatísticas agregadas de tráfego compartilhadas via comunicação I2I.

Design da Função de Recompensa

A inovação central é uma função de recompensa guiada por prioridade ($R_k$) projetada para equilibrar segurança, eficiência, conforto e urgência do destino:
$$R(t)_k = \sum (\iota r_e + \zeta r_s + \xi r_c + \lambda r_{lc} + \psi r_d)$$

1. Recompensa de Eficiência ($r_e$): Incentiva manter velocidades próximas ao limite máximo e otimizar o fluxo em nível de cluster.
2. Recompensa de Segurança ($r_s$): Baseada no modelo de Segurança Sensível à Responsabilidade (RSS), calculando distâncias longitudinais e laterais mínimas seguras para prevenir colisões.
3. Recompensa de Conforto ($r_c$): Penaliza aceleração/desaceleração que exceda limiares confortáveis ($1,47 m/s^2$).
4. Recompensa de Mudança de Faixa Guiada por Prioridade ($r_{lc}$): O componente inovador. Pesa dinamicamente as decisões de mudança de faixa com base em:
   • Urgência ($u_t$): Veículos próximos à sua saída recebem recompensas negativas se não estiverem na faixa correta, calculadas usando tempo até a saída versus tempo necessário para mudar de faixa.
   • Penalidade de Estágio ($p_{stage}$): Desencoraja veículos de ocuparem a faixa de saída muito cedo, mantendo as faixas mais rápidas abertas para o tráfego de passagem.
5. Penalidade de Impasse ($r_d$): Impede que veículos de rampa fiquem presos no final das faixas de aceleração.

3. Principais Contribuições

1. Estrutura Inédita: O PALCAS é o primeiro trabalho a abordar conjuntamente mudanças de faixa obrigatórias e discricionárias usando um paradigma de aprendizado federado para tomada de decisão cooperativa em grande escala.
2. Representação Hierárquica de Estados: Integra dados microscópicos de veículos com informações macroscópicas em nível de cluster e globais de tráfego, aprimorando a consciência situacional.
3. Mecanismo de Recompensa Guiado por Prioridade: Unifica a viabilidade da manobra e a urgência do destino, permitindo que o sistema priorize dinamicamente veículos com base em sua proximidade às saídas e nas condições atuais de tráfego.
4. Arquitetura Escalável de Preservação de Privacidade: Demonstra uma abordagem federada que permite aos agentes generalizar a partir de cenários não vistos sem compartilhar dados brutos, adequada para ambientes de tráfego heterogêneos.

4. Resultados da Simulação

O sistema foi avaliado usando SUMO (simulação de tráfego) e Eclipse MOSAIC (comunicação V2X) com um cenário de rodovia de 2,4 km e 5 faixas. Foi comparado com:

• Linha de Base-1: MARL Centralizado (um único agente controlando tudo).
• Linha de Base-2: MARL Descentralizado sem aprendizado federado (sem compartilhamento de conhecimento).

Principais Métricas de Desempenho (com 60% de penetração de CAVs):

• Eficiência de Tráfego: O PALCAS alcançou a maior velocidade média (30,03 m/s), superando a Linha de Base-1 em 3,12% e a Linha de Base-2 em 6,86%.
• Segurança (Taxa de Colisão): O PALCAS reduziu a taxa de colisão em 19,67% em comparação com a Linha de Base-1 e 75,5% em comparação com a Linha de Base-2.
• Conforto de Direção: As trajetórias de aceleração foram significativamente mais suaves, permanecendo dentro da faixa de $[-1, 1] m/s^2$, enquanto as linhas de base flutuaram entre $[-4,5, 2,6] m/s^2$.
• Taxa de Sucesso de Destino (DSR): O PALCAS melhorou a DSR em 132,94% sobre a Linha de Base-1 e 113,9% sobre a Linha de Base-2 com 60% de penetração, prevenindo efetivamente saídas perdidas.
• Taxa de Sucesso de Fusão (MSR): O PALCAS alcançou >93% de sucesso, comparável às linhas de base, embora a Linha de Base-2 tenha superado ligeiramente na MSR devido à sua otimização local míope (curto prazo).

Estudo de Ablação:
A remoção do componente de recompensa guiado por prioridade resultou em uma queda drástica no desempenho, confirmando seu papel crítico na coordenação de manobras complexas de múltiplos veículos e na prevenção de congestionamentos.

5. Significado

• Aplicabilidade no Mundo Real: O sistema aborda os desafios específicos de rodovias urbanas com rampas frequentes, um cenário onde os sistemas centralizados ou de agente único atuais lutam.
• Privacidade e Escalabilidade: Ao usar Aprendizado Federado, o PALCAS oferece um caminho viável para implantar sistemas de condução autônoma cooperativa sem comprometer a privacidade dos dados ou exigir poder computacional centralizado massivo.
• Equilíbrio entre Segurança e Eficiência: A função de recompensa consciente de prioridade resolve com sucesso o compromisso entre manter o tráfego fluindo (permanecer em faixas rápidas) e garantir que os veículos alcancem seus destinos (mover-se para faixas de saída), reduzindo significativamente congestionamentos e acidentes.
• Viabilidade em Tempo Real: Os tempos de inferência foram medidos em menos de 100ms para 90% das decisões, indicando que o sistema é adequado para implantação em tempo real.

Em conclusão, o PALCAS demonstra que combinar Aprendizado Federado com Aprendizado por Reforço Consciente de Prioridade cria uma estrutura robusta, escalável e segura para a gestão de mudanças de faixa autônomas de próxima geração.