Autonomous overtaking trajectory optimization using reinforcement learning and opponent pose estimation

1. Problema

A ultrapassagem é considerada uma das manobras de condução mais complexas para veículos autónomos, especialmente em ambientes de corrida multiagente. Os desafios principais incluem:

• Ambiente Estocástico e Dinâmico: A presença de oponentes torna o cenário imprevisível, exigindo algoritmos de controlo e perceção avançados que vão além da simples evasão de obstáculos estáticos.
• Estimativa de Pose do Oponente: Tratar o oponente como um objeto estático ou ignorar a sua orientação leva a colisões e trajetórias subótimas. É necessário estimar com precisão a posição e a orientação do oponente em tempo real.
• Validação no Mundo Real: Muitos algoritmos de Reinforcement Learning (RL) para corrida autónoma são validados apenas em simulação, carecendo de testes em plataformas físicas reais.

2. Metodologia

O trabalho propõe uma abordagem integrada composta por dois pilares principais: estimativa de pose por fusão de sensores e um algoritmo de Reinforcement Learning para manobras de ultrapassagem.

A. Plataforma e Sensores

• Hardware: Utiliza-se a plataforma de corrida F1TENTH equipada com um computador Jetson Xavier NX.
• Sensores:
  • LiDAR 2D (Hokuyo): Para deteção de clusters e estimativa de posição.
  • Câmera de Profundidade (Intel RealSense D435): Para deteção de objetos baseada em RGB e dados de profundidade.
• Fusão de Sensores (UKF):
  • Um Filtro de Kalman Unscented (UKF) é implementado para fundir os dados do LiDAR e da câmera.
  • LiDAR: Utiliza um algoritmo de deteção de objetos (agrupamento e ajuste de retângulo) para estimar a posição $(x, y)$.
  • Câmera: Utiliza o modelo YOLOv8 (fine-tuned) para detetar a caixa delimitadora (bounding box) do oponente. A distância é calculada com base na altura da caixa delimitadora e na geometria da câmera.
  • Fusão: O UKF combina as medições heterogéneas (diferentes taxas de atualização e formatos) para produzir uma estimativa de pose robusta do vetor de estado $[x, y, v_x, v_y]$. O ângulo de guinada (yaw) não é estimado diretamente, mas inferido através do modelo cinemático de Ackermann.

B. Algoritmo de Reinforcement Learning (RL)

• Algoritmo: Utiliza-se Proximal Policy Optimization (PPO) para treinar o agente.
• Ambiente de Treino: O ambiente F1TENTH gym, que simula um modelo de bicicleta 2D, mapas de ocupação e sensores LiDAR virtuais.
• Espaço de Observação: Inclui dados LiDAR do agente e do oponente (amostrados a cada 10 pontos para reduzir dimensionalidade), odometria e 10 waypoints futuros (calculados por uma linha de corrida de curvatura mínima).
• Espaço de Ação: Contínuo, definindo o ângulo de direção (até $\pm 0.34$ rad) e a velocidade linear (0 a 3 m/s).
• Função de Recompensa: Uma soma ponderada de sete componentes:
  1. Recompensa de velocidade.
  2. Recompensa de progresso na pista.
  3. Recompensa de ultrapassagem (positiva se o agente estiver à frente, negativa se o oponente estiver à frente, escalada linearmente quando próximos).
  4. Penalidade por desvio da linha de corrida (raceline).
  5. Penalidade por colisão.
  6. Penalidade de orientação (heading).
  7. Penalidade de suavidade (variação do ângulo de direção).

3. Principais Contribuições

1. Fusão de Sensores Específica para Corrida: Implementação bem-sucedida de um UKF para fundir LiDAR 2D e dados de câmera de profundidade (YOLO) especificamente para estimativa de pose de oponentes em cenários de corrida, superando as limitações de sensores individuais.
2. RL para Ultrapassagem Multiagente: Desenvolvimento de um agente RL treinado num ambiente adversarial realista, onde a estratégia de ultrapassagem é otimizada através da recompensa, em vez de apenas seguir uma linha de corrida fixa.
3. Validação no Mundo Real: O sistema foi testado e validado em uma plataforma física F1TENTH, demonstrando a capacidade de transferir políticas aprendidas da simulação para o mundo real, algo que muitos trabalhos anteriores não conseguiram fazer de forma robusta.

4. Resultados

• Precisão da Estimativa de Pose:
  • O sistema de fusão (UKF) alcançou um RMSE (Erro Quadrático Médio) de 0.0816 m no eixo X e 0.0531 m no eixo Y.
  • O UKF demonstrou ser mais robusto que os sensores individuais, especialmente no eixo Y, evitando que o LiDAR rastreie objetos errados (o que acontece sem a confirmação visual da câmera).
  • A taxa de atualização do UKF (10 Hz) compensa as baixas taxas de atualização dos sensores (1-2 Hz), permitindo trajetórias contínuas.
• Desempenho da Ultrapassagem:
  • O agente conseguiu realizar manobras de ultrapassagem com sucesso em múltiplas corridas no mundo real sem colisões.
  • Limitações: O agente apresentou oscilações nas trajetórias reais (amplificadas pelo ruído e atrasos em comparação com a simulação). A generalização para pistas com larguras significativamente diferentes da de treino foi limitada, embora a manobra de ultrapassagem tenha sido bem-sucedida em condições similares às de treino.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na área de corrida autónoma ao demonstrar que é possível integrar perceção robusta (fusão de sensores) com controlo baseado em aprendizagem por reforço para manobras complexas de interação (ultrapassagem) em tempo real.

• Segurança e Eficiência: Ao estimar a pose do oponente em vez de tratá-lo como um obstáculo estático, o sistema reduz colisões e melhora a eficiência da manobra.
• Reprodutibilidade: O código e o stack de software foram disponibilizados publicamente, facilitando a pesquisa futura.
• Trabalho Futuro: Os autores planeiam melhorar a suavidade da trajetória (reduzindo oscilações) e aumentar as taxas de atualização da estimativa de pose através de hardware mais rápido e algoritmos otimizados.

Em suma, o artigo valida uma arquitetura completa que vai da perceção sensorial até à tomada de decisão agressiva e segura, provando a viabilidade de sistemas de corrida autónoma multiagente no mundo real.