Track-Guided Hierarchical Reinforcement Learning for Autonomous Vehicle Drifting with Minimum-Lap-Time Planning

Resumo Técnico: Aprendizado por Reforço Hierárquico Guiado por Pista para Drifting de Veículos Autônomos com Planejamento de Tempo de Volta Mínimo

Definição do Problema
O drifting de veículos autônomos apresenta um desafio de controle de objetivo duplo e complexo: estabilizar dinâmicas de drift altamente não lineares enquanto se minimiza estritamente o tempo de volta. Diferente da Fórmula 1, onde os pilotos otimizam linhas de corrida dentro dos limites de aderência dos pneus, o rali em superfícies de baixa adesão ou soltas muitas vezes exige a quebra intencional de tração para realizar o drift. Essa manobra alinha o veículo para as saídas de curva, reduzindo o tempo de volta, mas introduz dificuldades significativas de controle devido às fortes não linearidades nas dinâmicas de pneus e chassi. As abordagens existentes de Aprendizado por Reforço (RL) enfrentam dois obstáculos principais: (1) uma dependência pesada de conjuntos de dados de demonstração de especialistas específicos para cada veículo, que são caros para obter, e (2) a falta de mecanismos estruturados para guiar os agentes em direção a estratégias de drift fisicamente significativas durante o início do treinamento, o que frequentemente leva a políticas subótimas ou inseguras.

Metodologia
O artigo propõe uma estrutura de Planejamento de Tempo de Volta Mínimo (MLT) e Aprendizado por Reforço Guiado por Pista (TgRL). Esta abordagem integra um planejador de trajetória baseado em modelo com um controlador de RL profundo para abordar a escassez de dados de especialistas e a dificuldade de aprender dinâmicas extremas diretamente.

1. Planejamento de Drift de Tempo de Volta Mínimo (MLT):

   • Um Problema de Controle Ótimo (OCP) é formulado usando um modelo de veículo 3-DoF de alta fidelidade e o modelo de pneu Magic Formula para simular condições de slip combinado.
   • O objetivo é minimizar o tempo de volta, gerando trajetórias de referência agressivas e dinamicamente viáveis que incluem posição do veículo, atitude, velocidade, ângulo de sideslip e taxa de guinada (yaw rate).
   • As restrições incluem limites de borda de pista, limites de estado (ex: ângulo de sideslip $\beta \in [-\pi/6, \pi/6]$) e limites de entrada de controle.
   • As trajetórias resultantes servem como dados de prioridade de alta qualidade (caminhos de referência) para o controlador de RL, eliminando a necessidade de demonstrações humanas de especialistas.

2. Aprendizado por Reforço Guiado por Pista (TgRL):

   • Algoritmo: Os autores utilizam o algoritmo Soft Actor-Critic (SAC), um método de ator-crítico de política off-policy e regularização de entropia, adequado para controle contínuo.
   • Aprendizado por Currículo: Para superar a dificuldade de aprender dinâmicas extremas com grandes ângulos de sideslip diretamente, uma estratégia de treinamento progressiva de três estágios é implementada:
     • Estágio 1 (Política Básica): Treinamento em uma pista de linha reta simplificada para aprender o controle fundamental de drift (induzir o slip do pneu e gerenciar grandes ângulos de sideslip).
     • Estágio 2 (Política de Curva): Treinamento em curvas de retorno (hairpin curves) para aprender o drift em curvas, focando em iniciar o drift, manter os ângulos de slip e executar saídas suaves.
     • Estágio 3 (Política de Corrida): Treinamento em um circuito fechado completo (Lkarting) para integrar habilidades para minimizar o tempo de volta enquanto mantém a estabilidade.
   • Espaço de Estados: Inclui erros de deslocamento lateral/direção/sideslip, erros de velocidade e pontos futuros da trajetória de referência.
   • Espaço de Ações: Ângulo de esterçamento contínuo e entrada de aceleração (throttle), suavizados via uma estratégia de Suavização de Ação Adaptativa (AAS) para evitar capotamentos em altas velocidades.
   • Função de Recompensa: Uma recompensa multiobjetivo combina:
     • Recompensas Instantâneas: Penalizam erros de desvio lateral, direção, sideslip e velocidade. Um termo ponderado pela velocidade incentiva o cornering em alta velocidade.
     • Recompensas de Término: Recompensas discretas emitidas na terminação do episódio. Recompensas positivas são escalonadas com base em quão próximo o tempo de volta está do ótimo do planejamento MLT; recompensas negativas são aplicadas para colisões ou capotamentos, inversamente proporcionais ao tempo de sobrevivência.

Principais Contribuições

1. Estrutura Inovadora: O artigo introduz uma estrutura hierárquica de planejamento-controle (MLT-TgRL) que integra perfeitamente a geração de trajetórias baseada em controle ótimo com RL profundo, permitindo que agentes autônomos executem manobras de drift extremas sem dados de especialistas.
2. Planejamento de Drift MLT: Uma formulação específica de OCP é desenvolvida para gerar trajetórias de drift agressivas e dinamicamente viáveis que servem como priors para o agente de RL, substituindo efetivamente a necessidade de demonstrações humanas de alto custo.
3. Metodologia de Treinamento Progressivo: Uma abordagem inovadora de aprendizado por currículo é introduzida, onde o agente é treinado passo a passo (do controle de drift básico para o cornering e, depois, para a corrida completa). Isso é guiado por informações de pista e reforçado por uma função de recompensa especializada que combina termos de rastreamento instantâneo e recompensas de término derivadas do MLT.

Resultados
A estrutura foi validada usando o simulador CARLA em três pistas: Lkarting, Willow Springs e Nelson Ledges.

• Desempenho vs. Baselines: O controlador proposto MLT+TgRL alcançou consistentemente tempos de volta superiores em comparação com um baseline SAC padrão e um controlador de drift baseado em RL anterior (Cai et al.). No Lkarting, a estrutura MLT+TgRL alcançou um tempo de volta médio de 45,4 s, superando o baseline Cai_DRIFT (51,2 s) em aproximadamente 11%.
• Comparação com o Planejamento: Embora o planejador MLT tenha alcançado o limite inferior teórico (tempo de volta mínimo de 33,1 s no Lkarting), o controlador TgRL alcançou resultados competitivos com um tempo de volta mínimo de 37,2 s e uma média de 45,4 s, demonstrando a capacidade de aproximar trajetórias ótimas em um ambiente de controle em tempo real.
• Estabilidade e Dinâmica: O agente conseguiu manter grandes ângulos de sideslip (média de 15,9° no Lkarting, comparado a 10,4° para um motorista humano e 16,3° para o baseline), confirmando a capacidade de sustentar estados de drift. O controlador também manteve baixos erros de rastreamento de ângulo de guinada e flutuações mínimas de desvio lateral.
• Estudos de Ablação: Remover a orientação MLT (usando referências de linha central, por exemplo) ou o currículo progressivo degradou significamente o desempenho, confirmando a necessidade tanto dos priors baseados em modelo quanto da abordagem de treinamento em estágios. A inclusão de Recompensas de Término e Suavização de Ação Adaptativa melhorou ainda mais a consistência do tempo de volta e a precisão do drift.

Significância e Alegações
O artigo alega que sua principal significância reside em preencher a lacuna entre o planejamento teoricamente ótimo e a execução prática de drift. Ao aproveitar planejadores baseados em modelos para fornecer referências dinamicamente viáveis e controladores de RL para se adaptar a dinâmicas não modeladas e atrasos de atuação, o método alcança manobras de drift agressivas com melhor estabilidade e repetibilidade. O trabalho estabelece uma base para o uso de aprendizado por reforço em sistemas de corrida autônoma do mundo real ao demonstrar que um treinamento estruturado, baseado em currículo e guiado por trajetórias ótimas, pode superar os desafios de escassez de dados e exploração inerentes ao aprendizado de dinâmicas extremas de veículos. Os autores observam que, embora a abordagem atual seja eficaz, trabalhos futuros focarão em generalizar o controlador para diferentes modelos de veículos, condições de estrada e na implementação de experimentos de hardware-in-the-loop (HIL).