Resumo Técnico: Aprendizado por Reforço com Currículo de Ritmo Próprio para Corridas de Superbike Autônomas em Simulação

Definição do Problema

O automobilismo autônomo alcançou marcos significativos usando Aprendizado por Reforço Profundo (RL), particularmente para veículos de quatro rodas em simuladores de alta fidelidade como o Gran Turismo. No entanto, o motociclismo permanece amplamente inexplorado na literatura de RL devido a desafios físicos e dinâmicos fundamentalmente diferentes. Ao contrário dos carros, as corridas de motos exigem que o agente gerencie ativamente o ângulo de inclinação (lean angle) para neutralizar as forças centrífugas durante as curvas. A falha no controle desse ângulo resulta em perda de equilíbrio e queda — um modo de falha ausente em veículos de quatro rodas. Além disso, as motos de corrida possuem uma relação potência-peso mais elevada, sujeitando-as a dinâmicas de frenagem e aceleração mais agressivas. O desafio central é treinar um agente que possa lidar simultaneamente com direção, controle de acelerador/freio e o equilíbrio complexo necessário para a estabilidade de duas rodas nos limites físicos do veículo.

Metodologia

Os autores propõem um framework implementado no VRider SBK, um simulador baseado em Unity com física precisa, apresentando pistas e modelos de motos do Campeonato Mundial de Superbike do mundo real. O sistema integra o Soft Actor-Critic (SAC) com Aprendizado por Reforço Profundo de Ritmo Próprio (SPDL).

1. Espaço de Estados e Ações

• Espaço de Estados: O vetor de observação combina características proprioceptivas e globais, normalizadas para $[-1, 1]$.
  • Proprioceptivo: Velocidade linear/angular, ângulos atuais/anteriores de direção e inclinação, histórico do ângulo de inclinação ($\theta$), razões de deslizamento do pneu (tire slip ratios) e ações de controle anteriores. A inclusão do histórico do ângulo de inclinação é crítica para antecipar e suprimir comportamentos oscilatórios.
  • Global: 60 pontos de curso 3D igualmente espaçados amostrados ao longo da trajetória atual (linha central e limites da pista) via interpolação de spline Catmull-Rom, fornecendo um olhar à frente (look-ahead) adaptado à velocidade.
• Espaço de Ações: Duas ações contínuas em $[-1, 1]$:
  1. Direção (que também impulsiona o ângulo de inclinação da moto).
  2. Um sinal combinado de acelerador/freio (mutuamente exclusivos).

2. Design de Recompensa

A função de recompensa é densa e multicomponente, projetada para minimizar o tempo de volta enquanto penaliza a instabilidade. Ela inclui:

• Progresso: Deslocamento ao longo da trajetória, negado se a moto andar para trás ou sair da pista.
• Penalidades: Tempo fora da pista, contato com paredes (baseado em energia cinética) e penalidades específicas de estabilidade para grandes mudanças em direção, inclinação e velocidade angular entre os passos.
• Penalidades de Histórico: Penalidades baseadas em sigmoide sobre deltas de ângulo acumulados para desencorajar o comportamento oscilatório na direção e na inclinação.
• Condições de Falha: Os episódios são reiniciados se a moto cair, atingir uma parede ou exceder os temporizadores de penalidade.

3. Currículo de Ritmo Próprio (SPDL)

Em vez de um design de currículo manual, o sistema utiliza SPDL para gerar tarefas dinamicamente com base no desempenho do agente. A dificuldade é definida pela trajetória que o agente deve seguir:

• Variáveis de Contexto:
  • $c_1$: Distância da trajetória mediana (centerline).
  • $c_2$: Distância da linha de corrida ideal.
  • $c_3$: Limite de velocidade máxima.
• Mecanismo: O algoritmo mantém uma distribuição de contexto $p(c|\nu)$ e otimiza um compromisso entre a maximização da recompensa e a convergência para uma distribuição alvo (a linha ideal na velocidade total). Uma restrição de divergência KL evita saltos abruptos de dificuldade. À medida que o agente excede um limiar de desempenho $\delta$, o currículo muda automaticamente da trajetória mediana fácil em direção à linha de corrida ideal.

Principais Contribuições

1. Arquitetura de RL para Veículos de Duas Rodas: Um espaço de estados customizado incluindo histórico de ângulo de inclinação e um sinal de recompensa especificamente projetado para lidar com instabilidades típicas de motocicletas (quedas, oscilações).
2. Integração de Currículo Automatizado: A primeira integração de SPDL com Unity ML-Agents para corridas de motos, permitindo a geração dinâmica e automática de tarefas sem intervenção manual.
3. Estabelecimento de Baseline: Resultados experimentais preliminares estabelecendo o primeiro baseline de RL para corridas de motos autônomas, demonstrando eficiência de treinamento e estabilidade superiores em comparação ao SAC padrão.

Resultados Experimentais

Os experimentos foram conduzidos no circuito de Barcelona (primário) e generalizados para Cremona e Phillip Island, utilizando a Ducati Panigale V4 R e outros quatro modelos de motos.

• Eficiência de Treinamento: Na iteração 1150, um agente SAC padrão falhou em completar uma única volta, perdendo o controle repetidamente. O agente SPDL completou todas as voltas com zero quedas e um tempo médio de 1:32.85. Na iteração 1900, o SPDL alcançou um tempo de volta de 1:30.75, superando o baseline SAC treinado (1:31.32) por 0,57 segundos.
• Estabilidade: Agentes SPDL demonstraram significativamente menos quedas e excursões fora da pista em comparação ao SAC.
• Generalização de Pista: Agentes treinados com SPDL completaram com sucesso as voltas em Cremona e Phillip Island com zero quedas e zero colisões, demonstrando robustez através de diferentes geometrias de pista.
• Generalização de Moto: Uma política treinada na Ducati Panigale V4 R foi transferida para outros modelos (Kawasaki, Honda, Yamaha, BMW) sem retreinamento.
  • A Kawasaki Ninja ZX-10RR mostrou a melhor transferência, ficando atrás da Ducati por apenas 0,87s em Barcelona.
  • Os modelos Honda e Yamaha até superaram a Ducati em Phillip Island devido ao melhor manuseio de curvas específicas.
  • A BMW M1000 RR teve dificuldades em Phillip Island, não conseguindo completar a volta, o que destaca a dificuldade de transferir para motos mais agressivas e difíceis de pilotar.

Significância e Limitações

O artigo afirma estabelecer o primeiro baseline de RL para corridas de motos autônomas, provando que a combinação de SAC com aprendizado de currículo de ritmo próprio é eficaz para gerenciar as dinâmicas únicas de veículos de duas rodas. O framework generaliza com sucesso para múltiplas pistas e modelos de motos, sugerindo que a política aprendida captura vieses de controle generalizáveis em vez de apenas dinâmicas específicas da moto.

No entanto, os autores notam modestamente as limitações atuais:

• Precisão da Trajetória: O agente tende a priorizar a velocidade sobre a precisão, ocasionalmente ultrapassando as curvas (como visto nos resultados qualitativos).
• Treinamento de Pista Única: Atualmente, um agente separado é treinado por pista; trabalhos futuros visam a generalização para múltiplas pistas.
• Sensoriamento: O sistema atualmente depende de entradas baseadas em vetores; futuras iterações poderiam incorporar entradas baseadas em visão e arquiteturas ator-crítico assimétricas para melhorar a eficiência de amostragem e o realismo.

Este trabalho serve como um passo fundamental para o automobilismo de superbike autônomo competitivo, com direções futuras que visam testar em ambientes de corrida competitiva em vez de apenas modos de contra o relógio (time-trial).