🤖 machine learning

Path Following and Stabilisation of a Bicycle Model using a Reinforcement Learning Approach

Este artigo apresenta uma abordagem de Aprendizado por Reforço que permite com sucesso a um modelo virtual de bicicleta Whipple seguir simultaneamente trajetórias complexas e manter a estabilidade lateral através de uma faixa de velocidade de 2m/s a 7m/s utilizando apenas saídas de ângulo de esterçamento, validado por meio de aprendizado por currículo e análise explicativa.

Autores originais: Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Publicado 2026-07-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine ensinar uma criança pequena a andar de bicicleta. Você não apenas diz a ela: "Vá reto". Você tem que ensiná-la a se equilibrar, a inclinar-se nas curvas e a esterçar sem cair. Agora, imagine fazer isso não com uma criança humana, mas com um programa de computador e uma bicicleta virtual, usando um método chamado Aprendizado por Reforço (Reinforcement Learning - RL).

Este artigo é essencialmente a história de como os pesquisadores ensinaram um "agente" digital (um programa de computador inteligente) a andar de bicicleta virtual perfeitamente, equilibrando-a enquanto seguia um caminho sinuoso, tudo isso sem rodinhas ou ajuda física.

Aqui está o detalhamento da jornada deles, usando algumas analogias do cotidiano:

1. A Pista de Testes Virtual

Os pesquisadores não usaram uma bicicleta real em uma garagem. Eles construíram uma bicicleta virtual dentro de um computador. Isso não é apenas um desenho animado; é um modelo físico altamente preciso (chamado "modelo Whipple") que se comporta exatamente como uma bicicleta real.

O Desafio: Bicicletas reais são complicadas. Se você for muito devagar, elas caem. Se você for muito rápido, elas ficam instáveis. Elas também têm uma peculiaridade estranha: para virar à esquerda, você precisa na verdade esterçar levemente para a direita primeiro (isso é chamado de "contraesterçamento").
O Objetivo: O agente de computador tinha que fazer duas coisas ao mesmo tempo: manter-se em pé (estabilização) e seguir uma linha específica no chão (seguimento de trajetória). Ele podia controlar apenas o guidão. Ele não podia empurrar a bicicleta nem mudar a velocidade; a velocidade era definida por um "ciclista" invisível.

2. O Professor: Aprendizado por Reforço

Pense no agente como um aluno e na simulação do computador como um professor muito rigoroso.

O Jogo: O agente tenta pedalar.
A Pontuação (Recompensa): Toda vez que a bicicleta permanece próxima da linha e não cai, o agente ganha pontos (uma "recompensa"). Se ela cair ou sair demais do trajeto, ele recebe zero pontos e o jogo recomeça.
O Aprendizado: O agente tenta milhões de vezes. No início, ele bate constantemente. Mas, aos poucos, começa a perceber: "Ah, quando eu me inclino para a esquerda, preciso esterçar para a direita para me manter em pé" ou "Quando o caminho faz uma curva, preciso olhar à frente". Ele aprende por tentativa e erro, não sendo instruído sobre as regras da física.

3. O Ingrediente Secreto: "Aprendizado de Currículo" (Curriculum Learning)

Se você tentasse ensinar uma criança pequena a andar de bicicleta em uma estrada de montanha íngreme e sinuosa imediatamente, ela falharia. Você começa com ela em uma calçada reta e plana.
Os pesquisadores usaram uma estratégia chamada Aprendizado de Currículo. Isso é como um videogame que fica mais difícil conforme você sobe de nível:

Nível 1: O agente começa em um caminho reto, em uma velocidade moderada e fácil, onde a bicicleta naturalmente quer se manter em pé.
Nível 2: À medida que o agente melhora, o professor introduz curvas e mudanças de velocidade.
Nível 3: O agente enfrenta os desafios mais difíceos: velocidades muito baixas (onde a bicicleta é muito instável) e curvas fechadas e apertadas.
Ao começar fácil e aumentar gradualmente a dificuldade, o agente aprendeu a lidar com toda a gama de velocidades (de 2 m/s lentos a 7 m/s rápidos) e caminhos complexos, como zigue-zagues e círculos completos.

4. Os Resultados: Um Mestre do Pedal

Após milhões de corridas virtuais (levando cerca de 55 horas de tempo simulado), o agente tornou-se um especialista.

O Teste: Eles colocaram o agente treinado em uma "Trajetória de Referência" (Benchmark Path) — um trajeto complexo com círculos, zigue-zagues e mudanças de faixa.
O Resultado: O agente manteve a bicicleta em pé e seguiu o caminho com uma precisão incrível. A distância média entre a bicicleta e a linha que ela deveria seguir foi de menos de 9 centímetros (aproximadamente a largura de uma mão).
A Velocidade: Funcionou perfeitamente, quer a bicicleta estivesse se movendo lentamente ou rapidamente.

5. O Agente Realmente "Entendeu" a Física?

Os pesquisadores não queriam apenas uma "caixa preta" que funcionasse; eles queriam saber como ela funcionava. Eles usaram uma ferramenta chamada SHAP (que atua como um raio-X para decisões de IA) para ver ao que o agente estava prestando atenção.

O que descobriram: O agente aprendeu exatamente os mesmos truques de física que os humanos usam!
- Contraesterçamento: O agente aprendeu a esterçar levemente para o lado oposto para iniciar uma curva.
- Inclinar-se para a Queda: Quando a bicicleta começava a tombar, o agente aprendia a esterçar na direção da queda para contê-la, exatamente como um ciclista real faz.
- Olhar Adiante: O agente prestava mais atenção ao caminho alguns metros à frente, não apenas onde as rodas tocavam o chão.

A Conclusão Principal

Este artigo prova que um programa de computador pode aprender a andar de bicicleta do zero, equilibrando-a e conduzindo-a através de percursos complexos, sem quaisquer equações físicas pré-programadas ou ajuda humana. Ele aprendeu o "sentir" da bicicleta através de tentativa e erro, tornando-se eventualmente um mestre do pedal que lida com mudanças de velocidade e curvas traiçoeiras melhor do que muitos controladores de computador tradicionais.

Os pesquisadores concluem que essa abordagem funciona, mas observam que, para uma bicicleta robótica no mundo real, eles precisariam refinar o modelo para lidar com estradas irregulares e descobrir como "enxergar" o caminho (como usando uma câmera) em vez de ter o caminho pré-carregado no computador.

Resumo Técnico: Seguimento de Trajetória e Estabilização de um Modelo de Bicicleta utilizando uma Abordagem de Aprendizagem por Reforço

Definição do Problema
Controlar o movimento de uma bicicleta é uma tarefa complexa devido à sua estabilidade lateral dependente da velocidade e ao comportamento de fase não mínima, o que exige o direcionamento do guidão para a direção de uma queda indesejada para manter o equilíbrio. Embora métodos tradicionais de engenharia de controle tenham sido extensivamente utilizados para a estabilização e seguimento de trajetória de bicicletas, há um interesse crescente em aplicar o Aprendizado de Máquina, especificamente o Aprendizado por Reforço (RL), a esses sistemas mecânicos. Existe uma lacuna significativa na literatura: aplicações anteriores de RL a modelos de bicicleta tipicamente se especializaram ou na estabilização (frequentemente usando modelos simplificados sem trail ou com auxílios de equilíbrio) ou no seguimento de trajetória (frequentemente ignorando a estabilização lateral). Além disso, trabalhos existentes não demonstraram suficientemente se um agente de RL pode induzir uma política de estabilização dependente da velocidade para um modelo de bicicleta padrão (com trail positivo) em uma ampla gama de velocidades enquanto realiza simultaneamente o seguimento de trajetória, sem a capacidade de controlar a velocidade de avanço.

Metodologia
Os autores propõem um framework de RL onde um agente controla um modelo de bicicleta Whipple virtual — um modelo de referência para a dinâmica de bicicletas caracterizado por um trail positivo e autoestabilidade apenas dentro de uma faixa de velocidade específica (4,3–6 m/s). A bicicleta é modelada como um sistema multibody com quatro corpos rígidos (roda traseira, roda dianteira, corpo traseiro, guidão) e sem auxílios de estabilização externos (ex: rodas de inércia).

Mecanismo de Controle: O agente atua exclusivamente prevendo um ângulo de esterçamento ( $\delta_{set}$ ). Este ângulo é convertido em um torque de esterçamento através de um controlador PD atuando entre o corpo traseiro e o garfo. O agente não pode alterar a velocidade de avanço, que é definida aleatoriamente entre 2 m/s e 7 m/s, simulando um cenário onde o ciclista controla a velocidade enquanto o agente lida com o esterçamento.
Representação do Estado: O vetor de estado inclui as coordenadas mínimas da bicicleta (posição, yaw, roll, ângulo de esterçamento e velocidades angulares relevantes) e informações de visualização (preview) do caminho. A visualização do caminho é representada por um vetor de distâncias laterais para pontos futuros no caminho. Os autores investigaram duas formulações para o estado: uma usando o ângulo de yaw diretamente e outra usando uma representação de vetor unitário para evitar descontinuidades.
Função de Recompensa: A recompensa é uma combinação linear de dois componentes:
1. Seguimento de Trajetória ( $\rho_y$ ): Recompensa o agente por manter o ponto de contato da roda traseira próximo ao caminho.
2. Estabilização ( $\rho_\phi$ ): Recompensa o agente por manter um ângulo de roll baixo.
  Os autores analisaram diferentes formulações de recompensa, incluindo penalidades de distância lineares vs. exponenciais e variações nos pesos entre seguimento de trajetória e estabilização.
Estratégia de Treinamento: O Aprendizado por Currículo (CL) é empregado para gerenciar a complexidade da tarefa. O processo de treinamento é dividido em quatro estágios onde os intervalos de inicialização para velocidade de avanço, curvatura do caminho (raio de elementos circulares) e complexidade do caminho (comprimento e largura de segmentos polinomiais) são expandidos gradualmente. Isso permite que o agente primeiro aprenda a estabilização básica em uma velocidade constante e estável antes de enfrentar velocidades variáveis e caminhos complexos.
Algoritmo: O algoritmo Soft Actor-Critic (SAC) é utilizado para o Aprendizado Profundo por Reforço off-policy.

Principais Contribuições

Seguimento de Trajetória e Estabilização Simultâneos: O trabalho demonstra, pela primeira vez, que um agente de RL pode realizar com sucesso o seguimento de trajetória e a estabilização lateral em um modelo de bicicleta Whipple sem auxílios de equilíbrio, baseando-se unicamente em entradas de esterçamento.
Política Dependente da Velocidade: O estudo investiga e confirma que a abordagem de RL pode induzir uma política dependente da velocidade capaz de estabilizar a bicicleta através de uma ampla gama de velocidades (2 m/s a 7 m/s), cobrindo tanto os regimes de baixa velocidade instável quanto o de meia velocidade autoestável.
Aplicação de Aprendizado por Currículo: A aplicação do Aprendizado por Currículo mostra-se essencial para treinar o agente para lidar com a complexidade crescente de velocidades variáveis e caminhos arbitrários (incluindo círculos completos, slaloms e mudanças de faixa).
Explicabilidade: Os autores utilizam SHapley Additive exPlanations (SHAP) para analisar o processo de tomada de decisão do agente treinado, vinculando a política aprendida aos mecanismos físicos conhecidos da dinâmica da bicicleta.

Resultados

Desempenho de Aprendizado: As configurações propostas (usando uma distância de visualização escalonada pela velocidade e uma recompensa linear para seguimento de trajetória) exigiram menos etapas de aprendizado ( $< 2 \times 10^6$ ) comparadas a alternativas como distância de visualização constante ou peso igual para recompensas de estabilização. Incluir a recompensa de estabilização ( $\rho_\phi$ ) com pesos iguais foi considerado um fator que interrompeu o progresso do aprendizado.
Desempenho de Implantação: Agentes treinados com as configurações propostas estabilizaram com sucesso a bicicleta e seguiram trajetórias em toda a gama de velocidade testada (2–7 m/s).
- Em caminhos gerados aleatoriamente, todas as 525 corridas simuladas (em 5 execuções e 5 configurações) foram bem-sucedidas, sem quedas.
- Em um caminho de teste complexo (círculo completo, slalom, mudanças de faixa), o melhor agente alcançou uma distância média máxima de 0,09 m do caminho a 7 m/s (9% do entre-eixos) e uma distância média máxima de 0,19 m na velocidade mais baixa (2 m/s).
- Alguns agentes individuais falharam nas velocidades mais baixas (2 m/s) em segmentos específicos do benchmark (círculo completo e mudança de faixa brusca), o que foi estatisticamente raro no currículo de treinamento.
Análise de Mecanismo: A análise de valores SHAP revelou que o agente aprendeu mecanismos de controle fundamentais:
- Contra-esterçamento (Counter-steering): O agente previu corretamente um ângulo de esterçamento oposto à direção desejada da curva para iniciar uma inclinação.
- Esterçar para a queda (Steering into the fall): Uma vez inclinado, o agente esterçou na direção da queda para manter o equilíbrio, correlacionando o ângulo de roll ( $\phi$ ) e os pontos de visualização ( $t_P$ ) com as ações de esterçamento.

Significância e Alegações
O artigo alega que o Aprendizado por Reforço é uma alternativa viável ao controle de engenharia tradicional para a dinâmica de bicicletas, capaz de lidar com a natureza não linear e dependente da velocidade do sistema sem a modelagem explícita das leis de controle. O trabalho preenche a lacuna entre o aprendizado de máquina e a pesquisa de dinâmica de bicicletas ao demonstrar que um agente pode aprender os mecanismos físicos básicos de controle de bicicleta (contra-esterçamento e inclinação) puramente através da interação com um ambiente simulado.

Os autores observam modestamente que, embora o ambiente virtual permita um seguimento de trajetória perfeito em muitos casos, o caminho de teste inclui características geométricas (como mudanças de faixa bruscas) que são fisicamente desafiadoras até mesmo para bicicletas reais. O sucesso do agente em navegar por esses caminhos complexos em uma ampla gama de velocidades, apesar de não ter controle explícito sobre a velocidade de avanço, ressalta o potencial prático do RL para sistemas robóticos onde a velocidade é uma restrição externa. O artigo conclui que trabalhos futuros devem focar em refinar o modelo de bicicleta para transferência Sim-to-Real e desenvolver métodos para obter informações de visualização de caminho em cenários do mundo real (ex: via câmeras).