🤖 machine learning

Path Following and Stabilisation of a Bicycle Model using a Reinforcement Learning Approach

Este artículo presenta un enfoque de Aprendizaje por Refuerzo que permite con éxito que un modelo de bicicleta Whipple virtual siga trayectorias complejas y mantenga la estabilidad lateral simultáneamente a través de un rango de velocidad de 2 m/s a 7 m/s utilizando únicamente salidas de ángulo de dirección, validado mediante aprendizaje por currículo y análisis explicativo.

Autores originales: Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Publicado 2026-07-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un niño pequeño a montar en bicicleta. No te limitas a decirle: "Ve recto". Tienes que enseñarle cómo mantener el equilibrio, cómo inclinarse en las curvas y cómo maniobrar sin caerse. Ahora, imagina hacer esto no con un niño humano, sino con un programa informático y una bicicleta virtual, utilizando un método llamado Aprendizaje por Refuerzo (RL, por sus siglas en inglés).

Este artículo es esencialmente la historia de cómo los investigadores enseñaron a un "agente" digital (un programa informático inteligente) a montar una bicicleta virtual a la perfección, manteniéndola en equilibrio mientras seguía un camino sinuoso, todo ello sin ruedines ni ayuda física.

Aquí tienes el desglose de su viaje, utilizando algunas analogías cotidianas:

1. La pista de pruebas virtual

Los investigadores no utilizaron una bicicleta real en un garaje. Construyeron una bicicleta virtual dentro de un ordenador. Esto no es solo un dibujo animado; es un modelo físico altamente preciso (llamado "modelo Whipple") que se comporta exactamente como una bicicleta real.

El desafío: Las bicicletas reales son complicadas. Si vas demasiado lento, se caen. Si vas demasiado rápido, se vuelven inestables. También tienen una peculiaridad extraña: para girar a la izquierda, en realidad tienes que dirigir ligeramente hacia la derecha primero (esto se llama "contramaniobra" o counter-steering).
El objetivo: El agente informático tenía que hacer dos cosas a la vez: mantenerse erguido (estabilización) y seguir una línea específica en el suelo (seguimiento de trayectoria). Solo podía controlar el manillar. No podía empujar la bicicleta ni cambiar la velocidad; la velocidad era establecida por un "ciclista" invisible.

2. El maestro: Aprendizaje por Refuerzo

Imagina al agente como un estudiante y a la simulación informática como un profesor muy estricto.

El juego: El agente intenta montar en la bicicleta.
La puntuación (Recompensa): Cada vez que la bicicleta se mantiene cerca de la línea y no se cae, el agente recibe puntos (una "recompensa"). Si se cae o se sale demasiado del camino, recibe cero puntos y el juego se reinicia.
El aprendizaje: El agente lo intenta millones de veces. Al principio, choca constantemente. Pero poco a poco, empieza a darse cuenta de: "Ah, cuando me inclino a la izquierda, necesito girar a la derecha para mantenerme", o "Cuando el camino curva, necesito mirar hacia adelante". Aprende mediante el ensayo y error, no porque se le dicten las reglas de la física.

3. El ingrediente secreto: "Aprendizaje por Currículo"

Si intentaras enseñarle a un niño pequeño a montar en bicicleta en una carretera de montaña empinada y sinuosa de inmediato, fallaría. Empiezas con ellos en una entrada de garaje plana y recta.
Los investigadores utilizaron una estrategia llamada Aprendizaje por Currículo (Curriculum Learning). Esto es como un videojuego que se vuelve más difícil a medida que subes de nivel:

Nivel 1: El agente comienza en un camino recto a una velocidad moderada y fácil, donde la bicicleta naturalmente quiere mantenerse erguida.
Nivel 2: A medida que el agente mejora, el profesor introduce curvas y cambios de velocidad.
Nivel 3: El agente se enfrenta a los desafíos más difíciles: velocidades muy bajas (donde la bicicleta es muy inestable) y giros cerrados y apretados.
Al empezar con algo fácil y aumentar gradualmente la dificultad, el agente aprendió a manejar todo el rango de velocidades (desde 2 m/s hasta 7 m/s) y trayectorias complejas como zigzags y círculos completos.

4. Los resultados: Un maestro ciclista

Después de millones de viajes virtuales (que tomaron unas 55 horas de tiempo simulado), el agente se convirtió en un experto.

La prueba: Pusieron al agente entrenado en una "Trayectoria de Referencia" (Benchmark Path): un circuito complejo con círculos, zigzags y cambios de carril.
El resultado: El agente mantuvo la bicicleta erguida y siguió la trayectoria con una precisión increíble. La distancia media entre la bicicleta y la línea que debía seguir fue de menos de 9 centímetros (aproá de un ancho de mano).
La velocidad: Funcionó perfectamente tanto si la bicicleta se movía lentamente como rápidamente.

5. ¿Realmente "entendió" la física el agente?

Los investigadores no querían solo una caja negra que funcionara; querían saber cómo funcionaba. Utilizaron una herramienta llamada SHAP (que actúa como una radiografía para las decisiones de la IA) para ver a qué estaba prestando atención el agente.

Lo que descubrieron: ¡El agente había aprendido los mismos trucos de física que usan los humanos!
- Contramaniobra: El agente aprendió a girar ligeramente en la dirección opuesta para iniciar un giro.
- Inclinarse hacia la caída: Cuando la bicicleta empezaba a volcarse, el agente aprendía a girar hacia la dirección de la caída para recuperarla, tal como hace un ciclista real.
- Mirar hacia adelante: El agente prestaba la mayor atención al camino que había unos metros por delante, no solo a donde las ruedas tocaban el suelo.

La conclusión

Este artículo demuestra que un programa informático puede aprender a montar en bicicleta desde cero, equilibrándola y dirigiéndola a través de circuitos complejos, sin ninguna ecuación de física preprogramada ni ayuda humana. Aprendió el "sentir" de la bicicleta mediante el ensayo y error, convirtiéndose finalmente en un maestro ciclista que maneja los cambios de velocidad y las curvas complicadas mejor que muchos controladores informáticos tradicionales.

Los investigadores concluyen que este enfoque funciona, pero señalan que para una bicicleta robótica en el mundo real, necesitarían refinar el modelo para manejar carreteras con baches y averiguar cómo "ver" el camino (como usando una cámara) en lugar de tener la trayectoria precargada en el ordenador.

Resumen Técnico: Seguimiento de Trayectoria y Estabilización de un Modelo de Bicicleta mediante un Enfoque de Aprendizaje por Refuerzo

Planteamiento del Problema
El control del movimiento de una bicicleta es una tarea compleja debido a su estabilidad lateral dependiente de la velocidad y su comportamiento de fase no mínima, lo que requiere girar hacia la dirección de una caída indeseada para mantener el equilibrio. Aunque los métodos tradicionales de ingeniería de control se han utilizado ampliamente para la estabilización y el seguimiento de trayectorias de bicicletas, existe un creciente interés en aplicar el Aprendizaje Automático (Machine Learning), específicamente el Aprendizaje por Refuerzo (Reinforcement Learning, RL), a estos sistemas mecánicos. Existe una brecha significativa en la literatura: las aplicaciones previas de RL a modelos de bicicleta se han especializado típicamente en la estabilización (a menudo utilizando modelos simplificados sin estela o con ayudas de equilibrio) o en el seguimiento de trayectorias (a menudo ignorando la estabilización lateral). Además, los trabajos existentes no han demostrado suficientemente si un agente de RL puede inducir una política de estabilización dependiente de la velocidad para un modelo de bicicleta estándar (con estela positiva) a través de un amplio rango de velocidades mientras realiza simultáneamente el seguimiento de la trayectoria, sin la capacidad de controlar la velocidad de avance.

Metodología
Los autores proponen un marco de RL donde un agente controla un modelo de bicicleta de Whipple virtual—un modelo de referencia para la dinámica de bicicletas caracterizado por una estela positiva y autoestabilidad solo dentro de un rango de velocidad específico (4.3–6 m/s). La bicicleta se modela como un sistema de cuerpos múltiples con cuatro cuerpos rígidos (rueda trasera, rueda delantera, cuerpo trasero, manillar) y sin ayudas de estabilización externas (por ejemplo, ruedas de inercia).

Mecanismo de Control: El agente actúa exclusivamente prediciendo un ángulo de dirección ( $\delta_{set}$ ). Este ángulo se convierte en un par de dirección mediante un controlador PD que actúa entre el cuerpo trasero y la horquilla. El agente no puede alterar la velocidad de avance, la cual se establece aleatoriamente entre 2 m/s y 7 m/s, simulando un escenario donde el ciclista controla la velocidad mientras el agente gestiona la dirección.
Representación del Estado: El vector de estado incluye las coordenadas mínimas de la bicicleta (posición, guiñada, balanceo, ángulo de dirección y velocidades angulares relevantes) e información de previsualización de la trayectoria. La previsualización de la trayectoria se representa mediante un vector de distancias laterales a puntos futuros de la trayectoria. Los autores investigaron dos formulaciones para el estado: una utilizando el ángulo de guiñada directamente y otra utilizando una representación de vector unitario para evitar discontinuidades.
Función de Recompensa: La recompensa es una combinación lineal de dos componentes:
1. Seguimiento de Trayectoria ( $\rho_y$ ): Recompensa al agente por mantener el punto de contacto de la rueda trasera cerca de la trayectoria.
2. Estabilización ( $\rho_\phi$ ): Recompensa al agente por mantener un ángulo de balanceo bajo.
  Los autores analizaron diferentes formulaciones de recompensa, incluyendo penalizaciones de distancia lineales frente a exponenciales y la variación de los pesos entre el seguimiento de la trayectoria y la estabilización.
Estrategia de Entrenamiento: Se emplea el Aprendizaje por Currículo (Curriculum Learning, CL) para gestionar la complejidad de la tarea. El proceso de entrenamiento se divide en cuatro etapas donde los intervalos de inicialización para la velocidad de avance, la curvatura de la trayectoria (radio de elementos circulares) y la complejidad de la trayectoria (longitud y anchura de segmentos polinómicos) se expanden gradualmente. Esto permite que el agente aprenda primero la estabilización básica a una velocidad constante y estable antes de abordar velocidades variables y trayectorias complejas.
Algoritmo: Se utiliza el algoritmo Soft Actor-Critic (SAC) para el Aprendizaje Profundo por Refuerzo fuera de la política (off-policy).

Contribuciones Clave

Seguimiento de Trayectoria y Estabilización Simultáneos: El trabajo demuestra, por primera vez, que un agente de RL puede realizar con éxito el seguimiento de la trayectoria y la estabilización lateral simultáneamente en un modelo de bicicleta de Whipple sin ayudas de equilibrio, basándose únicamente en entradas de dirección.
Política Dependiente de la Velocidad: El estudio investiga y confirma que el enfoque de RL puede inducir una política dependiente de la velocidad capaz de estabilizar la bicicleta a través de un amplio rango de velocidades (2 m/s a 7 m/s), cubriendo tanto los regímenes de baja velocidad inestable como los de velocidad media autoestable.
Aplicación del Aprendizaje por Currículo: Se demuestra que la aplicación del Aprendizaje por Currículo es esencial para entrenar al agente para manejar la creciente complejidad de velocidades variables y trayectorias arbitrarias (incluyendo círculos completos, slaloms y cambios de carril).
Explicabilidad: Los autores utilizan explicaciones de valores de Shapley (SHapley Additive exPlanations, SHAP) para analizar el proceso de toma de decisiones del agente entrenado, vinculando la política aprendida con mecanismos físicos conocidos de la dinámica de la bicicleta.

Resultados

Rendimiento de Aprendizaje: Los ajustes propuestos (usando una distancia de previsualización escalada por la velocidad y una recompensa lineal para el seguimiento de la trayectoria) requirieron menos pasos de aprendizaje ( $< 2 \times 10^6$ ) en comparación con alternativas como la distancia de previsualización constante o la ponderación igual de las recompensas de estabilización. Se encontró que incluir la recompensa de estabilización ( $\rho_\phi$ ) con pesos iguales interrumpía el progreso del aprendizaje.
Rendimiento de Despliegue: Los agentes entrenados con los ajustes propuestos estabilizaron con éxito la bicicleta y siguieron las trayectorias a través de todo el rango de velocidad probado (2–7 m/s).
- En trayectorias generadas aleatoriamente, las 525 simulaciones de conducción (a través de 5 ejecuciones y 5 configuraciones) fueron exitosas sin caídas.
- En una trayectoria de referencia compleja (círculo completo, slalom, cambios de carril), el mejor agente logró una distancia media máxima de 0.09 m de la trayectoria a 7 m/s (9% de la distancia entre ejes) y una distancia media máxima de 0.19 m a la velocidad más baja (2 m/s).
- Algunos agentes individuales fallaron a las velocidades más bajas (2 m/s) en segmentos específicos de la trayectoria de referencia (círculo completo y cambio de carril brusco), lo cual fue estadísticamente raro en el currículo de entrenamiento.
Análisis de Mecanismos: El análisis de los valores SHAP reveló que el agente aprendió mecanismos de control fundamentales:
- Contragiro (Counter-steering): El agente predijo correctamente un ángulo de dirección opuesto a la dirección de giro deseada para iniciar un balanceo.
- Girar hacia la caída: Una vez inclinado, el agente giró hacia la dirección de la caída para mantener el equilibrio, correlacionando el ángulo de balanceo ( $\phi$ ) y los puntos de previsualización ( $t_P$ ) con las acciones de dirección.

Significancia y Reivindicaciones
El artículo afirma que el Aprendizaje por Refuerzo es una alternativa viable a la ingeniería de control tradicional para la dinámica de la bicicleta, capaz de manejar la naturaleza no lineal y dependiente de la velocidad del sistema sin un modelado explícito de las leyes de control. Este trabajo cierra la brecha entre el aprendizaje automático y la investigación de la dinámica de la bicicleta al demostrar que un agente puede aprender los mecanismos físicos básicos del control de la bicicleta (contragiro y balanceo) puramente a través de la interacción con un entorno simulado.

Los autores señalan modestamente que, si bien el entorno virtual permite un seguimiento de trayectoria perfecto en muchos casos, la trayectoria de referencia incluye características geométricas (como cambios de carril bruscos) que son físicamente desafiantes incluso para bicicletas reales. El éxito del agente al navegar estas trayectorias complejas a través de un amplio rango de velocidades, a pesar de no tener control explícito sobre la velocidad de avance, subraya el potencial práctico del RL para sistemas robóticos donde la velocidad es una restricción externa. El artículo concluye que el trabajo futuro debe centrarse en refinar el modelo de la bicicleta para la transferencia de Sim-to-Real y desarrollar métodos para obtener información de previsualización de la trayectoria en escenarios del mundo real (por ejemplo, mediante cámaras).