Learning to Race in Minutes: Infoprop Dyna on the Mini Wheelbot

Resumen Técnico: Aprender a Competir en Minutos con Infoprop Dyna en el Mini Wheelbot

Enunciado del Problema
El control de sistemas robóticos caracterizados por dinámicas rápidas, inestables y no lineales sigue siendo un desafío significativo, particularmente cuando se aprende directamente sobre hardware real. Si bien el Aprendizaje por Refuerzo (RL) ofrece potencial, los métodos convencionales a menudo sufren de baja eficiencia en el uso de muestras, lo que hace necesario el uso de simuladores basados en física cuidadosamente diseñados y una extensa aleatorización de dominios para lograr una transferencia exitosa de simulación a realidad. El RL basado en modelos (MBRL) mejora la eficiencia en el uso de muestras aprendiendo un modelo de dinámicas para complementar la experiencia real con despliegues imaginados; sin embargo, los modelos imperfectos a menudo conducen a la "explotación del modelo" durante la planificación a largo plazo, degradando el rendimiento en el mundo real. El desafío específico abordado en este trabajo es el Mini Wheelbot, un robot unicycle subactuado con dinámicas de guiñada altamente no lineales. Su control se complica por las interacciones de contacto con el suelo, constantes de tiempo pequeñas y sensibilidad a la actuación, lo que dificulta el modelado preciso y hace esencial la planificación a largo plazo para un seguimiento de trayectorias efectivo.

Metodología
Los autores emplean Infoprop Dyna, un marco MBRL de última generación consciente de la incertidumbre, para permitir que el Mini Wheelbot aprenda directamente de interacciones del mundo real sin depender de un simulador basado en física.

• Algoritmo Central: Infoprop Dyna trata las predicciones del modelo como observaciones ruidosas de una señal de verdad fundamental. Al aprovechar la teoría de la información, el marco recupera la señal de verdad fundamental estimada mientras rastrea simultáneamente la corrupción acumulada debido al ruido. Este enfoque mitiga la explotación del modelo y permite despliegues confiables en horizontes más largos que los métodos anteriores.
• Modelado de Dinámicas: A diferencia de las pruebas anteriores que asumen estados totalmente observados y sin memoria, el Mini Wheelbot depende de la estimación de estado a bordo. En consecuencia, el modelo de transición aprendido se condiciona en una historia corta de estados físicos estimados y entradas de control aplicadas para predecir el siguiente estado estimado. Esto permite que el modelo capture implícitamente las dinámicas del estimador de estado junto con el sistema físico.
• Pipeline de Entrenamiento: El sistema utiliza una configuración de entrenamiento distribuido (ilustrada en la Figura 2). Los datos del mundo real son recopilados por el robot físico y transmitidos vía SSH a una estación de trabajo local, que reenvía el conjunto de datos a un clúster de Computación de Alto Rendimiento (HPC). El aprendizaje del modelo y la optimización de políticas se realizan utilizando una implementación basada en JAX sobre BRAX. Crucialmente, no se utiliza ningún modelo de simulación para el entrenamiento; el clúster HPC genera despliegues sintéticos a gran escala en paralelo utilizando el modelo de dinámicas aprendido, reemplazando la necesidad de un simulador físico.
• Inicialización: Para garantizar la seguridad y proporcionar transiciones informativas, el conjunto de datos del mundo real se inicia en caliente utilizando un minuto de datos recopilados conduciendo manualmente el robot con un controlador predictivo de modelo aproximado (AMPC) y una interfaz de joystick.

Contribuciones Clave

1. Aprendizaje en el Mundo Real sin Simulador: El trabajo demuestra que Infoprop Dyna puede permitir que un robot aprenda una política de control compleja directamente de interacciones del mundo real, evitando la necesidad de pipelines de simulación a realidad cuidadosamente diseñados.
2. Adquisición Rápida de Comportamiento Agresivo: El Mini Wheelbot aprende a competir alrededor de una pista fija dentro de los 11 minutos de experiencia en el mundo real, progresando desde movimientos conservadores hasta estrategias de carrera agresivas.
3. Descubrimiento de Estrategias No Triviales: La política aprendida descubre comportamientos complejos, como el deslizamiento controlado a altas velocidades para navegar curvas, lo cual es difícil de capturar utilizando simulaciones puramente basadas en física.
4. Arquitectura de Entrenamiento Distribuido: El artículo presenta un pipeline donde los tiempos de entrenamiento son comparables a los tiempos de recopilación de datos del mundo real mediante la paralelización masiva en HPC, en contraste con las pruebas anteriores donde el entrenamiento dominaba el tiempo de reloj.

Resultados
En una sola ejecución continua de entrenamiento, el agente completó con éxito su primera vuelta después de seis minutos de interacción en el mundo real. Para el minuto 11, el agente alcanzó su rendimiento máximo, completando múltiples vueltas con alta consistencia.

• Métricas de Rendimiento: El agente de carrera final alcanzó una velocidad promedio de 0.5 m/s y una velocidad máxima de 0.97 m/s. En comparación, la línea base AMPC inicial tuvo una velocidad promedio de 0.15 m/s y una velocidad máxima de 0.33 m/s.
• Eficiencia: El agente de carrera completó más de tres veces el número de vueltas que el agente AMPC.
• Diferencias Conductuales: Mientras que el AMPC se basó en efectos giroscópicos para reorientarse, el agente aprendido explotó el deslizamiento controlado para manejar curvas rápidas, permitiéndole adherirse más estrechamente a la línea central de la pista y mantener velocidades más altas.

Significado
El artículo afirma que estos resultados destacan el potencial práctico de Infoprop Dyna para cerrar la brecha entre la eficiencia de datos y el alto rendimiento final en sistemas robóticos reales. Al demostrar que un sistema subactuado y desafiante puede aprender comportamientos de carrera agresivos en minutos sin un simulador, el trabajo sugiere un camino viable hacia una adopción más amplia del aprendizaje por refuerzo basado en modelos en el mundo real. Los autores posicionan esto como un paso hacia la escalabilidad de tales métodos a arenas más grandes y diseños de pista arbitrarios, así como al desarrollo de interfaces modulares para una aplicación más amplia en sistemas robóticos.