💻 computer science

Sampling Strategies for Robust Universal Quadrupedal Locomotion Policies

Este artículo investiga y compara diversas estrategias de muestreo de ganancia conjunta, incluyendo el filtrado basado en el rendimiento y la aleatorización uniforme, para entrenar una única política de aprendizaje por refuerzo robusta para la locomoción cuadrúpeda universal que cierra con éxito la brecha sim-to-real mediante el despliegue zero-shot en el robot ANYmal.

Autores originales: David Rytz, Kim Tien Ly, Ioannis Havoutis

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: David Rytz, Kim Tien Ly, Ioannis Havoutis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un perro a caminar. Si solo entrenas a un diminuto Chihuahua, no sabrá cómo caminar como un Gran Danés. Si solo entrenas a un Gran Danés, podría tropezar con sus propias patas si de repente lo encoges.

Este artículo trata sobre enseñar a un cerebro de computadora (una IA) a controlar robots cuadrúpedos de todas las formas y tamaños diferentes, sin tener que reentrenar al cerebro cada vez que cambias el robot.

Aquí está el desgrecado de su descubrimiento, utilizando analogías sencillas:

El Problema: La trampa del "Talla única no le queda a nadie"

La mayoría de los controladores de robots son como trajes hechos a medida. Si diseñas un controlador para un robot específico (por ejemplo, un robot de 12 kg), funciona de maravilla. Pero si intentas poner ese mismo "traje" en un robot más pesado (como uno de 50 kg), se desmorona.

Para solucionar esto, los científicos suelen utilizar el Aprendizaje por Refuerzo (RL, por sus siglas en inglés). Piensa en esto como entrenar a un personaje de un videojuego dejándolo fallar miles de veces hasta que aprende los movimientos correctos. El problema es que, si solo entrenas al personaje en un tipo de cuerpo específico, se confunde cuando le das un cuerpo nuevo.

La Solución: La estrategia de la "Clase de Gimnasia"

Los autores se dieron cuenta de que, para crear un robot que pueda caminar con cualquier cuerpo, tienes que entrenarlo en una "clase de gimnasia" donde los robots cambian constantemente su peso, la longitud de sus patas y la fuerza de sus músculos.

Sin embargo, había un detalle: ¿Cómo cambias estos ajustes?

Si simplemente eliges ajustes al azar (como lanzar dados), podrías darle accidentalmente a un robot "supermúsculos" que son demasiado fuertes para sus articulaciones, o "músculos débiles" que no pueden moverlo. Esto es como decirle a un estudiante que corra un maratón con zapatos que son o bien de plomo o bien de gelatina. No funcionará.

Las tres estrategias que probaron

El equipo comparó tres formas de "mezclar" los ajustes del robot durante el entrenamiento:

El enfoque de la "Fórmula Matemática": Intentaron adivinar la fuerza muscular adecuada basándose en el peso del robot usando una línea matemática simple (como "robot más pesado = músculos más fuertes").
- Resultado: Funcionó aceptablemente para robots pequeños, pero falló estrepitosamente para los grandes. La fórmula matemática sugería fuerzas musculares demasiado agresivas, lo que causaba que el robot temblara violentamente o se rompiera.
El enfoque de "Azar Total": Simplemente eligieron números aleatorios para todo.
- Resultado: Esto fue mejor, pero a veces el robot recibía un "mal tiro" de los dados donde los ajustes eran imposibles de aprender.
El enfoque del "Entrenador Inteligente" (Su ganador): Este es su nuevo método. Imagina a un entrenador que observa al estudiante.
- Si el estudiante tiene dificultades, el entrenador dice: "Está bien, hagamos que los pesos sean ligeramente más ligeros para que le agarres el truco".
- Si el estudiante lo está haciendo de maravilla, el entrenador dice: "Está bien, vamos a hacerlo un poco más difícil para ver hasta dónde puede llegar".
- También utilizaron una técnica llamada Filtro de Partículas. Piensa en esto como mantener una lista de las "mejores sesiones de práctica". Si una combinación específica de peso y fuerza muscular funcionó bien, el entrenador la recuerda e intenta variaciones de esa configuración específica, en lugar de empezar desde cero cada vez.

El gran descubrimiento: Los ajustes de los "Músculos" importan más

El hallazgo más sorprendente tuvo que ver con las Ganancias PD. En el lenguaje de los robots, esto es básicamente la "rigidez" o el "reflejo" de las articulaciones del robot.

Los métodos antiguos intentaban calcular estos reflejos basándose en el peso. El artículo encontró que esto es peligroso. A menudo le decía al robot que fuera tan "rígido" que golpearía sus articulaciones contra el suelo, causando ruido y posibles daños.
Su método se dio cuenta de que para que un robot sea robusto (resistente), necesitas entrenarlo con ajustes de reflejos enormemente diferentes. Necesitas enseñarle a caminar con "piernas de gelatina" y "piernas de acero" para que, cuando llegue al mundo real, no le importe cómo se sientan sus piernas.

La prueba en el mundo real

Llevaron su IA, que solo había visto simulaciones (videojuegos), a un robot real llamado ANYmal (que pesa 50 kg).

El resultado: El robot caminó perfectamente.
La magia del "Zero-Shot": No le dijeron al robot: "Oye, ahora eres un robot de 50 kg". El robot nunca había visto un robot de 50 kg durante el entrenamiento. Simplemente sabía cómo caminar porque había sido entrenado en todas las variaciones posibles.
El extra: Incluso le pusieron una mochila de 13 kg al robot (haciéndolo más pesado de su límite de fabricación) y aun así caminó sin caerse.

Resumen

El artículo afirma que para construir un caminante de robots universal, no puedes usar simplemente una fórmula matemática sencilla para ajustar los "músculos" del robot. En su lugar, necesitas un sistema de entrenamiento inteligente y adaptativo que ajuste constantemente la dificultad y recuerde qué funcionó mejor. Esto permite que un solo cerebro de IA controle un robot diminuto, un robot gigante o un robot que carga una carga pesada, todo sin necesidad de ser reentrenado.

Resumen Técnico: Estrategias de Muestreo para Políticas de Locomoción Cuadrupedal Universal Robustas

Planteamiento del Problema
La creciente diversidad de robots cuadrúpedos comerciales, que van desde unidades ligeras (p. ej., A1 de 12 kg) hasta plataformas de trabajo pesado (p. ej., ANYmal de 50 kg), presenta un desafío de escalabilidad para el control de la locomoción. Los diseños de control existentes suelen estar adaptados a morfologías específicas, lo que requiere un reentrenamiento extensivo y un ajuste manual de parámetros cuando cambian la dinámica o la estructura del robot. Si bien el Aprendizaje por Refuerzo (RL) ha avanzado en la agilidad cuadrúpedal, una barrera significativa sigue siendo la obtención de políticas "universales" que se generalicen a través de diversas plataformas sin adaptación por cada robot. Un cuello de botella crítico es la brecha "sim-to-real": las políticas entrenadas en simulación a menudo fallan en el hardware, particularmente cuando la distribución de entrenamiento no cubre adecuadamente las variaciones físicas (masa, inercia, cinemática) y las ganancias del controlador (ganancias PD) de robots no vistos. Las estrategias de muestreo actuales para la aleatorización de dominio dependen a menudo de rangos uniformes fijos o mapeos simples dependientes de la masa, lo que puede no proporcionar la robustez suficiente para plataformas más grandes y pesadas, o puede derivar en ganancias de controlador inseguras durante el despliegue.

Metodología
Los autores proponen un marco para entrenar una política de locomoción de RL universal que se generalice a través de una amplia gama de morfologías cuadrúpedas y configuraciones de controladores. El núcleo de la metodología reside en la estrategia de muestreo para las configuraciones del robot y las ganancias de posición-derivada (PD) de las articulaciones durante la fase de entrenamiento.

Arquitectura de Control: El sistema utiliza una arquitectura de actor-crítico asimétrica basada en MorAL.
- Estimador (Rojo): Una red neuronal estima la velocidad lineal de la base y observa los parámetros morfológicos específicos del robot (masa, centro de masa, desplazamientos de los eslabones) a partir de un historial de estados.
- Actor (Azul): Genera posiciones deseadas de las articulaciones basadas en las velocidades estimadas, los parámetros de morfología y las posiciones nominales de las articulaciones. Estas posiciones se ejecutan mediante un controlador PD.
- Crítico: Recibe información privilegiada disponible solo en simulación (p. ej., estados de contacto de los pies, fricción, ganancias PD exactas) para guiar la política.
Generación de Configuraciones: El conjunto de entrenamiento se genera mediante la aleatorización de las propiedades cinemáticas y dinámicas de cuatro modelos de referencia (Unitree A1, Aliengo, ANYmal B, ANYmal C). Esto incluye el muestreo del centro de masa de la base, masas del cuerpo y geometrías de las patas (orientación de la rodilla).
Comparación de Estrategias de Muestreo: El artículo investiga tres enfoques fundamentales para el muestreo de las ganancias PD de las articulaciones y los parámetros de morfología:
- Mapeos Dependientes de la Masa: Funciones lineales o polinómicas que mapean la masa total del robot a las ganancias PD (similar a GenLoco y MorAL).
- Aleatorización Uniforme: Muestreo de ganancias de forma uniforme desde un rango fijo (similar a PAL y URMA).
- Filtrado Adaptativo Basado en el Rendimiento (Propuesto): Un novedoso enfoque de aprendizaje por currículo que ajusta dinámicamente el rango de muestreo basado en el rendimiento de la política. Esto implica:
  - Recorte Adaptativo (Adaptive Clipping): Ajuste del Rango de Muestreo (SR) de la aleatorización uniforme basado en la capacidad de la política para seguir los comandos de velocidad (umbrales de velocidad lineal y de velocidad cero).
  - Remuestreo por Filtro de Partículas: Uso de un filtro de partículas de Reimportancia Secuencial (SIR) para ponderar y remuestrear configuraciones. Se priorizan las configuraciones que producen un rendimiento de medio a alto para centrar el entrenamiento en conjuntos de parámetros "desafiantes pero resolubles".
  - Buffer de Repetición (Replay Buffer): Muestreo desde un buffer de configuraciones exitosas previas para evitar la degeneración del conjunto de parámetros.
Entrenamiento: Las políticas se entrenan utilizando Optimización de Política Próxima (PPO) en el entorno de simulación RaiSim. La función de recompensa fomenta el seguimiento de la velocidad, la estabilidad y la suavidad, mientras penaliza las colisiones y los torques excesivos en las articulaciones.

Contribuciones Clave

Muestreo de Morfología Novedoso: Introducción de un currículo adaptativo basado en filtros de partículas para el muestreo de morfologías de robots y parámetros de control, yendo más allá de la aleatorización uniforme fija.
Análisis de Ajuste de Ganancias PD: Un estudio comparativo que demuestra que la aleatorización significativa de las ganancias del controlador de las articulaciones es necesaria para una transferencia sim-to-real robusta, particularmente para plataformas más pesadas.
Despliegue en Hardware Zero-Shot: Despliegue exitoso de una única política en el robot ANYmal de 50 kg sin necesidad de ningún ajuste fino o adaptación, cubriendo una gama de morfologías no vistas (incluyendo una carga útil de 13 kg).

Resultos

Robustez en Simulación: La estrategia propuesta de filtro de partículas adaptativo logró consistentemente tasas de éxito ( $SR^*$ ) más altas bajo perturbaciones (fuerza en la base, cambios de fricción, variaciones de masa) en comparación con el muestreo uniforme fijo y los mapeos dependientes de la masa. Demostró regiones contiguas más grandes de rendimiento estable a través de combinaciones de ganancias PD, especialmente para la plataforma más grande, ANYmal.
Transferencia Sim-to-Real:
- Éxito: El método propuesto y la línea base PAL (muestreo uniforme con SR=1) fueron los únicos enfoques que lograron una marcha segura, estable y fiable en el hardware ANYmal.
- Fallo de Alternativas: Las estrategias de mapeo dependientes de la masa (GenLoco, ManyQuadrupeds) y el muestreo de rango estrecho (URMA) no lograron generalizarse al hardware. GenLoco y ManyQuadrupeds requirieron ganancias PD que excedían los límites de seguridad del hardware, provocando impactos en los actuadores y golpes mecánicos. MorAL y URMA (adaptativo) exhibieron un rendimiento degradado o inestabilidad en el hardware.
Métricas de Rendimiento: El método de filtro de partículas adaptativo logró un Error Cuadrático Medio (RMSE) en el seguimiento de la velocidad comparable al de la línea base PAL (p. ej., ~0.095 m/s para el rumbo, ~0.228 rad/s para el yaw). También mantuvo con éxito la locomoción con una carga útil adicional de 13 kg.

Significado y Reivindicaciones
El artículo sostiene que la barrera principal para la locomoción cuadrúpedal universal no es solo la arquitectura de la política, sino la estrategia de muestreo utilizada para exponer la política a diversas configuraciones durante el entrenamiento. Los autores demuestran que:

El muestreo uniforme fijo o los mapeos de ganancias simples dependientes de la masa son insuficientes para escalar a robots más pesados y complejos.
Una aleatorización significativa de las ganancias del controlador de las articulaciones es un requisito previo para cerrar la brecha sim-to-real.
Un currículo adaptativo basado en el rendimiento que reconfigura la distribución de las configuraciones de entrenamiento (centrándose en regímenes desafiantes pero resolubles) mejora significamente la robustez.
Este enfoque permite el despliegue zero-shot en plataformas de hardware que no fueron vistas explícitamente durante el entrenamiento, incluyendo robots de carga pesada que operan más allá de sus especificaciones nominales.

El trabajo concluye que, si bien la transferencia zero-shot a morfologías altamente fuera de la distribución sigue siendo un desafío, el muestreo adaptativo basado en el rendimiento mejora sustancialmente la robustez dentro de un rango amplio y prácticamente relevante de configuraciones cuadrúpedas.