🤖 machine learning

Learning Fault-Tolerant Locomotion with Adaptive Gait Timing

Este artículo presenta un marco de aprendizaje por refuerzo profundo que permite a un robot cuadrúpedo de 68 kg mantener una locomoción estable ante la pérdida de potencia del actuador mediante el uso de una arquitectura actor-crítico asimétrica con alineación latente y un parámetro de frecuencia de marcha aprendible para reorganizar adaptativamente la coordinación sin estrategias de falla predefinidas.

Autores originales: Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

Publicado 2026-08-10

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots no son solo máquinas rígidas y toscas que dejan de funcionar en el momento en que tropiezan o se rompe una pieza. En su lugar, imagina que son atletas resilientes, capaces de tropezar, darse cuenta de que un músculo está débil e instantáneamente idear una nueva forma de correr sin caerse. Este es el sueño de la "robótica de patas", un campo donde los científicos enseñan a máquinas con patas —como perros o caballos— a caminar a través de lugares desordenados del mundo real como escombros, bosques o calles urbanas irregulares. ¿El gran desafío? Cuando el motor de la pata de un robot falla (tal vez pierde potencia o se queda atascado), el robot no puede simplemente seguir haciendo lo que estaba haciendo. Tiene que reorganizar todo su cuerpo, cambiando su peso y la forma en que da el paso, todo en una fracción de segundo. Esto es especialmente difícil para los robots pesados; a diferencia de un pequeño robot de juguete que puede rebotar frenéticamente para corregir un error, un robot pesado es como un luchador de sumo intentando bailar. Si se mueve demasiado rápido o agresivamente, podría volcarse. Así que la pregunta es: ¿Cómo enseñamos a un robot pesado a ser un bailarín elegante y adaptativo incluso cuando una de sus patas está lesionada?

Este artículo presenta una solución ingeniosa utilizando un tipo de inteligencia artificial llamada "aprendizaje por refuerzo profundo". Piensa en esto como un método de entrenamiento de videojuegos donde el robot aprende mediante ensayo y error, pero con un giro especial. Los investigadores enseñaron a un robot cuadrúpedo de 6 de 68 kg (llamado Kyon) a seguir caminando incluso cuando uno de sus motores perdía repentinamente toda la potencia. No se limitaron a decirle al robot: "Si tu pata izquierda se rompe, haz X". En su lugar, dejaron que el robot lo descubriera por su cuenta. La clave fue una configuración de entrenamiento donde el "cerebro" del robot (el actor) tenía que adivinar qué estaba mal basándose únicamente en cómo sentía su propio cuerpo (propiocepción), mientras que su "entrenador" (el crítico) conocía la verdad exacta durante la práctica. Al obligar al cerebro a imitar la comprensión del entrenador, el robot aprendió a inferir sus propias lesiones simplemente sintiendo la diferencia en sus movimientos.

El equipo descubrió que simplemente decirle al robot dónde poner los pies no era suficiente. Añadieron un control especial de "frecuencia de marcha" al control del robot, permitiéndole acelerar o ralentizar su ritmo de paso sobre la marcha. Esto resultó ser un cambio radical. Cuando una pata fallaba, el robot no solo cojeaba; ajustaba dinámicamente su tiempo, a veces cambiando a un trote de tres patas o cambiando la longitud de su zancada para mantener el equilibrio. Probaron esto en simulaciones de alta fidelidad en terrenos accidentados y escalonados, e incluso en un suelo real y plano con el robot real de 68 kg. Los resultados mostraron que el robot podía sobrevivir a fallos repentinos de los motores, manteniendo su equilibrio y continuando el movimiento sin necesidad de un "plan de lesión" preprogramado.

He aquí cómo funciona la magia, desglosada en conceptos cotidianos:

El juego de "Profesor-Estudiante"
Imagina que estás aprendiendo a montar en bicicleta con ruedines, pero tu profesor puede ver un mapa oculto de la carretera que tú no puedes ver. En el método del artículo, el "crítico" es el profesor que lo ve todo: la posición exacta del robot, el terreno e incluso qué motor está roto. El "actor" es el estudiante que solo siente el viento y el manillar (los sensores del robot). Durante el entrenamiento, el profesor guía al estudiante, pero el estudiante tiene que aprender a adivinar lo que el profesor ve simplemente sintiendo la bicicleta. Los investigadores añadieron una regla especial: la "suposición" del estudiante (un mapa mental oculto) debe coincidir lo más posible con el mapa del profesor. Esto obliga al robot a volverse increíblemente sensible a los pequeños cambios en su propio cuerpo que señalan un motor roto, permitiéndole reaccionar sin que nadie le diga: "¡Oye, tu pata está rota!".

El Ritmo Adaptativo
La mayoría de los robots caminan siguiendo un ritmo estricto, como una banda de música de marcha. Si una pata se rompe, un robot de banda de marcha podría intentar mantener el mismo ritmo, lo que generalmente conduce a un accidente. El robot de este artículo, sin embargo, aprendió a ser un baterista de jazz. Los investigadores le dieron al robot una "acción de frecuencia de marcha", que es como un mando de volumen para su velocidad de paso. Cuando el robot detectaba un problema (como la pérdida de potencia de un motor), no entraba en pánico; ajustaba su tempo. Si estaba apoyado en una sola pierna (apoyo simple), aceleraba su ritmo para poner el siguiente pie rápidamente. Si estaba en dos piernas (apoyo doble), se ralentizaba para ser más estable. Esta flexibilidad permitió al robot pesado redistribuir su peso de forma segura, algo que los robots rígidos y preprogramados a menudo no logran hacer.

El Desafío de los Pesados
¿Por qué es esto importante para un robot de 68 kg? El artículo señala que los robots pesados son diferentes de los diminutos que se ven a menudo en los laboratorios. Un robot pequeño puede rebotar y recuperarse rápidamente, pero un robot pesado tiene más inercia y límites más estrictos sobre cuánta fuerza pueden manejar sus motores. Si un robot pesado intenta hacer una corrección repentina y agresiva, podría romper sus propios componentes o caerse. Los investigadores descubrieron que las estrategias "agresivas" que funcionan para los bots pequeños no se trasladan a los grandes. En su lugar, la clave fue el "tiempo de marcha adaptativo". Al permitir que el robot cambie cuándo da el paso, en lugar de solo dónde, pudo mantener la estabilidad sin necesidad de ser un superhéroe.

Lo que Encontraron (y lo que No Encontraron)
Los experimentos, realizados en una simulación informática súper precisa y en un robot real, demostraron que este método funciona. El robot pudo gestionar la pérdida repentina de potencia en cualquiera de sus 12 articulaciones. Curiosamente, el robot descubrió que los fallos en la articulación de la rodilla eran los más difíciles de gestionar, obligándolo a menudo a cambiar a una marcha de "trípode" de tres patas. Los investigadores también probaron cuánta "memoria" necesitaba el robot. Descubrieron que mirar hacia atrás solo unos pocos pasos en el tiempo (un historial de 3 pasos) era suficiente para que el robot comprendiera qué estaba mal; mirar más atrás no ayudaba mucho más.

Sin embargo, hay límites para este éxito. El robot fue probado en un terreno plano en el mundo real y en un terreno irregular y escalonado en la simulación. No tenía una cámara o LiDAR para "ver" el suelo en las pruebas del mundo real; dependía totalmente de sus sensores internos y de un mapa de altura del terreno precargado. El artículo sugiere que añadir un sistema de percepción real (como una cámara) para ver el suelo en tiempo real sería el siguiente paso lógico, pero eso no formaba parte de este estudio específico. Además, aunque el robot sobrevivió a la caída y siguió caminando, el estudio se centró en la locomoción (caminar), no en cómo el robot se levantaría si realmente se cayera.

En resumen, este artículo sugiere que, al enseñar a los robots a "escuchar" sus propios cuerpos y ajustar su ritmo de marcha sobre la marcha, podemos crear robots pesados y prácticos que sean lo suficientemente resistentes como para manejar piezas rotas sin necesidad de una intervención manual. Es un paso hacia máquinas que no solo siguen órdenes, sino que se adaptan como seres vivos cuando las cosas salen mal.

Resumen Técnico: Aprendizaje de Locomoción Tolerante a Fallos con Temporización de Marcha Adaptativa

Planteamiento del Problema
Los robots con patas desplegados en entornos no estructurados enfrentan un alto riesgo de fallos de hardware, tales como la pérdida de potencia de los actuadores o el bloqueo de las articulaciones. Si bien el Aprendizaje por Refuerzo profundo (RL) ha mostrado resultados prometedores en el control tolerante a fallos, los enfoques existentes enfrentan dos limitaciones primarias al escalar a plataformas más pesadas (por ejemplo, cuadrúpedos de 68 kg). Primero, muchos métodos dependen de generadores de marcha predefinidos o estrategias específicas para las patas con fallos, lo que restringe la capacidad de la política para explotar plenamente las capacidades de actuación restantes y adaptarse a terrenos complejos. Segundo, la mayoría de las validaciones experimentales se limitan a robots pequeños en terrenos llanos o ligeramente irregulares. Los robots más pesados poseen mayor masa e inercia, lo que amplifica el acoplamiento dinámico y estrecha los márgenes de actuación, haciendo que las estrategias de compensación agresivas y de alta frecuencia sean menos factibles. En consecuencia, existe la necesidad de una política de control que pueda reorganizar autónomamente la coordinación y la temporización de la marcha bajo la degradación de los actuadores sin depender de conocimiento explícito del fallo o de estrategias de recuperación predefinidas.

Metodología
Los autores proponen un marco de RL profundo basado en una arquitectura de actor-crítico asimétrica entrenada mediante Optimización de Política Próxima (PPO). El objetivo central es permitir que un robot mantenga la estabilidad y la movilidad ante una pérdida repentina de potencia de los actuadores en terreno irregular.

Actor-Crítico Asimétrico con Alineación Latente: El entrenamiento utiliza información privilegiada (incluyendo la máscara de fallo de la articulación real y datos de terreno sin ruido) disponible únicamente para el crítico. El actor, que sirve como el controlador desplegable, recibe solo observaciones propioceptivas y un historial de estados pasados. Para cerrar la brecha entre el crítico privilegiado y el actor propioceptivo, los autores introducen una pérdida de alineación latente auxiliar. Esta pérdida incentiva al codificador del actor a reconstruir una representación latente de la información privilegiada a partir de su historial propioceptivo, asegurando que el actor aprenda a inferir las condiciones de fallo de forma implícita.
Temporización de Marcha Adaptativa: A diferencia de los enfoques tradicionales que solo emiten objetivos de posición de articulación, el espacio de acción se aumenta con un parámetro de frecuencia de marcha ( $a^\nu_t$ ) aprendible. Este escalar de acción modula la frecuencia de paso de un patrón de marcha de referencia. Esto permite que la política regule autónomamente la temporización del paso y la programación de contactos en respuesta a las variaciones del terreno y la degradación de los actuadores, en lugar de adherirse a un ciclo de marcha fijo.
Espacios de Observación y Acción: La política opera a 50 Hz, emitiendo desviaciones de ángulo de articulación y el término de frecuencia de marcha. El espacio de observación incluye datos propioceptivos (ángulos de articulación, velocidades, velocidad de la base, acciones previas) y mapas de altura del terreno. Crucialmente, el actor procesa un historial de $H$ observaciones propioceptivas para inferir el estado del sistema.
Currículo de Entrenamiento: El entrenamiento emplea una estrategia de currículo donde la severidad del fallo (modelada como el escalado de la eficiencia de torque) se incrementa progresivamente basándose en el rendimiento de seguimiento de la política. Esto asegura que el agente primero aprenda a manejar fallos parciales antes de enfrentarse a una pérdida total de potencia.

Contribuciones Clave

Locomoción Consciente de Fallos desde Sensores No Conscientes de Fallos: El artículo presenta un procedimiento de entrenamiento de una sola etapa donde una pérdida de alineación latente permite al actor reconstruir representaciones de fallos privilegiadas únicamente a partir del historial propioceptivo, eliminando la necesidad de módulos explícitos de estimación de fallos o etiquetas de fallo reales durante el despliegue.
Temporización de Marcha Adaptativa: Al aumentar el espacio de acción con una frecuencia de marcha aprendible, el método permite la modulación dinámica de la temporización del paso. Esto permite que el robot adapte su programa de contactos a las condiciones de fallo y a la geometría del terreno sin estrategias de pata fallida predefinidas.
Análisis del Historial de Observación: El trabajo investiga el impacto de la longitud del historial de observación en la capacidad de la política para inferir fallos, demostrando que un historial corto es suficiente para una reconstrucción latente efectiva.
Validación Sim-to-Real en Plataformas Pesadas: El enfoque se valida mediante simulación de alta fidelidad en terreno irregular y a través de experimentos en el mundo real en un robot cuadrúpedo de 68 kg (Kyon), abordando los desafíos de escalabilidad que a menudo se pasan por alto en estudios previos de robots pequeños.

Resultados Experimentales
El método propuesto fue evaluado contra varios modelos base, incluyendo un "Oráculo" (acceso privilegiado total), una versión sin alineación latente y una versión sin historial de observación.

Rendimiento en Simulación: El método completo propuesto logró el rendimiento más cercano al Oráculo, superando significativamente a las variantes carentes de alineación latente o historial de observación. La política demostró robustez ante la pérdida aleatoria de potencia de los actuadores en diferentes articulaciones (hip roll, hip pitch, knee pitch) y posiciones de las patas.
Generalización: En pruebas de Sim-to-Sim utilizando el middleware XBot2 para replicar los retrasos de comunicación del mundo real, la política se generalizó a perfiles de terreno no vistos, incluyendo dimensiones de escalones novedosas y rampas con gradientes de hasta 13°.
Validación en el Mundo Real: Se demostró la transferencia zero-shot sim-to-real en terreno llano. El robot Kyon de 68 kg mantuvo con éxito la locomoción y recuperó la estabilidad tras un fallo repentino de pérdida de potencia en la articulación knee pitch de la pata trasera izquierda.
Estudios de Ablación:
- Longitud del Historial: Aumentar el historial propioceptivo de $H=1$ a $H=2$ produjo las ganancias de rendimiento más significativas, con rendimientos decrecientes más allá de $H=3$ .
- Frecuencia de Marcha: Las comparaciones con un controlador de "marcha libre" (que solo emite posiciones de articulación) mostraron que el parámetro de frecuencia aprendible resultó en patrones de marcha más estables y periódicos, así como aceleraciones de articulación más suaves, particularmente durante las fases de apoyo simple bajo condiciones de fallo.

Significancia y Reivindicaciones
El artículo sostiene que, para robots con patas más pesados, las estrategias reactivas rápidas efectivas en plataformas ligeras suelen ser inviables debido a los límites de actuación más estrictos y al fuerte acoplamiento dinámico. Por lo tanto, la temporización de marcha adaptativa se presenta como un mecanismo crítico para la tolerancia a fallos bajo una actuación degradada. Al aprovechar la información del terreno y modular la frecuencia de la marcha, la política propuesta logra una locomoción robusta sin depender de un modelado de recompensa restrictivo o de estrategias de fallo predefinidas. El trabajo demuestra que una sola política puede identificar eficazmente las condiciones de fallo y reorganizar la coordinación, cerrando la brecha entre la simulación y la realidad para cuadrúpedos de tamaño medio a pesado en entornos no estructurados. Se identifica como trabajo futuro la integración de la percepción a bordo para la reconstrucción del terreno y la extensión del marco a sistemas de recuperación de caídas y sistemas híbridos de ruedas y patas.

Más como este