💻 computer science

Closing the Loop on the Poppy Humanoid: Bipedal Locomotion with Linear-Quadratic Control and Learned Cost Functions

Este artículo presenta un controlador de marcha de bucle cerrado para el robot humanoide Poppy que utiliza un marco de Regulador Cuadrático Lineal (LQR) con una función de costo aprendida para lograr una locomoción bípeda fiable y sin asistencia, demostrando mejoras de rendimiento estadísticamente significativas sobre la reproducción de trayectorias de bucle abierto.

Autores originales: Xulin Chen, Borui He, Ruipeng Liu, Naveed Tahir, Zhenyu Gan, Garrett E. Katz

Publicado 2026-08-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xulin Chen, Borui He, Ruipeng Liu, Naveed Tahir, Zhenyu Gan, Garrett E. Katz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Caminar es una proeza de cálculo constante e invisible. Para un humano, es un flujo fluido de equilibrio, donde el cerebro y el cuerpo realizan miles de microajustes cada segundo para mantenernos erguidos. Para un robot, esta misma tarea es un acto precario de equilibrismo. El desafío no es solo mover las piernas, sino hacerlo sin volcarse, especialmente cuando la máquina está construida con piezas ligeras y económicas que no poseen los sensores perfectos o los motores potentes de un robot industrial de alta gama. Este es el rompecabezas específico que enfrentan los investigadores que trabajan con el Poppy Humanoid, un pequeño robot de código abierto diseñado para la educación y el estudio. Aunque el Poppy es una plataforma accesible para aprender sobre inteligencia artificial, históricamente ha tenido dificultades para caminar por sí solo. Sin la ayuda constante de un humano para estabilizarlo, el robot perdería rápidamente el equilibrio y caería, limitando su utilidad a una demostración en el aula en lugar de ser una verdadera máquina autónoma.

La dificultad central reside en el hardware del robot. Está hecho de extremidades de plástico impresas en 3D y depende de motores a los que solo se les puede indicar hacia dónde apuntar, no cuánta fuerza aplicar. Además, el robot carece de los sensores de alta velocidad que se encuentran en máquinas más caras, lo que significa que no puede "sentir" su camino a través de un paso en tiempo real. Los intentos previos de hacer caminar al Poppy consistieron en reproducir una secuencia de movimientos pregrabada, como una grabación de cinta. Este enfoque de bucle abierto funcionaba solo si el suelo era perfecto y el robot comenzaba en una posición perfecta. En el momento en que ocurría un error diminuto —un ligero tambaleo o un resbalón— el robot no tenía forma de corregirse, y el error se acumulaba hasta que el robot caía. La pregunta que enfrentaban los investigadores era si era posible enseñar a esta frágil y económica máquina a recuperarse de sus propios errores y caminar de manera fiable sin intervención humana.

Un equipo de investigadores de la Universidad de Syracuse se propuso resolver esto dotando al Poppy de una forma sencilla de autocorrección. En lugar de simplemente reproducir un guion fijo, construyeron un sistema que observa las articulaciones del robot en tiempo real y realiza pequeños ajustes inmediatos para mantenerlo en su trayectoria. Comenzaron grabando cientos de intentos de caminata, algunos exitosos y muchos que terminaron en una caída. Al analizar la diferencia entre los movimientos que funcionaron y los que fallaron, enseñaron a un programa informático a reconocer los signos tempranos de un traspié. El programa aprendió un conjunto de reglas que asignaba un "costo" a cada movimiento posible, donde un costo alto significaba un alto riesgo de caída. Luego, utilizó estas reglas para calcular la mejor corrección pequeña posible en cada momento, creando efectivamente una red de seguridad que el robot pudiera usar para mantenerse erguido.

Los resultados de este enfoque fueron sorprendentes. Cuando los investigadores probaron el robot en un entorno de oficina estándar, el método antiguo de reproducir un guion fijo permitió al robot completar un promedio de poco más de cuatro pasos antes de caer. Con el nuevo sistema de autocorrección, el robot logró caminar significativamente más lejos, promediando más de cinco pasos antes de una caída, y logró completar la secuencia completa de seis pasos en casi el 80 por ciento de los ensayos. La mejora fue aún más notable cuando los investigadores probaron el robot en una habitación diferente con un suelo liso, una superficie que nunca había visto. En este nuevo entorno, la tasa de éxito del método antiguo cayó al 30 por ciento, pero el nuevo sistema logró tener éxito el 42.5 por ciento de las veces. Esto demostró que el robot no solo estaba memorizando un camino específico, sino que había aprendido una capacidad general para equilibrarse frente a diferentes condiciones.

La clave de este éxito no fue un cerebro complejo y nuevo, sino una forma refinada de utilizar los datos que el propio robot ya generaba. Los investigadores no necesitaron construir nuevos sensores ni cambiar el diseño físico del robot. En su lugar, utilizaron un marco matemático conocido como regulador lineal-cuadrático, que es un método para encontrar el camino más eficiente hacia un objetivo minimizando los errores. Al alimentar el sistema con datos de los propios intentos fallidos del robot, pudieron enseñarle qué desviaciones del camino planeado eran peligrosas. El sistema aprendió a penalizar los movimientos que parecían que conducirían a una caída, dirigiendo al robot de vuelta hacia un centro estable. Esto permitió que el robot absorbiera pequeños choques y tambaleos que anteriormente habrían causado un colapso, convirtiendo una máquina rígida y quebradiza en una que podía adaptarse al mundo real.

Este trabajo representa un paso significativo hacia la robótica asequible. Demuestra que incluso un robot construido con piezas baratas y genéricas con sensores limitados puede lograr un movimiento autónomo y fiable si está equipado con el tipo de aprendizaje adecuado. Los investigadores demostraron que, al combinar una estrategia de control simple con el aprendizaje basado en datos, podían cerrar la brecha entre un robot que necesita que un humano le lleve de la mano y uno que puede caminar por sí mismo. Aunque el robot todavía se mueve lentamente y no ha dominado tareas complejas como girar o caminar a velocidad, la capacidad de caminar sin caerse es un requisito fundamental para cualquier aplicación futura. El estudio confirma que, con el software adecuado, las limitaciones del hardware de bajo costo pueden superarse, abriendo la puerta a robots más accesibles y capaces para la investigación y la educación.

Resumen Técnico: Cerrando el Bucle en el Humanoide Poppy

Planteamiento del Problema
El Humanoide Poppy es un robot de tamaño infantil, de código abierto y bajo costo, ampliamente utilizado para la investigación en IA y la educación. A pesar de su accesibilidad, la configuración de hardware estándar presenta desafíos significativos para la locomoción bipedal autónoma. Estas limitaciones incluyen el control de motores basado únicamente en posición con bajas tasas de actualización (muy por debajo de 100 Hz), superficies de contacto del pie pequeñas, articulaciones de tobillo de un solo eje y la falta de sensores de presión integrados o unidades de medida inercial (IMU), lo que resulta en un estado parcialmente observable. En consecuencia, los autores desconocen cualquier metodología publicada que logre una locomoción bipedal fiable y sin asistencia en el hardware estándar de Poppy; los intentos previos requirieron intervención humana (sujetar las manos del robot) o modificaciones significativas de hardware. Este artículo aborda el desafío de lograr una locomoción bipedal fiable y autónoma en el hardware estándar y sin modificaciones de Poppy.

Metodología
Los autores proponen un marco de control de bucle cerrado que combina un Regulador Lineal-Cuadrático (LQR) con una función de costo aprendida a partir de datos. La metodología se desarrolla a través de cuatro etapas principales:

Diseño de la Trayectoria Nominal: Se estableció una trayectoria de marcha nominal mediante una combinación de análisis cinemático, optimización de trayectorias y un extenso ajuste manual. Debido a la dificultad de transferir trayectorias optimizadas en simulación al hardware físico (probablemente debido a errores de modelado y al control de posición de baja frecuencia), la trayectoria final se refinó empíricamente. Esta trayectoria utiliza todos los motores de las piernas y un subconjunto de los motores del torso/brazos, operando a una tasa de control de aproximadamente 5 Hz.
Recolección de Datos en Bucle Abierto: El equipo recolectó un conjunto de datos de 125 ejecuciones de hardware en bucle abierto. Cada ejecución ejecutaba una trayectoria de seis pasos. Para explorar la dinámica del sistema cerca de la trayectoria nominal, se añadieron perturbaciones gaussianas independientes a los ángulos articulares objetivo. Las ejecuciones fueron etiquetadas manualmente como "éxito" o "fallo" basándose en el número de pasos completados antes de una caída. El análisis de estos datos reveló que las ejecuciones de fallo exhibían una acumulación gradual de error, con las observaciones de las articulaciones desviándose más allá del centro de las ejecuciones exitosas.
Identificación del Sistema y Aprendizaje de la Función de Costo:
- Dinámica: La dinámica del sistema linealizado ( $A_n, B_n$ ) alrededor de la trayectoria nominal se estimó utilizando un ajuste lineal de mínimos cuadrados sobre los datos de bucle abierto. El vector de estado se construyó interpolando las mediciones de las articulaciones entre los puntos de referencia (waypoints) de comando.
- Función de Costo: Se aprendió una función de costo cuadrática ( $J$ ) para el controlador LQR mediante un problema de optimización convexa (específicamente, un programa semidefinido). El objetivo era minimizar la desviación de las matrices de costo respecto a la matriz identidad (manteniendo al robot cerca de la trayectoria nominal) mientras se satisfacían las restricciones que aseguran que las trayectorias de caída incurran en un costo promedio por unidad de tiempo estrictamente mayor que las trayectorias exitosas. Este enfoque maneja implícitamente la asignación de crédito, distinguiendo entre estados estables e inestables sin requerir etiquetas explícitas de tiempo de caída.
Ejecución de Bucle Cerrado: Durante la operación, el controlador LQR calcula una ley de control lineal óptima ( $\delta u^*_n = K_n \delta x_n$ ) para llevar los residuales del sistema hacia cero. El controlador emite pequeños ajustes en línea a los puntos de referencia objetivo para contrarrestar la acumulación de error.

Contribuciones Clave

Marcha Fiable en el Poppy Estándar: El artículo presenta una metodología para lograr una locomoción bipedal fiable y sin asistencia en el Humanoide Poppy estándar y comercial, abordando un vacío donde anteriormente no se conocía ninguna metodología publicada.
Aprendizaje de la Función de Costo Basado en Datos: Los autores introducen una novedosa formulación de optimización convexa para aprender una función de costo cuadrática directamente de los datos de hardware en bucle abierto. Este método penaliza eficazmente los estados asociados con la caída mientras mantiene la proximidad a la trayectoria nominal.
Robustez ante las Limitaciones de Hardware: El enfoque compensa con éxito las limitaciones inherentes de la plataforma Poppy, incluyendo las bajas frecuencias de control, el control basado únicamente en posición y la observabilidad de estado parcial.

Resultos
La metodología fue validada mediante extensos experimentos de hardware comparando el controlador LQR de bucle cerrado propuesto contra la reproducción de trayectoria en bucle abierto.

Entorno de Oficina: El controlador de bucle cerrado logró una tasa de éxito del 78% (promedio de 5.13 pasos antes de la caída) en comparación con el 62% (promedio de 4.18 pasos) para el control de bucle abierto. Esta mejora es estadísticamente significativa ( $p = 0.00225$ ).
Entorno de Laboratorio (Generalización): Probado en una superficie de suelo diferente (liso vs. alfombrado) no utilizada en el entrenamiento, el controlador de bucle cerrado mejoró la tasa de éxito del 30% al 42.5% y el promedio de pasos de 3.75 a 4.8 ( $p = 0.00014$ ).
Análisis de Estabilidad: El análisis de estabilidad de la dinámica de bucle cerrado confirmó que los ajustes de hiperparámetros específicos ( $\epsilon = -2.0$ ) eran necesarios para asegurar que el controlador permaneciera estable, evitando las matrices de costo singulares que surgen con restricciones más estrictas.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como un "primer paso" hacia una locomoción bipedal fiable y versátil en la plataforma estándar de Poppy. Reivindican que su método demuestra una mejora estadísticamente significativa en el rendimiento de la marcha, haciendo que el robot Poppy de bajo costo sea una plataforma más viable para investigadores y educadores enfocados en el software en lugar de la modificación de hardware. El artículo enfatiza que todos los datos y el código necesarios para reproducir los resultados son de código abierto.

Los autores mantienen la modestia respecto a las implicaciones futuras, señalando que, si bien el controlador puede dar pasos y evitar caídas, aún no ha optimizado otras propiedades de la marcha, como la velocidad de avance, el radio de giro o el costo de transporte. Sugieren que el trabajo futuro podría integrar métodos de identificación de sistemas más sofisticados, utilizar datos de sensores adicionales (por ejemplo, temperaturas de las articulaciones, video RGB) y, potencialmente, optimizar estas métricas de marcha adicionales utilizando aprendizaje por refuerzo condicionado por objetivos o análogos de la teoría de control.

Más como este