💻 computer science

Koopman DCM: Unstable Eigenfunctions as Data-driven Representations for Legged Balancing

Este artículo propone un enfoque basado en datos para formular los Componentes Divergentes del Movimiento (DCMs) como autofunciones de Koopman inestables utilizando datos de robots reales, demostrando una mejora en el seguimiento de patrones de marcha y en las restricciones de viabilidad para el equilibrio bipedal.

Autores originales: Stéphane Caron

Publicado 2026-07-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Stéphane Caron

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

EL BORRADOR

El acto de equilibrio: Enseñando a los robots a mantenerse erguidos

Imagina intentar equilibrar un palo de escoba sobre la palma de tu mano. Es un truco clásico de fiesta, pero para un robot, es un cálculo de vida o muerte. Este es el mundo de la locomoción con patas, donde los científicos enseñan a máquinas con piernas —como bípedos o cuadrúpedos— a caminar sin volcarse. El desafío central es que estos robots son naturalmente inestables; la gravedad quiere tirarlos hacia abajo y ellos tienen que luchar constantemente para mantenerse erguidos.

Para resolver esto, los ingenieros suelen utilizar modelos mentales simplificados, como imaginar al robot como una masa puntual única sobre un palo (un "péndulo invertido lineal"). En este mundo simplificado, existe un "número mágico" especial llamado Componente Divergente del Movimiento (DCM). Piensa en el DCM como un indicador del "punto de inflexión". Si sabes dónde está el DCM, sabes exactamente cuánto se está inclinando el robot hacia una caída. Si puedes controlar el DCM, puedes mantener al robot en equilibrio. Sin embargo, estos modelos de la vieja escuela son como rueditas de entrenamiento: funcionan bien en el papel, pero a menudo no logran capturar la realidad desordenada y compleja de un robot real moviéndose sobre un suelo real. Dependen de suposiciones perfectas que rara vez existen en el mundo real.

La gran idea del artículo: Dejar que los datos hablen

Este artículo, titulado "Koopman DCM: Unstable Eigenfunctions as Data-driven Representations for Legged Balancing" (DCM de Koopman: Autofunciones inestables como representaciones basadas en datos para el equilibrio con patas), plantea una pregunta audaz: ¿Qué pasaría si no obligáramos al robot a ajustarse a nuestro modelo simplificado, sino que dejáramos que el propio robot nos enseñara su propia versión del "punto de inflexión"?

Los autores, liderados por Stéphane Caron, proponen una nueva forma de encontrar el DCM. En lugar de calcularlo basándose en una fórmula de libro de texto, utilizan una herramienta matemática llamada operador de Koopman para cazar "autofunciones inestables". En lenguaje sencillo, están buscando un patrón específico en los datos de movimiento del robot que crece rápidamente cuando el robot comienza a caerse. Llaman a este patrón un "Koopman DCM".

Aquí está el giro: la mayoría de los científicos que utilizan el operador de Koopman buscan patrones que se mantienen iguales o cambian lentamente (como un trompo que sigue girando). Pero el equipo de Caron buscó deliberadamente lo contrario: buscaron los patrones que crecen más rápido, aquellos que gritan "¡Me estoy cayendo!". Esto les permitió entrenar una red neuronal utilizando una hora de datos reales de un bípedo con ruedas llamado "Cookie". No necesitaron un modelo físico perfecto; solo necesitaron que el robot caminara, se tambaleara y se corrigera mientras grababa lo que sucedía.

Lo que encontraron: Un equilibrio más inteligente

Los resultados fueron impresionosos. Cuando probaron este nuevo DCM basado en datos en el robot real, superó al método tradicional basado en modelos.

Mejor seguimiento: Cuando se le pidió seguir una trayectoria de caminata ondulada, el robot que utilizaba el DCM aprendido cometió menos errores. En una prueba, siguió la trayectoria 2.4 veces mejor que el método antiguo.
Menos caídas: También realizaron pruebas en una simulación de un robot humanoide (el Unitree G1). Cuando utilizaron el DCM aprendido dentro de un sistema de "Control Predictivo Basado en Modelo" (un cerebro que planifica los pasos con antelación), el robot nunca se cayó en 90 ensayos. En contraste, el robot que utilizaba el método antiguo se cayó en el 33% de los ensayos en esa simulación específica.

El artículo demuestra que, al aprender directamente de la propia experiencia del robot, podemos crear un detector de "punto de inflexión" que es más preciso y robusto que el que diseñamos a mano.

El problema: No es magia (todavía)

Aunque los resultados son sólidos, los autores son cuidadosos de no exagerar. Admiten que su método toma algunas decisiones específicas para mantener la simplicidad. Por ejemplo, asumieron que las entradas de control del robot (como qué tan fuerte empuja sus ruedas) afectan el equilibrio de una manera lineal muy específica. En el mundo real y desordenado, esta relación podría ser más complicada. También señalan que, si bien su método funcionó de maravilla en un robot con ruedas en el mundo real, aún no lo han probado en un robot de caminata completo y complejo en el mundo real sin ruedas.

Además, los patrones "inestables" que encontraron son específicos para los datos que recolectaron. Si las piernas del robot fueran diferentes o el suelo fuera resbaladizo, probablemente necesitarían recolectar una nueva hora de datos para reentrenar el sistema.

Por qué es importante

Este trabajo es un paso hacia robots que puedan aprender a equilibrarse por sí mismos, en lugar de depender de que los ingenieros adivinen las ecuaciones físicas perfectas. Sugiere que si les damos a los robots las herramientas adecuadas para escuchar sus propios movimientos, pueden descubrir cómo mantenerse erguidos incluso cuando el mundo es desordenado e impredecible. Es un cambio de "enseñar a un robot las reglas de la física" a "dejar que el robot descubra las reglas de su propio equilibrio".

Resumen Técnico: Koopman DCM: Funciones Propias Inestables como Representaciones Basadas en Datos para el Equilibrio de Robots con Piernas

Planteamiento del Problema
El control del equilibrio de robots con piernas ha dependido históricamente de modelos de orden reducido, notablemente el Péndulo Invertido Lineal (LIP). En el marco del LIP, el Componente Divergente del Movimiento (DCM) actúa como una coordenada de control crítica que aisla el modo inestable del sistema. Sin embargo, las formulaciones de DCM existentes enfrentan dos limitaciones primarias:

Dependencia del Modelo: El DCM está definido estrictamente para modelos reducidos (como el LIP) y no se extiende naturalmente a la dinámica completa y no lineal de un robot real.
Desajuste de Parámetros: La frecuencia natural $\omega = \sqrt{g/h}$ utilizada en las formulaciones estándar de DCM se deriva de una altura teórica del centro de masa (CoM $h$ ). Este parámetro basado en modelos a menudo no logra capturar la verdadera dinámica de sistemas complejos y reales, lo que conduce a un rendimiento de control subóptimo.

El artículo aborda estos problemas reformulando el DCM no como una propiedad de un modelo reducido específico, sino como una función propia de Koopman de la dinámica completa del sistema, aprendible directamente a partir de datos de robots reales.

Metodología
Los autores proponen un flujo de trabajo basado en datos para aprender "Koopman DCMs" como funciones propias inestables. La metodología central involucra:

Reformulación Teórica:
- Los autores enmarcan la búsqueda de un DCM como un problema de búsqueda de funciones propias para el operador de Koopman.
- A diferencia de las aplicaciones típicas de Koopman que apuntan a autovalores cercanos a cero (cantidades conservadas), este trabajo busca deliberadamente autovalores inestables con autovalores positivos grandes ( $\omega > 0$ ).
- Para un sistema de tipo control-afín $\dot{x} = f(x) + B(x)u$ , la observable aprendida $\xi$ está restringida para satisfacer la ecuación diferencial lineal $\dot{\xi} = \omega(\xi - u)$ , imitando la estructura del DCM del LIP pero derivada de los datos.
Flujo de Aprendizaje:
- Entrada: El sistema utiliza un embebido de retardo de historias de mediciones-acciones ( $z_k$ ) en lugar de un espacio de estados predefinido.
- Arquitectura: Un Perceptrón Multicapa (MLP) aprende la observable $\xi_\theta$ .
- Funciones de Pérdida: El objetivo de entrenamiento combina dos componentes para evitar soluciones triviales (donde $\omega \to 0$ $ω \to 0$ y $\xi \to 0$ $ξ \to 0$ ):
  - Pérdida de Dinámica de DCM: Fuerza la recursión lineal $\xi_{k+1} = e^{\omega \delta t}\xi_k + (1 - e^{\omega \delta t})u_k$ .
  - Pérdida de Predicción del CoM: Fuerza la relación entre el DCM aprendido y la posición del CoM, asegurando que la observable aprendida ancle la dinámica estable del CoM.
- Extensión Temporal: Para evitar la convergencia hacia autovalores bajos en datos reales, los autores emplean Rastros de Elegibilidad (pérdida TD( $\lambda$ )), evaluando el codificador contra predicciones de múltiples pasos en lugar de solo residuos de un solo paso.
Aplicación de Control:
- Robot Real: El DCM aprendido se utiliza en un bucle de retroalimentación proporcional para seguir referencias del Punto de Momento Cero (ZMP) en un bípede con ruedas (Cookie).
- Simulación (MPC): El DCM aprendido sirve como la variable de estado en un marco de Control Predictivo basado en Modelo (MPC) para un humanoide (Unitree G1). La dinámica del DCM se utiliza para formular restricciones de viabilidad (asegurando que el robot permanezca dentro del polígono de soporte), las cuales se imponen como restricciones estrictas en la optimización.

Contribuciones Clave

Recategorización de los DCMs: El artículo enmarca los Componentes Divergentes del Movimiento como funciones propias inestables de Koopman, generalizando el concepto más allá de los modelos reducidos.
Entrenamiento Basado en Datos: Se propone un novedoso flujo de trabajo para aprender estas funciones propias directamente de los datos de lazo cerrado de mediciones-acciones sin requerir un modelo cinemático de orden reducido.
Despliegue en Robot Real: El método se despliega en un bípede físico, demostrando un seguimiento de patrones de marcha mejorado en comparación con las líneas base basadas en modelos.
Restricciones de Viabilidad: Los autores demuestran cómo los DCMs aprendidos pueden integrarse en un MPC para imponer restricciones de viabilidad basadas en el estado, mejorando la estabilidad en simulación.

Resultos

Rendimiento en Robot Real (Bípede Cookie):
- El sistema fue entrenado con 1 hora de datos de un robot real.
- En experimentos de seguimiento de ZMP con referencias sinusoidales, el DCM aprendido (con un horizonte de retardo $H=10$ ) superó significativamente al baseline cinemático del LIP.
- Específicamente, a una amplitud de 0.2, el DCM aprendido logró un Error Cuadrático Medio (RMSE) de 0.05, comparado con 0.12 para el baseline cinemático (una mejora de 2.4x).
- El controlador aprendido redujo consistentemente los errores de seguimiento a través de diversas amplitudes y periodos.
Rendimiento en Simulación (Unitree G1):
- En una simulación de equilibrio lateral, un controlador que utiliza el DCM aprendido dentro de un marco de MPC logró una tasa de caída del 0% en 90 ensayos.
- En contraste, un controlador de DCM proporcional (sin las restricciones de la función propia aprendida) resultó en una tasa de caída del 33% (30/90 ensayos) bajo las mismas condiciones desafiantes.
- El enfoque de MPC también redujo el error de seguimiento de ZMP (0.59 vs 0.73).

Significancia y Reivindicaciones
El artículo afirma que, al tratar los DCMs como funciones propias de Koopman basadas en datos, es posible eludir las limitaciones de los modelos de orden reducido. La significancia primaria radica en la capacidad de:

Aprender la Dinámica Específica del Sistema: El método captura los verdaderos modos inestables del robot directamente de los datos, en lugar de depender de parámetros teóricos como la altura del CoM.
Permitir un Control Robusto: Las observables aprendidas proporcionan una representación de estado más precisa para el control de retroalimentación y el análisis de viabilidad.
Evitar Problemas de Transferencia Sim-to-Real: Debido a que el flujo de trabajo entrena directamente sobre datos de lazo cerrado del robot real (o un simulador de alta fidelidad), evita los desafíos de adaptación de dominio que suelen asociarse con el entrenamiento en simulación y el despliegue en hardware.

Los autores mantienen la modestia respecto al alcance, señalando que la formulación actual asume un acoplamiento de entrada lineal específico ( $\dot{\xi} = \omega(\xi - u)$ ) y que trabajos futuros podrían explorar dinámicas bilineales más generales o modelos de altura variable.