⚡ electrical engineering

Ground-JEPA: Learning Physically Grounded Latent World Models for Zero-Shot Dynamics Generalization of Legged Robots

Ground-JEPA introduce un modelo de mundo latente mínimo y fundamentado en la física que logra una generalización de la dinámica de cero disparos (zero-shot) y un rendimiento de control superior para robots con patas en entornos de altos grados de libertad sin depender de recompensas específicas de la tarea, desafiando así el supuesto de que el aprendizaje libre de recompensas es inherentemente inferior para sistemas robóticos complejos.

Autores originales: Yu-Xiang Wu, Yuyan Wu

Publicado 2026-07-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yu-Xiang Wu, Yuyan Wu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El compás interno del robot

Imagina intentar enseñarle a un robot a caminar a través de un campo rocoso. Podrías darle un conjunto estricto de reglas, como "levanta el pie exactamente 10 centímetros", pero el mundo real es caótico; las rocas se desplazan, el suelo es resbaladizo y las piernas del robot podrían ser ligeramente más pesadas de lo esperado. Este es el desafío del control de robots con patas: lograr que las máquinas se muevan de forma fluida y segura en entornos impredecibles. Durante mucho tiempo, los científicos han intentado resolver esto construyendo "modelos de dinámica", esencialmente un mapa mental dentro del robot que predice qué sucederá después si se mueve de cierta manera.

Tradicionalmente, estos mapas mentales se construían recompensando al robot por hacer cosas buenas (como mantenerse erguido) y castigándolo por las malas (como caerse). Esto se llama aprendizaje basado en recompensas. Sin embargo, hay un inconveniente: si el robot comete un error minúsculo en su predicción, ese error puede acumularse con el tiempo, como una bola de nieve rodando por una colina, hasta que el mapa mental del robot sea completamente erróneo y este se estrelle. Otro enfoque, llamado Arquitecturas de Predicción de Incrustación Conjunta (JEPAs), intenta saltarse los detalles complicados del mundo real. En lugar de predecir exactamente dónde estará cada píxel de la cámara del robot, predice una versión comprimida de "resumen" o "latente" del futuro. Piensa en ello como un músico que predice la siguiente nota de una canción sintiendo el ritmo, en lugar de calcular la vibración exacta del aire. La gran pregunta que los científicos se han estado haciendo es: ¿Puede un robot aprender a caminar perfectamente comprendiendo solo este ritmo interno, sin necesidad de un maestro que le diga constantemente "buen trabajo" o "inténtalo de nuevo"?

Ground-JEPA: El robot que aprendió a caminar sintiendo el ritmo

Un equipo de investigadores ha presentado un nuevo sistema llamado Ground-JEPA, que sugiere que los robots podrían no necesitar elogios o castigos constantes para aprender movimientos complejos. En su lugar, pueden aprender simplemente tratando de mantener su "sensación" interna del futuro consistente con la realidad.

Imagina a un robot aprendiendo a caminar no porque se le diga "no te caigas", sino tratando de asegurar que su sentido interno de "hacia dónde voy" coinca con su movimiento real. En este nuevo sistema, el robot no intenta reconstruir un video perfecto del futuro. En su lugar, comprime su experiencia en un "espacio latente" diminuto y eficiente: una especie de taquigrafía mental abstracta. El truco central aquí es una sonda inspirada en la física. Aunque el mapa interno del robot es abstracto, esta sonda actúa como un traductor, convirtiendo esos pensamientos abstractos de nuevo en la física del mundo real como posición, velocidad y orientación. Es como tener un robot que piensa en conceptos puros, pero tiene un traductor integrado que asegura que esos conceptos sigan obedeciendo las leyes de la gravedad y el momento.

Los investigadores descubrieron que el secreto para que esto funcionara no era solo la traducción, sino el horizonte de planificación. Los intentos anteriores fallaron porque el robot solo miraba unos pocos pasos adelante, como intentar caminar mirando únicamente tus propios dedos de los pies. El sistema Ground-JEPA obliga al robot a mirar mucho más allá, específicamente 12 pasos hacia el futuro. Esto es crucial porque un ciclo completo de caminata (una marcha) dura aproximadamente eso. Al observar el ciclo completo, el robot puede ver el "panorama general" de su movimiento, en lugar de solo optimizar el siguiente paso diminuto. Esto permite al sistema aprender patrones de marcha estables puramente mediante la auto-supervisión, lo que significa que aprende verificando si sus predicciones internas son consistentes, sin necesidad de recompensas externas.

Los resultados de sus simulaciones son bastante sorprendentes. En un robot cuadrúpedo simulado, este sistema libre de recompensas alcanzó una puntuación de desempeño de 510 ± 68, que fue de hecho mejor que el sistema tradicional basado en recompensas, que obtuvo 450 ± 234. Aún más impresionante, lograron aplicar esto con éxito a un robot humanoide simulado (un robot con un cuerpo similar al humano) por primera vez, logrando una puntuación de 350 ± 50 sin ninguna señal de recompensa. El método tradicional falló por completo en el humanoide en esta configuración.

Uno de los hallazgos más emocionantes es qué tan bien maneja este sistema los cambios "extremos". Los investigadores probaron al robot en escenarios donde la física se alteró drásticamente: la masa del robot cambió en un ±30%, la fricción del suelo se multiplicó por 2.5 o se redujo a 0.4, y hubo un retraso de 50 ms en los motores. En un escenario compuesto donde todos estos cambios ocurrieron a la vez, el modelo Ground-JEPA mantuvo el 78% de su desempeño original. En contraste, un modelo tradicional basado en recompensas, incluso cuando se entrenó con variaciones aleatorias, solo mantuvo el 21% de su desempeño. Esto sugiere que, al aprender el "manifold" o la forma fundamental del movimiento, el robot se vuelve mucho más robusto a los cambios en el mundo.

El equipo también descubrió que el tamaño del modelo no necesitaba ser masivo. Todo este sistema se ejecuta en una GPU de una computadora portátil y utiliza solo alrededor de 1.3 millones de parámetros, lo cual es diminuto comparado con otros modelos de IA masivos que requieren miles de millones de parámetros. Demostraron que el "colapso" (donde el robot deja de aprender) visto en estudios previos no se debía a que el método fuera defectuoso, sino a que el robot estaba usando el tipo de mapa interno incorrecto (específicamente, un mapa normalizado llamado SimNorm) y mirando demasiado lejos hacia adelante sin la estructura adecuada. Al usar representaciones latentes puras y el horizonte de planificación correcto, el sistema funciona maravillosamente.

Sin embargo, los autores advierten cuidadosamente que estos resultados se basan actualmente en simulaciones. Si bien el robot aprendió a caminar en un mundo virtual con cambios extremos, el sistema aún no ha sido probado en un robot físico en el mundo real. Además, aunque resolvieron el problema de un humanoide manteniéndose quieto, lograr que un humanoide camine dinámicamente sobre dos piernas sigue siendo un desafío debido a la compleja física de mantener el equilibrio sobre un pie.

En última instancia, Ground-JEPA sugiere un nuevo camino para la robótica: en lugar de pasar meses diseñando funciones de recompensa perfectas para enseñar a un robot a caminar, podríamos simplemente enseñarle a mantener su ritmo interno consistente con las leyes de la física. Esto podría democratizar el control robótico avanzado, permitiendo que laboratorios más pequeños con computadoras portátiles estándar construyan robots que puedan adaptarse al mundo real sin necesidad de supercomputadoras masivas o un sinfín de ensayos y errores de recompensa.

Resumen Técnico: Ground-JEPA

Declaración del Problema

Los modelos de dinámica precisos son esenciales para el control basado en modelos de robots con patas, particularmente para tareas que requieren una planificación de largo horizonte para asegurar la estabilidad y prevenir caídas. Sin embargo, los enfoques actuales de redes neuronales suelen depender de la predicción autorregresiva en el espacio de estados, lo que conduce a una acumulación significativa de errores con el tiempo. Además, los intentos previos de aplicar Arquitecturas Predictivas de Embebido Conjunto (JEPA, por sus siglas en inglés) a la robótica se han enfrentado a dos obstáculos principales:

Escalabilidad: Las implementaciones exitosas de JEPA (por ejemplo, V-JEPA) han requerido un preentrenamiento masivo a escala de modelos fundacionales (miles de millones de parámetros), lo que las hace inaccesibles para laboratorios con recursos limitados.
Limitaciones de la ausencia de recompensa (Reward-Free): Investigaciones previas sugirieron que el aprendizaje sin recompensa mediante consistencia latente se degrada severamente en entornos de altos grados de libertad (DoF) (por ejemplo, cuadrúpedos y humanoides), lo que llevó a la hipótesis de que la consistencia latente es fundamentalmente sub-determinada para dinámicas complejas.

Metodología

Los autores presentan Ground-JEPA, un modelo de mundo latente mínimo (~1.3 millones de parámetros) diseñado para controlar robots con patas enteramente a través de la consistencia latente, sin depender de funciones de recompensa específicas de la tarea. El sistema consta de tres componentes principales:

Codificador ( $E_\phi$ ): Un MLP de 3 capas que mapea las observaciones propioceptivas ( $o_t$ ) a una representación latente ( $z_t$ ).
Predictor ( $P_\psi$ ): Un predictor condicionado por la acción que pronostica futuros estados latentes ( $\hat{z}_{t+1}$ $\overset{z}{^}_{t + 1}$ ).
- Para tareas de alto DoF (cuadrúpedos, humanoides), los autores emplean un Decodificador Transformer ligero con atención cruzada entre las incrustaciones (embeddings) latentes y de acción para capturar dependencias temporales de largo alcance, esenciales para la coordinación de la marcha.
- Para tareas de bajo DoF (cheetah), se utiliza un GRU de 2 capas.
Sonda Inspirada en la Física (Physics-Inspired Prober): Un componente novedoso que mapea representaciones latentes congeladas a estados físicos interpretables (posición, velocidad, orientación, velocidad angular). A diferencia de un decodificador estándar, este probador incorpora sesgos inductivos cinemáticos (por ejemplo, $p_{t+1} = p_t + v_t \Delta t + \frac{1}{2}a_{comp}\Delta t^2$ ) para tender un puente entre la dinámica latente abstracta y las restricciones físicas.
Planificador: Un planificador de Integral de Trayectoria de Camino de Modelo Predictivo (MPPI) optimiza secuencias de acciones en el espacio latente. Crucialmente, el horizonte de planificación ( $H$ ) se extiende a 12 pasos para capturar ciclos de marcha completos, abordando las limitaciones de horizontes más cortos encontradas en trabajos previos.

Objetivo de Entrenamiento:
El modelo se entrena utilizando un objetivo JEPA que minimiza el error cuadrático entre el estado latente predicho y el estado latente objetivo (derivado de un codificador de objetivo EMA), sin una cabeza de valor o señal de recompensa:
$L = \mathbb{E}[\| \text{sg}(E_\phi(o_{t+1})) - P_\psi(E_\phi(o_t), a_t) \|^2]$

Contribuciones Clave

Control JEPA a Escala de Laptop: Demuestra que el control basado en JEPA para robots con patas puede igualar o superar a las líneas base fundamentadas en recompensas utilizando un modelo de solo ~1.3M de parámetros, entrenado en menos de 20 minutos en una GPU de laptop, eliminando la necesidad de modelos fundacionales de miles de millones de parámetros.
Sondeo Inspirado en la Física: Introduce un mecanismo de sondeo que impone interpretabilidad física y estructura sobre las representaciones latentes, reduciendo significativamente los errores de predicción de posición y orientación en comparación con sondas lineales o de MLP estándar.
Reevaluación del Aprendizaje Sin Recompensa (Reward-Free): Desafía la hipótesis prevaleciente de que el aprendizaje sin recompensa falla en sistemas de alto DoF. Los autores identifican que los fallos previos fueron artefactos de horizontes de planificación insuficientes (por ejemplo, $H=3$ ) y una parametrización latente inapropiada (por ejemplo, SimNorm), en lugar de un fallo fundamental en la consistencia latente.
Generalización Zero-Shot: Establece que la consistencia latente autosupervisada proporciona una señal robusta para la transferencia de simulación a realidad (sim-to-real), logrando una alta retención de rendimiento bajo cambios extremos de dinámica compuesta sin necesidad de ajuste fino (fine-tuning).

Resultados

Rendimiento en Tareas de Control

Ground-JEPA fue evaluado en la suite dm_control. El modelo sin recompensa (entrenado sin recompensas de la tarea) superó o igualó a las líneas base fundamentadas en recompensas:

Cheetah-Run (6-DoF): 530 ± 45 (Sin Recompensa) vs. 522 ± 139 (Con Recompensa).
Quadruped-Walk (12-DoF): 510 ± 68 (Sin Recompensa) vs. 450 ± 234 (Con Recompensa). El modelo sin recompensa mostró una varianza significativamente menor.
Humanoid-Stand (21-DoF): 350 ± 50 (Sin Recompensa). Esto marca la primera demostración exitosa de control JEPA sin recompensa en una plataforma humanoide, donde las líneas base con recompensa fallaron.

Impacto del Horizonte de Planificación

Los estudios de ablación en la tarea Quadruped-Walk revelaron que el horizonte de planificación es crítico:

H=3 (Trabajo Previo): 184 ± 141 (Marcha caótica, sin coordinación de fase).
H=12 (Nuestro Trabajo): 510 ± 68 (Marcha de trote estable, con fase bloqueada).
H=20: 420 ± 85 (El rendimiento se degradó debido a la acumulación de ruido).
Los resultados indican que un horizonte que cubra un ciclo de marcha completo es necesario para proporcionar la señal estructural suficiente para el objetivo de consistencia.

Parametrización Latente

Los autores encontraron que el "colapso" en el aprendizaje sin recompensa es un artefacto de la parametrización latente, no de la ausencia de recompensas.

Latentes Crudos (Raw Latents): El entrenamiento sin recompensa alcanzó 496 ± 31, igualando el rendimiento con recompensa.
Latentes SimNorm: El entrenamiento sin recompensa colapsó completamente (retorno $\to$ 4), confirmando que los espacios latentes crudos preservan una estructura representacional más rica para el aprendizaje autosupervisado.

Generalización Zero-Shot

Bajo cambios extremos de dinámica compuesta (Masa ±30%, Fricción 2.5×, Latencia de Actuador +50ms), Ground-JEPA retuvo el 78% de su rendimiento nominal. En contraste, una línea base con recompensa entrenada con aleatorización de dominio (domain randomization) retuvo solo el 21%, ya que su función de recompensa se desalineó con la dinámica desplazada.

Significancia y Reivindicaciones

El artículo afirma redefinir fundamentalmente el papel de las recompensas en el control basado en modelos para robots con patas. Los autores argumentan que en sistemas dinámicos estructurados, la física inherente (cinemática y contactos) sirve como un sesgo inductivo más fuerte que las recompensas de tareas dispersas, siempre que el horizonte de planificación sea suficientemente largo.

Las implicaciones clave destacadas por los autores incluyen:

Democratización: El control de vanguardia basado en modelos es accesible para laboratorios con recursos limitados sin requerir preentrenamiento masivo o modelos fundacionales.
Algoritmo vs. Escala: El éxito es impulsado por avances algorítmicos (sondeo inspirado en la física, consistencia de largo horizonte) en lugar de la escala del modelo.
Robustez: El aprendizaje autosupervisado captura naturalmente la variedad (manifold) fundamental del movimiento con patas, lo que conduce a una generalización superior ante dinámicas no vistas en comparación con los enfoques basados en ingeniería de recompensas.

Limitaciones: Los autores señalan que todos los experimentos se realizaron en simulación. La validación en robots físicos se difiere para trabajos futuros. Además, aunque se logró "humanoid-stand", la marcha bipedal dinámica sigue siendo un desafío abierto debido al mal condicionamiento de los tobillos subactuados, lo cual los autores sugieren que podría requerir extensiones jerárquicas.