💻 computer science

JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling

JEPA-WAM introduce un modelo de acción de mundo latente construido sobre un espacio V-JEPA preentrenado que unifica la predicción futura espacialmente estructurada y la generación de acciones continuas a través de un predictor compartido, logrando un rendimiento de vanguardia en evaluaciones de manipulación robótica sin requerir un preentrenamiento de política a gran escala.

Autores originales: Yihan Lin, Jiawei He, Shifeng Bao, Chen Zhao, Yang Li, Xiaobo Wang, Yan Wang, Cheng Chi, Jing Zhang

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yihan Lin, Jiawei He, Shifeng Bao, Chen Zhao, Yang Li, Xiaobo Wang, Yan Wang, Cheng Chi, Jing Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a cocinar. Podrías simplemente mostrarle un video de un chef picando cebollas y decirle: "Haz eso". Pero si el robot solo memoriza la apariencia exacta de ese video específico, podría entrar en pánico si el chef usa un sombrero diferente o si las luces de la cocina cambian. Este es el desafío de los modelos de Visión-Lenguaje-Acción (VLA): son excelentes siguiendo instrucciones en entornos familiares, pero suelen tropezar cuando el mundo se ve un poco diferente a como fueron entrenados.

Para solucionar esto, los científicos han intentado enseñar a los robots a ser "predictores". En lugar de solo reaccionar, el robot intenta imaginar qué pasará después. Si puede predecir que "si empujo esta taza, se deslizará fuera de la mesa", puede planificar mejor. Sin embargo, hacer que un robot genere videos completos de alta definición del futuro es como pedirle a un estudiante que escriba una novela entera solo para decidir qué hacer a continuación: toma demasiado tiempo y potencia de cómputo. Así que los investigadores buscaron un atajo: un modelo "latente" que prediga la idea del futuro sin dibujar toda la imagen. Pero aquí está el truco: muchos de estos atajos o pierden demasiado detalle o tratan la predicción y la acción como dos tareas separadas y desconectadas.

Esto nos lleva a JEPA-WAM, un nuevo enfoque que intenta enseñar a los robots a "sentir" el flujo del tiempo sin estancarse en el dibujo de cada fotograma. Plantea una pregunta simple: ¿Podemos enseñar a un robot a entender cómo cambia el mundo y usar ese entendimiento para moverse mejor, todo en un solo movimiento fluido?

El atajo del "sentido del tiempo" del robot

Conoce a JEPA-WAM. Piensa en él como un robot que no solo mira una foto del presente y adivina la siguiente foto; en su lugar, aprende la relación entre las dos.

Imagina que estás viendo un truco de magia. Un mago pone una bola roja en una caja y luego saca una bola azul. Un robot estándar podría simplemente memorizar "Bola Roja → Bola Azul". Pero JEPA-WAM es como un detective que nota la transición: "La bola roja desapareció, la caja se sacudió y apareció una bola azul". Aprende la historia del cambio, no solo el antes y el después.

Los investigadores construyeron este sistema sobre un "cerebro visual" preentrenado llamado V-JEPA. Puedes pensar en V-JEPA como un robot que ya ha visto millones de videos y ha aprendido cómo los objetos se mueven e interactúan. JEPA-WAM toma este cerebro y le añade un módulo especial de "viaje en el tiempo".

Aquí está el truco de magia: en lugar de pedirle al robot que genere un video borroso del futuro (lo cual es lento y costoso), JEPA-WAM le pide al robot que prediga un mapa conjunto. Imagina tomar una foto de la cocina ahora y una foto de la cocina cinco segundos después, y apilarlas una sobre otra. JEPA-WAM no intenta dibujar la foto del futuro desde cero. En su lugar, observa la diferencia entre esas dos fotos apiladas y aprende a predecir exactamente cómo se desplazaron los píxeles. Aprende que "la taza se movió dos pulgadas a la izquierda" y "el cajón se abrió", preservando los detalles finos de dónde ocurrieron las cosas.

El Cerebro Compartido: Un Predictor, Dos Trabajos

La parte más ingeniosa de JEPA-WAM es cómo utiliza su cerebro. En muchos sistemas antiguos, la parte que predice el futuro y la parte que mueve los brazos del robot eran como dos personas diferentes hablando a través de una pared. Una adivinaba el futuro y la otra intentaba escuchar.

JEPA-CM utiliza un Predictor Compartido. Imagina a un estudiante único y muy inteligente que está tomando un examen.

Tarea A: El estudiante observa la escena actual y predice cómo cambiará el mundo (el "Sentido del Tiempo").
Tarea B: El estudiante utiliza ese mismo entendimiento para decidir cómo mover los brazos del robot (la "Acción").

Debido a que el estudiante realiza ambas tareas al mismo tiempo, aprender a predecir el futuro moldea directamente cómo el estudiante decide moverse. El artículo sugiere que este estrecho acoplamiento hace que el robot sea mucho más inteligente. Es como un bailarín que no solo memoriza pasos, sino que entiende el ritmo de la música; el movimiento fluye naturalmente porque la predicción y la acción nacen del mismo entendimiento.

¿Realmente funciona?

Los investigadores probaron esta idea en tres mundos diferentes: una simulación de un videojuego estándar, una simulación más caótica con objetos aleatorios y un brazo robótico real en un laboratorio.

En las Simulaciones:
En un benchmark llamado LIBERO-Plus, que evalúa qué tan bien los robots manejan cambios en el entorno (como diferentes luces o posiciones de objetos), JEPA-WAM obtuvo un 79.2%. Este fue el mejor resultado entre los robots que no habían sido preentrenados con cantidades masivas de datos robóticos. Aún más impresionante, cuando aplicaron este truco del "sentido del tiempo" a un cerebro robótico ya potente llamado π0.5, la puntuación saltó del 84.5% al 86.3%. Esto sugiere que incluso los robots inteligentes pueden volverse más inteligentes si aprenden a predecir el flujo del tiempo.

En el Mundo Real:
El equipo llevó su robot a un laboratorio real con una configuración de doble brazo (dos brazos robóticos trabajando juntos). Le pidieron realizar tareas como apilar bloques, poner fruta en un plato o abrir un cajón.

Cuando la configuración era exactamente la esperada (In-Distribution), JEPA-WAM obtuvo aproximadamente un 59.8%.
Cuando alteraron el fondo o movieron los objetos alrededor (Out-of-Distribution), JEPA-WAM aún logró un 54.2%.
En comparación, un robot estándar (π0) cayó del 51.8% a un débil 22.5% cuando el entorno cambió.

Esto demuestra que JEPA-WAM es mucho más robusto. No solo memoriza una escena específica; aprende la lógica de cómo se mueven los objetos, por lo que puede manejar sorpresas.

Lo que NO es (y lo que descarta)

El artículo es cuidadoso en señalar lo que JEPA-WAM no es.

No es un generador de video. No intenta crear un nuevo video de alta definición del futuro. Los autores argumentan que intentar generar cada píxel es demasiado costoso y a menudo innecesario para controlar un robot.
No es solo sobre predecir el estado final. Los investigadores probaron una versión que solo miraba la imagen "futura" sin la imagen "actual", y funcionó peor (77.3% frente a 79.2%). Esto demuestra que entender la relación entre el "ahora" y el "después" es más importante que simplemente adivinar el resultado final.
No es una solución mágica para todo. Los autores señalan que si la misma escena visual conduce a dos resultados muy diferentes basados en una instrucción específica (por ejemplo, "empuja la taza" frente a "tira de la taza"), el modelo podría tener dificultades porque se enfoca en los cambios visuales en lugar de en los objetivos específicos del lenguaje.

La Conclusión

JEPA-WAM sugiere que el secreto para hacer a los robots más adaptables no es solo darles más datos o cerebros más grandes, sino enseñarles a entender el flujo del tiempo de una manera que informe directamente sus acciones. Al usar un cerebro compartido para predecir cómo cambia el mundo y decidir cómo moverse, el robot se vuelve más como un humano hábil que puede adaptarse a una cocina desordenada sin entrar en pánico.

Los resultados, medidos en simulaciones y pruebas del mundo real, sugieren que este enfoque de "predicción conjunta" es una forma poderosa de construir robots que puedan manejar la naturaleza impredecible del mundo real. Aunque no es una solución definitiva para todos los posibles problemas, ofrece un nuevo y prometedor camino para crear robots que no sean solo obedientes, sino verdaderamente adaptables.

Resumen Técnico: JEPA-WAM

Planteamiento del Problema

Las políticas de Visión-Lenguaje-Acción (VLA) han demostrado un sólido rendimiento en diversas tareas de manipulación, pero a menudo modelan las transiciones de estado solo de forma implícita, lo que limita su robustez ante cambios en la distribución. Aunque los Modelos de Acción de Mundo (WAMs) abordan esto mediante el modelado explícito de estados futuros, los WAMs basados en generación de video incurren en costos de despliegue sustanciales debido a la predicción iterativa del futuro. Los WAMs latentes existentes, que evitan la generación explícita de fotogramas, enfrentan dos limitaciones principales:

Representación de Objetivo: A menudo reutilizan características intermedias de modelos generativos (optimizados para la generación de fotogramas en lugar de cambios de estado) o comprimen las observaciones futuras en un pequeño conjunto de tokens latentes o subobjetivos, lo que puede perder la estructura espacial detallada.
Integración de la Política: O bien utilizan representaciones de estados futuros predichos como contexto adicional (introduciendo redundancia), o emplean módulos de objetivos/dinámicas separados que influyen débilmente en las representaciones utilizadas para la generación de acciones.

El desafío central es desarrollar un WAM latente que aprenda una representación espacialmente estructurada de las transiciones y utilice la supervisión predictiva para moldear directamente la arquitectura (backbone) de la política sin la generación explícita de fotogramas futuros.

Metodología: JEPA-WAM

Los autores proponen JEPA-WAM, un WAM latente construido dentro de un espacio de representación V-JEPA (Arquitectura Predictiva de Incrustación Conjunta para Video) preentrenado. La arquitectura acopla la predicción de la transición latente con la generación continua de acciones a través de un predictor compartido.

1. Espacio de Representación y Construcción del Objetivo

Representación Base: JEPA-WAM utiliza un codificador V-JEPA 2.1 congelado para generar representaciones densas a nivel de parche ( $Z_t$ ) para las observaciones actuales. Estas representaciones mantienen la estructura espacial (organización de parches) en lugar de un agrupamiento (pooling) global.
Objetivo Conjunto Actual–Futuro: En lugar de predecir un estado futuro absoluto o una simple diferencia, el modelo construye un objetivo conjunto actual–futuro ( $Y_{t,t+\delta}$ $Y_{t, t + δ}$ ). Este se crea apilando las observaciones actuales ( $O_t$ $O_{t}$ ) y futuras ( $O_{t+\delta}$ $O_{t + δ}$ ) a lo largo de la dimensión temporal y codificándolas conjuntamente.
- Este objetivo captura la relación temporal visual entre los puntos finales, identificando regiones estables frente a cambiantes y la evolución de las relaciones objeto/espacio.
- Preserva la correspondencia densa a nivel de parche, evitando la compresión de la información de transición en tokens globales.

2. Arquitectura del Predictor Compartido

La innovación central es un predictor compartido ( $F_\theta$ ), implementado con un LLM Qwen2.5-0.5B, que cumple dos funciones simultáneas:

Predicción de Transición: El predictor procesa la representación visual actual y la instrucción de la tarea para predecir el objetivo conjunto actual–futuro ( $\hat{Y}_{t,t+\delta}$ ). Esta rama es supervisada mediante una pérdida de distancia de coseno a nivel de parche ( $L_{wm}$ ).
Generación de Acción: El mismo predictor produce representaciones dedicadas ( $C_t$ ) a partir de tokens específicos de "marcador de posición de acción" (action placeholder). Estas representaciones condicionan a un experto de acción Diffusion Transformer (DiT) para generar bloques de acciones continuas mediante el ajuste de flujo (flow matching).

Decisión de Diseño Clave: Al compartir el predictor, la supervisión de la transición optimiza directamente la arquitectura de la cual se extraen las representaciones condicionadas por la acción. En el despliegue, la rama de objetivo y el encabezado de predicción se eliminan, conservando únicamente la vía de generación de acciones.

3. Transferencia a Políticas Preentrenadas

Los autores demuestran que esta supervisión de transición puede instanciarse en políticas VLA preentrenadas existentes (por ejemplo, $\pi0.5$ ) sin modificar sus vías originales de percepción o acción. Esto se logra introduciendo "tokens futuros" aprendibles cuyos estados ocultos se alinean con el objetivo conjunto actual–futuro, proporcionando supervisión de transición auxiliar a la arquitectura compartida.

Contribuciones Claves

Arquitectura JEPA-WAM: Un WAM latente construido en un espacio V-JEPA preentrenado que acopla el modelado de la transición latente con la generación de acciones continuas mediante un predictor compartido, eliminando la necesidad de generación explícita de fotogramas futuros.
Objetivo Conjunto Espacialmente Estructurado: La construcción de un objetivo conjunto actual–futuro que preserva la información densa a nivel de parche, capturando la estructura temporal visual compartida de la tarea y los cambios localizados sin comprimir la transición en tokens globales.
Validación Empírica: Demostración de una fuerte generalización fuera de la distribución (OOD) en simulación (LIBERO-Plus, RoboTwin 2.0) y manipulación bimanual en el mundo real, mostrando que la supervisión de la transición beneficia tanto al entrenamiento desde cero como al ajuste fino de políticas preentrenadas.

Resultados Experimentales

El artículo evalúa JEPA-WAM en varios entornos de prueba, comparándolo con métodos con y sin preentrenamiento de políticas robóticas a gran escala.

LIBERO-Plus (OOD): JEPA-WAM logra una tasa de éxito promedio del 79.2%, el mejor resultado entre los métodos sin preentrenamiento de políticas robóticas a gran escala. Cuando la supervisión de la transición se aplica a la $\pi0.5$ preentrenada, el rendimiento mejora del 84.5% al 86.3%, logrando el mejor resultado general.
RoboTwin 2.0: JEPA-WAM logra un 79.9% en configuraciones Limpias (Clean) y un 36.9% en configuraciones Aleatorias (Random/OOD), superando a otros métodos no preentrenados y igualando el rendimiento Aleatorio de la $\pi0.5$ preentrenada. La instanciación de $\pi0.5$ con supervisión de JEPA alcanza un 84.6% (Limpio) y un 3 de 37.5% (Aleatorio).
Manipulación en el Mundo Real: En una plataforma bimanual AgileX, JEPA-WAM mantiene un sólido rendimiento bajo cambios visuales y espaciales (54.2% OOD frente al 22.5% de la línea base $\pi0$ ). La instanciación de $\pi0.5$ con supervisión de JEPA alcanza un rendimiento OOD del 84.7%.
Estudios de Ablación: Experimentos controlados confirman que:
- El propio espacio de representación V-JEPA proporciona una base sólida para el aprendizaje OOD.
- El objetivo conjunto actual–futuro supera a los objetivos de solo futuro o de diferencia de puntos finales.
- Preservar la estructura espacial a nivel de parche es crítico (superando la alineación convolucional).
- La supervisión directa de la arquitectura compartida es más efectiva que las señales intermedias o el condicionamiento de estados ocultos completos.

Significado y Reivindicaciones

El artículo afirma que JEPA-WAM cierra con éxito la brecha entre el modelado explícito de la transición de estado y el despliegue eficiente. Al aprovechar el espacio de representación V-JEPA y un predictor compartido, el método captura estructuras temporales visuales robustas (cambios localizados, relaciones de objetos) que se generalizan a través de cambios visuales y espaciales.

Los autores enfatizan que este enfoque evita la sobrecarga computacional de la generación de video mientras proporciona sesgos inductivos más fuertes para las transiciones de estado que el entrenamiento VLA implícito. La capacidad de integrar esta supervisión en políticas preentrenadas (como $\pi0.5$ ) sugiere un camino escalable para mejorar la generalización en los sistemas VLA existentes sin necesidad de reentrenar desde cero. Los resultados indican que el modelado explícito de la relación entre los estados actuales y futuros, en lugar de solo el estado futuro en sí mismo, es un factor clave para mejorar la robustez ante cambios en la distribución.