🤖 machine learning

XP-JEPA: Cross-Predictive Physics Grounding for Forecastable Latent Dynamics

El artículo presenta XP-JEPA, un marco de aprendizaje de predicción cruzada que fundamenta la dinámica latente visual en trayectorectorias físicas privilegiadas durante el entrenamiento para mejorar significativamente la capacidad de pronóstico y el rendimiento del control, mientras descarta la rama física para el despliegue únicamente visual.

Autores originales: Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

Publicado 2026-08-26

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que pueden planificar con antelación suelen recurrir a un atajo mental: construyen un mapa interno del mundo, una especie de simulación donde pueden probar diferentes movimientos antes de realizarlos realmente. Para hacer esto, el robot toma una foto de su entorno, convierte esa imagen en un conjunto simplificado de números y luego le pide a un programa informático que adivine cómo se verán esos números un momento después si el robot empuja, levanta o gira algo. Si la suposición coincide con el objetivo, el robot ejecuta el movimiento. Este proceso funciona bien cuando el mapa interno del robot refleja con precisión cómo cambia el mundo físico. Sin embargo, surge un problema común cuando el robot aprende a predecir el futuro basándose únicamente en imágenes. Puede volverse demasiado astuto para su propio bien, encontrando patrones en los datos visuales que son fáciles de predecir pero que no tienen nada que ver con la física real. Por ejemplo, el robot podría aprender que un cierto tono de gris suele seguir a un cierto tono de azul, incluso si el objeto real no se ha movido en absoluto. Esto crea un entendimiento frágil donde las predicciones del robot se alejan de la realidad, provocando que falle cuando intenta interactuar con el mundo.

Un equipo de investigadores de la Universidad Nacional de Singapur ha desarrollado un nuevo método para solucionar este fallo, asegurando que las predicciones internas del robot se mantengan fundamentadas en las leyes de la física. Llaman a su enfoque XP-JEPA. En lugar de dejar que el robot aprenda únicamente observando videos, le proporcionaron una segunda vía de información durante el entrenamiento: una lectura directa del estado físico de los objetos, como su posición exacta, tamaño y orientación en el espacio. Estos datos físicos son como una capa oculta de verdad que el robot no puede ver con su cámara, pero a la que puede acceder mientras está aprendiendo. Los investigadores diseñaron un sistema donde el cerebro visual y el cerebro físico del robot trabajan juntos. Ambos reciben el mismo historial de acciones e intentan predecir el futuro. El lado visual predice cómo será la siguiente imagen, mientras que el lado físico predice el siguiente conjunto de coordenadas. Crucialmente, el sistema obliga a que estas dos predicciones coincidan entre sí. Si el lado visual predice que un bloque se moverá hacia arriba, pero el lado físico predice que se quedará quieto, el sistema aprende que la predicción visual es errónea. Este proceso de verificación cruzada enseña al sistema visual a prestar atención a los cambios físicos reales que importan, en lugar de simplemente adivinar basándose en patrones visuales superficiales.

Los investigadores probaron este método en una gran variedad de tareas robóticas, incluyendo empujar bloques, apilar objetos y lanzar artículos dentro de contenedores. Compararon su nuevo sistema con modelos estándar que aprenden solo a partir de imágenes. Los resultados fueron sorprendentes. Cuando los investigadores dejaron que el nuevo sistema ejecutara una simulación de una tarea, el error en su predicción creció muy lentamente a lo largo del tiempo. En contraste, la predicción del modelo estándar se desvió significativamente, volviéndose poco fiable tras solo unos pocos pasos. Específicamente, el nuevo método redujo el error de predicción de un valor de 0.361 a 0.104. Esta mejora en la precisión se tradujo directamente en un mejor rendimiento. Cuando se les pidió a los robots que realizaran las tareas, el nuevo sistema tuvo éxito el 78.2 por ciento de las veces, un salto sustancial desde la tasa de éxito del 53.6 por ciento del modelo estándar basado solo en visión. La mejora se mantuvo constante a través de seis tipos diferentes de interacciones, demostrando que el método funciona para un amplio rango de desafíos físicos.

Uno de los hallazgos más importantes del estudio es lo que sucede cuando el robot deja de utilizar los datos físicos. La información física solo está disponible durante la fase de entrenamiento del robot; no es algo que un robot en el mundo real pueda medir durante una misión. Los investigadores descubrieron que, una vez que el robot terminó de aprender con la ayuda de los datos físicos, podían desechar los sensores físicos por completo. El robot operaba entonces utilizando únicamente su cámara, al igual que los modelos estándar. A pesar de perder el acceso a los datos físicos, el robot conservó la capacidad mejorada de predecir el futuro. Esto sugiere que el robot había interiorizado con éxito las reglas de la física en su comprensión visual. Aprendió a ver el mundo de una manera que respeta naturalmente cómo se mueven e interactúan los objetos, en lugar de simplemente memorizar trucos visuales.

El estudio también exploró si el simple hecho de enseñar al robot a reconocer dónde se encuentran los objetos sería suficiente para resolver el problema. Probaron un enfoque diferente donde se obligaba al robot a adivinar la posición de un objeto directamente a partir de una sola captura de la imagen. Si bien este método hizo que el robot fuera muy bueno identificando dónde estaba un objeto en un momento específico, no ayudó al robot a predecir cómo se movería ese objeto en el futuro. El robot aún podía adivinar la posición con precisión, pero sus predicciones sobre la trayectoria futura del objeto eran tan poco fiables como las del modelo estándar. Esta distinción es vital: saber dónde está algo ahora mismo no es lo mismo que entender cómo cambiará. El nuevo método tuvo éxito porque se centró en la relación entre las acciones y los estados futuros, utilizando los datos físicos para guiar el aprendizaje de esa relación, en lugar de simplemente enseñar al robot a etiquetar la escena actual.

Los investigadores también probaron qué sucedería si se rompiera la conexión entre los datos visuales y físicos. En un experimento, emparejaron el video visual de una tarea con los datos físicos de una tarea completamente diferente y no relacionada. En este escenario, las predicciones del robot se volvieron caóticas y su capacidad para controlar al robot colapsó a una tasa de éxito de solo el 16.6 por ciento. Este resultado demuestra que el sistema depende del emparejamiento correcto de la información visual y física. No basta con tener acceso a datos físicos; el robot debe aprender el vínculo específico entre lo que ve y cómo evoluciona físicamente esa escena. El estudio confirma que la mejora proviene de aprender la dinámica correcta del mundo, no solo de tener más datos.

Al final, el trabajo demuestra un camino hacia una planificación robótica más fiable. Al utilizar una visión temporal y privilegiada del mundo físico para entrenar el sistema visual del robot, los investigadores crearon un modelo que es mucho mejor imaginando el futuro. El robot aprende a anticipar las consecuencias de sus acciones con mayor precisión, reduciendo el riesgo de fallo cuando intenta manipular objetos reales. Aunque los experimentos actuales se realizaron en un entorno simulado, el enfoque ofrece una estrategia clara para enseñar a las máquinas a comprender el mundo físico no solo como una colección de imágenes, sino como un sistema de piezas móviles gobernadas por reglas consistentes. El robot no necesita llevar pesados sensores físicos al mundo real; solo necesita haber aprendido la forma correcta de ver.

Resumen Técnico: XP-JEPA: Grounding Físico Cross-Predictivo para Dinámicas Latentes Predictibles

1. Planteamiento del Problema

Los modelos de mundo latentes permiten la planificación mediante la búsqueda en el espacio de representaciones: un agente codifica la escena actual, proyecta hacia adelante candidatas de acciones a través de una dinámica aprendida y selecciona las acciones cuyos resultados predichos se aproximan a un objetivo. Este enfoque depende de representaciones con dinámicas condicionadas por la acción que sean fiables.

Sin embargo, los modelos auto-predictivos (donde el codificador y el predictor se optimizan conjuntamente) suelen sufrir un modo de fallo específico: la representación y el predictor se co-adaptan a transiciones latentes que son internamente predictibles pero que están débilmente constreñidas por la evolución física subyacente de la escena. Como ilustra el artículo, dos estados físicos distintos (por ejemplo, un bloque sostenido por una pinza frente a un bloque descansando sobre una mesa a lo largo del mismo rayo de cámara) pueden proyectar imágenes casi idénticas. Un objetivo auto-predictivo no requiere que sus transiciones latentes se separen, incluso si evolucionan en direcciones opuestas bajo la misma acción. Esta ambigüedad conduce al "deriva de la proyección" (rollout drift), donde los futuros predichos divergen significamente de la realidad física, socavando el rendimiento del control.

Si bien los estados físicos privilegiados (por ejemplo, poses de objetos, velocidades) proporcionan una referencia externa para reducir esta ambigüedad, los enfoques existentes a menudo los utilizan meramente para supervisar el contenido de la representación (vía destilación o regresión de estado) o el comportamiento descendente. El artículo argumenta que hacer que el estado físico sea decodificable desde una única instantánea latente no necesariamente constriñe cómo esos latentes evolucionan en el tiempo bajo la acción. El desafío central es utilizar las trayectorias privilegiadas para supervisar la transición predictiva misma, asegurando que la dinámica aprendida esté fundamentada en la realidad física sin requerir entradas privilegiadas en el momento de la prueba.

2. Metodología: XP-JEPA

Los autores introducen Cross-Predictive JEPA (XP-JEPA), un marco que trata las observaciones visuales y los estados físicos privilegiados como dos vistas de la misma trayectoria. A diferencia de los métodos que destilan un objetivo físico fijo en una representación visual, XP-JEPA acopla la evolución de ambas modalidades a través de un predictor compartido.

Arquitectura Central y Objetivo

XP-JEPA se basa en la línea base LeWM (Arquitectura de Embedding Conjunto Predictivo), que aprende conjuntamente un codificador visual $f_\theta$ y un predictor condicionado por la acción $g_\psi$ . XP-JEPA lo aumenta con una rama física:

Codificadores Duales: Un codificador visual $f_\theta$ procesa las observaciones $o_t$ , y un codificador físico $h_\phi$ procesa los estados privilegiados $s_t$ .
Predictor Compartido: Un único predictor condicionado por la acción $g_\psi$ avanza las historias desde cualquiera de las dos modalidades ( $Z^o_t$ o $Z^s_t$ ) hacia el futuro.
Pérdida Cross-Predictiva: El modelo optimiza una función de pérdida que contiene cuatro términos:
- Términos intra-modalidad: Auto-predicción visual ( $g_\psi(Z^o_t, a_t) \to z^o_{t+1}$ ) y auto-predicción física ( $g_\psi(Z^s_t, a_t) \to z^s_{t+1}$ ).
- Términos cross-modales: Una historia visual predice el futuro de la representación física ( $g_\psi(Z^o_t, a_t) \to z^s_{t+1}$ ), y una historia física predice el futuro de la representación visual ( $g_\psi(Z^s_t, a_t) \to z^o_{t+1}$ ).

La función de pérdida se define como:
$\mathcal{L}_{\text{XP-JEPA}} = \sum_{m,n \in \{o,s\}} \| g_\psi(Z^m_t, a_t) - z^n_{t+1} \|^2_2 + \beta [\Omega(z^o) + \Omega(z^s)]$
donde $\Omega$ es un regularizador de isotropía (SIGReg) para prevenir el colapso de la representación.

Interfaz Unificada de Estado Privilegiado

Para aplicar esto a tareas heterogéneas (por ejemplo, agarre, empuje, apilamiento), los autores diseñan un esquema de cuerpo rígido unificado. Las escenas se representan mediante un conjunto de tokens:

Tokens de Objeto: Contienen geometría canónica (SDF agrupado), dimensiones extremas (half-extents), pose (rotación y posición).
Token de Efector: Rotación del efector final, posición y apertura de los dedos.
Token de Mesa: Un token aprendido que completa el conjunto.
Las escenas se rellenan (padding) hasta un número fijo de ranuras de objetos (por ejemplo, seis), con las ranuras no utilizadas enmascaradas. Esto permite que un único codificador físico procese diversas configuraciones sin etiquetas específicas de la tarea.

Entrenamiento vs. Despliegue

Entrenamiento: Ambos codificadores y el predictor compartido se entrenan conjuntamente. La rama física actúa como una segunda vista predictiva online, constriñendo la dinámica visual.
Despliegue: El codificador físico $h_\phi$ y el estado privilegiado $s_t$ se descartan. El modelo desplegado consiste únicamente en el codificador y el predictor visual. Recibe las mismas observaciones visuales que la línea base, sin entradas privilegiadas durante la inferencia. La planificación se realiza proyectando secuencias de acciones candidatas en la dinámica latente aprendida y puntuándolas contra un objetivo codificado.

3. Contribuciones Clave

Cross-Predictive JEPA: Una arquitectura novedosa que fundamenta las transiciones latentes en trayectorias físicas privilegiadas mediante el avance de historias visuales y físicas a través de un predictor compartido y el emparejamiento de cada predicción con los futuros de ambas modalidades. Esto acopla la correspondencia puntual con la predicción condicionada por la acción.
Interfaz Unificada de Estado Privilegiado: Un esquema de cuerpo rígido que permite a un único codificador físico operar en diversas configuraciones de objeto-interacción sin etiquetas de categoría o campos de estado específicos de la tarea.
Separación de Propiedades: El trabajo distingue explícitamente entre decodificabilidad (recuperar variables físicas de una instantánea), predictibilidad (predicción fiable condicionada por la acción a lo largo del tiempo) y utilidad de planificación. Demuestra que una alta decodificabilidad no garantiza una alta predictibilidad o éxito en el control.

4. Resultados Experimentales

Los autores evalúan XP-JEPA en una suite multi-tarea (basada en Meta-World, 22 configuraciones) y cuatro entornos de tarea única (Push-T, OGBench-Block, Two-Room, Reacher).

Predictibilidad (Forecastability)

Deriva de la Proyección (Rollout Drift): XP-JEPA reduce significativamente la deriva relativa de un predictor recién ajustado. En la suite multi-tarea, la deriva disminuye de 0.361 (línea base visual) a 0.104.
Generalización: Esta mejora es consistente en todos los entornos de tarea única (por ejemplo, la deriva en Two-Room cae de 0.503 a 0.221).
Ablación: Eliminar la cross-predicción (ALIGN-ONLY) reduce la deriva de forma menos efectiva (0.158), mientras que eliminar el predictor compartido (CROSS-ONLY) mantiene una baja deriva (0.101), indicando que la predicción cross-modal es el principal motor de la predictibilidad.

Rendimiento de Control

Tasas de Éxito: En la suite multi-tarea, XP-JEPA aumenta el éxito medio de control de 53.6% a 78.2% (+24.6 puntos porcentuales).
Dependencia de la Tarea: Aunque la predictibilidad mejora universalmente, las ganancias de control varían según la tarea. Por ejemplo, XP-JEPA supera significativamente a la línea base en Two-Room y OGBench-Block, pero muestra ganancias marginales en Push-T y Reacher.
Comparación con Regresión: Una línea base que regresa un objetivo de estado basado en poses completas desde el latente visual (REGRESS) logra una alta decodificabilidad de posición ( $R^2 = 0.991$ ) pero falla en mejorar la predictibilidad (deriva 0.373) o el control (53.7% de éxito). Esto confirma que el contenido de la instantánea por sí solo no asegura una proyección fiable.

Hallazgos de Ablación

Correspondencia vs. Predicción: La correspondencia visual-física correcta (emparejar la trayectoria adecuada) es crucial para el control. La ablación SHUFFLE (usando la arquitectura correcta pero con trayectorias desemparejadas) mantiene una baja deriva (0.167) pero colapsa el control a 16.6%, demostando que las dinámicas predictibles son insuficientes si no preservan las distinciones relevantes para la selección de acciones.
Compartición de Predictor: El simple hecho de compartir el predictor (SHARE-ONLY) aporta pocos beneficios (56.7% de éxito), sugiriendo que el acoplamiento de las modalidades es más importante que los pesos compartidos.

5. Significación y Reivindicaciones

El artículo sostiene que el grounding físico cross-predictivo produce dinámicas latentes más predictibles para el control basado en proyecciones sin requerir entradas privilegiadas en el momento de la prueba.

Mecanismo: La mejora surge no de codificar simplemente más información física, sino de constreñir la evolución predictiva de la representación utilizando trayectorias físicas correspondientes.
Distinción: El trabajo aclara que la "decodificabilidad" (¿podemos leer el estado?) y la "predictibilidad" (¿podemos predecir el futuro?) son propiedades distintas. Un modelo puede ser altamente decodificable pero pobremente predictible, lo que conduce a un control deficiente.
Limitaciones: Los autores señalan modestamente que los resultados están limitados a la simulación, requieren trayectorias privilegiadas emparejadas durante el entrenamiento y dependen de un esquema de estado de cuerpo rígido fijo. Extender esto a observaciones del mundo real e interacciones físicas más amplias sigue siendo un trabajo futuro.

En resumen, XP-JEPA demuestra que al tratar el estado privilegiado como una segunda vista predictiva y forzar la consistencia cross-modal en las dinámicas de transición, se pueden aprender modelos de mundo visuales que son robustos a las ambigüedades físicas, lo que conduce a una mejora significativa en la planificación y el rendimiento del control.