🤖 machine learning

Diagnosing JEPA World Models with Action-Conditioned Predictive Consistency

Este artículo introduce la Consistencia Predictiva Condicionada a la Acción (ACPC, por sus siglas en inglés), un marco de diagnóstico fundamentado en la teoría de la bisimulación que cuantifica la robustez de los modelos de mundo de arquitectura predictiva de incrustación conjunta (JEPA) mediante la medición de la divergencia entre los despliegues de estados limpios y perturbados, proporcionando así límites teóricos sobre los errores de predicción y los costos del planificador, al tiempo que demuestra su eficacia en diversas tareas de control visual.

Autores originales: Guo An, Zijing Wu, Honghua Dong, Yuhao Yan, Zixuan Gui, Haochong Chen, Shanzhao Ruan, Xiang Wang, Yurong Ling, Qi Tian

Publicado 2026-08-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Guo An, Zijing Wu, Honghua Dong, Yuhao Yan, Zixuan Gui, Haochong Chen, Shanzhao Ruan, Xiang Wang, Yurong Ling, Qi Tian

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a jugar a un videojuego. Quieres que el robot aprenda las reglas del juego —la física, los objetivos y cómo sus acciones cambian el mundo— para que pueda tomar decisiones inteligentes. Pero hay un inconveniente: el robot ve el mundo a través de una cámara, y las cámaras pueden ser complicadas. Un poco de estática, un desenfoque o un cambio repentino en la iluminación no deberían confundir al robot haciéndole creer que el juego ha cambiado por completo. En el mundo de la inteligencia artificial, este es el desafío de construir "modelos de mundo". Estos son mapas internos que una IA construye para predecir qué pasará después si realiza una determinada acción.

Recientemente, un tipo de IA muy popular llamada "arquitectura predictiva de incrustación conjunta" (o JEPA, por sus siglas en inglés) se ha convertido en la favorita para construir estos mapas. En lugar de intentar redibujar cada uno de los píxeles de la pantalla del juego (lo que sería como intentar memorizar el color exacto de cada brizna de hierba), las JEPA aprenden un resumen compacto y abstracto de la escena. Piensa en esto como un robot aprendiendo que "la bola roja está cerca de la pared" en lugar de memorizar el tono exacto de rojo. Esto es eficiente, pero tiene un fallo oculto: a veces, un pequeño error visual (como una mota de polvo en la lente) puede engañar al resumen del robot, haciendo que cambie drásticamente, provocando que tome decisiones terribles. La gran pregunta que los investigadores se plantean es: ¿Cómo sabemos si el mapa interno de un robot es verdaderamente robusto, o si es solo un castillo de naipes esperando a colapsar cuando cambie la iluminación?

Este artículo presenta una nueva y astuta forma de probar estos cerebros robóticos, llamada Consistencia Predictiva Condicionada a la Acción (ACPC). Imagina que tienes a un robot mirando un vídeo limpio y perfecto de un juego, y luego le muestras exactamente el mismo vídeo pero con un poco de "ruido" visual añadido, como estática o desenfoque. Los investigadores le preguntan: Si le pedimos al robot que realice exactamente la misma secuencia de movimientos en ambos escenarios, ¿sus predicciones del futuro se mantienen cercanas entre sí? Si el robot es inteligente y robusto, los dos caminos futuros que imagina deberían parecerse mucho, aunque las imágenes iniciales fueran ligeramente diferentes. Si el robot es frágil, los dos caminos se alejarán, provocando confusión.

Los autores no se limitan a esta única comparación; desarrollaron dos "controles de salud" específicos para resumir el rendimiento del robot. El primero es el Radio de Invarianza (IR). Piensa en esto como medir cuánto se tambalea la imaginación del robot cuando la entrada recibe ruido. Un IR bajo es bueno: significa que las predicciones del robot se mantienen estables y cercanas entre sí, como un funambulista que no se balancea demasiado. El segundo control es la Tasa de Separación (SR). Esta es la red de seguridad. No queremos que el robot sea tan estable que ignore todas las diferencias. Si el robot está averiado, podría predecir el mismo futuro aburrido sin importar lo que vea (una representación "colapsada"). El SR comprueba si el robot todavía puede distinguir entre dos situaciones genuinamente diferentes (como una bola estando a la izquierda frente a una a la derecha) incluso después de añadir el ruido. Un SR alto significa que el robot mantiene los ojos abiertos y aún puede distinguir detalles importantes.

Los investigadores probaron esta idea en cuatro tareas diferentes de control robótico, que van desde navegar por un laberinto hasta empujar objetos. Descubrieron que cuando el modelo de un robot se entrenaba para manejar el ruido visual, su IR bajaba (se volvía más estable) y su SR subía (se mantenía nítido). Más importante aún, demostraron matemáticamente que si las predicciones de un robot se mantienen cerca unas de otras (bajo ACPC), entonces el error en sus conjeturas futuras y el coste de sus decisiones de planificación no cambiarán drásticamente. En otras palabras, si la imaginación del robot no se separa cuando la cámara se ensucia, es mucho menos probable que cometa un error costoso.

También demostraron que este diagnóstico funciona en diferentes tipos de cerebros robóticos, no solo en un diseño específico. Cuando lo probaron en una arquitectura diferente, el mismo patrón se mantuvo: un mejor rendimiento bajo estrés visual significaba un IR más bajo y un SR más alto. Aunque no afirmaron haber resuelto el problema de la visión robótica para siempre, sus resultados sugieren fuertemente que comprobar cuánto se desvía la predicción futura de un robot bajo las mismas acciones es una forma poderosa de detectar qué modelos están realmente listos para el mundo real, caótico e impredecible. Es como comprobar si la brújula de un barco sigue apuntando al norte incluso cuando las nubes de la tormenta aparecen, en lugar de simplemente esperar que el barco no se hunda.

Resumen Técnico: Diagnóstico de Modelos de Mundo JEPA mediante la Consistencia Predictiva Condicionada a la Acción

Declaración del Problema

Las arquitecturas de predicción de incrustaciones conjuntas (JEPAs) aprenden modelos de mundo prediciendo representaciones de objetivos en un espacio latente compacto en lugar de reconstruir píxeles brutos. Si bien este diseño evita modelar detalles visuales irrelevantes, no ofrece una garantía inherente de que las representaciones aprendidas sean robustas a las perturbaciones visuales. Existe una brecha crítica en los diagnósticos actuales: las distancias a nivel de codificador o las métricas de transición única no logran capturar cómo las perturbaciones visuales se propagan a través de despliegues (rollouts) de múltiples pasos. Específicamente, una perturbación podría causar que la trayectoria predicha diverja significativamente de la trayectoria limpia, alterando las predicciones condicionadas a la acción y los costos del planificador, incluso si las representaciones codificadas iniciales parecen similares. El problema central es determinar qué tan alejadas están las trayectorias predichas de un historial limpio y de su vista visualmente perturbada cuando se proyectan hacia adelante bajo la misma secuencia de acciones.

Metodología

Consistencia Predictiva Condicionada a la Acción (ACPC)

Los autores introducen la Consistencia Predictiva Condicionada a la Acción (ACPC) como una métrica de diagnóstico. La ACPC mide la divergencia entre dos trayectorias predichas: una generada a partir de un historial limpio ( $h$ ) y otra a partir de una vista visualmente perturbada ( $\tilde{h}$ ), ambas proyectadas hacia adelante bajo una secuencia de acciones registrada idéntica ( $a$ ).

Mecanismo: Un codificador congelado mapea $h$ y $\tilde{h}$ a estados latentes $z$ y $\tilde{z}$ . Un predictor condicionado a la acción, también congelado, proyecta estos estados hacia adelante durante $H$ pasos.
Métrica: La ACPC calcula la distancia euclídea ponderada entre las trayectorias latentes proyectadas de los despliegues limpios y perturbados.
Límites Teóricos: El artículo demuestra que la ACPC acota el cambio en el error de predicción de múltiples pasos inducido por la perturbación (Proposición 1). Además, al evaluar secuencias de acciones candidatas para la planificación, la ACPC acota el cambio en los costos predichos (Proposición 2). Estos límites se mantienen para pares individuales sin requerir supuestos distribucionales o de suavidad.

Diagnósticos Compuestos: IR y SR

Para resumir la ACPC a través de un punto de control (checkpoint) del modelo, los autores definen dos medidas complementarias:

Radio de Invarianza (IR): Resume la sensibilidad de los despliegues emparejados a las perturbaciones visuales. Se calcula como el cuantil (por ejemplo, el percentil 90) de los valores de ACPC normalizados a través de muchos anclajes de historial. Un IR más bajo indica que las vistas perturbadas permanecen cerca de sus contrapartes limpias.
Tasa de Separación (SR): Verifica si el modelo preserva las distinciones entre diferentes estados. Mide la fracción de pares de estados diferentes cuyos despliegues superan el IR más un margen. Un SR más alto indica que los estados distintos siguen siendo distinguibles tras el despliegue.

Los autores enfatizan que el IR por sí solo es insuficiente porque una representación colapsada (donde todos los estados mapean al mismo punto) produciría un IR bajo pero fallaría en soportar el control. Por el contrario, un SR alto por sí solo no garantiza la robustez. Un punto de control robusto debe exhibir tanto un IR bajo como un SR alto.

Protocolo de Evaluación

La metodología se evalúa en la familia LeWM (Learning World Models) y la arquitectura PLDM a través de cuatro tareas de control visual (TwoRoom, PushT, Reacher, OGBench-Cube).

Perturbaciones: Los experimentos utilizan ruido gaussiano, desenfoque gaussiano (blur) y cambio de tamaño de imagen (resizing).
Tamizaje (Screening): Se define un "tamiz de puntos de control" utilizando umbrales para el IR relativo (comparado con una línea base sin aumentos) y el SR. Un punto de control pasa si demuestra una sensibilidad reducida (bajo IR relativo) mientras mantiene la separación de estados (alto SR).

Contribuciones Clave

Introducción de la ACPC: El artículo propone la ACPC, un diagnóstico de pares que compara las trayectorias predichas de historiales limpios y perturbados bajo acciones compartidas. A diferencia de trabajos previos centrados en distancias de codificadores o predicciones de un solo paso, la ACPC captura efectos a nivel de despliegue (rollout).
Límites Teóricos: Los autores proporcionan demostraciones por muestra que muestran que la ACPC acota el cambio en el error de predicción de múltiples pasos y el cambio en los costos de planificación predichos. Estos límites explican por qué la ACPC es informativa sobre los fallos de planificación descendentes.
Marco de Diagnóstico (IR y SR): El artículo define el Radio de Inancia y la Tasa de Separación para resumir la ACPC a través de un punto de control. Este marco protege explícitamente contra el colapso de la representación mientras mide la sensibilidad a los cambios visuales.
Validación Empírica:
- Nivel de Par: Se demuestra que la ACPC añade a los modelos de regresión reduce significativamente el error al predecir la deriva en el error de predicción y el costo extra incurrido cuando un planificador (CEM) selecciona un plan diferente debido a la perturbación.
- Nivel de Punto de Control: En cuatro tareas, los puntos de control con menor IR y mayor SR generalmente corresponden a un mejor éxito de planificación bajo ruido visual.
- Generalización: El patrón de bajo IR y alto SR se mantiene en una arquitectura diferente (PLDM) y se extiende a perturbaciones no gaussianas (desenfoque y cambio de tamaño).

Resultados

Error de Predicción y Costo de Planificación: En experimentos de validación cruzada, añadir la ACPC de múltiples pasos a los modelos de regresión redujo significamente el error al predecir la deriva en el error de predicción y el costo extra de los cambios de plan de CEM, superando a las líneas base que solo usaban desplazamientos del codificador o ACPC de un solo paso.
Identificación de Recuperación: En LeWM, los umbrales de IR y SR seleccionados en un subconjunto de tareas identificaron con éxito los puntos de control que recuperaron el rendimiento de planificación en tareas no vistas bajo ruido gaussiano.
Detección de Colapso de Representación: En un estudio de caso donde ocurrió un colapso de representación (debido a pesos de entrenamiento específicos), el IR se mantuvo bajo (indicando baja sensibilidad), pero el SR cayó casi a cero, identificando correctamente la falla en mantener las distinciones de estado.
Arquitectura y Perturbación Transversales: Las tendencias diagnósticas (menor IR, mayor SR correlacionado con un mejor desempeño) se observaron en PLDM. Además, el cambio en la puntuación conjunta IR-SR ( $\Delta S$ ) se correlacionó con las ganancias de éxito de planificación bajo desenfoque y cambio de tamaño, lo que sugiere que la métrica no se limita al ruido gaussiano.

Significado y Reivindicaciones

El artículo sostiene que la Consistencia Predictiva Condicionada a la Acción proporciona un diagnóstico necesario para los modelos de mundo que va más allá del análisis estático de la representación. Al proyectar observaciones emparejadas hacia adelante bajo las mismas acciones, la ACPC revela cómo las perturbaciones visuales se propagan a través del modelo de dinámica, vinculando directamente la estabilidad de la representación con el rendimiento de la planificación.

Los autores afirman que:

La ACPC de múltiples pasos captura efectos descendentes que las comparaciones de un solo paso o de solo codificador pasan por alto.
La combinación de IR y SR ofrece un "tamiz" práctico para identificar puntos de control robustos sin requerir reentrenamiento o acceso a estados futuros reales durante la fase de diagnóstico (aunque se usan futuros observados para la normalización en el cálculo del IR).
El diagnóstico es agnóstico a la arquitectura (válido tanto para LeWM como para PLDM) y es robusto a diferentes tipos de cambios visuales.

El trabajo se mantiene modesto respecto a su alcance, señalando que la ACPC es una herramienta de diagnóstico y no modifica el planificador en sí. Los límites teóricos se aplican a pares específicos y conjuntos candidatos fijos, y los resultados de tamizaje empírico son específicos para los cambios visuales y etiquetas de estado evaluados. El trabajo no pretende certificar la robustez absoluta, sino proporcionar métricas informativas que correlacionan fuertmente con el éxito de la planificación.