💻 computer science

Enfold: Folding World-Generator Computation into Predictive Representations for Efficient Embodied Control

Enfold es un marco novedoso que destila el proceso computacional multinivel de los modelos generativos de mundo en una representación predictiva inferida únicamente a partir del contexto visual y lingüístico actual, permitiendo que los agentes encarnados logren un control sólido con una latencia significativamente reducida al internalizar la estructura generativa futura sin necesidad de materializar trayectorias futuras en cada paso.

Autores originales: Weili Zeng, Yitong Xing, Fulong Liu, Chengqun Yang, Antao Xiang, Feng Tian, Jingnan Gao, Jisong Cai, Xin Wang, Xiaomin Wu, Yao Mu, Yichao Yan

Publicado 2026-07-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Weili Zeng, Yitong Xing, Fulong Liu, Chengqun Yang, Antao Xiang, Feng Tian, Jingnan Gao, Jisong Cai, Xin Wang, Xiaomin Wu, Yao Mu, Yichao Yan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a hacer un sándwich. La forma antigua de hacer esto era darle una bola de cristal al robot. Antes de mover un solo brazo, el robot usaría su bola de cristal para generar un video completo y en alta definición del futuro: viendo el pan ser rebanado, el queso deslizándose sobre la hogaza y el plato siendo colocado. Solo después de ver toda esta película en su mente, el robot decidiría qué hacer a continuación. Es como intentar conducir un coche viendo una película completa del camino por delante antes de siquiera girar el volante. Es poderoso, pero también increíblemente lento y costoso computacionalmente, como intentar renderizar una película de gran presupuesto solo para decidir si girar a la izquierda o a la derecha.

Este artículo proviene del campo de la robótica y la inteligencia artificial, centrándose específicamente en los "modelos de mundo". Un modelo de mundo es, esencialmente, una IA que aprende cómo funciona el mundo físico mediante la predicción de lo que sucede después. La idea clave con la que juegan los autores es la de las "representaciones predictivas". Piensa en esto como la diferencia entre memorizar el guion completo de una película frente a entender las reglas de la historia. No necesitas volver a ver toda la película para saber que, si se te cae un vaso, se romperá; solo necesitas entender la física de la gravedad y la fragilidad. La gran pregunta que se plantean los autores es: ¿Podemos enseñar a un robot a entender la estructura del futuro sin obligarlo realmente a generar el video completo y pesado cada vez que necesita moverse?

El artículo presenta un nuevo método llamado Enfold. El nombre es un juego de palabras con "unfolding" (desplegar/desenrollar) un futuro (que es lo que hacen los métodos antiguos y lentos) y "enfolding" (plegar/envolver) ese conocimiento del futuro en el momento presente. En lugar de hacer que el robot genere un video completo del futuro antes de actuar, Enfold enseña a un "codificador predictivo" a absorber la computación de cómo se vería ese futuro.

Así es como funciona: los investigadores utilizan una IA "maestra" (un generador de video) que es muy buena imaginando el futuro. A medida que esta IA maestra procesa un video de lo que sucederá, pasa por muchos pasos internos, organizando la escena, los objetos y las interacciones. Enfold observa estos pasos internos y aprende a predecirlos utilizando solo la imagen actual y la instrucción del robot. Es como un estudiante observando a un maestro chef cocinar un plato complejo. En lugar de que el estudiante intente cocinar todo el plato desde cero cada vez que quiere hacer un sándwich, aprenden la "memoria muscular" y la "lógica de cocina" del chef. Aprenden a anticipar el siguiente paso basándose en el estado actual de la sartén, sin necesidad de simular toda la comida en su cabeza primero.

El artículo encuentra que este enfoque cambia las reglas del juego en cuanto a velocidad y eficiencia. En las pruebas, el robot Enfold fue capaz de tomar decisiones 3.7 veces más rápido que un método anterior de vanguardia llamado Fast-WAM, y una versión optimizada llamada Enfold-Flash fue 10.1 veces más rápida. A pesar de ser mucho más rápido, no perdió su inteligencia; de hecho, funcionó ligeramente mejor en tareas complejas, logrando una tasa de éxito del 97.8% en un benchmark y del 91.77% en otro.

Crucialmente, el artículo argumenta en contra de la idea de que un robot debe generar un video completo para actuar con inteligencia. Demuestran que, al "plegar" la computación generativa del futuro en una representación compacta, el robot aún puede adaptarse si el mundo cambia. Por ejemplo, si un humano mueve un plato mientras el robot planea agarrarlo, Enfold no solo reproduce un guion pregrabado; recalcula instantáneamente el futuro basándose en la nueva realidad y ajusta sus acciones. Los autores sugieren que esto demuestra que el robot ha aprendido una comprensión predictiva y flexible del mundo, en lugar de solo memorizar un camino fijo.

En resumen, Enfold sugiere que no necesitamos renderizar el futuro completo para controlar a un robot. Solo necesitamos enseñar al robot a llevar la lógica del futuro en su bolsillo, permitiéndole actuar de forma instantánea y adaptativa, convirtiendo un proceso de renderizado de video lento en una decisión intuitiva y ultrarrápida.

Resumen Técnico: Enfold – Plegar la Computación de un Generador de Mundos en Representaciones Predictivas para un Control Corpóreo Eficiente

1. Planteamiento del Problema

Los modelos generativos de mundos (WGM, por sus siglas en inglés) han emergido como sustratos poderosos para el control corpóreo, capaces de sintetizar observaciones futuras para anticipar la evolución de escenas, interacciones de objetos y movimiento a largo plazo. Sin embargo, las estrategias de despliegue actuales para estos modelos enfrentan un cuello de botella fundamental de eficiencia. Los enfoques dominantes dependen típicamente de interfaces a nivel de salida:

Imaginar-y-actuar: Materializar un futuro visual completo antes de recuperar una acción.
Modelos Unificados Mundo-Acción: Decodificar conjuntamente video y acciones, lo que a menudo requiere que el generador se ejecute durante la inferencia.
Contexto Latente: Utilizar características internas o cachés de una rama generativa, lo cual aún requiere frecuentemente ejecutar el proceso generativo o depende de codificadores congelados que no exponen la computación generativa.

El problema central abordado por este trabajo es si la computación interna que construye un futuro —específicamente los estados intermedios de un generador de mundos que organizan la apariencia, la disposición espacial y la interacción a través de niveles de abstracción— puede ser internalizada en una representación inferida únicamente a partir del presente. Si tiene éxito, esto permitiría a un robot acceder al conocimiento estructural orientado al futuro sin ejecutar la costosa rama generativa durante el bucle de control, reduciendo así la latencia mientras se mantiene la capacidad predictiva.

2. Metodología: El Marco de Trabajo Enfold

Enfold propone un marco que transfiere la computación generativa del futuro de un modelo de mundo hacia una representación predictiva basada solo en el presente. La arquitectura consta de tres componentes: un codificador predictivo ( $U_\phi$ ), un modelo de mundo generativo ( $G_\theta$ ) y cabezales de tareas ligeros.

2.1 Mecanismo Central: Acoplamiento Bidireccional

El marco se entrena mediante dos objetivos acoplados que separan las funciones del generador y del codificador:

Generador-a-Representación (G2R):
- Proceso: Durante el entrenamiento, el generador ( $G_\theta$ ) procesa un fragmento de video futuro observado ( $y$ ) bajo un paso de forzado de profesor (teacher-forced pass), exponiendo sus estados ocultos intermedios ( $H_\theta$ ) a través de diversas profundidades de red y pasos de corrupción.
- Supervisión: Un codificador predictivo ( $U_\phi$ ), que ve solo el contexto visual actual ( $c$ ) e la instrucción de lenguaje ( $e$ ), se entrena para predecir estos estados de múltiples niveles del generador.
- Construcción del Objetivo: El objetivo no es una sola capa, sino una concatenación de estados seleccionados de múltiples profundidades ( $A(H_\theta)$ ), procesados por un cabezal condicionado por el paso de tiempo ( $F_\omega$ ). Esto tiene en cuenta el hecho de que la capa más informativa cambia con el nivel de corrupción y la profundidad.
- Restricción: Los estados del generador se desvinculan de los gradientes de la tarea. El codificador aprende a predecir la estructura de la transición futura sin ser moldeado por los resultados de acciones específicas.
Representación-a-Generación (R2G):
- Proceso: La representación aprendida ( $\bar{z}$ , una copia con stop-gradient de la salida del codificador) se retroalimenta para condicionar la generación futura en el generador ( $G_\theta$ ).
- Objetivo: El generador es entrenado para predecir el campo de velocidad del futuro condicionado en $c$ , $e$ , y $\bar{z}$ .
- Propósito: Esto actúa como una prueba funcional, asegurando que la representación $z$ contenga suficiente información predictiva para mejorar el modelado futuro, en lugar de ser solo un resumen específico de la política.
Lecturas de Tarea Desacopladas:
- Los cabezales de tareas (por ejemplo, predicción de acciones) leen la representación $z$ (vía stop-gradient) para predecir acciones.
- Diseño Crucial: Los gradientes de la tarea no fluyen de regreso al codificador $U_\phi$ . Esto asegura que la representación retenga la estructura de transición anticipada desde el estado actual, en lugar de sobreajustarse a variaciones de ruido en la trayectoria específica del profesor.

2.2 Inferencia y Despliegue

En el despliegue, el sistema ejecuta únicamente el codificador predictivo y el cabezal de acción. El generador de video no se ejecuta para la predicción de acciones.

Predicción de Acción: El cabezal de acción genera fragmentos de acción directamente a partir de $z$ .
Imaginación del Futuro: Si se solicita explícitamente un futuro visual (por ejemplo, para visualización), el generador $G_\theta$ se utiliza para muestrear de $p_\theta(y | c, e, z)$ .
Reducción de Latencia: Al eliminar el generador del camino de control, Enfold logra reducciones significativas de latencia en comparación con métodos que requieren rollouts de video o decodificación acoplada.

3. Contribuciones Clave

El artículo reclama las siguientes contribuciones:

Formulación del Espacio de Supervisión Predictiva: Los autores formulan la computación interna multinivel de un generador de mundos como un espacio de supervisión predictiva, caracterizando cómo su utilidad y estabilidad varían a través de la profundidad de la red y los niveles de corrupción.
El Marco Enfold: Desarrollo de un método que destila la computación generativa futura en una representación basada solo en el presente, sirviendo como una interfaz compartida tanto para la generación de futuros como para las lecturas de tareas con stop-gradient.
Control Eficiente sin Rollout: Demostración de que esta interfaz soporta un control competitivo en tareas simuladas y del mundo real sin ejecutar el generador en el camino de la acción, mejorando simultáneamente la predicción de video futuro y reduciendo sustancialmente la latencia de la acción.

4. Resultados Experimentales

El marco fue evaluado en LIBERO (40 tareas condicionadas por lenguaje), RoboTwin2.0 (50 tareas de doble brazo con aleatorización de dominio) y manipulación bimanual en el mundo real (plataforma AgileX).

4.1 Rendimiento de Control y Latencia

LIBERO: Enfold logró un 97.8% de éxito promedio sin pre-entrenamiento corpóreo, superando a Fast–WAM (97.6%) y equiparándose o superando a modelos más grandes como $\pi0$ $π 0$ y OpenVLA.
- Latencia: Enfold redujo la latencia de acción a 134 ms (3.7 $\times$ más rápido que Fast–WAM). La variante optimizada Enfold-Flash alcanzó los 49 ms (10.1 $\times$ más rápido).
RoboTwin2.0: Enfold logró un 91.77% de éxito promedio (limpio y aleatorizado), comparable a Fast–WAM (91.83%) y ligeramente por debajo de LingBot-VA (92.20%), a pesar de no usar pre-entrenamiento corpóreo.
Mundo Real: En cuatro tareas bimanuales, Enfold logró un puntaje de completitud de distribución interna del 89.7%, superando significativamente a Fast–WAM (77.8%) y $\pi0.5$ (86.1%). Bajo cambios de distribución fuera de distribución (OOD), Enfold mantuvo un puntaje de 76.6%, superando a Fast–WAS por 6.6 puntos.

4.2 Adaptación y Consistencia Contrafactual

Pruebas de Intervención: Cuando una intervención humana alteró la escena (por ejemplo, moviendo un objeto) mientras el objetivo permanecía fijo, las acciones ejecutadas y las continuaciones imaginadas de Enfold se adaptaron al nuevo estado.
Significancia: Este comportamiento contrasta con la reproducción de trayectorias fijas, proporcionando evidencia cualitativa de que la representación codifica la consistencia contrafactual y puede replanificar basándose en el presente alterado.

4.3 Ablación y Análisis de Representación

Objetivos de Supervisión: La supervisión de estados del generador multinivel superó tanto a la predicción de píxeles futuros como a los objetivos de solo acción.
Validación R2G: Condicionar el generador con la representación aprendida mejoró las métricas de predicción de video futuro (PSIM, SSIM, LPIPS), confirmando la utilidad de la representación más allá del simple control.
Supresión de Ruido: El análisis mostró que Enfold suprime las variaciones de ruido (por ejemplo, cambios de iluminación, ruido de generación) presentes en las características del generador bruto, preservando la estructura relevante para la tarea.
Codificación Orientada al Futuro: Las sondas revelaron que la representación es cada vez más predictiva de las regiones de la escena que cambian en horizontes más largos (por ejemplo, brazos robóticos en movimiento y objetos manipulados) en comparación con las características visuales estáticas.
Geometría de Tokens: La visualización de la similitud de tokens mostró que Enfold organiza la representación para resaltar las relaciones de interacción (contacto gripper-objeto) en lugar de solo la similitud visual.

5. Significancia y Reivindicaciones

El artículo postula que Enfold redefine el rol de un generador de mundos de un simulador en tiempo de ejecución a una fuente de supervisión predictiva estructurada en tiempo de entrenamiento.

Internalización de la Computación: La principal reivindicación es que "el futuro no necesita materializarse en cada paso si su estructura interna puede ser plegada en el presente".
Asimetría: El marco aprovecha una asimetría donde el codificador predice estados estocásticos dependientes del futuro sin acceso al mismo. Esto obliga al codificador a retener estructuras de transición que son anticipables desde el estado actual, en lugar de reproducir cada variación de ruido del profesor.
Eficiencia vs. Capacidad: Los resultados demuestran que eliminar la rama generativa del bucle de control no sacrifica la calidad del control; en cambio, permite un rendimiento en tiempo real (latencia inferior a 50 ms) manteniendo la capacidad de "imaginar" futuros cuando se solicita explícitamente.
Generalización: El método muestra robustez ante cambios de distribución y la intervención humana, sugiriendo que la representación aprendida captura una comprensión más causal y adaptable del entorno que los mecanismos simples de reproducción de trayectoria.

Los autores mantienen la modestia respecto al alcance, señalando que la evidencia de intervención es cualitativa y que la robustez bajo grandes cambios de distribución (comparado con modelos con pesado pre-entrenamiento) sigue siendo un desafío abierto. Sin embargo, establecen un principio más amplio: la rica computación generativa puede ser internalizada durante el aprendizaje y reutilizada eficientemente para el control.