Resumen Técnico: WorldBagel

Planteamiento del Problema

Los modelos de mundo pretenden capturar la dinámica del entorno para apoyar la percepción, el razonamiento y la toma de decisiones, sirviendo como un objetivo central en la inteligencia encarnada y la robótica. Si bien los modelos recientes de Visión-Lenguaje-Acción (VLA) han demostrado éxito en el aprendizaje multitarea y la generalización al incorporar el lenguaje, suelen enfatizar la predicción de acciones y el rendimiento de las tareas en lugar de la modelización generativa explícita de la dinámica del entorno. Por el contrario, los esfuerzos tradicionales de modelado de mundo suelen centrarse en la dinámica visual y el control sin integrar profundamente el lenguaje o el conocimiento multimodal a gran escala.

El artículo argumenta que existe una convergencia natural entre el aprendizaje VLA multimodal y el modelado de mundo. Un modelo unificado no solo debería comprender las observaciones visuales y seguir instrucciones de lenguaje, sino también generar estados visuales futuros y predecir acciones dentro de un espacio de representación compartido. Sin embargo, sigue sin estar claro cómo deben adaptarse o evaluarse los modelos multimodales unificados como modelos de Visión-Lenguaje-Acción-Mundo (VLAW) generales, particularmente en lo que respecta a la tokenización de acciones, la planificación de secuencias y la estabilidad del entrenamiento a través de conjuntos de datos heterogéneos.

Metodología: WorldBagel

WorldBagel es un marco VLAW unificado construido sobre BAGEL, un modelo multimodal unificado moderno que presenta una arquitectura de dos torres con expertos dedicados de Comprensión (UND) y Generación (GEN). WorldBagel extiende esta arquitectura para soportar conjuntamente la comprensión multimodal, el modelado de acciones estructuradas y la predicción de mundos futuros.

1. Arquitectura del Modelo

El marco opera sobre un espacio de incrustación de tokens multimodales compartido y consta de dos ramas principales:

• Rama VLA (Comprensión y Predicción de Acciones): Los estados visuales se codifican mediante un codificador ViT y se procesan a través del experto UND, que se especializa en la localización transmodal. Se adjunta un Decodificador de Características de Fourier (FFAD) especializado para predecir señales de control continuo.
• Rama de Modelado de Mundo (Generación Condicionada por Acción): Esta rama se condiciona en tokens visuales pasados, instrucciones de lenguaje y tokens de acción estructurados. Utiliza el experto GEN para predecir observaciones futuras mediante el flujo de coincidencia (flow matching), seguido de un decodificador VAE.

2. Componentes Técnicos Clave

• Tokenizador de Características de Fourier (FFAT) y Decodificador (FFAD): En lugar de la regresión estándar o el agrupamiento discreto (que pueden ser inestables o dependientes de los datos), WorldBagel mapea vectores de acción continuos en incrustaciones de características de Fourier estructuradas.
  • Mapeo hacia adelante: Las acciones se expanden en bandas de frecuencia con escalas que aumentan exponencialmente para capturar variaciones tanto gruesas como finas.
  • Predicción: El modelo predice características de Fourier en el espacio latente en lugar de valores de acción brutos, mejorando la estabilidad.
  • Mapeo inverso: Las acciones se reconstruyen mediante un promedio consistente en fase a través de las frecuencias, asegurando la continuidad y la estructura métrica local sin optimización iterativa.
• Modelado VLAW Intercalado mediante Planes de Secuencia: El modelo organiza las observaciones visuales, las instrucciones de lenguaje, los tokens de acción y las predicciones de estados futuros en una secuencia autorregresiva unificada. Los "planes de secuencia" flexibles definen el orden de estos tokens, permitiendo que el modelo sea entrenado en varios objetivos (por ejemplo, prediciendo acciones antes de las observaciones futuras o viceversa) dentro de un solo paso hacia adelante (forward pass).
• Muestreo de Datos Inspirado en LLM: Para manejar conjuntos de datos heterogéneos con diferentes escalas y señales de supervisión, los autores emplean:
  • Muestreo de Mezcla de Conjuntos de Datos: Probabilidades de muestreo suavizadas basadas en el tamaño del conjunto de datos para evitar que los conjuntos de datos grandes dominen.
  • Muestreo de Prioridad de Plan de Secuencia: Una estrategia que asigna pesos más altos a los "planes VLAW conjuntos" (que supervisan tanto la acción como la predicción del mundo) en comparación con los planes de solo política, asegurando que el modelo observe frecuentemente la supervisión tanto para el control como para la dinámica del entorno.

3. Objetivo de Entrenamiento

El modelo se inicializa desde un checkpoint de BAGEL preentrenado y se ajusta mediante el Aprendizaje Supervisado de Refinamiento (SFT). La pérdida total combina la pérdida de predicción de acción (regresión en el espacio de Fourier) y la pérdida de generación de visión (flujo de coincidencia para futuros cuadros), ponderada como:
$$\mathcal{L} = \mathcal{L}_{action} + 0.1\mathcal{L}_{vision}$$

Principales Contribuciones

1. Marco VLAW Unificado: La introducción de WorldBagel, que extiende la arquitectura de dos torres de BAGEL para modelar conjuntamente la percepción, la localización de lenguaje, la predicción de acciones y la generación de observaciones futuras.
2. Módulos de Acción de Características de Fourier: La propuesta de FFAT y FFAD, que codifican señales de control continuo en tokens estructurados alineados con el espacio multimodal, mejorando la calidad de la representación de la acción y la estabilidad.
3. Estudio Sistemático de la Unificación: A través de experimentos de manipulación robótica multitarea y de dominio cruzado, el artículo demuestra que la unificación en sí misma beneficia el aprendizaje de modelos VLAW efectivos, produciendo ganancias empíricas consistentes y conocimientos más profundos sobre el modelado de mundo multimodal.

Resultados Experimentales

Los autores evaluaron WorldBagel en tres bancos de pruebas: LIBERO (manipulación de largo horizonte simulada), Language Table (manipulación de mesa en el mundo real) y Franka (simulación basada en física).

• Rendimiento Multitarea: WorldBagel logró una tasa de éxito promedio del 98.0% en el banco de pruebas LIBERO, superando a la fuerte línea base RynnVLA-002 (+0.6%) y a varias otras líneas base de VLA (por ejemplo, OpenVLA-OFT, $\pi0.5$).
• Calidad del Modelado de Mundo: En tareas de modelado de mundo condicionadas por la acción, WorldBagel mejoró consistentemente la fidelidad de la predicción (menor FVD, mayor PSNR/SSIM, menor LPIPS) en comparación con las líneas base en todos los conjuntos de datos. Por ejemplo, en LIBERO, redujo el FVD de 389.5 a 373.1.
• Calidad de la Representación de la Acción: El enfoque basado en Fourier (FFAD) redujo el MSE de la acción a 0.028 y alcanzó una precisión de sonda lineal del 68.7% para la identidad de la tarea, superando significativamente la regresión (49.8%) y otros métodos de tokenización. Esto indica que las incrustaciones aprendidas son más estructuradas y están alineadas semánticamente.
• Estabilidad bajo Cambios de Distribución: Bajo perturbaciones (ruido gaussiano, escalado de acciones, desplazamientos temporales), WorldBagel mantuvo una mayor fidelidad de predicción (PSNR) y un menor LPIPS en comparación con RynnVLA-002. El análisis del espectro de autovalores reveló que WorldBagel posee un rango efectivo más alto (33.7 frente a 16.3) y una relación de autovalor dominante más baja, lo que sugiere una representación más rica y estable de la dinámica de la acción.

Significado y Reivindicaciones

El artículo afirma que la unificación en sí misma es un ingrediente clave para los modelos de mundo escalables. Al modelar conjuntamente la percepción, el lenguaje, la acción y la dinámica futura dentro de un único marco autorregresivo, WorldBagel demuestra que las arquitecturas unificadas pueden superar a las alternativas específicas de tareas.

Los autores argumentan que su trabajo proporciona:

1. Ganancias Empíricas: Mejoras consistentes tanto en el rendimiento del control (éxito de la política) como en la comprensión predictiva del entorno (fidelidad del modelado de mundo).
2. Perspectivas Metodológicas: Evidencia de que la tokenización de acciones basada en Fourier y la planificación de secuencias intercaladas son críticas para estabilizar el entrenamiento multimodal heterogéneo y aprender representaciones de acción de alta calidad y estructuradas.
3. Base para Trabajos Futuros: Los resultados sugieren que la unificación arquitectónica mejora tanto el aprendizaje de políticas como el modelado predictivo del entorno, ofreciendo una base prometedora para modelos de mundo multimodales escalables en agentes encarnados.

El artículo concluye que, si bien los modelos de lenguaje-visión unificados recientes muestran capacidades de generación sin precedentes, su papel como modelos de mundo ha sido ampliamente descubierto; WorldBagel comienza a abordar sistemáticamente esta brecha.