Resumen Técnico: Sword – Modelos del Mundo Robustos como Simuladores mediante Arranque de Latentes Dinámicos

1. Declaración del Problema

La integración de modelos Visión-Lenguaje-Acción (VLA) con Modelos del Mundo ha surgido como un paradigma prometedor para la manipulación robótica, permitiendo la optimización de políticas dentro de la "imaginación" (entornos simulados) para eludir los costos prohibitivos de la interacción física. Sin embargo, los Modelos del Mundo existentes, cuando se despliegan como simuladores para benchmarks específicos como LIBERO, enfrentan dos limitaciones críticas que socavan su fiabilidad:

1. Mala Generalización y Sensibilidad a Perturbaciones: Los modelos actuales a menudo sobreajustan a las texturas visuales específicas y configuraciones estáticas de sus entornos de entrenamiento. Cuando se exponen a perturbaciones fuera de distribución (OOD), como cambios en el color de fondo, iluminación o apariencia de objetos, estos modelos fallan al generalizar. En lugar de modelar dinámicas físicas subyacentes, dependen de correlaciones estadísticas superficiales, lo que lleva a alucinaciones catastróficas en cascada (por ejemplo, desenfoque severo, sobreexposición o colapso estructural) durante los despliegues en bucle cerrado.
2. Acumulación de Errores Autoregresivos (Sesgo de Exposición): Las metodologías de entrenamiento estándar utilizan Teacher Forcing, donde se utilizan fotogramas de verdad fundamental como contexto para predecir estados futuros. Sin embargo, durante la inferencia, el modelo debe condicionarse sobre sus propias predicciones imperfectas. Este cambio de distribución hace que pequeños errores iniciales se acumulen y amplifiquen a lo largo de despliegues de largo horizonte, degradando la fidelidad de los estados futuros predichos y volviendo al simulador poco fiable para el aprendizaje por refuerzo (RL) posterior al entrenamiento.

2. Metodología: El Marco Sword

Para abordar estas vulnerabilidades, los autores proponen Sword, un marco de Modelo del Mundo robusto diseñado para desentrelazar la semántica ambiental de las dinámicas relevantes para la tarea y alinear las distribuciones de entrenamiento e inferencia. El marco consta de dos componentes principales:

2.1 Aumento de Estilo Guiado por Estructura

Para mejorar la generalización y prevenir el sobreajuste a texturas visuales de bajo nivel, Sword introduce una tubería de aumento de estilo estocástico durante el entrenamiento.

• Mecanismo: Basado en la arquitectura Cosmos-Transfer 2.5, el método aplica transformaciones de estilo continuas (por ejemplo, brillo, saturación, color del brazo robótico, apariencia de la mesa) a las observaciones.
• Guía de Estructura: Para asegurar que estas transformaciones permanezcan físicamente plausibles y semánticamente consistentes, el aumento se guía mediante priores geométricos y de tarea. Modalidades auxiliares, como mapas de profundidad y máscaras de segmentación semántica (extraídas mediante DepthAnything, GroundingDINO y SAM2), se inyectan en la rama de control geométrico. Un prompt conjunto que combina semántica de tarea y objetivos de estilo guía la rama de control de texto.
• Objetivo: Esto fuerza al modelo a aprender dinámicas físicas invariantes ($S_{env}$) y restricciones geométricas ($G_{env}$) en lugar de señales de píxeles superficiales, mejorando así la robustez bajo condiciones OOD.

2.2 Arranque de Latentes Dinámicos (DLB)

Para mitigar el sesgo de exposición causado por la discrepancia entre Teacher Forcing (entrenamiento) y la generación autoregresiva (inferencia), Sword propone el Arranque de Latentes Dinámicos.

• Mecanismo: En lugar de cambiar abruptamente de Teacher Forcing al autocondicionamiento, DLB implementa una transición gradual. Mantiene una Caché de Latentes Dinámicos en el espacio latente del VAE (reduciendo la sobrecarga de memoria de cientos de GB a menos de 20 GB en comparación con el despliegue en espacio de píxeles).
• Proceso: Durante el entrenamiento, los latentes predichos por el modelo se escriben continuamente en esta caché. El objetivo de entrenamiento aumenta gradualmente la probabilidad de usar estas predicciones en caché como señales de contexto histórico, en lugar de fotogramas de verdad fundamental.
• Objetivo: Esto crea un bucle de entrenamiento "arrancado" donde el modelo aprende a corregir errores inducidos por sus propias predicciones, asegurando que la distribución de entrenamiento se alinee con la distribución de inferencia y estabilizando los despliegues de largo horizonte.

2.3 Arquitectura del Modelo

El marco utiliza Wan 2.2 TI2V como columna vertebral, un Transformer generativo basado en difusión. Las acciones se inyectan como texto para guiar la predicción de fotogramas. El modelo opera en un espacio latente donde un único latente de contexto predice dos latentes futuros (decodificados en 8 fotogramas), con el primer fotograma de un episodio concatenado como condición global para mejorar la consistencia temporal.

3. Contribuciones Clave

El artículo resume sus contribuciones de la siguiente manera:

1. Aumento de Estilo Guiado por Estructura: Una tubería que diversifica las condiciones visuales mientras preserva la estructura geométrica y la semántica de la tarea, fomentando el aprendizaje de dinámicas relevantes para la transición sobre texturas superficiales.
2. Arranque de Latentes Dinámicos: Un mecanismo eficiente en memoria que condiciona gradualmente al modelo sobre sus propios latentes predichos durante el entrenamiento, mitigando efectivamente la discrepancia entrenamiento-inferencia inherente al Teacher Forcing.
3. Evaluación Exhaustiva: Una evaluación sistemática en el benchmark LIBERO que demuestra que Sword supera la línea base WoVR del estado del arte en generalización, calidad de generación, fidelidad del simulador y tasa de éxito de la política VLA posterior al entrenamiento.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark LIBERO-Spatial utilizando un conjunto de datos de 1.600 episodios de despliegue (1.500 para entrenamiento, 100 para evaluación). La evaluación incluyó un conjunto de pruebas OOD (LIBERO-Mixed) con variaciones de estilo no vistas.

• Generalización: Bajo condiciones OOD (por ejemplo, cambios de iluminación y color), la línea base WoVR exhibió una degradación severa, con predicciones volviéndose borrosas y colapsando estructuralmente para el Fotograma 30. En contraste, Sword mantuvo predicciones estables y precisas, así como consistencia estilística, a lo largo de horizontes largos.
• Calidad de Predicción: Las métricas cuantitativas (LPIPS, FID, FVD, FloLPIPS) mostraron que Sword superó consistentemente a WoVR. Notablemente, en el conjunto de datos OOD mixto, Sword logró una reducción significativa en FVD (32.59 frente a 119.62 para WoVR), indicando una mitigación superior del desenfoque y el temblor.
• Robustez y Fidelidad: En simulaciones en bucle cerrado que involucraban interacciones físicas (por ejemplo, agarre), WoVR falló en seguir secuencias de acciones con precisión, a menudo cerrando las pinzas prematuramente o perdiendo el seguimiento de objetos. Sword demostró una superior controlabilidad de acciones, manteniendo correctamente las pinzas abiertas hasta lograr la alineación y ejecutando con éxito agarres correctivos.
• Tasa de Éxito de la Política: Cuando se utilizó como simulador para el entrenamiento posterior de RL (usando GRPO con OpenVLA-OFT), Sword permitió que los agentes VLA alcanzaran tasas de éxito más altas (61.72% en el Paso 172) en comparación con la línea base WoVR (53.12%).

Estudios de Ablación

• Eficacia de DLB: Eliminar DLB resultó en una degradación consistente del rendimiento en todas las métricas, particularmente en la estabilidad de largo horizonte y la consistencia de iluminación, confirmando su papel en la reducción del sesgo de exposición.
• Diseño de Caché: Una ablación sobre estrategias de caché (programas de lectura y mecanismos de escritura) reveló que el programa de lectura de caché (específicamente Decaimiento Lineal) tuvo el impacto más significativo en el rendimiento, mientras que las estrategias de escritura (Directo vs. EMA, Único vs. Todos los fragmentos) mostraron una influencia menos regular. La configuración óptima combinó Decaimiento Lineal, Reemplazo Directo y Todos los Fragmentos.

5. Significado y Afirmaciones

El artículo afirma que Sword aborda las vulnerabilidades críticas de utilizar Modelos del Mundo como simuladores para la optimización de políticas VLA. Al restringir exitosamente al modelo a aprender dinámicas físicas invariantes mediante aumento de estilo y resolver la brecha entrenamiento-inferencia mediante Arranque de Latentes Dinámicos, el marco elimina los errores en cascada prevalentes en los enfoques existentes.

Los autores afirman que Sword proporciona un simulador generativo robusto y de alta fidelidad que mejora significativamente la generalización y la tasa de éxito general de las políticas optimizadas en entornos no vistos. Posicionan este trabajo como un paso hacia hacer del aprendizaje por refuerzo basado en "imaginación" una alternativa viable a la interacción física con robots, aunque notan modestamente que sus comparaciones actuales se limitan a la línea base WoVR debido a restricciones computacionales, con planes para comparaciones más amplias en trabajos futuros.