DreamPlan: Efficient Reinforcement Fine-Tuning of Vision-Language Planners via Video World Models

1. Problema y Motivación

La manipulación robótica, especialmente con objetos deformables (como telas, cuerdas o juguetes blandos), requiere un razonamiento semántico sofisticado y una comprensión física profunda.

• Limitación de los VLMs: Los Modelos de Lenguaje y Visión (VLMs) preentrenados poseen un fuerte razonamiento semántico y pueden actuar como planificadores zero-shot (sin entrenamiento previo específico). Sin embargo, carecen de una comprensión física "anclada" (grounded). En tareas complejas con dinámicas no lineales (como deformar objetos), sus acciones suelen ser semánticamente plausibles pero físicamente ineficaces, lo que genera errores acumulativos y bajas tasas de éxito.
• Limitación del Aprendizaje por Refuerzo (RL) Tradicional: Ajustar estos VLMs mediante RL en el mundo real es prohibitivamente costoso, peligroso y extremadamente ineficiente en términos de muestras.
• Limitación de los Simuladores: Los simuladores de alta fidelidad para objetos deformables son difíciles de construir y a menudo presentan una gran brecha sim-to-real (simulación a realidad).
• Limitación de los Modelos de Mundo Actuales: Los modelos de mundo basados en video existentes suelen estar limitados a cuerpos rígidos o requieren demostraciones expertas curadas, fallando al simular comportamientos deformables complejos.

2. Metodología: El Marco DreamPlan

DreamPlan es un marco de aprendizaje por refuerzo eficiente que adapta los planificadores VLM a la física del mundo real utilizando rollouts virtuales generados por un modelo de mundo de video. El proceso se divide en tres etapas principales:

A. Recopilación de Datos Exploratorios (Zero-Shot)

En lugar de usar demostraciones expertas costosas, DreamPlan despliega un planificador VLM zero-shot para recopilar datos de interacción exploratoria en el entorno real.

• Aunque estos datos están dominados por intentos fallidos o subóptimos, contienen señales ricas sobre la causalidad entre acción y resultado.
• Representación de Acción: Se utiliza una estrategia de prompting visual estructurada. El VLM selecciona puntos clave (keypoints) discretos para definir el agarre y la colocación, reduciendo la ambigüedad espacial.

B. Aprendizaje del Modelo de Mundo de Video (Action-Conditioned)

Se entrena un modelo de mundo de video condicional a la acción ($W_\phi$) para predecir las dinámicas del objeto deformable.

• Arquitectura: Se basa en un modelo de difusión de video preentrenado (CogVideoX-5B).
• Condicionamiento: Para inyectar la acción robótica en el modelo, se renderizan las configuraciones cinemáticas del brazo robótico correspondientes a la secuencia de acciones. Estas "videos de acción renderizados" se inyectan en el modelo de difusión mediante una arquitectura tipo ControlNet.
• Enfoque en el Objeto: Para mejorar la precisión, el modelo se entrena para predecir videos recortados solo del objeto (con fondo blanco), ignorando detalles irrelevantes como la iluminación o el fondo, lo que permite al modelo concentrarse en la dinámica de deformación.

C. Ajuste Fino por Refuerzo (RL) en la "Imaginación"

Una vez entrenado el modelo de mundo, el ajuste fino del planificador VLM ocurre completamente dentro de la "imaginación" del modelo, sin interacción física adicional.

• Estrategia Best-of-K: Para cada par de observación-objetivo, el planificador genera un lote de $K$ acciones candidatas. El modelo de mundo predice los resultados futuros de estas acciones.
• Selección de Preferencias: Se compara el resultado predicho de cada acción con el estado objetivo. La acción que logra el objetivo se marca como positiva, y las demás como negativas.
• Optimización ORPO: Se utiliza Odds Ratio Policy Optimization (ORPO) para ajustar el VLM. Este método contrasta directamente las acciones preferidas frente a las no preferidas, maximizando la probabilidad de las acciones físicamente viables sin necesidad de una función de valor separada ni consultas repetidas al modelo de mundo durante la optimización.

3. Contribuciones Clave

1. Marco DreamPlan: Un enfoque altamente eficiente que adapta planificadores VLM zero-shot a tareas físicas complejas mediante un ajuste fino de RL offline dentro de rollouts virtuales generados por video.
2. Estrategia de Adaptación Eficiente: Integración de muestreo Best-of-K con ORPO. Esta estrategia desacopla la inferencia costosa de difusión de video de la optimización de la política, permitiendo una adaptación rápida y eficiente.
3. Modelo de Mundo para Deformables: Demostración de que un modelo de mundo condicional a la acción, entrenado con datos exploratorios subóptimos, puede capturar dinámicas deformables complejas y servir como verificador fiable.
4. Validación en Tareas Reales: Éxito demostrado en tres tareas desafiantes de manipulación deformable (telas, cuerdas y juguetes blandos) en un entorno robótico real.

4. Resultados Experimentales

Los experimentos se realizaron en un sistema bimanual (dos brazos Franka FR3) con tareas de enderezar cuerdas, doblar telas y reposicionar juguetes.

• Rendimiento Superior: DreamPlan supera significativamente a los baselines zero-shot.
  • Mejora General: Se observa un aumento en la tasa de éxito del 15% al 40% en todas las tareas evaluadas.
  • Puntuación Promedio: El modelo ajustado (Qwen3-VL-8B + DreamPlan) alcanza una puntuación promedio de 0.60, duplicando el rendimiento del mejor baseline puro zero-shot (0.35).
  • Comparación Específica: En la tarea de "Enderezar Cuerda", DreamPlan logra 0.60 frente a 0.30 de GPT-4o. En "Reposicionamiento de Brazo de Juguete", alcanza 0.85, superando a un modelo mucho más grande (Qwen3-VL-32B) que obtiene 0.70.
• Calidad del Modelo de Mundo: Las comparaciones cualitativas muestran que el modelo de DreamPlan genera deformaciones físicamente plausibles y consistentes con la acción, mientras que los baselines de generación de video fallan en seguir las instrucciones de manipulación.
• Eficiencia Computacional:
  • DreamPlan reduce el tiempo de inferencia en órdenes de magnitud. Mientras que un enfoque de verificación explícita (muestrear y verificar cada acción) tarda 926 segundos por decisión, DreamPlan tarda solo **1.12 segundos**.
  • Esto se logra sin sacrificar el rendimiento, manteniendo la supervisión basada en física.

5. Significado e Impacto

DreamPlan aborda una brecha fundamental en la robótica: la desconexión entre el razonamiento semántico de los grandes modelos de lenguaje y la realidad física de la manipulación de objetos.

• Viabilidad de Datos: Demuestra que no se necesitan grandes cantidades de demostraciones expertas ni simuladores perfectos; los datos exploratorios subóptimos son suficientes para entrenar modelos de mundo efectivos.
• Escalabilidad: Al realizar el RL en un entorno virtual ("imaginación"), se elimina el costo y el riesgo de la interacción física masiva, haciendo que el ajuste fino de VLMs para tareas físicas sea escalable y seguro.
• Futuro: Este enfoque abre la puerta a que los robots aprendan a manipular objetos complejos y deformables de manera autónoma, combinando la inteligencia semántica de los VLMs con la comprensión física derivada de modelos de mundo generativos.