Resumen Técnico: Uni-Plan – Planificación con Modelos Multimodales Unificados

Declaración del Problema

Los avances recientes en los Modelos de Lenguaje Extensos (LLMs) y los Modelos de Lenguaje-Visión (VLMs) han despertado el interés en utilizarlos para la toma de decisiones y la planificación. Sin embargo, los enfoques existentes dependen predominantemente del razonamiento basado en texto, donde las entradas visuales se procesan a menudo solo en la etapa inicial. Esta limitación unimodal restringe la capacidad del modelo para representar con precisión el estado actual y razonar sobre la dinámica espacial o visual durante todo el proceso de planificación. Si bien algunos trabajos intentan integrar imágenes invocando herramientas externas (por ejemplo, ejecución de código para graficar o modelos de visión separados para segmentación), estos métodos carecen de adaptabilidad y generalización. Además, los Modelos Multimodales Unificados (UMMs), que soportan de forma nativa tanto entradas como salidas multimodales, han mostrado ser prometedores pero sufren de una "maldición del horizonte". Específicamente, tienen dificultades para actuar como modelos de dinámica fieles, fallando a menudo al predecir observaciones de estados sucesores precisas, particularmente en entornos estocásticos o cuando se requieren efectos causales precisos.

Metodología

Los autores proponen Uni-Plan, un marco de planificación que aprovecha un único Modelo Multimodal Unificado (UMM) para servir simultáneamente cuatro roles distintos: (i) una política, (ii) un modelo de dinámica, (iii) un autodiscriminador y (iv) una función de valor. El marco se basa en el modelo BAGEL, un UMM de código abierto de vanguardia.

Componentes Principales

1. UMM como Modelo de Dinámica: El sistema requiere que el modelo prediga la siguiente observación visual ($o_{h+1}$) condicionada a la observación actual ($o_h$) y a una acción textual ($a_h$). Aunque los UMMs estándar pueden realizar edición de imágenes básica, a menudo fallan en mantener la consistencia causal en escenarios complejos o estocásticos (por ejemplo, el reordenamiento de objetos con múltiples resultados válidos).
2. Filtrado Autodiscriminado: Para abordar la inexactitud de las predicciones de la dinámica, los autores introducen un novedoso mecanismo de filtrado. El UMM es entrenado conjuntamente para la inferencia de la dinámica inversa ($P^{-1}_{UMM}(o_h, o_{h+1}) \to a_h$). Durante la planificación, el modelo genera múltiples observaciones candidatas para el siguiente estado. Luego, opera en modo de dinámica inversa para inferir la acción que conduciría desde el estado actual hacia cada candidato. Los candidatos se retienen solo si la acción inferida coincide con la acción ejecutada realmente. Este proceso, combinado con verificaciones de consistencia en el conteo de objetos, filtra eficazmente las transiciones alucinadas o inválidas.
3. Algoritmos de Planificación:
   • Planificación de Lazo Abierto (Open-Loop): Utilizada para entornos totalmente observables. La política (un UMM con prompting) propone acciones candidatas, y el modelo de dinámica las proyecta. Se realiza una búsqueda de haz (beam search) en el espacio de estados imaginados, donde los estados sucesores se filtran mediante el filtrado autodiscriminado y se califican mediante una función de valor (un UMM ajustado que predice los pasos restantes para alcanzar la meta).
   • Planificación de Lazo Cerrado (Closed-Loop): Utilizada para entornos parcialmente observables. Inspirado en el paradigma de "propuesta, simulación y revisión", la política genera múltiples secuencias de acciones candidatas. El modelo de dinámica simula estas secuencias hasta su horizonte, y la función de valor selecciona la secuencia más prometedora. El agente ejecuta solo las primeras $L$ acciones, observa el nuevo estado y vuelve a planificar, permitiendo una corrección continua mediante retroalimentación.

Estrategia de Entrenamiento

A diferencia de muchos planificadores basados en VLM que requieren demostraciones de expertos para el ajuste fino (fine-tuning), Uni-Plan se entrena con trayectorias de no expertos. Los modelos de dinámica directa e inversa se ajustan mediante datos de transición, mientras que el componente de la política no requiere ajuste fino. La función de valor se entrena con datos etiquetados para estimar el número de pasos hacia una meta.

Contribuciones Clave

1. Filtrado Autodiscriminado: Una técnica novedosa donde el modelo generativo actúa como su propio discriminador para filtrar predicciones de dinámica inválidas, mejorando significativamente la fiabilidad del modelo de dinámica sin requerir herramientas de verificación externas.
2. Marco de Planificación Unificado (Uni-Plan): Un sistema donde un único UMM integra los roles de política, modelo de dinámica, autodiscriminador y función de valor, permitiendo una planificación integrada a través de contenido visual generado.
3. Desempeño Superior y Escalabilidad: El marco demuestra mejoras sustanciales sobre los métodos basados en VLM en tareas de toma de decisiones corporales (embodied decision-making). Logra altas tasas de éxito sin demostraciones de expertos y exhibe una fuerte escalabilidad de datos, superando a los VLMs incluso cuando se entrenan con la misma cantidad de datos de no expertos.

Resultados Experimentales

Los autores evaluaron Uni-Plan en seis tareas de toma de decisiones corporales que abarcan navegación 2D, manipulación y navegación 3D (incluyendo FrozenLake, Mini-BEHAVIOR, Language Table, Real World, Active Recognition y Image-Goal Navigation).

• Desempeño: Uni-Plan logró tasas de éxito casi un 30% superiores en comparación con los métodos de planificación basados en VLM de código abierto (incluyendo variantes de CoT) en todas las tareas. También igualó el desempeño del potente modelo de código cerrado GPT-5-Thinking.
• Estudios de Ablación:
  • Modelo de Dinámica: El modelo BAGEL ajustado sirvió como un modelo de dinámica altamente generalizable, superando significativamente a los modelos entrenados desde cero en distribuciones fuera de la distribución (OOD) de los diseños (layouts).
  • Filtrado: Se demostró que el filtrado autodiscriminado es crítico; eliminarlo provocó una caída significativa en las tasas de éxito de la planificación, confirmando que mejores algoritmos de búsqueda no pueden compensar un modelado de transiciones deficiente.
  • Eficiencia de Datos: Uni-Plan alcanzó un rendimiento sólido con solo 500 trayectorias, mientras que los modelos de referencia VLM no lograron resultados competitivos incluso con cuatro veces esa cantidad de datos.
• Eficiencia: Al utilizar un solo modelo para generar imágenes en lugar de videos (como en la Planificación de Lenguaje de Video), Uni-Plan logró una aceleración de aproximadamente 10× en el tiempo de inferencia en comparación con los modelos de planificación basados en video.

Significado y Reivindicaciones

El artículo postula que Uni-Plan representa un cambio de usar las imágenes generadas meramente para la visualización de trazas de razonamiento a usarlas como intermediarios para el razonamiento contrafáctico. Al simular múltiples futuros posibles bajo diferentes acciones, el modelo evalúa activamente trayectorias alternativas en lugar de solo exponer su proceso de pensamiento.

Los autores afirman que este trabajo sienta las bases para la investigación futura en razonamiento y toma de decisiones con UMMs. Destacan que la capacidad de unificar políticas, dinámicas y funciones de valor dentro de un solo modelo, reforzada por el filtrado autodiscriminado, ofrece un enfoque más robusto y eficiente en datos para la IA corporales que los paradigmas actuales centrados en texto o dependientes de herramientas. El trabajo sugiere que las capacidades de generación multimodal inherentes de los UMMs, cuando se aprovechan adecuadamente, pueden fortalecer significativamente el razonamiento visual y el desempeño de la planificación.