ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models

El artículo presenta ViPlan, el primer benchmark de código abierto que compara enfoques de planificación simbólica basados en modelos de lenguaje-visión (VLM) con métodos de planificación directa, revelando que la estrategia de usar el VLM como "grounding" es superior en dominios como Blocksworld, mientras que la planificación directa destaca en entornos de robótica doméstica, lo que pone de manifiesto las limitaciones actuales de los VLM en el razonamiento visual.

Lo esencial

¡Claro que sí! Imagina que quieres enseñar a un robot a hacer las tareas del hogar, como limpiar la cocina o ordenar los juguetes. Para que el robot funcione bien, necesita dos cosas: ver lo que hay en la habitación (como una cámara) y pensar qué hacer después (como un cerebro).

Este artículo de investigación, llamado ViPlan, es como un "examen de conducir" gigante para robots inteligentes. Los autores crearon un campo de pruebas para ver cómo funcionan dos formas diferentes de darle "cerebro" a estos robots.

Aquí te explico las dos estrategias que probaron, usando una analogía sencilla:

1. Los dos tipos de "Cerebros" para robots

Imagina que tienes que armar un mueble de IKEA. Tienes dos formas de hacerlo:

• Estrategia A: El "Artesano Directo" (VLM-as-planner)

  • Cómo funciona: El robot mira la foto de las piezas, piensa en voz alta: "Ah, veo un tornillo y una tabla. ¡Seguro debo atornillarlas!" y lo hace. No usa un manual de instrucciones escrito; confía en su intuición visual y en lo que ha aprendido de millones de videos y textos.
  • La analogía: Es como un carpintero experto que no necesita planos. Mira la madera y sabe qué hacer por instinto.
  • El problema: A veces se confunde. Si hay muchas piezas parecidas, puede intentar atornillar algo que ya está atornillado, o olvidar un paso crucial porque su "intuición" falló.

• Estrategia B: El "Arquitecto con Lupa" (VLM-as-grounder)

  • Cómo funciona: Aquí, el robot no decide qué hacer directamente. Primero, usa su visión para llenar un formulario lógico muy estricto. Le pregunta a su "cerebro": "¿Está el tornillo en la mesa? (Sí/No). ¿Está la tabla libre? (Sí/No)". Una vez que tiene todas las respuestas correctas en papel, le pasa esa lista a un planificador lógico (un software matemático muy riguroso) que le dice exactamente qué pasos seguir.
  • La analogía: Es como un arquitecto que primero mide todo milimétricamente, llena un formulario de seguridad y luego, solo si todo es perfecto, le da la orden al obrero.
  • El problema: Si el robot se equivoca al llenar el formulario (por ejemplo, dice que el tornillo está en la mesa cuando en realidad está debajo), todo el plan lógico se rompe y el robot se queda atascado.

2. El Campo de Pruebas (ViPlan)

Los autores crearon dos mundos virtuales para probar a estos robots:

• Mundo 1: El juego de bloques (Blocksworld)

  • Imagina un juego de torres de bloques de colores. Es un mundo limpio, ordenado y perfecto. Todo se ve claramente.
  • Resultado: ¡Ganó el Arquitecto con Lupa! Como el mundo es simple y ordenado, llenar el formulario lógico fue fácil y preciso. El robot no se confundió y resolvió el 46% de los retos, mientras que el "Artesano Directo" solo resolvió el 9%. En un mundo perfecto, la lógica estricta gana.

• Mundo 2: La casa real (Household Robotics)

  • Imagina una cocina real, con objetos escondidos, cajas cerradas y cosas que se mueven. Es un mundo caótico y con "puntos ciegos" (el robot no puede ver todo desde su ángulo).
  • Resultado: ¡Ganó el Artesano Directo! Aquí, el "Arquitecto con Lupa" se frustró. Intentó llenar el formulario preguntando cosas que no podía ver (¿está el plato dentro del cajón cerrado?), se confundió y falló casi todo (solo 5% de éxito). En cambio, el "Artesano Directo" usó su conocimiento del lenguaje y la experiencia previa ("sabe que los platos suelen estar en los cajones") para adivinar el mejor movimiento, resolviendo el 34% de los retos.

3. La lección sobre "Pensar antes de actuar" (Chain-of-Thought)

Hubo un experimento interesante: ¿Qué pasa si le pedimos al robot que "piense paso a paso" antes de actuar? (Como cuando nosotros nos decimos: "Primero agarro la taza, luego miro si está llena...").

• El hallazgo: Sorprendentemente, no ayudó mucho. En muchos casos, el robot se enredó en sus propios pensamientos, dio vueltas en círculos y se agotó antes de terminar la tarea.
• La analogía: Es como cuando intentas resolver un acertijo muy difícil pensando en voz alta, pero te quedas tan pensando que te olvidas de la solución o te pierdes en detalles irrelevantes. Los robots actuales aún no son muy buenos para "pensar en voz larga" sin perderse.

En resumen

El paper ViPlan nos dice que no existe un "cerebro" perfecto para todos los robots:

1. Si el entorno es limpio y predecible (como un juego de bloques), es mejor usar un sistema que traduzca la visión a reglas lógicas estrictas.
2. Si el entorno es caótico y real (como una casa), es mejor usar un sistema que use su intuición y conocimiento del lenguaje para planificar directamente.

El futuro no es elegir uno u otro, sino crear robots que sepan cuándo usar la lógica estricta y cuándo confiar en su intuición, dependiendo de si están jugando a los bloques o limpiando la cocina. ¡Y eso es un gran desafío para la inteligencia artificial!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models" en español.

1. El Problema

La integración de Modelos de Lenguaje Grandes (LLMs) con planificadores simbólicos es una vía prometedora para generar planes verificables y fundamentados. Recientemente, se ha extendido esta idea a dominios visuales utilizando Modelos Visión-Lenguaje (VLMs). Sin embargo, existe una brecha crítica en la investigación actual: falta una comparación rigurosa entre dos enfoques principales de planificación con VLMs debido a la ausencia de benchmarks visuales que soporten la planificación simbólica.

Los dos enfoques competidores son:

1. VLM-as-planner: El modelo VLM selecciona acciones directamente a partir de las entradas visuales para generar un plan.
2. VLM-as-grounder: El VLM se utiliza para "anclar" (grounding) representaciones simbólicas del mundo (predicados booleanos definidos en PDDL) a datos perceptuales, permitiendo que un planificador simbólico clásico genere el plan.

Actualmente, no existe un benchmark de código abierto que permita comparar estos dos métodos bajo entornos y protocolos equivalentes, lo que dificulta determinar cuándo es preferible cada enfoque.

2. Metodología: El Benchmark ViPlan

Los autores presentan ViPlan, el primer benchmark de código abierto diseñado específicamente para comparar estos dos paradigmas.

Dominios de Prueba

ViPlan introduce dos dominios visuales con demandas de razonamiento complementarias:

• ViPlan-Blocksworld (ViPlan-BW): Una variante visual del clásico problema de planificación de bloques. Es un entorno abstracto, totalmente observable y con poca ambigüedad visual. Los bloques se apilan en columnas y el objetivo es reorganizarlos.
• ViPlan-Household (ViPlan-HH): Un entorno de robótica doméstica simulado (basado en iGibson 2.0 con el robot Fetch). Representa escenarios del mundo real con observabilidad parcial (el robot no ve todo el entorno simultáneamente) y ambigüedad lingüística/visual (ej. objetos similares, necesidad de navegar).

Cada dominio contiene 75 tareas divididas en tres niveles de dificultad (simple, medio, difícil).

Métodos Evaluados

Se evaluaron dos clases de métodos, cada una con cuatro variantes específicas:

1. VLM-as-planner:
   • Plan: Genera un plan completo en formato JSON.
   • Action: Genera solo la siguiente acción.
   • CoT: Variaciones que incluyen razonamiento de "Cadena de Pensamiento" (Chain-of-Thought) antes de generar la salida.
2. VLM-as-grounder:
   • Utiliza el VLM para responder preguntas de Sí/No sobre el estado del mundo (verificando precondiciones y efectos de las acciones) para alimentar a un planificador simbólico (Fast Downward).
   • Incluye variantes con memoria (para recordar errores de anclaje previos) y con CoT.

Selección de Modelos

Se evaluaron 21 modelos VLM de código abierto (de diferentes familias y escalas, desde 7B hasta 78B parámetros) y 3 modelos cerrados de referencia. Tras una fase de selección, se seleccionaron los 5 mejores modelos (InternVL3.5 38B, InternVL3 78B, Qwen3-VL 32B, Qwen2.5-VL 72B, Gemma-3 27B) para la evaluación principal del benchmark.

3. Contribuciones Clave

1. ViPlan: El primer benchmark abierto que permite la comparación directa entre VLM-as-planner y VLM-as-grounder en tareas de planificación visual.
2. Análisis de Compensación (Trade-off): Demostración de que no existe un método superior universal; el rendimiento depende intrínsecamente del dominio (observabilidad vs. ambigüedad).
3. Evaluación de CoT: Análisis exhaustivo que muestra que el Chain-of-Thought no mejora consistentemente el rendimiento en planificación visual y, a menudo, lo perjudica.
4. Análisis Cualitativo de Fallos: Identificación de modos de fallo específicos como alucinaciones de anclaje, inconsistencias de planificación y errores de análisis sintáctico.
5. Reproducibilidad: El código, los dominios y los datos están disponibles públicamente para facilitar la extensión con nuevos modelos y métodos.

4. Resultados Principales

Rendimiento por Dominio

Existe una clara divergencia en el rendimiento según el entorno:

• En ViPlan-BW (Bloques): El enfoque VLM-as-grounder es superior, resolviendo en promedio el 46% de las tareas, frente al 9% del VLM-as-planner.
  • Razón: En este dominio, la precisión del anclaje visual es crucial y las preguntas de Sí/No son triviales para los modelos modernos. El enfoque simbólico aprovecha la estructura lógica estricta.
• En ViPlan-HH (Hogar): El enfoque VLM-as-planner es drásticamente superior, resolviendo el 34% de las tareas frente al 5% del VLM-as-grounder.
  • Razón: La observabilidad parcial y la ambigüedad visual hacen que la verificación de predicados (grounding) sea propensa a errores acumulativos. El VLM-as-planner, al no depender de una verificación explícita de cada predicado, puede aprovechar sus priors lingüísticos para proponer acciones plausibles a pesar de la incertidumbre visual.

Impacto del Chain-of-Thought (CoT)

• Sin beneficio consistente: Añadir CoT no mejoró el rendimiento de manera significativa en la mayoría de los métodos.
• Efecto negativo: En el método Plan para ViPlan-HH, el CoT redujo el rendimiento del 39% al 23%.
• Causa: Los modelos tienden a entrar en patrones de pensamiento repetitivos, agotando el presupuesto de tokens antes de completar la tarea, especialmente en planes complejos o prompts largos.

Análisis de Fallos

• VLM-as-planner: Fallos comunes incluyen la predicción de acciones no ejecutables (debido a un seguimiento de estado implícito inconsistente) y errores de formato JSON (parsing).
• VLM-as-grounder: Los fallos se deben principalmente a un anclaje incorrecto de precondiciones. Si un modelo valida incorrectamente una precondición inválida, el agente intenta acciones ilegales en bucle; si invalida una válida, queda atrapado en un estado sin salida.

5. Significado e Implicaciones

El trabajo de ViPlan establece un nuevo estándar para la evaluación de agentes de planificación visual. Sus hallazgos sugieren que:

1. No hay solución única: La elección entre un enfoque simbólico (grounding) o directo (planner) debe basarse en la naturaleza del entorno (totalmente observable vs. parcialmente observable/ambiguo).
2. Limitaciones actuales de los VLMs: A pesar de los avances, los VLMs actuales aún luchan con el razonamiento visual coherente a largo plazo y la consistencia en la verificación de estados, lo que limita la eficacia de la planificación simbólica en entornos complejos.
3. CoT no es una panacea: En tareas de planificación visual, el razonamiento paso a paso explícito a menudo degrada el rendimiento debido a la inestabilidad de los modelos en mantener cadenas de pensamiento largas y coherentes.

En conclusión, ViPlan revela que el futuro de la planificación robótica robusta probablemente requerirá arquitecturas híbridas que combinen la rigurosidad de la planificación simbólica con la capacidad de inferencia pragmática de los modelos de lenguaje, superando las limitaciones actuales de ambos enfoques por separado.