Resumen Técnico: CoSPlan: Planificación de Secuencias Correctivas mediante Actualizaciones Incrementales de Grafos de Escena

1. Definición del Problema

Los Modelos de Lenguaje de Visión (VLMs) han demostrado capacidades significativas en el razonamiento textual y la planificación, particularmente cuando utilizan técnicas como la Cadena de Pensamiento (CoT). Sin embargo, su capacidad para realizar una planificación secuencial dentro del dominio visual sigue estando poco explorada. Los benchmarks existentes suelen centrarse en acertijos visuales estáticos o asumen instrucciones ideales y libres de errores, fallando al capturar las complejidades de la toma de decisiones en el mundo real, donde los agentes deben navegar por restricciones físicas y recuperarse de errores de ejecución.

El artículo identifica una brecha crítica: los VLMs tienen dificultades para mantener un razonamiento visual coherente de múltiples pasos, especialmente cuando se requiere detectar y corregir pasos erróneos dentro de una secuencia. Los modelos actuales tienden a comprimir el razonamiento desde un estado inicial hacia un objetivo final en un solo paso, simulando implícitamente secuencias de acciones largas sin representaciones intermedias explícitas. Esto conduce a fallos en la "Completitud de Pasos" (planificar las acciones restantes) y en la "Detección de Errores" (identificar dónde salió mal una secuencia), resultando a menudo en un rendimiento cercano al azar cuando se introducen errores.

Para abordar esto, los autores presentan CoSPlan (Planificación de Secuencia Correctiva), un benchmark multimodal diseñado para evaluar a los VLMs en su capacidad de navegar una secuencia de acciones visuales desde una escena inicial ($I_0$) hasta una escena objetivo ($I_g$), dado un contexto inicial que contiene al menos una acción intencional, no óptima o errónea ($A_E$).

2. Metodología

2.1 El Benchmark CoSPlan

CoSPlan evalúa a los modelos en dos tareas distintas:

1. Detección de Errores: Identificar el paso erróneo específico dentro del contexto inicial proporcionado (o determinar si no existe ningún error).
2. Completitud de Pasos: Seleccionar la secuencia correcta de acciones restantes para alcanzar el estado objetivo, corrigiendo efectivamente la trayectoria establecida por el error.

El benchmark consta de cuatro tareas distintas, cada una con errores subóptimos intencionales (excepto un caso específico mencionado abajo):

• Maze-E: Tareas de navegación donde el agente debe moverse desde una celda de inicio a una celda objetivo evitando obstáculos. Los errores incluyen salirse de los límites, chocar con obstáculos o realizar movimientos diagonales ilegales.
• Blocks-World-E: Tareas de reordenamiento de bloques donde el objetivo es transformar una configuración de pila inicial a una de destino. Los errores implican movimientos físicamente imposibles (por ejemplo, mover bloques que no están en la parte superior, bloques flotantes) o apilamiento ineficiente.
• Shuffle-E: Tareas de reconstrucción de imágenes donde los parches de imagen desordenados deben intercambiarse para restaurar la imagen original. Nota: Debido a la naturaleza en cascada de los errores en esta tarea, solo se introduce un error, pero se señala que esto crea un desafío único para la uniformidad.
• Robo-VQA-E: Tareas de reorganización de objetos del mundo real utilizando pares de imagen-texto curados. Los errores incluyen colocaciones subóptimas, interacciones arbitrarias con objetos inexistentes o acciones inválidas (por ejemplo, abrir una puerta que ya está abierta).

Salvaguardas de Diseño: Para evitar que los modelos "hagan trampa" simplemente seleccionando una opción que coincida visualmente con el estado final del objetivo ($I_g$) sin razonar a través de las restricciones, CoSPlan incluye opciones distractoras. Estos distractores alcanzan el estado final pero fallan en corregir el error específico en el contexto inicial, obligando al modelo a comprender la historia y las restricciones de la escena.

2.2 Solución Propuesta: Actualizaciones Incrementales de Grafos de Escena (SGI)

Reconociendo que los enfoques estándar de CoT y de Grafos de Escena (SG) estáticos tienen dificultades con el razonamiento visual de largo alcance, los autores proponen SGI, un método que no requiere entrenamiento.

• Concepto Central: En lugar de razonar directamente sobre imágenes o comprimir toda la secuencia en un solo paso, SGI transforma las imágenes en Grafos de Escena textuales. Luego realiza un razonamiento iterativo, paso a paso en el espacio del texto.
• Algoritmo:
  1. Grafos de Escena Vanilla: El VLM genera un Grafo de Escena inicial ($S_0$) a partir de $I_0$ y un Grafo de Escena de objetivo ($S_g$) a partir de $I_g$.
  2. Actualización Incremental: Comenzando desde $S_0$, se le pide al modelo que "simule" cada acción en el contexto inicial (incluyendo el error) para actualizar el grafo de forma incremental, produciendo un grafo de estado intermedio ($S_c$).
  3. Simulación de Opciones: Para cada opción de opción múltiple (que representa una secuencia futura potencial), el modelo simula las acciones comenzando desde $S_c$, generando un grafo final hipotético ($S_m$) para esa opción.
  4. Comparación de Similitud: El modelo compara cada grafo hipotético ($S_m$) contra el grafo de objetivo ($S_g$) para determinar qué opción se alinea mejor con las restricciones del objetivo, seleccionando efectivamente la ruta que corrige el error.

Este enfoque descompone la carga de razonamiento, permitiendo que el modelo rastree explícitamente los estados evolutivos en lugar de depender de una visualización implícita.

3. Contribuciones Clave

1. Benchmark CoSPlan: El primer benchmark multimodal para evaluar a los VLMs en la planificación secuencial en el dominio de visión-lenguaje bajo condiciones propensas a errores. Combina de forma única secuencias de acciones temporales con el requisito de detección y corrección de errores a través de cuatro tipos de tareas diversas.
2. Análisis Empírico de las Debilidades de los VLMs: El artículo proporciona una evaluación rigurosa de los VLMs de vanguardia (incluyendo GPT-4o, GPT-5.1, Intern-VLM, Qwen y otros). Revela que incluso los modelos avanzados rinden cerca del azar en estas tareas, resaltando una incapacidad significativa para visualizar pasos intermedios y manejar errores en el contexto.
3. Método SGI: Una técnica novedosa, sin entrenamiento, que aprovecha los Grafos de Escena para actualizaciones incrementales. SGI mejora significativamente el rendimiento sobre los métodos de Grafo de Escena vanilla y las líneas base de Chain-of-Thought al modelar explícitamente los estados intermedios.

4. Resultados

• Rendimiento de la Línea Base: Los VLMs vanilla y aquellos que utilizan CoT estándar o SGs estáticos rinden pobremente, a menudo cerca o por debajo del azar (por ejemplo, ~20% de precisión en MCQs de 5 opciones). Esto indica una lucha fundamental con la planificación de secuencias visuales cuando hay errores presentes.
• Rendimiento de SGI: El método SGI produce una mejora constante en todas las tareas.
  • Completitud de Pasos: SGI logra una mejora promedio de ~4.4% sobre los métodos de Grafo de Escena estándar, con ganancias que alcanzan hasta el 10.3% para modelos específicos como Intern-VLM 2.
  • Detección de Errores: SGI mejora la precisión de la detección de errores en un promedio de 4.1% a 9.2% dependiendo del modelo.
  • Generalización: SGI demuestra robustez en conjuntos de datos externos, mostrando mejoras en tareas de VQA (Visual Question Answering) y en el benchmark PlanBench (planificación basada en texto), lo que sugiere que la utilidad del método se extiende más allá de las tareas específicas de CoSPlan.
• Sensibilidad al Error: El estudio muestra que los VLMs sobresalen en entornos sin errores pero se degradan significamente cuando se introduce un solo error. Además, el rendimiento cae a medida que aumenta el número de opciones de MCQ, lo que sugiere una dependencia del sesgo de las opciones en lugar de un razonamiento genuino.

5. Significado y Reivindicaciones

El artículo afirma que CoSPlan expone una limitación crítica en los VLMs actuales: aunque pueden poseer una fuerte generalización zero-shot en texto o comprensión de imágenes estáticas, carecen del razonamiento visual de múltiples pasos coherente requerido para la toma de decisiones en el mundo real donde ocurren errores.

El significado del trabajo reside en:

• Realismo: Al introducir errores, CoSPlan imita escenarios de despliegue realistas (por ejemplo, robótica, navegación autónoma) donde los agentes deben recuperarse de acciones subóptimas, una capacidad que actualmente falta en la mayoría de los benchmarks.
• Cambio Metodológico: El éxito de SGI sugiere que transformar el razonamiento visual en razonamiento textual iterativo (a través de Grafos de Escena) es un camino viable para superar la brecha de razonamiento de "largo alcance" en los VLMs, sin requerir un reentrenamiento extensivo.
• Valor Diagnóstico: El benchmark sirve como una prueba rigurosa para distinguir entre modelos que simplemente "alucinan" un estado final y aquellos que realmente comprenden las relaciones causales y las restricciones de una secuencia visual.

Los autores concluyen que, si bien SGI aumenta sustancialmente el rendimiento, el rendimiento cercano al azar de muchos modelos incluso con SGI resalta que simular pasos visuales sigue siendo un desafío inherentemente difícil para las arquitecturas actuales, lo que requiere más investigación en mecanismos de razonamiento visual robustos.