Resumen Técnico: See2Think: ¿Realmente utilizan los modelos multimodales los estados visuales intermedios?

1. Declaración del Problema

Los Modelos de Lenguaje Multimodales Grandes (MLLM) están adoptando cada vez más estrategias de "pensamiento visual", como la generación de bocetos, anotaciones, llamadas a herramientas e imágenes intermedias para ayudar al razonamiento. Sin embargo, no está claro si estos modelos dependen genuinamente de estos estados visuales intermedios o si tales estados son meramente decorativos. Los benchmarks existentes sufren dos limitaciones primarias:

1. Limitaciones de Datos: Las colecciones de tareas suelen carecer de diversidad visual o contienen muestras que pueden resolverse mediante atajos de solo texto (por ejemplo, sesgos lingüísticos o descripciones detalladas), lo que no logra aislar la necesidad de la evidencia visual.
2. Limitaciones de Evaluación: Las evaluaciones estándar se centran en la precisión de la respuesta final o en la calidad agregada del proceso. Rara vez diagnostican cómo se generan, se renderizan o se utilizan los estados visuales intermedios. Específicamente, no determinan de forma conjunta si una acción visual autogenerada es relevante para la tarea, si el estado renderizado realiza fielmente esa acción, o si el razonamiento posterior depende conductualmente de la evidencia visual devuelta.

2. Metodología: El Marco See2Think

Los autores introducen See2Think, un marco de evaluación unificado diseñado para desentrañar la utilidad de los estados visuales de la dependencia conductual. Consta de dos componentes principales:

2.1 See2ThinkBench (El Componente de Datos)

Un benchmark que contiene 1,200 problemas de razonamiento abiertos y visualmente dependientes a través de 12 categorías de tareas, organizados en tres niveles de razonamiento visual:

• Razonamiento Estructurado 2D: Geometría, acertijos espaciales, física, química, preguntas de ciencia (Science QA) y patrones abstractos.
• Razonamiento de Escenas 3D: Atributos de objetos y composición 3D.
• Razonamiento Visual del Mundo Real: Manipulación robótica, cambio de estado robótico, sentido común visual y física intuitiva.

Principios de Construcción:

• Filtrado de Resolubilidad mediante Solo-Leyenda: Para eliminar atajos dominados por el texto, las muestras se filtran probando si un modelo multimodal fuerte puede responder la pregunta usando solo una leyenda detallada de la imagen (sin la imagen original). Las muestras que son resolubles en $\ge$3 intentos son descartadas.
• Normalización del Formato de Respuesta: Se eliminan las opciones de opción múltiple para forzar la generación de texto libre, excepto en un pequeño subconjunto (127 muestras) donde las opciones son intrínsecas al problema de razonamiento.
• Control de Calidad: Verificaciones automáticas y manuales aseguran la unicidad de la respuesta, la consistencia entre imagen y pregunta, y la necesidad de un razonamiento visual no trivial.

2.2 Visual Action-of-Thought (VAoT) (El Componente de Protocolo)

VAoT es un protocolo de diagnóstico en tiempo de inferencia que registra una secuencia intercalada de pensamientos textuales, acciones visuales estructuradas y estados visuales renderizados.

• Bucle de Interacción: Dada una imagen $I$ y una pregunta $q$, el modelo produce un pensamiento textual $T_t$ y una acción estructurada $A_t$ (por ejemplo, resaltar, recortar, dibujar línea). Un renderizador externo ejecuta $A_t$ sobre el estado actual y devuelve el estado visual actualizado $R_t$. El modelo luego razona basándose en $H_t = \{T_i, A_i, R_i\}$.
• Configuraciones de Inferencia Controladas: El marco evalúa los modelos bajo cuatro condiciones para aislar modos de falla específicos:
  1. CoT: Razonamiento textual únicamente sobre la imagen original.
  2. VAoT-NoRender: El modelo planifica acciones visuales pero estas no se ejecutan ni se renderizan.
  3. VAoT (Estándar): Las acciones se ejecutan y se devuelve el estado renderizado fiel.
  4. VAoT-WrongRender: Las acciones se ejecutan, pero el renderizador devuelve un estado corrupto relevante para la tarea (por ejemplo, un resaltado erróneo o un recorte distorsionado) para sondear la dependencia conductual.

2.3 Métricas de Evaluación

El marco diagnostica el proceso a lo largo de tres dimensiones para un paso visual clave en cada trayectoria:

1. Relevancia de la Acción: ¿La operación solicitada apunta a evidencia relevante para la tarea?
2. Fidelidad del Renderizado: ¿El estado renderizado realiza correctamente la acción solicitada?
3. Absorción de Retroalimentación (Feedback Uptake): ¿El razonamiento posterior utiliza la información realmente presente en el estado renderizado?

3. Contribuciones Clave

1. Formulación del Uso del Estado Visual: El artículo define el "uso genuino del estado visual" como un problema de diagnóstico controlado, distinguiendo entre la utilidad de un estado y la dependencia conductual del modelo hacia él.
2. See2ThinkBench: Un benchmark curado de 1.2K muestras con un riguroso filtrado contra atajos de solo texto, cubriendo 12 categorías de tareas y tres entornos de razonamiento visual.
3. Protocolo VAoT: Un protocolo observable e intervenible que permite el diagnóstico etapa por etapa de la selección de acciones, la ejecución visual y el uso del estado descendente.
4. Diagnósticos Exhaustivos: El marco proporciona un método unificado para evaluar si los modelos seleccionan operaciones relevantes, las renderizan fielmente y realmente utilizan la evidencia resultante.

4. Resultados Experimentales

Los autores evaluaron cuatro modelos representativos (GPT-5.5, GPT-o3, Gemini 3.5 Flash y Qwen3-VL-32B-Instruct) a través de todas las configuraciones.

4.1 Hallazgos a Nivel de Resultado

• Sin Estrategia Universal: Ninguna configuración de inferencia domina de forma universal en todas las tareas.
  • GPT-5.5 y Qwen3-VL funcionaron mejor con CoT estándar.
  • GPT-o3 mostró una ligera preferencia por VAoT (bucle cerrado).
  • Gemini 3.5 Flash funcionó mejor con VAoT-NoRender (planificación sin renderizado).
• Dependencia de la Tarea:
  • Estructurado 2D: El razonamiento directo (CoT) a menudo supera a la intervención visual.
  • Escenas 3D: La planificación de acciones (VAoT-NoRender) a menudo organiza mejor el razonamiento que la percepción pura.
  • Mundo Real: Ninguna estrategia muestra una ventaja agregada clara.
• Manipulación Robótica: Precisión consistentemente baja en todos los modelos, lo que sugiere que los errores de fundamentación (grounding) son difíciles de compensar con acciones visuales.

4.2 Diagnóstico a Nivel de Proceso

• Relevancia de la Acción: Los modelos seleccionan consistentemente operaciones visuales relevantes (puntuaciones $\approx$ 0.95–0.99).
• Fidelidad del Renderizado: Este es el cuello de botella principal. Las puntuaciones son significativamente más bajas ($\approx$ 0.56–0.70) en todos los modelos, lo que indica que los modelos a menudo fallan al ejecutar o realizar con precisión sus planes visuales.
• Absorción de Retroalimentación: Los modelos generalmente usan la información visual devuelta (puntuaciones $\approx$ 0.65–0.87), pero una alta absorción no garantiza ganancias en la precisión.
• Modos de Falla:
  • En escenas 3D, la brecha entre trayectorias correctas e incorrectas es mayor en la Fidelidad del Renderizado.
  • En tareas del Mundo Real, la brecha es mayor en la Relevancia de la Acción.
  • En tareas 2D, todas las brechas son pequeñas, consistente con que las imágenes originales ya exponen las estructuras necesarias.

4.3 Dependencia Conductual (Retroalimentación Corrupta)

• Utilidad vs. Dependencia: El renderizado correcto no siempre produce ganancias netas de precisión (por ejemplo, en tareas 2D). Sin embargo, corromper el estado visual degrada consistentemente el rendimiento, lo que demuestra la dependencia conductual.
• Sensibilidad: La precisión cae significativamente cuando la retroalimentación se corrompe, particularmente en escenas 3D (caídas de hasta 15.5 puntos porcentuales para una alta absorción de retroalimentación).
• Daño del Renderizado: Un renderizado infiel (baja Fidelidad del Renderizado) a menudo causa "daño" (transición de correcto a incorrecto) en tareas 2D y 3D, mientras que el renderizado fiel principalmente reduce la disrupción.

5. Significado y Reivindicaciones

El artículo afirma que See2Think proporciona el primer marco unificado para ir más allá de los "rastros visuales" y la precisión de la respuesta final para evaluar el mecanismo del razonamiento visual.

• Uso Genuino: El estudio demuestra que, si bien los modelos pueden planificar acciones visuales relevantes, el "uso genuino" de los estados intermedios a menudo se ve obstaculizado por una falla al renderizar fielmente dichas acciones, más que por una falla en la planificación.
• Capacidad Condicional: El razonamiento visual no es un potenciador universal de la precisión; su efectividad depende altamente de la arquitectura específica del modelo y el entorno visual (2D vs. 3D vs. Mundo Real).
• Conceptos Distintos: El marco logra desentrañar la utilidad del estado visual (¿ayuda el estado?) de la dependencia conductual (¿depende el modelo del estado?). Un modelo puede derivar poco beneficio de un estado correcto, pero sufrir significativamente si ese estado se corrompe, lo que indica una dependencia que no necesariamente se traduce en una mejora de la calidad del razonamiento.

Los autores concluyen que los modelos multimodales actuales exhiben una "brecha de planificación-renderizado", donde la capacidad de seleccionar una operación visual es alta, pero la capacidad de ejecutar e integrar el resultado es el factor limitante. El marco ofrece un entorno controlado para diagnosticar estas etapas específicas de falla.