Resumen Técnico: Cómo y Qué Imaginar? Pensamiento Visual en Modelos Multimodales Unificados para el Razonamiento Espacial entre Vistas

Enunciado del Problema

El razonamiento espacial entre vistas —la capacidad de inferir la disposición de la escena, la colocación de objetos y la geometría a partir de imágenes tomadas desde diferentes puntos de vista— sigue siendo una debilidad significativa en los Modelos Visuales-Lingüísticos (VLM). Aunque los VLM sobresalen en tareas de imagen única, su rendimiento en tareas entre vistas apenas supera al azar. Los autores argumentan que esto se debe a una incompatibilidad representacional: el razonamiento entre vistas es inherentemente visual, pero los VLM suelen razonar a través del lenguaje, verbalizando observaciones en intermedios de texto que descartan la geometría de grano fino requerida para la tarea.

Los enfoques recientes de "pensar con imagen" intentan cerrar esta brecha generando representaciones visuales intermedias (por ejemplo, reconstrucciones 3D, mapas de profundidad o trayectorias de cámara predichas). Sin embargo, trabajos previos indican que la evidencia visual en estos rastros generados es ignorada en gran medida por la vía de respuesta del modelo. Bajo el ajuste fino supervisado estándar (SFT), los modelos generan imágenes de pensamiento plausibles pero dependen de las vistas de entrada originales para responder, convirtiendo el pensamiento visual en un subproducto decorativo en lugar de un componente funcional del razonamiento.

Metodología

1. Modelos Multimodales Unificados (UMM)

El estudio utiliza Modelos Multimodales Unificados (específicamente BAGEL), que admiten nativamente la generación intercalada de texto e imagen. Esta arquitectura permite que el modelo genere una representación visual intermedia (la "imagen de pensamiento") como parte de la cadena de razonamiento antes de producir una respuesta textual, permitiendo un aprendizaje de extremo a extremo sin herramientas externas.

2. Dropout de Vista (VDrop)

Para abordar el subaprovechamiento del pensamiento visual, los autores proponen Dropout de Vista (VDrop), una intervención durante el entrenamiento diseñada para obligar al modelo a depender de la imagen de pensamiento generada.

• Mecanismo: Durante el entrenamiento, una región contigua de una vista de entrada ($V_1$ o $V_2$) se enmascara del alcance de atención de los tokens de respuesta. Sin embargo, los tokens de la imagen de pensamiento conservan el acceso completo a las vistas de entrada no enmascaradas.
• Efecto: Esto crea un bloqueo de "atajo". Dado que los tokens de respuesta no pueden ver la región enmascarada de la vista de entrada, deben enrutarse a través de la imagen de pensamiento generada para recuperar la información faltante de la disposición espacial.
• Currículo: Una fase de calentamiento permite que el modelo aprenda a generar y utilizar la imagen de pensamiento con visibilidad completa de la entrada. Luego, la probabilidad de enmascaramiento se reduce linealmente hasta el 100%, asegurando que el modelo aprenda a depender de la imagen de pensamiento antes de que las vistas de entrada estén completamente ocultas.

3. Estrategias de Pensamiento Visual

El estudio compara tres tipos distintos de imágenes de pensamiento para determinar cuál es más efectiva, planteando la elección como un compromiso entre Aprendibilidad e Informatividad (L–I):

• Vista Panorámica: Una renderización de gran angular desde la pose del observador, unificando las dos vistas en un único campo visual.
• Vista Cenital: Una renderización de ángulo elevado que expone la disposición global y los lados de los objetos.
• Correspondencia de Puntos: Las dos vistas de entrada mostradas lado a lado con marcadores de colores que indican objetos correspondientes.

La Informatividad se refiere a cuánto estructura espacial revela la variante. La Aprendibilidad se refiere a qué tan fiablemente el UMM puede producir instancias fieles de esa variante a partir de los datos.

4. Entrenamiento y Evaluación

• Datos: El entrenamiento se realizó en 8,000 muestras sintéticas de Infinigen Indoors, presentando cuatro tipos de preguntas entre vistas: Ancla, Conteo, Distancia Relativa y Dirección Relativa.
• Benchmarks: La evaluación incluyó un benchmark dentro del dominio (ID) (COSMIC) y cinco benchmarks fuera del dominio (OOD) del mundo real (MMSI-Bench, MindCube, OmniSpatial, STARE-Perspective, BLINK-MultiView).
• Verificación Causal: Se utilizó una sonda de "generar y luego cegar" durante la inferencia. El modelo genera la imagen de pensamiento, pero se enmascara la atención del segmento de respuesta hacia la imagen de pensamiento. Una caída en la precisión indica que la imagen de pensamiento era causalmente determinante.

Resultados Clave

1. VDrop Hace que el Pensamiento Visual sea Causal

• Determinante: Sin VDrop, enmascarar la imagen de pensamiento generada durante la inferencia apenas afecta la precisión. Con VDrop, cegar la imagen de pensamiento provoca caídas significativas en la precisión (por ejemplo, una caída del +12.8% en BLINK), confirmando que el modelo depende genuinamente del intermedio visual.
• Cambio de Atención: El análisis de atención muestra que VDrop aumenta la cuota de atención de los tokens de respuesta sobre la imagen de pensamiento de ~55% (versión estándar) a ~65%, particularmente en las capas tempranas y medias del decodificador.

2. El Compromiso entre Aprendibilidad e Informatividad

• Panorámica: Logra el mejor equilibrio. Es altamente informativa (expone directamente la escena conjunta) y altamente aprendible (el modelo genera versiones fieles). Logra la mayor generalización OOD.
• Cenital: Altamente informativa pero solo parcialmente aprendible. El modelo lucha por sintetizar el punto de vista no visto con fidelidad geométrica perfecta, lo que lleva a resultados mixtos.
• Correspondencia de Puntos: Limitada por baja informatividad (no crea un nuevo punto de vista) y aprendibilidad moderada (la colocación precisa de marcadores es difícil). Produce las ganancias más pequeñas.

3. Mejoras en el Rendimiento

• Eficiencia: La mejor configuración (Panorámica + VDrop), entrenada con solo 8K muestras, logra una precisión OOD promedio del 40.0%.
• Comparación: Esto supera a:
  • BAGEL estándar (33.3%).
  • VLMs de propósito general potentes como Qwen3-VL-8B (37.0%).
  • Métodos previos de pensamiento visual entrenados con significativamente más datos: ThinkMorph (24K muestras, 37.2%) y BAGEL-Zebra-CoT (182K muestras, 26.8%).
• Líneas Base No Visuales: El pensamiento visual con VDrop supera significativamente a las líneas base no visuales (No-Pensar y Cadena de Pensamiento Textual), siendo que la Cadena de Pensamiento Textual en realidad tiene un rendimiento peor que la respuesta directa, probablemente debido a una supervisión textual inconsistente.

Significado y Afirmaciones

El artículo afirma que el principal cuello de botella para el pensamiento visual en UMM no es la escala de datos, sino la señal de entrenamiento.

• El Subaprovechamiento es un Modo de Fallo: Los autores identifican que el SFT estándar conduce a un pensamiento visual "decorativo" donde el modelo ignora sus propias imágenes generadas.
• VDrop como Solución: El Dropout de Vista es una intervención simple, agnóstica a la arquitectura, que obliga a la imagen de pensamiento a convertirse en un componente causalmente determinante del razonamiento.
• La Representación Importa: Una vez que se obliga al modelo a usar la imagen, la elección de la representación se vuelve crítica. El estudio establece que el pensamiento visual panorámico es la estrategia superior porque es simultáneamente informativo y aprendible, mientras que otras estrategias fallan en uno o ambos ejes del compromiso L–I.
• Eficiencia de Datos: Los resultados sugieren que con la intervención de entrenamiento correcta (VDrop) y la representación adecuada (Panorámica), se puede lograr un razonamiento espacial entre vistas de alta calidad con significativamente menos datos (8K muestras) de lo que requerían los métodos anteriores.

Limitaciones

Los autores señalan que sus hallazgos se validaron en una única arquitectura UMM (BAGEL) y podrían no transferirse a otras arquitecturas sin estudios adicionales. Además, VDrop fuerza el uso de la imagen de pensamiento, pero no mejora inherentemente la calidad de la imagen generada; si la imagen generada es de baja fidelidad, obligar al modelo a depender de ella produce beneficios limitados. El trabajo futuro debería combinar VDrop con una supervisión que mejore la fidelidad de la propia generación de la imagen de pensamiento.