CVT-Bench: Counterfactual Viewpoint Transformations Reveal Unstable Spatial Representations in Multimodal LLMs

1. El Problema

Los Grandes Modelos de Lenguaje Multimodales (MLLMs) actuales demuestran un alto rendimiento en tareas de razonamiento espacial basadas en una sola vista (por ejemplo, describir relaciones como "izquierda", "derecha", "delante" o "detrás" en una imagen estática). Sin embargo, existe una incertidumbre crítica sobre si estos modelos poseen representaciones espaciales estables e internas.

El problema central es la inestabilidad bajo transformaciones de punto de vista contrafáctico. Cuando se pide a un modelo que infiera cómo cambiarían las relaciones espaciales si el observador girara 180° o 90° (sin proporcionar una nueva imagen), los modelos a menudo fallan. No logran transformar coherentemente la representación espacial interna, sino que dependen de claves visuales dependientes de la vista actual o de heurísticas frágiles. Además, no está claro si pueden mantener esta consistencia espacial a lo largo de interacciones secuenciales largas (contextos extensos) sin degradar su razonamiento.

2. Metodología: CVT-Bench

Los autores introducen CVT-Bench, un benchmark diagnóstico controlado diseñado para evaluar el razonamiento espacial bajo transformaciones de punto de vista hipotéticas y en interacciones secuenciales.

• Generación de Escenas: Se utilizan 100 escenas sintéticas generadas proceduralmente basadas en el entorno CLEVR, con objetos geométricos (cilindros, esferas, cubos) de diferentes colores y tamaños. Se crean dos regímenes de complejidad: escenas dispersas (3-5 objetos) y densas (7-10 objetos), con niveles de oclusión controlada (5-70%).
• Protocolo de Punto de Vista Contrafáctico:
  • Se define una vista inicial ($v_0$) y se generan vistas contrafácticas ($v_\theta$) rotando la cámara virtual en ángulos discretos ($45^\circ, 90^\circ, \dots, 360^\circ$) y una vista cenital (top-down).
  • Condición Clave: El modelo no recibe imágenes de las vistas rotadas. Solo recibe la representación de la escena original y debe inferir las nuevas relaciones espaciales basándose en su representación interna.
  • Las consultas preguntan por la relación entre pares de objetos bajo una rotación específica (ej. "¿Dónde está la esfera respecto al cubo si me muevo 180°?").
• Evaluación de Representaciones: Se prueban tres modalidades de entrada para aislar la fuente del error:
  1. Visual: Imagen renderizada con etiquetas.
  2. Textual: Descripción estructurada con coordenadas de cuadros delimitadores (bounding boxes).
  3. Gráfico de Escena (Scene Graph): Descripción textual más un grafo explícito de relaciones espaciales derivado de las coordenadas reales.
• Protocolo Secuencial: Se evalúa la estabilidad del estado espacial concatenando múltiples escenas en un solo prompt (largo contexto) para medir la degradación del razonamiento a medida que aumenta la profundidad de la interacción.
• Métricas:
  • F1 Global: Precisión y recuperación para relaciones multietiqueta.
  • Tasa de Supervivencia Espacial (Spatial Survival Rate): Mide cuánto tiempo persisten las relaciones correctas a medida que avanza la secuencia de consultas.
  • Consistencia de Ciclo (0°-360°): Verifica si el modelo da la misma respuesta al volver al punto de vista original tras una rotación completa.

3. Contribuciones Clave

1. CVT-Bench: Un nuevo benchmark a gran escala con 6,000 consultas y 100 escenas sintéticas, diseñado específicamente para diagnosticar la consistencia relacional bajo transformaciones de punto de vista hipotéticas.
2. Protocolo Unificado Episódico vs. Secuencial: Una metodología que distingue entre el razonamiento espacial en una sola escena (episódico) y la capacidad de mantener el estado espacial a través de múltiples escenas en un contexto continuo, revelando la inestabilidad en contextos largos.
3. Evaluación Controlada por Representación: Un análisis que compara imágenes, texto y gráficos de escena, demostrando que la estructura de la entrada influye directamente en la robustez del razonamiento.
4. Hallazgos sobre la Inestabilidad: La evidencia de que la alta precisión en una sola vista no garantiza una representación espacial robusta, y que los modelos actuales carecen de una rotación interna coherente de las relaciones espaciales.

4. Resultados Principales

• Degradación bajo Rotación: Aunque los modelos (GPT-5.2, Gemini 3.1 Pro, Qwen 3.5, Kimi 2.5) superan el 90% de precisión en la vista original (0°), su rendimiento cae drásticamente en rotaciones intermedias (especialmente a 90° y 270°). A menudo recuperan precisión en 180° o 360°, sugiriendo estrategias heurísticas en lugar de una rotación geométrica real.
• Fallo en la Consistencia de Ciclo: En evaluaciones secuenciales, la consistencia entre la vista 0° y la vista 360° (que son físicamente idénticas) se erosiona a medida que aumenta la profundidad del prompt, indicando una pérdida de coherencia del estado interno.
• Efecto del Contexto Largo: La precisión cae significativamente al pasar de evaluaciones episódicas (BS=1) a secuenciales (BS=20). Las relaciones espaciales correctas "sobreviven" menos tiempo en secuencias largas, y los errores se vuelven más frecuentes en las escenas posteriores del prompt.
• Beneficio de las Representaciones Estructuradas:
  • Las entradas puramente textuales (con coordenadas) muestran una degradación menor que las imágenes, sugiriendo que parte del fallo en las imágenes proviene de la vinculación perceptiva (grounding) y no solo del razonamiento geométrico.
  • Los Gráficos de Escena mejoran la estabilidad en algunos modelos, pero no eliminan el problema, lo que indica que la arquitectura del modelo también juega un papel crucial.
• Patrones de Error: Se observan inversiones sistemáticas (confundir izquierda/derecha o delante/detrás) y errores de asociación en los gráficos de escena (atribuir una relación a un par de objetos incorrecto).

5. Significado e Impacto

El trabajo de CVT-Bench tiene implicaciones profundas para el desarrollo de sistemas de IA multimodal:

• Reevaluación de la Robustez: Demuestra que las métricas actuales de VQA (Visual Question Answering) y razonamiento espacial en una sola vista sobreestiman la capacidad real de los modelos para entender el espacio. Un modelo puede "ver" bien pero no "entender" la geometría del mundo de manera persistente.
• Necesidad de Representaciones Estables: Sugiere que para aplicaciones en robótica, conducción autónoma o agentes colaborativos, donde el agente debe inferir la perspectiva de otros o mantener un mapa mental a lo largo del tiempo, los MLLMs actuales son insuficientes debido a su dependencia de la vista actual.
• Dirección Futura: Indica que mejorar el razonamiento espacial no es solo un problema de percepción (mejorar la visión), sino un desafío de arquitectura y representación. Se requieren mecanismos explícitos para mantener y transformar estados relacionales internos, más allá de la simple predicción basada en tokens.
• Diagnóstico Preciso: Proporciona una herramienta estandarizada para que la comunidad investigue y compare la estabilidad de los modelos frente a cambios de perspectiva y contextos largos, identificando puntos ciegos específicos (como las rotaciones ortogonales) que antes pasaban desapercibidos.

En resumen, CVT-Bench revela que, a pesar de los avances en percepción, los MLLMs carecen de una comprensión espacial profunda y persistente, fallando sistemáticamente al intentar razonar sobre cómo cambiaría el mundo si el observador se moviera.