Multimodal Language Models Cannot Spot Spatial Inconsistencies

1. El Problema

La consistencia espacial es una propiedad fundamental del mundo físico: cuando una cámara se mueve a través de una escena estática, los objetos cambian de apariencia de manera predecible según la geometría, la profundidad y el punto de vista. Los humanos son extremadamente sensibles a las violaciones de estas relaciones físicas.

El problema central que abordan los autores es que, a pesar de los avances recientes, los Modelos de Lenguaje Multimodal (MLLM) actuales, aunque capaces de describir escenas con gran detalle, parecen carecer de un modelo interno robusto de la geometría 3D. Específicamente, fallan al reconocer cuando dos vistas de la misma escena son mutuamente inconsistentes (es decir, cuando un objeto viola las restricciones de movimiento 3D entre vistas). Esta limitación sugiere que los MLLM poseen una comprensión superficial de la visión 3D y no pueden distinguir entre lo que es físicamente posible y lo que no.

2. Metodología

A. Generación de Datos (Síntesis de Inconsistencias)

Para evaluar esta capacidad de manera sistemática, los autores desarrollaron un método escalable y automático para crear pares de imágenes con inconsistencias espaciales controladas, evitando el uso de métodos de renderizado 3D costosos o propensos a alucinaciones (como Zero123 o SEVA).

El proceso de síntesis sigue estos pasos:

1. Selección de Tripleta: Se toman tres vistas de una misma escena estática (provenientes del dataset Hypersim): $V_1$ (referencia), $V_2$ y $V_3$.
2. Selección de Objeto: Se elige un objeto $O$ visible en las tres vistas.
3. Eliminación e Inpainting: Se elimina el objeto $O$ de la vista $V_2$ y se rellena la región faltante utilizando un modelo de inpainting (LaMa) para obtener un fondo limpio.
4. Pegado (Cut-and-Paste): Se copia la instancia del objeto $O$ desde la vista $V_3$ (que tiene una pose de cámara diferente) y se pega en la posición original dentro de la vista $V_2$ modificada.
5. Resultado: Dado que $V_3$ fue capturada desde un ángulo diferente, el objeto pegado tiene una orientación, escala o sombreado que es geométricamente incompatible con la transición de cámara $V_1 \to V_2$, mientras que el resto de la escena permanece coherente.

B. Evaluación

• Dataset: Se generaron más de 10,000 pares, de los cuales se seleccionaron manualmente 615 pares de alta calidad para la evaluación.
• Tarea: Se formula como una pregunta de opción forzada. Dado el par de imágenes $(V_1, V'_2)$, el modelo debe identificar qué objeto (etiquetado con letras A-Z) viola la consistencia 3D.
• Participantes: Se compararon humanos contra una amplia gama de MLLM, incluyendo modelos propietarios (GPT-5, Gemini 2.5 Pro, GPT-4o) y de código abierto (Qwen3-VL, Llama 3.2, InternVL, etc.).

3. Contribuciones Clave

1. Método de Síntesis Escalable: Un algoritmo ligero y totalmente automático que genera pares de imágenes realistas con violaciones geométricas precisas sin necesidad de anotación manual extensiva ni renderizado 3D complejo.
2. Nuevo Benchmark: Un conjunto de datos y una tarea de evaluación diseñados específicamente para probar la comprensión de la geometría proyectiva y la consistencia 3D, diferenciándose de benchmarks anteriores que se centraban en propiedades físicas estáticas o lógica temporal.
3. Análisis de Fallos: Una investigación exhaustiva que demuestra que los fallos de los modelos no son solo errores aleatorios, sino que revelan sesgos específicos y una comprensión frágil del espacio.

4. Resultados Principales

• Brecha Humano-Modelo: Los humanos lograron una precisión del 84.8%, mientras que el mejor modelo probado (GPT-5 con bajo esfuerzo de razonamiento) apenas alcanzó el 34.2%. La mayoría de los modelos de código abierto rindieron por debajo del 30%.
• Inestabilidad y Variabilidad:
  • La precisión de los modelos fluctúa drásticamente según atributos de la escena (profundidad, iluminación, plausibilidad física), mientras que el rendimiento humano se mantiene estable.
  • Los modelos tienen dificultades particulares con objetos cercanos (vs. lejanos) y en condiciones de iluminación media (vs. brillante), sugiriendo sesgos en sus datos de entrenamiento.
  • El rendimiento varía enormemente según la categoría del objeto (ej. sillas vs. ventanas) y la categoría de la escena.
• Falta de Razonamiento Coherente:
  • Aunque los modelos y los humanos fallan en los mismos ejemplos difíciles (alta intersección de preguntas incorrectas), raramente eligen la misma respuesta incorrecta. Esto indica que los modelos no tienen una interpretación alternativa coherente de la escena, sino que sus fallos son inestables y específicos de cada modelo.
• Efecto del Presupuesto de Razonamiento: Aumentar el esfuerzo de razonamiento (ej. modos "Thinking" o "High Reasoning" en GPT-5 y Gemini) no mejoró la precisión; en muchos casos, la degradó o no tuvo efecto.
• Validación contra Artefactos: Se realizaron experimentos de control (pasting auto-pasado y sin cambios) para descartar que los modelos estuvieran simplemente detectando artefactos de inpainting. Los resultados mostraron que los modelos no están respondiendo a los artefactos visuales, sino que su rendimiento se correlaciona con la comprensión de la estructura 3D.

5. Significado e Implicaciones

El estudio concluye que los MLLM actuales poseen una comprensión de la estructura 3D frágil e incompleta. Aunque pueden describir el mundo visual, carecen de un "modelo del mundo" robusto que les permita detectar imposibilidades físicas básicas entre vistas múltiples.

• Bottleneck: Esta limitación se convierte en un cuello de botella crítico a medida que los MLLM se utilizan para percibir y juzgar el mundo físico en aplicaciones de robótica, realidad aumentada y generación de video.
• Dirección Futura: Los autores instan a la comunidad a ir más allá de entrenar modelos para simplemente describir imágenes, y en su lugar, desarrollar enfoques que incrusten restricciones físicas y espaciales fundamentales en el núcleo de la arquitectura de los modelos multimodales.

En resumen, el trabajo demuestra que la capacidad de "ver" no equivale a la capacidad de "percibir" la realidad física, y propone una nueva métrica crítica para diagnosticar y mejorar la inteligencia espacial de la IA.