ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning

A continuación se presenta un resumen técnico detallado del artículo "ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning".

1. Planteamiento del Problema

El artículo identifica una brecha crítica de validez en los puntos de referencia (benchmarks) actuales para evaluar la Inteligencia Espacial Visual (VSI) en los Modelos de Lenguaje y Visión (VLM). Específicamente, benchmarks ampliamente utilizados como VSI-Bench adolecen de dos fallas sistémicas que hacen que sus evaluaciones sean poco fiables en configuraciones modernas de VLM:

1. Deriva de la Verdad Terrena de la Anotación al Video: Los benchmarks existentes reutilizan anotaciones 3D basadas en nubes de puntos (diseñadas originalmente para la percepción 3D estática) para la evaluación basada en video. Estas anotaciones a menudo contienen errores debido a reconstrucciones 3D imperfectas, como objetos faltantes visibles en el video crudo, identidades mal etiquetadas o geometría corrupta (por ejemplo, tamaños de habitación incorrectos). En consecuencia, muchos pares de Preguntas-Respuestas (QA) son factualmente incorrectos o ambiguos cuando se contrastan con la evidencia real del video.
2. Desajuste entre Observabilidad de la Escena: Los benchmarks tradicionales a menudo asumen el acceso a la "escena completa" (miles de cuadros), mientras que los VLM prácticos operan sobre cuadros muestreados de forma dispersa (por ejemplo, 16–64 cuadros). Este desajuste significa que los objetos clave consultados en las preguntas pueden estar completamente ausentes en los cuadros de entrada del modelo, haciendo que las preguntas sean irresolubles o que la verdad terrena sea inválida para el presupuesto de entrada específico.

Estos problemas conducen a conclusiones poco fiables, donde los modelos pueden parecer tener un buen rendimiento al explotar sesgos del conjunto de datos o al alucinar respuestas basadas en conocimientos previos en lugar de evidencia visual.

2. Metodología: Construcción del Benchmark ReVSI

Los autores proponen ReVSI, un benchmark y protocolo de evaluación reconstruidos diseñados para garantizar que cada par de QA sea resoluble y correcto bajo las entradas visuales reales del modelo. La metodología implica tres pilares fundamentales:

A. Re-anotación Alineada al Video

• Alcance: Se re-anotaron 381 escenas de 5 conjuntos de datos (ScanNetv2, ScanNet++, ARKitScenes, 3RScan, MultiScan).
• Proceso: Se utilizaron herramientas profesionales de anotación 3D para verificar y refinar manualmente las etiquetas de objetos, las cajas delimitadoras 3D y la geometría de la habitación directamente contra los cuadros de video crudos.
• Mejoras:
  • Vocabulario Abierto: Expansión de 65 etiquetas de conjunto cerrado a 504 etiquetas de vocabulario abierto (por ejemplo, marcas específicas como "Sony PlayStation").
  • Corrección Geométrica: Corrección manual de mallas 3D fragmentadas y objetos faltantes.
  • Tamaño de la Habitación: Sustitución de los cálculos algorítmicos de la forma Alpha por la anotación manual de polígonos de los límites del suelo para garantizar mediciones de área precisas.

B. Regeneración de QA con Mitigación de Sesgos

• Refinamiento de Plantillas: Rediseño de las plantillas de preguntas para eliminar ambigüedades (por ejemplo, distinguir entre el tamaño de "habitación" y de "escena", y manejar videos de múltiples habitaciones).
• Reducción de Sesgos:
  • Conteo: Se reintrodujo el conteo de objetos individuales (previamente excluido) y se añadió el conteo acumulativo para evitar que los modelos adivinen "2" como valor predeterminado.
  • Distancia: Se eliminaron preguntas triviales de corto alcance (<1m) que pueden resolverse mediante pistas 2D, centrándose en el razonamiento 3D de largo alcance.
  • Verificación: Se aplicó una verificación humana rigurosa para garantizar que cada pregunta esté respaldada por la evidencia específica del video.

C. Protocolos de Evaluación Conscientes de los Cuadros

• Verdad Terrena Adaptativa: A diferencia de VSI-Bench, que utiliza una única verdad terrena para todas las entradas, ReVSI genera pares de QA adaptativos a los cuadros. Para cada presupuesto de muestreo (16, 32, 64 o todos los cuadros), el sistema calcula qué objetos son visibles.
• Metadatos de Visibilidad: Proporciona metadatos detallados sobre la visibilidad de los objetos por cuadro, permitiendo experimentos diagnósticos controlados.
• Videos Falsos: Se construyeron videos de "prueba de estrés" donde los cuadros que contienen el objeto consultado se eliminan (Query-Drop), se reemplazan por cuadros negros o se repiten. Esto crea escenarios donde la verdad terrena es definitivamente cero (para el conteo) o desconocida, probando si los modelos dependen de la evidencia visual o de conocimientos previos memorizados.

3. Contribuciones Clave

1. Benchmark ReVSI: Un conjunto de datos de alta fidelidad, verificado manualmente, con 381 escenas y 5.365 objetos, que presenta etiquetas de vocabulario abierto y una alineación consistente entre video y verdad terrena.
2. Evaluación con Presupuesto de Cuadros: Un protocolo que alinea la verdad terrena de la evaluación con el número específico de cuadros proporcionados al modelo, eliminando el problema de la "pregunta irresoluble".
3. Herramientas Diagnósticas: Introducción de pruebas de estrés con videos falsos para cuantificar las tasas de alucinación y distinguir entre el razonamiento espacial genuino y la dependencia de conocimientos previos de la escena.
4. Análisis Exhaustivo: Una disección sistemática de por qué los benchmarks existentes fallan y cómo distorsionan las capacidades percibidas tanto de modelos propietarios como de código abierto.

4. Resultados Clave

Las evaluaciones en ReVSI revelan discrepancias significativas en comparación con VSI-Bench:

• Modelos Propietarios vs. Código Abierto:
  • VSI-Bench: Sugirió que los modelos de código abierto eran competitivos o superiores a los modelos propietarios.
  • ReVSI: Revela que los modelos propietarios (GPT-5.2, Gemini 3) superan consistentemente a los modelos de código abierto. Los modelos de código abierto sufren caídas de precisión de hasta 40% en tareas como el conteo de objetos y la dirección relativa, exponiendo su dependencia de sesgos del conjunto de datos en lugar de un razonamiento robusto.
• Efectividad del Ajuste Fino:
  • Los modelos ajustados finamente en datos espaciales 3D (por ejemplo, Spatial-MLLM, SpaceR) mostraron ganancias marginales o negativas en ReVSI en comparación con sus modelos base.
  • En algunos casos, el ajuste fino condujo a una degradación del rendimiento, lo que sugiere que los modelos aprendieron patrones incorrectos de las anotaciones ruidosas de benchmarks anteriores.
• Alucinación y Conocimientos Previos (Pruebas de Estrés):
  • Resultados con Videos Falsos: Cuando los objetos consultados se eliminaron del video (Verdad Terrena = 0), los modelos especializados ajustados finamente fallaron catastróficamente, prediciendo conteos distintos de cero (por ejemplo, predecir 2 cojines cuando ninguno era visible).
  • Modelos Zero-Shot: Los modelos propietarios y algunos modelos de código abierto fuertes zero-shot (como Qwen3-VL) predijeron correctamente "0" en estos escenarios, demostrando una mejor fundamentación en la evidencia visual.
  • InternVL3.5: Mostró altas tasas de alucinación, a menudo prediciendo conocimientos previos estándar de la escena (por ejemplo, "2") incluso en videos negros, lo que indica un sobreajuste severo a las distribuciones de los datos de entrenamiento.

5. Significado

• Corrección del Sesgo de Evaluación: El artículo demuestra que los benchmarks anteriores subestimaban sistemáticamente a los modelos propietarios y sobreestimaban a los modelos de código abierto debido a errores de anotación y desajustes en el muestreo de cuadros.
• Fundamentación en la Evidencia: ReVSI demuestra que las altas puntuaciones en benchmarks no garantizan un verdadero razonamiento espacial; los modelos pueden lograr una alta precisión memorizando conocimientos previos de la escena. El nuevo protocolo de "video falso" es esencial para detectar este comportamiento.
• Dirección Futura: El trabajo destaca que la calidad de los datos y la fidelidad de la supervisión son más críticas que la cantidad de datos. Llama a un cambio en el desarrollo de VLM hacia una evaluación rigurosa y consistente con los cuadros para construir capacidades de razonamiento 3D verdaderamente robustas para aplicaciones del mundo real (por ejemplo, robótica, AR/VR).

En resumen, ReVSI proporciona una necesaria "verificación de la realidad" para el campo, estableciendo un nuevo estándar para evaluar la inteligencia espacial visual que prioriza la consistencia de la entrada y la fidelidad de la verdad terrena sobre la conveniencia.