Resumen Técnico: SSMNBench

Planteamiento del Problema

Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han demostrado avances significativos en la percepción de imágenes individuales, su capacidad para razonar sobre escenas complejas centradas en humanos y de múltiples vistas permanece, en gran medida, sin verificar. Los benchmarks de múltiples vistas existentes suelen evaluar los modelos utilizando un "saco de fotogramas" fijo y reportan una única métrica de precisión de extremo a extremo. Esta metodología confunde dos capacidades cognitivas distintas:

1. Robustez ante la Distracción Visual: La capacidad de identificar una vista informativa cuando hay vistas redundantes presentes.
2. Fusión Genuina entre Vistas: La capacidad de integrar evidencia fragmentada y complementaria a través de múltiples vistas cuando ninguna vista individual es suficiente.

Consecuentemente, los benchmarks actuales no logran diagnosticar si los fallos del modelo se deben a la distracción por información redundante o a una incapacidad para sintetizar claves geométricas fragmentadas. Además, las evaluaciones estándar suelen recompensar a los modelos que dependen de sesgos semánticos o de fotogramas únicos sin obstrucciones, en lugar de realizar una verdadera integración espacial 3D.

Metodología: SSMNBench

Para abordar estas brechas, los autores presentan SSMNBench, un benchmark diagnóstico que comprende 3,300 pares de pregunta-respuesta (QA) curados manualmente a través de 11 tareas diversas. El benchmark se construye mediante un riguroso proceso que involucra la recolección de datos de conjuntos de datos de múltiples vistas densos y con alta oclusión (por ejemplo, Core4D, M3GYM, Harmony4D), anotación experta y generación estructurada de distractores.

Taxonomía Central de Evaluación

La innovación central de SSMNBench es la categorización de las tareas en dos tipos distintos basados en la relación epistémica entre la entrada visual y la comprensión semántica:

1. Suficiencia de Vista Única (SVS - Single-View Sufficiency): Tareas donde al menos una vista (la "Vista Dorada" o Golden View) contiene toda la evidencia necesaria para responder la pregunta. Estas tareas evalúan si un modelo puede identificar y utilizar una vista informativa sin ser distraído por vistas redundantes adicionales.
   • Tareas: Reconocimiento de acciones de grano fino, contacto humano-humano/objeto, comparación de pose relativa del propio cuerpo, articulación de articulaciones anatómicas.
2. Necesidad de Múltiples Vistas (MVN - Multi-View Necessity): Tareas donde ninguna vista individual contiene evidencia suficiente; el modelo debe fusionar claves complementarias a través de las vistas para resolver oclusiones, ambigüedades de profundidad o apariencias dependientes del punto de vista.
   • Tareas: Conteo de humanos distintos (con/sin atributos), pose relativa entre personas, estimación de distancia relativa, identificación de orientación global, ordenamiento de profundidad global.

Protocolo Experimental

El benchmark emplea una estrategia sistemática de perturbación de vistas para sondear la robustez del modelo:

• Configuraciones SVS: Normal (solo la Vista Dorada), +1, +2, +3 (añadiendo vistas redundantes).
• Configuraciones MVN: Normal (subconjunto mínimo necesario), -1 (eliminando una vista crítica), +1, +2 (añadiendo vistas extra).

Métrica de Evaluación: Decaimiento de la Distracción ($\delta_{dis}$)

Más allá de la precisión estándar, los autores proponen el Decaimiento de la Distracción ($\delta_{dis}$) para cuantificar la vulnerabilidad de un modelo a la saturación de contexto. Esta métrica mide la caída promedio del rendimiento cuando se introducen vistas adicionales (redundantes). Un $\delta_{dis}$ alto indica que la atención cruzada del modelo es secuestrada por ruido visual irrelevante, mientras que un valor bajo sugiere una atención selectiva efectiva.

Resultados Clave

Los autores evaluaron 17 MLLMs de última generación (incluyendo modelos propietarios como GPT-5.2, Gemini-2.5, y modelos de código abierto como Qwen e InternVL). Los hallazgos revelan limitaciones significativas en las arquitecturas actuales:

1. Brecha de Rendimiento: Existe una brecha sustancial entre los MLLMs y la percepción humana. Los evaluadores humanos alcanzan una precisión >87%, mientras que los mejores modelos propietarios alcanzan un máximo de solo ~47.5% (SVS) y ~42.4% (MVV).
2. Degradación Universal por Distracción: Contrario al supuesto de que más vistas ayudan al razonamiento, añadir vistas redundantes degrada consistentemente el rendimiento en las tareas SVS. Los modelos luchan por aislar la "Vista Dorada" de los distractores.
3. Paradoja de Capacidad: Los modelos de mayor capacidad a menudo exhiben una mayor vulnerabilidad a la distracción visual (mayor $\delta_{dis}$) en comparación con los modelos más pequeños. Esto sugiere que los modelos con abundantes parámetros intentan extraer agresivamente patrones de todos los tokens visuales, lo que los hace más susceptibles al ruido irrelevante.
4. Fallo en la Fusión: En las tareas MVN, los modelos fallan al integrar evidencia geométrica fragmentada. Curiosamente, en la configuración "-1" (eliminar una vista), algunos modelos rinden tan bien o mejor que en la configuración de contexto completo. Esto indica una dependencia excesiva de los sesgos monoculares de la pre-entrenamiento 2D; la introducción de datos de múltiples vistas conflictivos desencadena conflictos de representación que los modelos no pueden resolver mediante triangulación geométrica.
5. Sensibilidad a la Resolución: Una alta resolución de entrada (1080p) es crítica para la percepción de grano fino y la robustez ante la distracción. Comprimir los fotogramas para mantener un presupuesto fijo de tokens aumenta significativamente el decaimiento de la distracción.

Análisis de Fallos

El análisis de errores manual en 660 instancias categoriza los fallos en:

• Errores a Nivel de Imagen (33.1% Fallo de Análisis Espacial): Los modelos fallan al inferir relaciones 3D, profundidad o límites de contacto dentro de fotogramas individuales.
• Errores a Nivel de Vista (67.2% Fallo de Fusión de Conflicto): Los modelos detectan claves conflictivas entre vistas pero fallan al sintetizarlas, a menudo anclándose en una única vista "preferida" e ignorando las demás, o alucinando interacciones debido a una mala localización de límites.

Significación y Contribuciones

El artículo reclama las siguientes contribuciones al campo de la IA multimodal:

• Nueva Taxonomía de Evaluación: SSMNBench es el primer marco de diagnóstico que desvincula explícitamente la robustez de un modelo ante la distracción visual (SVS) de su capacidad de fusión entre vistas (MVN).
• Benchmark Exhaustivo: Proporciona un conjunto de datos riguroso, con anotación experta, de 3,300 pares de QA enfocados en la comprensión humana densa y con alta oclusión, llenando el vacío entre los conjuntos de datos geométricos de bajo nivel y el razonamiento semántico de alto nivel.
• Hallazgos Diagnósticos Sistemáticos: Al introducir perturbaciones de vistas controladas y la métrica $\delta_{dis}$, el trabajo revela que los MLLM actuales dependen de un "promedio semántico de imágenes individuales múltiples" y de preferencias de vista en lugar de una verdadera síntesis de múltiples vistas en 3D.

Los autores concluyen que SSMNBench sirve como una plataforma de diagnóstico rigurosa para exponer vulnerabilidades fundamentales en las arquitecturas actuales, con el objetivo de impulsar el desarrollo de futuros sistemas multimodales capaces de una verdadera comprensión de múltiples vistas en entornos complejos del mundo real.