Resumen Técnico: Asignación de Crédito Visual para el Razonamiento Espacial Multimodal

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) son evaluados cada vez más en pruebas de razonamiento espacial (p. ej., VSR, GSR-COCO) mediante preguntas cerradas de sí/no. Sin embargo, las métricas de precisión estándar confunden dos fenómenos distintos: si un modelo responde correctamente debido a evidencia visual genuina frente a si responde correctamente debido a fuertes sesgos de texto, de datos o hábitos de seguimiento de instrucciones. Un modelo puede responder "sí" a "¿Está la TV sobre el gato?" de forma correcta, pero la imagen podría no proporcionar más apoyo para esta decisión que un prompt de solo texto o una imagen en blanco. Los métodos de debiasado y contrafácticos existentes suelen centrarse en reducir los sesgos de lenguaje o mejorar la precisión general, pero no auditan explícitamente si una decisión espacial específica y fija recibe un apoyo incremental de la imagen en comparación con los controles sin imagen, manteniendo simultáneamente la consistencia de la relación.

Metodología: Auditoría de Crédito Visual (VCA)

El artículo propone la Auditoría de Crédito Visual (VCA), un marco de auditoría a nivel de decisión, sin entrenamiento, que separa el éxito de la evaluación en tres componentes: corrección, apoyo de imagen adicional y respuesta consistente con la relación. VCA opera sobre una interfaz binaria fija (p. ej., Sí/No) y congela el MLLM, analizando los márgenes de log-verosimilitud bajo contextos emparejados.

Marco de Auditoría de Dos Ejes

VCA identifica dos estimandos distintos:

1. Dependencia de Imagen Relativa (Eje de Apoyo):

   • Objetivo: Determinar si la imagen original proporciona más apoyo para la decisión declarada del modelo que los controles de solo texto ($t$) o en blanco ($b$).
   • Métrica: La brecha de dependencia VCA ($G^{\text{img}}_i$) se define como la diferencia entre el apoyo alineado con la predicción de la imagen original ($r_{i,o}$) y el máximo apoyo de los controles sin imagen ($\max(r_{i,t}, r_{i,b})$).
   • Definición: Una decisión es "acreditada" ($D_i=1$) si $G^{\text{img}}_i > 0$. Crucialmente, esto no requiere que los controles sin imagen favorezcan la respuesta opuesta, sino solo que la imagen ofrezca más apoyo que los controles.
   • Descomposición: Esto conduce a una descomposición de cuatro celdas de la precisión:
     • D-CC (Correcto con Dependencia-Acreditado): Decisiones correctas con ventaja de apoyo de imagen.
     • C-U (Correcto pero No Acreditado): Decisiones correctas donde la imagen no ofrece ventaja sobre los controles de texto/blanco.
     • Errores con Ventaja de Apoyo: Decisiones incorrectas donde la imagen realmente proporcionó un apoyo más fuerte que los controles (una categoría a menudo oculta en las métricas de solo oro/ground-truth).
     • Errores No Acreditados: Decisiones incorrectas sin ventaja de apoyo de imagen.

2. Consistencia de la Relación (Eje de Interacción):

   • Objetivo: Determinar si el modelo distingue la relación espacial verdadera de las alternativas falsas en píxeles fijos.
   • Métrica: El Contraste de Relación Semántica (SRC) compara el margen de la consulta de la relación verdadera ($q_{r+}$) contra el margen máximo de las alternativas falsas ($q_{r-}$).
   • PairCredit: Mide si la separación específica de la imagen ($G_{\text{int}}$) excede la separación encontrada en los controles sin imagen.
   • Joint (Conjunto): Una conjunción que requiere tanto consistencia de relación absoluta como dependencia emparejada.

Intervenciones de Diagnóstico

Para validar estos estimandos y abordar las limitaciones de los controles nulos (que no pueden identificar la respuesta a la relación), los autores emplean:

• Permutación de Imagen Emparejada: Reemplazar la imagen original con una imagen no relacionada, de misma división y determinista, para calibrar la métrica D-CC.
• Factorial de Fuente de Evidencia Controlada: Un diseño $3 \times 3$ que varía la evidencia visual (apoyo a la relación, opuesta a la relación, neutral) y la evidencia textual (apoyando, oponiéndose, neutral) para aislar si las decisiones no acreditadas aún responden a cambios en la relación visual.
• Ediciones Auditadas por Humanos: Un conjunto de 108 ediciones de imágenes naturales compatibles con la geometría para verificar la correspondencia entre las intervenciones controladas y los cambios en las imágenes naturales.

Contribuciones Clave

1. Auditoría a Nivel de Decisión Libre de Etiquetas: Introdujo un método que asigna crédito a las decisiones declaradas sin depender de las etiquetas de verdad de campo (ground-truth) para la propia auditoría. Esto recupera la ganancia alineada con el oro en elementos correctos, pero de forma única retiene los "errores con ventaja de apoyo", proporcionando una descomposición completa de la precisión.
2. Separación del Apoyo Marginal y la Respuesta de la Relación: Estableció que los controles nulos (texto/blanco) no pueden identificar si un modelo responde a las reversiones de relación. El artículo demuestra que una decisión puede ser "no acreditada" (sin ventaja de apoyo de imagen marginal) pero aun así ser "responsiva a la relación" (cambiando correctamente cuando la relación visual se invierte).
3. Análisis Empírico Exhaustivo: Aplicó VCA en cuatro MLLM abiertos (Qwen, InternVL, LLaVA, Ministral) y dos benchmarks (VSR, GSR-COCO), utilizando 1,800 entradas factoriales por modelo y 108 auditorías de edición independientes.

Resultados

• Prevalencia de Corrección No Acreditada: A través de modelos y conjuntos de datos, entre el 12.73% y el 26.25% de las decisiones correctas son "no acreditadas" (C-U), lo que significa que la imagen no proporcionó apoyo adicional sobre los controles de solo texto o en blanco.
• Especificidad de la Imagen: La permutación de imagen emparejada reduce el D-CC entre 21.25 y 47.80 puntos en todas las ejecuciones, con intervalos de confianza del 95% estrictamente por encima de cero. Esto confirma que la ventaja de la imagen original es específica de su contenido, no solo de la presencia de cualquier imagen.
• Responsividad de la Relación en Casos No Acreditados: Entre las decisiones correctas pero no acreditadas, entre el 81.57% y el 100.00% de los modelos aún responden correctamente a las reversiones de relación en la configuración factorial. Además, el 32.11% de estas decisiones no acreditadas realmente cambian su respuesta binaria cuando la relación se invierte, demostando que no son puramente impulsadas por el texto.
• Correspondencia Natural: En las ediciones de imágenes naturales auditadas por humanos, el 25.00% de las decisiones correctas de origen pero no acreditadas cambian con éxito según la visibilidad, confirmando que los casos responsivos no acreditados existen en imágenes naturales, no solo en renders procedimentales.
• Descomposición: El marco revela que la precisión agregada enmascara una varianza significativa en cómo los modelos utilizan la evidencia visual. Por ejemplo, en GSR-COCO, Qwen logra un 90.91% de precisión, pero solo el 78.18% de los ejemplos son tanto correctos como apoyados por la imagen.

Significancia y Reivindicaciones

El artículo sostiene que VCA proporciona una descomposición necesaria del éxito de los benchmarks que la precisión por sí sola no puede ofrecer.

• Más allá de la Precisión: Argumenta que la "corrección" y el "apoyo visual" son dimensiones distintas. Un modelo puede ser preciso pero depender de los sesgos (C-U), o puede ser inexacto pero utilizar correctamente la evidencia visual (errores con ventaja de apoyo).
• Rigor Metodológico: Al separar el estimando de "apoyo marginal" del estimando de "respuesta de la relación", VCA evita la confusión presente en los métodos de control nulo existentes. Demuestra que los controles nulos son insuficientes para identificar respuestas visuales específicas de la relación.
• Utilidad Práctica: VCA sirve como un compañero post-hoc de la precisión, ofreciendo un "informe por capas" que ayuda a diagnosticar si las mejoras en el razonamiento espacial provienen de evidencia visual genuina o de sesgos de respuesta más fuertes. No pretende reemplazar la precisión, sino refinar la interpretación del éxito de los benchmarks.
• Limitaciones: Los autores señalan modestamente que VCA mide el apoyo relativo bajo controles preespecificados, no los caminos causales internos o la atribución a nivel de píxel. Está diseñado para interfaces de elección forzada fija y no aborda directamente la generación abierta y no restringida.