Resumen Técnico: Ver sin Mirar: ¿Evalúan Realmente los Benchmarks Visuales-Lingüísticos la Visión?

Declaración del Problema

Los Modelos Visuales-Lingüísticos (VLM) han obtenido puntuaciones altas en numerosos benchmarks diseñados para evaluar la comprensión visual fundamentada y la alucinación de objetos. Sin embargo, sigue sin estar claro si estas puntuaciones reflejan genuinamente la dependencia del modelo en evidencia visual de grano fino o si provienen de la explotación de señales visuales gruesas, redundancia representacional o fuertes priores lingüísticos. Los autores observan una desconexión crítica: en benchmarks ampliamente utilizados como POPE, eliminar aleatoriamente una fracción sustancial de tokens de imagen (hasta un 75%) resulta en una degradación marginal de la precisión. Esto sugiere que las métricas estándar de benchmark pueden no ser lo suficientemente sensibles para detectar la pérdida de fundamentación visual detallada, lo que potencialmente conduce a conclusiones sobreconfiadas sobre las capacidades del modelo en el razonamiento visual y la mitigación de alucinaciones.

Metodología

Los autores realizan un análisis diagnóstico integral y multinivel en múltiples VLM de código abierto (incluyendo LLaVA-1.5, Qwen3-VL, Gemma-3, InternVL3 y Molmo) y benchmarks (POPE, A-OKVQA, MME y AMBER). El estudio emplea tres categorías principales de intervenciones:

1. Intervenciones a Nivel Visual:

   • Eliminación de Tokens: Eliminación aleatoria de tokens de imagen a nivel de incrustación antes de que entren en el decodificador de lenguaje.
   • Degradación Global: Debilitamiento sistemático de la evidencia visual mediante "Sin Imagen" (imagen negra ficticia), oclusión "Negra" (enmascarando regiones específicas de la imagen) y "Desenfoque" (mezcla con ruido).
   • Manipulación a Nivel de Entidad: Centrándose en muestras positivas de Verdad Terrena, los autores utilizan modelos de segmentación (Grounding DINO, SAM2) para realizar intervenciones precisas:
     • BlackMask: Enmascarar solo los píxeles de la entidad consultada.
     • BlackBox: Ocluir toda la caja delimitadora de la entidad (eliminando el contexto local).
     • EntitySwap: Reemplazar la entidad consultada con un objeto no relacionado utilizando modelos de edición de imágenes.

2. Intervenciones en la Formulación de la Tarea:

   • Espacio de Respuestas Expandido: Introducción de una opción explícita "Desconocido" para probar si los modelos pueden expresar incertidumbre cuando la evidencia visual se degrada.
   • Generación Abierta: Reformulación de preguntas binarias en tareas de generación abierta para evaluar la clasificación y la probabilidad de la entidad objetivo en la distribución de salida (utilizando la Rango Recíproco Medio y la Probabilidad Media).

3. Análisis Representacional:

   • Geometría por Capas: Análisis de los estados internos del codificador de visión para medir la discriminabilidad espacial. Los autores calculan la similitud del coseno intra-bloque vs. inter-bloque, la compacidad espacial k-means y la rango efectivo de las representaciones de tokens a través de las capas de la red para determinar si las distinciones espaciales se degradan a medida que la información se propaga más profundamente en el modelo.

Resultados Clave

• Robustez ante la Pérdida Visual: En POPE, la precisión permanece casi sin cambios incluso cuando se eliminan el 75% de los tokens de imagen. De manera similar, las degradaciones globales como desenfoque pesado o enmascaramiento negro parcial causan caídas desproporcionadamente pequeñas en la precisión en comparación con la severidad de la corrupción visual.
• Insensibilidad a Nivel de Entidad: Incluso cuando la entidad consultada específica está completamente enmascarada (BlackMask) o reemplazada (EntitySwap), los modelos a menudo mantienen altas tasas de "Sí". Aunque el margen de decisión (diferencia de logit entre "Sí" y "No") disminuye, la distribución sigue desplazada hacia respuestas afirmativas, lo que sugiere que el contexto escénico circundante o los priores lingüísticos sostienen la predicción.
• Fallo en Expresar Incertidumbre: Cuando se proporciona una opción "Desconocido", la mayoría de los modelos rara vez la seleccionan, incluso bajo degradación visual severa (por ejemplo, Sin Imagen o alto ruido). Continúan produciendo juicios binarios confiables.
• Representación Débil de Entidades: En tareas de generación abierta, la entidad objetivo a menudo recibe una clasificación baja en la distribución de generación del modelo, incluso cuando es visible. Esto indica que el modelo no codifica fuertemente información específica de la entidad en sus probabilidades de salida.
• Degradación de la Discriminabilidad Espacial: El análisis representacional revela que a medida que los tokens visuales pasan por capas más profundas del codificador de visión, la similitud inter-bloque aumenta mientras que la similitud intra-bloque disminuye. En las capas finales, los tokens de diferentes regiones espaciales se vuelven direccionalmente indistinguibles y el rango efectivo de la representación colapsa. Esto sugiere una pérdida de la estructura espacial de grano fino dentro del procesamiento interno del modelo.

Contribuciones Clave

1. Identificación de una Brecha de Medición: El artículo identifica que las métricas estándar de benchmark (precisión top-1) a menudo no se degradan significativamente incluso cuando la evidencia visual correspondiente se debilita o elimina sustancialmente, lo que indica una falta de sensibilidad a la fundamentación de grano fino.
2. Marco Diagnóstico Multinivel: Los autores desarrollan un marco sistemático que involucra reducción a nivel de token, degradación global, oclusión a nivel de entidad, manipulación semántica y análisis a nivel de decisión para sondear las verdaderas dependencias del rendimiento de los VLM.
3. Evidencia de Dependencia Visual Superficial: El estudio demuestra que los VLM actuales pueden mantener predicciones correctas a pesar de la pérdida de evidencia visual detallada, dependiendo en su lugar de señales escénicas gruesas, redundancia y priores lingüísticos. Esto revela una brecha sistemática entre el éxito en el benchmark y la dependencia genuina de evidencia visual relevante para la pregunta.

Significado y Afirmaciones

El artículo argumenta que los benchmarks actuales son insuficientes para evaluar de manera fiable la fundamentación visual de grano fino en los VLM. Los autores afirman que las altas puntuaciones en los benchmarks pueden sobreestimar las capacidades visuales de un modelo y su robustez ante perturbaciones visuales. En consecuencia, los métodos diseñados para mejorar la fundamentación visual, mitigar alucinaciones o mejorar la eficiencia de inferencia (por ejemplo, eliminando tokens de imagen) pueden parecer efectivos simplemente porque explotan priores del conjunto de datos o señales gruesas en lugar de una comprensión visual verdadera.

Los autores concluyen que la evaluación debe ir más allá de la precisión top-1 para probar explícitamente si las predicciones del modelo responden adecuadamente a los cambios en la evidencia visual. Sugieren que la estabilidad observada en el rendimiento no es un signo de comprensión visual robusta, sino más bien un síntoma de dependencia superficial de las entradas visuales, lo que hace necesario protocolos de evaluación más diagnósticos para evaluar con precisión las capacidades del modelo.