DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models

Resumen Técnico: DO-Bench

1. El Problema: La Opacidad de las Alucinaciones

El problema central que aborda este trabajo es la alucinación a nivel de objeto en los Modelos de Lenguaje-Visión (VLMs). Actualmente, cuando un modelo afirma la existencia de un objeto que no está presente (falso positivo) o niega uno que sí lo está (falso negativo), los benchmarks existentes suelen colapsar estos errores en una única métrica de precisión agregada (como el F1-score).

Esta metodología actual tiene una limitación crítica: no permite la atribución de errores. No sabemos si el modelo falla porque tiene una debilidad perceptiva (no "ve" bien el objeto) o porque está siendo influenciado por sesgos textuales o conocimientos previos del lenguaje (el modelo "cree" que el objeto debería estar ahí debido al contexto, aunque no lo vea).

2. Metodología: Diseño de Diagnóstico Controlado

Para resolver esto, los autores proponen DO-Bench, un benchmark diseñado para aislar y diagnosticar las fuentes de error mediante intervenciones multimodales estructuradas dentro de una misma escena. El diseño se basa en dos dimensiones ortogonales:

• Dimensión de Prior-Override (Sobrescritura de Priores): Se mantiene la imagen fija pero se aumenta progresivamente la "presión" del contexto textual. Se utilizan plantillas de lenguaje que van desde la duda ("Sospecho que no hay...") hasta la certeza absoluta ("Estoy seguro de que no hay..."). Esto mide qué tan susceptible es el modelo a ignorar la evidencia visual ante un sesgo textual fuerte.
• Dimensión de Perception-Limited (Limitación Perceptiva): Se mantiene el texto neutral pero se aumenta la accesibilidad de la evidencia visual. Se derivan tres vistas de la misma escena: la vista completa (Full), una vista de grupo local (Cluster) y un recorte enfocado en el objeto (Crop). Esto mide si el error de negación es recuperable mediante una mejor atención visual.

Estructura de datos: Cada escena genera un grupo de 10 instancias:

1. Serie A (Objeto presente pero inusual): Para medir falsos negativos y la robustez ante la presión del texto.
2. Serie B (Objeto ausente pero esperado): Para medir falsos positivos y la tendencia a la "completitud" basada en el contexto.

3. Contribuciones Clave

• DO-Bench: Un nuevo benchmark de diagnóstico que utiliza intervenciones dentro de la misma escena para garantizar la consistencia y permitir la comparación causal.
• Métricas de Atribución: En lugar de solo usar precisión, proponen dos métricas diagnósticas:
  • $\text{PerceptionAbility}$: Cuantifica la capacidad de recuperación de la detección cuando se concentra la evidencia visual.
  • $\text{PriorRobust}$: Mide la estabilidad del modelo (resistencia al error) a medida que aumenta el conflicto entre el texto y la imagen.
• Protocolo de Construcción de Datos: Un método para manipular la fuerza del prior y la evidencia visual de forma independiente sin alterar la semántica global de la escena.

4. Resultados Principales

El estudio evalúa una amplia gama de modelos (LLaVA, InstructBLIP, InternVL2.5, Qwen2.5-VL, y modelos cerrados como GPT-5.2 y Claude-Opus-4.6) y revela hallazgos significativos:

• Desacoplamiento de capacidades: La capacidad de recuperación perceptiva ($\text{PerceptionAbility}$) suele ser alta, lo que indica que muchos errores de negación son simplemente fallos de atención que se corrigen con recortes (crops). Sin embargo, la robustez ante los sesgos textuales ($\text{PriorRobust}$) varía drásticamente entre modelos.
• El escalado no es una solución universal: Aunque los modelos más grandes (como las versiones de 72B de Qwen o InternVL) mejoran la precisión general, esto no garantiza una mayor resistencia a la influencia de los priors textuales. Un modelo puede ser muy preciso pero extremadamente vulnerable a ser "engañado" por un texto que afirma algo contrario a la imagen.
• Comportamiento de los modelos cerrados: Los modelos de API (GPT, Claude) muestran curvas mucho más planas y estables, lo que indica una mayor resistencia a las perturbaciones de contexto en comparación con los modelos de código abierto.

5. Significado e Impacto

La importancia de este trabajo radica en que cambia el paradigma de la evaluación de VLMs: de la evaluación descriptiva (¿qué tan preciso es el modelo?) a la evaluación causal (¿por qué falla el modelo?).

DO-Bench permite a los investigadores identificar si deben trabajar en mejorar la arquitectura de visión (para aumentar la $\text{PerceptionAbility}$) o en mejorar el alineamiento multimodal para evitar que el lenguaje domine a la visión (para aumentar la $\text{PriorRobust}$). Esto proporciona una hoja de ruta clara para el desarrollo de sistemas multimodales más fiables y robustos.