DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models

Resumo Técnico: DO-Bench

1. O Problema: A Lacuna de Atribuição na Alucinação de Objetos

Embora os Modelos de Linguagem e Visão (VLMs) tenham avançado significativamente, a alucinação de objetos (afirmar a existência de algo que não está lá ou negar algo que está presente) continua sendo um gargalo de confiabilidade.

O problema central identificado pelos autores é que os benchmarks atuais focam em métricas de acurácia agregada (como F1 ou precisão geral). Essas métricas falham em diagnosticar a causa do erro: um modelo falhou porque sua percepção visual é fraca (incapacidade de ver o objeto) ou porque ele foi "enganado" por um contexto textual forte (viés de linguagem/prior)? Sem essa distinção, o erro é tratado como um fenômeno monolítico, impedindo o desenvolvimento de estratégias de mitigação direcionadas.

2. Metodologia: Design de Diagnóstico Controlado

Para resolver isso, os autores propõem o DO-Bench, um benchmark baseado em intervenções estruturadas dentro de uma mesma cena para isolar variáveis. O design baseia-se em dois eixos de intervenção:

• Dimensão 1: Prior-Override (Sobreposição de Prioridades): Mantém-se a imagem fixa, mas altera-se progressivamente a força do contexto textual (de neutro a altamente assertivo sobre a ausência de um objeto). Isso mede a resistência do modelo à pressão de vieses linguísticos.
• Dimensão 2: Perception-Limited (Limitação Perceptiva): Mantém-se o texto neutro, mas aumenta-se a acessibilidade da evidência visual através de recortes hierárquicos (Cena Completa $\rightarrow$ Cluster de objetos $\rightarrow$ Crop focado no objeto). Isso mede a força do ancoramento visual (grounding).

Estrutura de Dados: Cada cena gera um grupo de 10 instâncias:

• Série A (Objeto Presente, mas incomum): Testa negações falsas (o modelo diz "não" para algo que existe).
• Série B (Objeto Ausente, mas esperado): Testa afirmações falsas (o modelo diz "sim" para algo que não existe, seguindo o contexto).

3. Principais Contribuições

1. Novo Benchmark de Diagnóstico: O DO-Bench, que utiliza intervenções within-scene (dentro da mesma cena) para garantir que as mudanças de comportamento sejam causadas pelas intervenções e não por variações entre imagens diferentes.
2. Métricas de Atribuição de Mecanismo: Em vez de apenas acurácia, propõem duas novas métricas:
   • $\text{PerceptionAbility}$: Mede o quanto o erro de negação diminui quando a evidência visual é concentrada (capacidade de recuperação perceptiva).
   • $\text{PriorRobust}$: Mede a estabilidade das decisões do modelo à medida que a pressão do contexto textual aumenta (robustez contra vieses).
3. Protocolo de Construção de Dados: Um pipeline que utiliza modelos de IA para gerar cenas sintéticas e editar regiões específicas, garantindo consistência geométrica e semântica.

4. Resultados Principais

A avaliação de diversos modelos (abertos como LLaVA, InternVL, Qwen e fechados como GPT-5.2, Claude e Gemini) revelou:

• Desacoplamento de Falhas: A acurácia agregada não reflete a robustez. Um modelo pode ter alta acurácia, mas uma $\text{PriorRobust}$ muito baixa, significando que ele é facilmente manipulado por textos sugestivos.
• Recuperabilidade Perceptiva vs. Robustez de Prior: A maioria dos modelos mostra alta $\text{PerceptionAbility}$ (se você der um zoom no objeto, eles o reconhecem), mas a $\text{PriorRobust}$ varia drasticamente entre arquiteturas.
• Efeito de Escala: Aumentar o tamanho do modelo (scaling) melhora a percepção visual e a acurácia geral, mas não garante uma maior resistência aos vieses textuais (o modelo pode se tornar um "percebedor melhor", mas continuar sendo "sugestionável").
• Ortogonalidade: As dimensões de percepção e prior são independentes. Melhorar a visão não resolve automaticamente o problema do viés de linguagem.

5. Significância

O DO-Bench muda o paradigma de avaliação de VLMs de "quão correto o modelo é" para "por que o modelo está errando". Isso é crucial para a engenharia de modelos, pois permite que pesquisadores saibam se precisam melhorar o codificador visual (para resolver problemas de percepção) ou o alinhamento multimodal (para resolver problemas de sobreposição de prioridades textuais).