Benchmarking Deflection and Hallucination in Large Vision-Language Models

Este artigo apresenta o VLM-DeflectionBench, um novo benchmark dinâmico e extensível que avalia a capacidade de Grandes Modelos Visuais-Linguísticos de lidar com evidências conflitantes ou insuficientes e de gerar deflexões apropriadas, superando as limitações de obsolescência e de avaliação comportamental dos benchmarks existentes.

O essencial

Imagine que você tem um detetive superinteligente (o Modelo de Visão e Linguagem) que consegue ver fotos e ler livros ao mesmo tempo. O objetivo desse detetive é responder perguntas complexas, como "Que tipo de árvore é essa na foto e qual é o seu habitat?".

Para responder, o detetive não deve apenas "adivinhar" com base no que já sabe de cor (sua memória interna), mas deve pesquisar em uma biblioteca de documentos e imagens para encontrar a resposta exata.

O problema é que, até agora, os testes para esses detetives tinham dois defeitos graves:

1. Eles estavam ficando obsoletos: Os detetives estavam tão inteligentes que, em vez de pesquisar na biblioteca, eles respondiam de cabeça, usando apenas a memória. O teste deixava de ser difícil.
2. Eles não sabiam dizer "não sei": Quando a biblioteca não tinha a resposta, ou quando havia informações contraditórias (uma foto de um gato e um texto dizendo que é um cachorro), o detetive muitas vezes inventava uma resposta falsa (uma alucinação) em vez de admitir que não sabia.

Os autores deste artigo criaram um novo "campo de treinamento" chamado VLM-DeflectionBench para resolver isso. Vamos usar analogias para entender como funciona:

1. O Filtro de "Memória vs. Pesquisa" (A Pipeline Dinâmica)

Imagine que você quer testar se um aluno realmente sabe pesquisar ou se ele apenas decorou o livro.

• O Problema: Se você fizer uma pergunta fácil, o aluno responde de cabeça.
• A Solução do Artigo: Eles criaram um "filtro mágico". Antes de usar uma pergunta no teste, eles perguntam a vários outros "super-alunos" (modelos de IA): "Você consegue responder isso sem olhar nos livros?".
  • Se a resposta for "Sim", a pergunta é descartada (porque é fácil demais).
  • Se a resposta for "Não", a pergunta é mantida.
  • Resultado: O teste só contém perguntas que exigem pesquisa real. Isso garante que o teste continue difícil mesmo quando os detetives ficarem mais inteligentes no futuro.

2. O Cenário da "Biblioteca Barulhenta" (Alucinação vs. Desvio)

Agora, imagine que você dá ao detetive uma pergunta e três tipos de "papelada" (contexto):

• Cenário Perfeito: A resposta certa está no papel.
• Cenário Realista: A resposta certa está misturada com 10 papéis errados e confusos.
• Cenário Adversário: Todos os 10 papéis são mentiras ou distrações.

O teste mede duas coisas:

• Alucinação (O Perigo): O detetive vê os papéis errados, ignora a verdade e inventa uma resposta confiante. É como um aluno que, vendo uma pergunta difícil, inventa uma resposta para não ficar em silêncio.
• Desvio/Abstenção (O Ideal): O detetive percebe que os papéis não ajudam ou são contraditórios e diz: "Desculpe, com base no que tenho aqui, não consigo responder com segurança". Isso é chamado de deflection (desvio). É preferível dizer "não sei" do que mentir.

3. O Que Eles Descobriram? (Os Resultados)

Os autores testaram 20 dos melhores detetives do mundo (incluindo os famosos da Google, Anthropic, etc.) e descobriram coisas preocupantes:

• Eles são teimosos: Mesmo quando os papéis (evidências) são ruins ou mentirosos, a maioria dos modelos prefere inventar uma resposta a admitir que não sabe. Eles têm medo de ficar em silêncio.
• O Texto manda na Imagem: Se você mostrar uma foto de um cachorro, mas colocar um texto ao lado dizendo "Isso é um gato", os modelos tendem a acreditar no texto e ignorar a foto. Eles são "cegos" para a imagem quando o texto é convincente.
• Pedir para ser mais cuidadoso não ajuda: Quando os pesquisadores disseram aos modelos: "Por favor, só responda se tiver 100% de certeza", os modelos ficaram tão assustados que pararam de responder até mesmo quando tinham a resposta certa! Eles viraram "medrosos" demais.

4. Por que isso importa?

Hoje, estamos colocando esses detetives em hospitais, tribunais e carros autônomos.

• Se um carro autônomo "alucina" e acha que há um pedestre onde não há, ele freia bruscamente.
• Se um médico usa uma IA que "alucina" um remédio que não existe, é perigoso.

O grande aprendizado deste trabalho é: Não basta saber responder. É preciso saber quando NÃO responder.

Resumo em uma frase

Os autores criaram um teste inteligente que força os robôs a admitirem quando não têm informações suficientes, provando que, hoje em dia, a maioria deles ainda prefere inventar mentiras confiantes a admitir que estão perdidos.

A lição final: Para ter confiança em uma IA, não queremos apenas que ela seja "certa", queremos que ela seja honesta sobre o que sabe e o que não sabe.

Resumo técnico

1. Problema e Motivação

Os Grandes Modelos Visuais-Linguísticos (LVLMs) estão cada vez mais dependentes de recuperação de informações (retrieval) para responder a perguntas multimodais que exigem conhecimento externo. No entanto, os benchmarks existentes apresentam lacunas críticas:

• Obsolescência Rápida: À medida que os conjuntos de dados de treinamento dos modelos crescem, muitas perguntas que antes exigiam recuperação podem ser respondidas diretamente a partir do conhecimento paramétrico (memória do modelo), tornando os benchmarks desatualizados.
• Falta de Distinção de Falhas: A maioria das avaliações foca apenas na precisão (accuracy), ignorando como os modelos se comportam quando o conhecimento é insuficiente ou contraditório.
• Alucinação vs. Deflexão: Quando confrontados com evidências incompletas ou enganosas, os modelos tendem a alucinar (gerar respostas incorretas com confiança) em vez de defletir (recusar-se a responder, indicando falta de informação). O artigo argumenta que a deflexão é o modo de falha preferível em cenários de segurança e confiabilidade.

2. Metodologia: VLM-DeflectionBench

Os autores propõem o VLM-DeflectionBench, um novo benchmark dinâmico e extensível projetado para avaliar a calibração e a robustez dos LVLMs sob condições de recuperação de informações.

Pipeline de Curadoria Dinâmica

Para garantir que o benchmark permaneça desafiador e dependente de recuperação, os autores implementaram um pipeline de três etapas:

1. Filtragem Paramétrica: Utiliza um conjunto de modelos "gating" (modelos de porte forte e open-weight) para identificar e remover amostras que podem ser respondidas corretamente apenas com o conhecimento interno do modelo (sem contexto externo). Apenas amostras que todos os modelos de gating falham em responder são mantidas.
2. Emparelhamento de Conhecimento e Mineração de Distratores: Cada amostra retida é emparelhada com:
   • Contexto Ouro (Gold): Evidência textual ou visual correta necessária para a resposta.
   • Distratores (Negativos): Contextos irrelevantes ou enganosos, extraídos de índices de Wikipedia (texto) e bancos de dados de imagens, garantindo que o modelo não possa adivinhar a resposta apenas pela presença de texto.
3. Controle de Qualidade: Verifica-se que o problema é solucionável com o contexto ouro (evitando falsos positivos) e que os distratores não contêm inadvertidamente a resposta correta.

Cenários de Avaliação

O benchmark define quatro cenários controlados para dissecar o comportamento do modelo:

1. Paramétrico: Apenas a pergunta e a imagem (sem contexto externo). Espera-se baixa precisão e alta taxa de deflexão.
2. Oráculo (Oracle): Apenas o contexto ouro é fornecido. Espera-se alta precisão e baixa alucinação.
3. Realista: Mistura de contexto ouro e distratores. Avalia a capacidade de filtrar ruído.
4. Adversarial: Apenas distratores são fornecidos. O comportamento ideal é a deflexão total (recusa em responder).

3. Principais Contribuições

1. Pipeline de Curadoria Dinâmica: Um método para filtrar amostras solucionáveis parametricamente, garantindo que o benchmark continue a exigir recuperação de informações à medida que os modelos evoluem.
2. VLM-DeflectionBench: Um conjunto de dados com 2.775 amostras cobrindo diversos cenários de recuperação multimodal, incluindo contextos ouro e distratores (textuais e visuais).
3. Protocolo de Avaliação Granular: Uma métrica que desentrelaça a memorização paramétrica da robustez de recuperação, medindo explicitamente as taxas de alucinação e deflexão.

4. Resultados Experimentais

Os autores avaliaram 20 LVLMs de última geração (incluindo modelos open-weight como LLaVA, InternVL, Qwen e sistemas proprietários como GPT-5, Claude-4 e Gemini-2.5).

• Falha na Deflexão: A maioria dos modelos falha em defletir na presença de evidências ruidosas ou enganosas. Eles tendem a alucinar em vez de admitir incerteza.
• Trade-off Alucinação-Deflexão:
  • Modelos proprietários (ex: Claude-Opus-4) mostram maior robustez em cenários adversariais (alta taxa de deflexão), mas às vezes sacrificam a precisão no cenário de oráculo.
  • Modelos open-weight frequentemente tentam responder a tudo, resultando em altas taxas de alucinação (ex: Qwen-2.5-VL alucinou em 83,9% das queries no cenário adversarial).
• Viés Linguístico sobre Visual: No cenário realista, distratores textuais tendem a dominar evidências visuais corretas. Mesmo quando a imagem contém a resposta correta, a presença de texto enganoso faz com que a precisão caia drasticamente e a deflexão aumente, indicando que os modelos priorizam priores textuais em detrimento da evidência visual.
• Sensibilidade ao Ruído: A precisão cai e a alucinação aumenta conforme a densidade de distratores aumenta. Os modelos não conseguem separar sinal de ruído eficientemente.
• Efeito do Prompt: Instruções de recusa mais estritas aumentam a deflexão, mas frequentemente levam a uma "deflexão excessiva" (over-deflection), reduzindo a precisão mesmo quando a evidência correta está disponível.

5. Significado e Conclusão

O trabalho destaca que a avaliação de LVLMs não deve se limitar ao que eles sabem, mas sim a como eles se comportam quando não sabem.

• Confiabilidade: O benchmark revela que os sistemas atuais carecem de confiança calibrada, gerando respostas confiantes e incorretas (alucinações) em vez de se absterem quando as evidências são insuficientes.
• Futuro: O VLM-DeflectionBench serve como uma base reutilizável e extensível para o desenvolvimento de sistemas de Geração Aumentada por Recuperação (RAG) multimodais mais confiáveis, onde o modelo aprende a distinguir entre conhecimento suficiente e insuficiente.

Em resumo, o artigo demonstra que, apesar dos avanços, os LVLMs ainda não são confiáveis para aplicações do mundo real que exigem rigoroso alinhamento com evidências, especialmente na presença de ruído ou informações contraditórias.