FREAK: A Fine-grained Hallucination Evaluation Benchmark for Advanced MLLMs

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) sofrem frequentemente de alucinações, onde geram conteúdo que é logicamente plausível e consistente com o senso comum, mas factualmente incorreto em relação à imagem de entrada.

• Limitações das Avaliações Atuais: Benchmarks existentes (como POPE e AMBER) estão saturados devido a tarefas simplificadas (geralmente julgamentos binários verdadeiro/falso) e falta de diversidade. Eles não conseguem capturar a extensão das alucinações em modelos de última geração (SOTA).
• Alucinação de Alta Granularidade: Um subtipo desafiador ocorre quando os modelos falham em perceber detalhes localizados específicos da imagem, recorrendo ao seu conhecimento paramétrico (senso comum) em vez dos fatos visuais.
• Viés de Dados: Muitos benchmarks usam imagens de conjuntos de dados abertos que podem ter vazado para os dados de treinamento dos modelos, inflando artificialmente o desempenho.

2. Metodologia: O Benchmark FREAK

Os autores propõem o FREAK (Fine-gRained Evaluation Against Knowledge), um benchmark abrangente projetado para avaliar a alucinação de alta granularidade.

Pipeline de Geração de Dados

O FREAK utiliza um pipeline automatizado e inovador para criar imagens fotorealistas com detalhes que violam o senso comum (Counter-Commonsense - CCS):

1. Geração de Conteúdo CCS: LLMs são instruídos a criar descrições de objetos que mantêm a estrutura geral, mas alteram detalhes específicos para contradizer a realidade (ex: um semáforo com luz verde em cima e vermelha embaixo, ou um violino com pescoço de tamanho impossível).
2. Geração e Edição de Imagens (Passo a Passo):
   • Primeiro, um modelo de geração de imagens cria uma imagem normal e realista baseada no objeto e atributos corretos.
   • Em seguida, um modelo de edição de imagens potente (SeedEdit 3.0) aplica a modificação local específica (CCS) na imagem gerada. Isso garante fotorealismo e evita artefatos comuns em geração direta.
3. Construção de Questões: LLMs geram perguntas (livres e múltipla escolha) baseadas nas imagens editadas. As opções de múltipla escolha incluem a resposta correta (baseada na imagem editada), um distrator baseado no senso comum (a alucinação esperada) e outras opções sintéticas.
4. Validação Humana: Um subconjunto controlado é verificado por humanos (100 estudantes universitários) para estabelecer uma linha de base e garantir que as anomalias sejam detectáveis sem conhecimento especializado.

Estrutura do Benchmark

• Escala: 1.786 imagens CCS e 1.799 perguntas.
• Categorias: 6 tarefas cognitivas: Detecção, Contagem, Atributos, Análise, Posição e OCR.
• Formato: Perguntas de múltipla escolha e respostas livres.

3. Contribuições Principais

1. Pipeline Automatizado de CCS: Integração de LLMs, modelos de geração e edição de imagens para produzir dados de alta qualidade, realistas e diversificados, superando as limitações de edição manual ou geração direta.
2. Novo Benchmark (FREAK): Uma avaliação objetiva que foca especificamente na percepção de detalhes visuais, utilizando imagens que desafiam o conhecimento paramétrico do modelo.
3. Análise de Falhas em CoT: Investigação profunda sobre como técnicas de Chain-of-Thought (CoT) e modelos de raciocínio (RL-tuned) se comportam diante de alucinações visuais.

4. Resultados Experimentais

Os experimentos foram realizados em uma vasta gama de modelos SOTA (proprietários como GPT-4.1, Gemini-2.5, Claude-4 e open-source como Qwen2.5-VL, InternVL3).

• Desempenho Geral:
  • Linha de Base Humana: 86,71% de precisão.
  • MLLMs SOTA: Média de apenas ~45% de precisão.
  • Isso revela uma lacuna de ~40 pontos percentuais entre humanos e máquinas na percepção de detalhes visuais.
• Taxa de Alucinação (HalluRate): A maioria dos modelos tem uma taxa de alucinação próxima ou superior à sua taxa de acerto, indicando que eles preferem fortemente o senso comum em vez da evidência visual.
• Desempenho por Tarefa:
  • Pior desempenho em Contagem (mesmo com números pequenos).
  • Melhor desempenho em tarefas de baixo nível (Atributos, OCR) em comparação com tarefas de alto nível (Análise, Posição), sugerindo que o raciocínio complexo depende excessivamente de priores linguísticos.
• Efeito do Raciocínio (CoT):
  • Contrariando a intuição, ativar o modo de raciocínio (CoT) ou usar modelos treinados com RL degradou o desempenho na maioria dos casos.
  • Análise de Dinâmica de Probabilidade: Durante o processo de raciocínio, os modelos tendem a aumentar a probabilidade de escolher distratores (respostas baseadas em senso comum) e perder a confiança na resposta correta. O raciocínio textual muitas vezes reforça a alucinação inicial em vez de corrigi-la.
  • Modelos de raciocínio (como Kimi-VL-A3B-Thinking) mostram padrões de "auto-reflexão" onde percebem a inconsistência, mas falham em corrigir a resposta final, revertendo para a escolha errada.

5. Significado e Conclusão

O FREAK demonstra que, apesar dos avanços na compreensão de imagens, os MLLMs atuais ainda não "veem" verdadeiramente os detalhes das imagens, dependendo excessivamente de seus dados de treinamento e conhecimento prévio.

• Implicações: A simples adição de capacidades de raciocínio (CoT) não resolve o problema da alucinação visual; pelo contrário, pode exacerbá-lo ao permitir que o modelo "justifique" erroneamente uma alucinação.
• Futuro: A pesquisa sugere que a solução requer melhorar a percepção da informação visual e ajustar o equilíbrio entre o conhecimento paramétrico e a evidência visual, em vez de apenas escalar modelos de raciocínio.
• Reprodutibilidade: O código e os dados estão disponíveis publicamente no GitHub, estabelecendo um novo padrão para a avaliação de alucinações em MLLMs.