FINER: MLLMs Hallucinate under Fine-grained Negative Queries

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) demonstraram avanços significativos na percepção visual e no seguimento de instruções. No entanto, eles sofrem persistentemente de alucinações (geração de conteúdo não suportado pela imagem), especialmente quando confrontados com consultas negativas de alta granularidade.

• Limitação dos Benchmarks Existentes: As avaliações atuais (como POPE, DASH, AMBER) focam principalmente em erros grosseiros, como a presença ou ausência de um único objeto. Elas não testam adequadamente a capacidade do modelo de detectar nuances em consultas complexas que envolvem múltiplos objetos, atributos e relações simultaneamente.
• A Lacuna: Os modelos tendem a falhar ao rejeitar afirmações falsas que contêm elementos verdadeiros misturados com erros sutis (ex: "Você vê o gato com orelhas caídas sentado no sofá?", quando o gato tem orelhas em pé). O modelo frequentemente responde "Sim" (alucinação de falso positivo) em vez de "Não".

2. Metodologia

O trabalho propõe uma abordagem sistemática composta por três pilares principais:

A. FINER: Benchmarks de Consultas Negativas Finas

Os autores introduzem dois novos benchmarks, FINER-CompreCap e FINER-DOCCI, baseados em Scene Graphs (grafos de cena) para avaliar a robustez dos modelos.

• Construção dos Dados:
  • Partem de descrições positivas (objetos, atributos, relações) extraídas de imagens.
  • Geram variantes negativas semânticamente plausíveis, mas incorretas (ex: substituir "porta" por "pilar", ou "branco" por "preto").
  • Criam consultas que misturam elementos corretos com um único elemento incorreto, aumentando a granularidade da dificuldade.
• Quatro Cenários de Avaliação:
  1. Multi-obj: Múltiplos objetos (ex: "vê o gato e a cadeira?").
  2. Multi-attr: Múltiplos atributos (ex: "vê o gato com orelhas caídas e listras pretas?").
  3. Multi-rel: Múltiplas relações espaciais/semânticas.
  4. Wh-questions: Perguntas do tipo "O que é...?" sobre um objeto com um atributo incorreto.
• Formato: As perguntas são transformadas em Questões de Múltipla Escolha (MCQs) para forçar o modelo a identificar o erro específico, em vez de apenas responder "Sim/Não". A métrica principal é a Precisão Pareada (Accpaired), que exige que o modelo responda corretamente tanto à versão positiva quanto à negativa de uma pergunta.

B. FINER-Tuning: Estratégia de Treinamento

Para mitigar essas alucinações, os autores propõem o FINER-Tuning, uma técnica de ajuste fino baseada em Otimização Direta de Preferência (DPO).

• Pipeline de Dados: Utiliza o conjunto de dados Pixmo-caption e um modelo LLM menor (Phi-4-14B) para extrair frases positivas e gerar contrapartes negativas (objetos, atributos, relações) de forma escalável.
• Pares de Preferência: O treinamento utiliza tuplas de preferência onde o modelo é recompensado por escolher a resposta correta (que nega o erro na consulta negativa ou confirma a verdade na positiva) e penalizado por escolher a resposta alucinada.
• Abordagem: Diferente de métodos anteriores que focam apenas em corrigir a saída do modelo, o FINER-Tuning treina o modelo para detectar erros sutis nas entradas (consultas) e raciocinar sobre a consistência visual.

3. Principais Contribuições

1. Descoberta de Fragilidade Granular: Demonstraram que a precisão dos MLLMs cai drasticamente à medida que a granularidade da consulta negativa aumenta (de ~80% para ~20% em níveis altos de complexidade), revelando uma vulnerabilidade crítica não capturada por benchmarks anteriores.
2. Novos Benchmarks (FINER-CompreCap e FINER-DOCCI): Fornecem conjuntos de dados de larga escala e rigorosos que cobrem combinações complexas de objetos, atributos e relações, permitindo uma avaliação mais realista de alucinações.
3. Método de Treinamento Eficaz (FINER-Tuning): Apresentam uma receita simples e agnóstica ao modelo que utiliza DPO com dados de consultas negativas finas para reduzir alucinações sem degradar outras capacidades.
4. Generalização: Provam que o treinamento em consultas negativas finas melhora não apenas a performance no FINER, mas também em benchmarks de alucinação existentes e em capacidades gerais de MLLMs.

4. Resultados

Os experimentos foram realizados em modelos de ponta (LLaVA-1.6, Qwen2.5-VL, InternVL-3.5) e comparados com o estado da arte (incluindo Gemini-2.5-Flash).

• Desempenho no FINER:
  • O FINER-Tuning trouxe ganhos significativos. O modelo InternVL-3.5-14B ajustado obteve até 24,2% de melhoria na precisão pareada no subconjunto Multi-rel do FINER-CompreCap.
  • O modelo ajustado superou a versão não ajustada de 38B do mesmo modelo em alguns cenários.
  • Em benchmarks FINER-DOCCI, o modelo ajustado empatou ou superou o Gemini-2.5-Flash em 3 de 4 configurações.
• Generalização para Outros Benchmarks:
  • Houve melhoria consistente em benchmarks discriminativos (DASH, POPE, AMBER) e generativos (MMHal-Bench, HaloQuest).
  • Redução significativa nas taxas de alucinação (ex: redução para 10% no MMHal-Bench para o InternVL-3.5-14B).
• Capacidades Gerais:
  • Diferente de métodos anteriores que sofrem de "taxa de alinhamento" (perda de habilidades gerais), o FINER-Tuning melhorou ou manteve o desempenho em benchmarks de capacidades gerais (MMStar, TextVQA, ChartQA), demonstrando que o treinamento é benéfico e não prejudicial.
• Análise de Viés Posicional: O estudo revelou que os modelos têm viés dependendo da posição do erro na frase, mas o FINER-Tuning mitigou esse problema, embora não o eliminou completamente.

5. Significado e Impacto

O trabalho FINER é um marco importante para a pesquisa em MLLMs porque:

• Muda o Paradigma de Avaliação: Move o foco de "o modelo vê o objeto?" para "o modelo entende a negação sutil de atributos e relações?". Isso é crucial para aplicações de alto risco, como diagnóstico médico por imagem ou sistemas de segurança, onde erros sutis são inaceitáveis.
• Solução Prática e Escalável: O método de treinamento não depende de modelos proprietários caros (como GPT-4V) para gerar dados de treino, utilizando um pipeline escalável com modelos open-source, tornando a correção de alucinações acessível.
• Robustez: Demonstra que é possível treinar modelos para serem mais "céticos" e precisos sem sacrificar sua capacidade de raciocínio geral, oferecendo um caminho viável para MLLMs mais confiáveis e confiáveis em cenários do mundo real.

Em resumo, o artigo identifica uma lacuna crítica na avaliação de alucinações, fornece as ferramentas (benchmarks) para medir esse problema e uma solução eficaz (FINER-Tuning) para mitigá-lo, elevando o padrão de confiabilidade dos modelos multimodais atuais.