Resumo Técnico: KnowHal

Declaração do Problema

Apesar dos avanços significativos nos Modelos de Linguagem de Grande Escala Multimodais (MLLMs), a alucinação — a discrepância entre o conteúdo gerado pelo modelo e a verdade fundamental — continua sendo uma barreira crítica para a implantação confiável em domínios de alto risco, como diagnóstico médico, raciocínio jurídico e direção autônoma. Os benchmarks de avaliação existentes concentram-se primariamente em alucinações de nível perceptual (Entidade, Atributo e Relação) ao perguntar "O que o modelo vê?". No entanto, eles negligenciam amplamente as alucinações de nível de conhecimento, onde os modelos geram informações factualmente incorretas sobre entidades representadas que contradizem o conhecimento do mundo externo. Além disso, os frameworks atuais carecem de um protocolo unificado para avaliar erros perceptuais, erros de conhecimento e a suscetibilidade do modelo a premissas falsas (aceitação de pistas enganosas) sob contextos visuais compartilhados. Isso deixa a questão "O que o modelo sabe?" e sua robustez contra entradas enganosas insuficientemente abordadas.

Metodologia: O Benchmark KnowHal

Para preencher essa lacuna, os autores propõem o KnowHal, um benchmark abrangente projetado para avaliar alucinações em quatro dimensões: Entidade, Atributo, Relação e Conhecimento.

1. Design e Estrutura do Benchmark

• Design de Perguntas Pareadas: A inovação central do KnowHal é a construção de perguntas positivas e negativas pareadas para cada amostra de imagem-entidade.
  • Perguntas Positivas: Consultam evidências visuais válidas ou conhecimento factual associado à entidade.
  • Perguntas Negativas: Introduzem premissas semanticamente plausíveis, mas factualmente falsas, cuidadosamente controladas para testar a robustez.
• Quatro Estratégias de Indução Negativa:
  1. Variante de Atributo: Substituir um atributo por outro semelhante, porém incorreto.
  2. Substituição de Objeto: Substituir a entidade alvo por uma entidade semanticamente relacionada, mas ausente.
  3. Relação Espacial: Reverter ou alterar a relação espacial real entre entidades.
  4. Fabricação de Ação: Atribuir ações ou estados inexistentes a entidades visíveis.
• Dimensões:
  • Entidade, Atributo, Conhecimento: Formulados como tarefas de Visual Question Answering (VQA) abertas.
  • Relação: Formulados como Questões de Múltipla Escolha (MCQs) para evitar ambiguidade em descrições sinônimas.

2. Pipeline de Construção de Dados

O conjunto de dados compreende 1.800 amostras únicas de entidade-imagem abrangendo 10 domínios e 50 categorias, resultando em 14.400 pares de QA totais. A construção segue um pipeline semiautomático:

1. Seleção de Entidade: Definição manual de 10 domínios e identificação de entidades com características visuais distintas.
2. Coleta de Imagens: LLMs analisam entidades para gerar consultas sensíveis a relações. As imagens são recuperadas via Google Image Search e filtradas usando CLIP para garantir consistência semântica com as consultas.
3. Construção de Pares de QA:
   • Positivo: Gerado usando templates (Entidade), observação direta de VLM (Atributo) ou fatos derivados da Wikipedia (Conhecimento).
   • Negativo: Gerado via prompts específicos implementando as quatro estratégias de indução.
4. Verificação Humana: Três anotadores realizaram controle de qualidade rigoroso, validando a correção factual, consistência lógica e unicidade das respostas. A concordância inter-anotador foi alta (Fleiss' $\kappa = 0,854$).

3. Métricas de Avaliação

Os autores avaliam 14 MLLMs representativos (5 de código fechado, 9 de código aberto) em um cenário zero-shot.

• Métrica Primária: Acurácia, reportada separadamente para perguntas positivas e negativas em todas as quatro dimensões.
• Pontuação de Propensão à Alucinação (HPS): Uma métrica derivada definida como $HPS = (1 - \frac{Acc_{neg}}{Acc_{pos}}) \times 100\%$. Isso mede a degradação relativa de desempenho quando os modelos são expostos a entradas enganosas; pontuações mais altas indicam maior suscetibilidade à alucinação.
• Julgamento: Perguntas positivas usam correspondência suave (soft matching) padrão de VQA; perguntas negativas são avaliadas pelo GPT-4o-mini como um juiz automático, com verificação humana confirmando uma taxa de concordância de 94,3%.

Resultados Principais

Experimentos em 14 MLLMs revelam vários padrões sistemáticos:

1. Conhecimento é a Dimensão Mais Difícil: Em quase todos os modelos, a dimensão de Conhecimento apresenta consistentemente a menor acurácia, ficando significativamente atrás de Entidade, Atributo e Relação. Por exemplo, mesmo os modelos de alto desempenho mostram quedas substanciais na acurácia de conhecimento em comparação com tarefas perceptuais.
2. Lacuna de Robustez em Perguntas Negativas: A maioria dos modelos exibe degradação significativa de desempenho em perguntas negativas em comparação com as positivas. Isso indica que uma alta acurácia em consultas factuais não garante robustez contra premissas falsas.
3. Código Aberto vs. Código Fechado: Modelos de código fechado geralmente superam os equivalentes de código aberto, particularmente em perguntas positivas. No entanto, a série Qwen (código aberto) demonstra uma robustez competitiva em perguntas negativas, sugerindo que o treinamento direcionado pode mitigar a alucinação.
4. Efeitos de Escalonamento: O aumento do tamanho do modelo geralmente melhora tanto a acurácia factual quanto a robustez contra entradas enganosas. No entanto, o escalonamento não resolve uniformemente as alucinações de conhecimento; a dimensão de Conhecimento permanece um gargalo mesmo para modelos maiores.
5. Variabilidade de Domínio: Modelos mais fortes mantêm um desempenho equilibrado entre domínios, enquanto modelos mais fracos mostram variação significativa, particularmente nos domínios de Arte e Ciência & Tecnologia em perguntas negativas.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Framework Unificado: O KnowHal aborda uma lacuna importante nos frameworks de avaliação existentes ao unificar sistematicamente a avaliação de alucinação de nível perceptual (Entidade, Atributo, Relação) e de nível de conhecimento dentro de um único protocolo centrado na imagem.
2. Avaliação Controlada via Design Pareado: Ao introduzir perguntas positivas e negativas pareadas, o KnowHal permite uma comparação controlada da capacidade de um modelo de interpretar evidências válidas versus sua capacidade de rejeitar suposições plausíveis, mas falsas. Isso aborda diretamente a lacuna de "aceitação de premissas falsas" na literatura existente.
3. Utilidade Diagnóstica: Através da avaliação extensiva de 14 modelos e análise detalhada (por escalonamento, domínio e estudos de caso), o KnowHal revela que a alucinação de conhecimento é um desafio persistente e distinto, e que os modelos atuais carecem de robustez contra entradas enganosas, fornecendo uma ferramenta diagnóstica para o desenvolvimento futuro de modelos.

Os autores concluem que, embora os MLLMs atuais mostrem progresso, a dimensão de Conhecimento e a robustez a premissas falsas permanecem desafios críticos, e o KnowHal fornece a infraestrutura necessária para impulsionar a pesquisa em direção a sistemas multimodais mais confiáveis e factualmente precisos.