Revealing Multi-View Hallucination in Large Vision-Language Models

Título: Revelando Alucinação Multi-Visão em Grandes Modelos Visuais-Linguísticos (LVLMs)

1. O Problema: Alucinação Multi-Visão (MVH)

Os Grandes Modelos Visuais-Linguísticos (LVLMs) estão sendo cada vez mais aplicados a cenários que exigem a entrada de múltiplas imagens capturadas de diferentes pontos de vista (multi-view). No entanto, os modelos atuais frequentemente falham ao associar corretamente informações visuais a instâncias específicas ou a perspectivas corretas, um fenômeno que os autores denominam Alucinação Multi-Visão (MVH).

Diferente das alucinações convencionais (onde o modelo confunde conhecimento prévio com a imagem), a MVH ocorre devido à interferência visual cruzada entre múltiplas visões. Os autores categorizam esse problema em dois tipos principais:

• Alucinação de Instância Cruzada (Cross-Instance): O modelo confunde a instância consultada com outra instância presente na cena (ex: atribuir a ação de uma pessoa de camiseta preta a uma pessoa de camiseta branca).
• Alucinação de Visão Cruzada (Cross-View): O modelo ignora a perspectiva solicitada e responde com base em informações de outra visão (ex: responder sobre o objeto na "Visão 1" usando dados da "Visão 2").

2. Metodologia e Contribuições Principais

Para abordar sistematicamente esse problema, a equipe propôs três contribuições fundamentais:

A. MVH-Bench (Benchmark de Avaliação)
Os autores criaram um novo benchmark composto por 4.800 pares de perguntas e respostas, derivados de datasets de vídeo multi-visão sincronizados (Ego-Exo4D e LEMMA).

• Estrutura: O dataset cobre quatro subcategorias: Ação, Objeto, Numérico e Espacial.
• Geração: Utiliza pares de imagens (visão primeira pessoa e terceira pessoa) para gerar perguntas binárias e de múltipla escolha que testam especificamente a capacidade do modelo de distinguir entre instâncias e perspectivas.
• Métricas: Introduziram métricas dedicadas, como p-Acc (precisão de par, exigindo que ambas as perguntas de um par sejam corretas) e q-Acc (precisão de quádruplo, exigindo consistência total), além de taxas de erro como YER (razão de erro "Sim") e AER (razão de erro adversário).

B. Análise da Formação do Contexto da Consulta
Através de experimentos de bloqueio de atenção, os pesquisadores descobriram que a formação do contexto textual (a compreensão completa da pergunta) ocorre principalmente nas camadas intermediárias do decodificador Transformer.

• Ao bloquear a atenção entre tokens de texto nessas camadas, a precisão de referência do modelo cai drasticamente, indicando que a troca de informação entre tokens de texto é crucial para evitar que o modelo se distraia com pistas visuais irrelevantes de outras visões.

C. RSCD (Reference Shift Contrastive Decoding)
Para mitigar o problema sem necessidade de re-treinamento (training-free), os autores propuseram uma técnica de decodificação contrastiva chamada RSCD.

• Mecanismo: A técnica funciona criando "logits negativos" intencionalmente perturbados.
  1. Aplica-se uma máscara de deslocamento de referência (Reference Shift Mask) nas camadas intermediárias, bloqueando a atenção entre os tokens de texto que recebem a maior parte da atenção (top $\rho\%$). Isso simula uma compreensão incompleta da consulta.
  2. Gera-se logits negativos baseados nessa compreensão perturbada.
  3. Os logits originais são ajustados subtraindo os logits negativos ponderados, amplificando o contraste entre a resposta correta (baseada na visão alvo) e as respostas baseadas em interferências visuais.
• Vantagem: Diferente de métodos anteriores que alteram a entrada de imagem ou o prompt, o RSCD é eficiente computacionalmente, pois reutiliza os estados de chave-valor (KV cache) da imagem.

3. Resultados Experimentais

Os experimentos foram conduzidos no MVH-Bench utilizando modelos de última geração (SOTA), tanto de código fechado (ex: GPT-4o, Gemini) quanto aberto (ex: Qwen2.5-VL, LLaVA-OneVision).

• Desempenho dos Modelos Atuais: Todos os LVLMs avaliados apresentaram desempenho baixo nas métricas de precisão de par (p-Acc) e quádruplo (q-Acc), demonstrando alta suscetibilidade à interferência multi-visão. Modelos de código aberto mostraram taxas de erro adversário (AER) particularmente altas.
• Eficácia do RSCD: A técnica RSCD superou consistentemente métodos existentes de mitigação de alucinação (como VCD, ICD e AvisC).
  • No Qwen2.5-VL, houve uma melhoria de 21,1 pontos na pontuação geral do MVH-Bench.
  • No LLaVA-OneVision, a melhoria foi de 34,6 pontos.
• Análise de Ablação: A técnica mostrou-se robusta a variações nos hiperparâmetros ($\alpha$ e $\rho$) e na seleção de camadas, embora funcione melhor quando aplicada às camadas intermediárias identificadas na análise.

4. Significado e Conclusão

Este trabalho é significativo por:

1. Definir e Quantificar um novo tipo de falha crítica em LVLMs (Alucinação Multi-Visão), que é distinto das alucinações tradicionais e mais comum em aplicações do mundo real como robótica, gêmeos digitais e sistemas de vigilância.
2. Fornecer um Benchmark Rigoroso (MVH-Bench) que expõe a fragilidade dos modelos atuais na distinção entre perspectivas e instâncias, algo essencial para a compreensão de cenas complexas.
3. Propor uma Solução Eficiente (RSCD) que não requer treinamento adicional, utilizando apenas manipulação de atenção durante a inferência para forçar o modelo a focar na evidência visual correta e ignorar distrações de outras visões.

Em suma, o estudo demonstra que a compreensão contextual textual nas camadas intermediárias é a chave para a ancoragem visual correta em cenários multi-visão e que a decodificação contrastiva direcionada pode mitigar drasticamente essas alucinações.