Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

Resumo Técnico: Capturando Deslocamentos de Olhar para Orientação (GIFT)

Definição do Problema
Os Modelos de Linguagem e Visão (VLMs) frequentemente sofrem de alucinações, gerando conteúdo não suportado por entradas visuais ou textuais. A literatura atual atribui isso principalmente a uma dependência excessiva de vieses linguísticos em vez de entradas visuais. As estratégias existentes de mitigação em tempo de inferência tentam amplificar a atenção aos tokens visuais, mas sofrem de duas limitações críticas:

1. Sumidouro de Atenção Visual (Visual Attention Sink): Esses métodos frequentemente falham em distinguir regiões visuais relevantes de irrelevantes, ampliando inadvertidamente a atenção para tokens irrelevantes à tarefa (o "sumidouro") que recebem pesos desproporcionalmente altos.
2. Fusão Cross-Modal Desequilibrada: Ao focar apenas no aumento da atenção visual, os métodos anteriores negligenciam o equilíbrio necessário com os tokens da consulta do usuário. Isso pode levar o modelo a atender a regiões visuais relevantes enquanto simultaneamente interpreta incorretamente a consulta do usuário, resultando em representações mal integradas.

Metodologia: Melhoria da Fusão Cross-Modal Guiada pelo Deslocamento de Olhar (GIFT)
Os autores propõem o GIFT, um método leve de tempo de inferência que mitiga a alucinação ao ajustar dinamicamente a atenção com base em "deslocamentos de olhar" (gaze shifts), em vez de escores de atenção estáticos. A abordagem consiste em duas fases primárias:

1. Computação do Mapa de Saliência Visual via Rastreamento de Deslocamento de Olhar:

   • Em vez de tirar a média da atenção sobre todos os tokens da consulta (olhar estático), o GIFT rastreia mudanças positivas na atenção dos tokens visuais conforme o modelo processa palavras ricas em informações (ex: substantivos, verbos, adjetivos) na consulta do usuário.
   • Este mecanismo de "deslocamento de olhar" identifica onde o modelo realoca dinamicamente o foco para regiões visuais relevantes. Regiões irrelevantes (sumidouros de atenção) tipicamente exibem mudanças positivas mínimas ou nulas, permitindo que o método filtre naturalmente o ruído.
   • Um mapa de saliência visual holístico é pré-computado em uma camada específica (identificada como o pico das mudanças positivas de atenção, tipicamente nas camadas iniciais a médias) antes do início da decodificação.

2. Melhoria da Fusão Cross-Modal:

   • Direcionamento da Atenção Visual: Durante a decodificação, o mapa de saliência pré-computado é usado para amplificar proporcionalmente a atenção aos tokens visuais salientes em camadas críticas de fusão cross-modal.
   • Fusão Equilibrada: Crucialmente, o GIFT não apenas impulsiona os tokens visuais. Ele simultaneamente escala a atenção para os tokens da consulta com base na razão total de ampliação da atenção visual. Isso preserva o equilíbrio entre as modalidades visual e textual, garantindo que o modelo interprete a consulta corretamente enquanto a fundamenta na imagem.
   • O método opera diretamente nas matrizes de atenção intermediárias sem exigir passagens de ida (forward passes) adicionais ou entradas modificadas.

Principais Contribuições

• Mecanismo Inovador: Introdução de um mecanismo que captura uma visão holística de regiões visuais salientes ao rastrear deslocamentos positivos de atenção ("deslocamentos de olhar") sobre tokens de consulta ricos em informação, mitigando efetivamente o problema do sumidouro de atenção visual.
• Melhoria Equilibrada: Proposta do GIFT, um método que utiliza o mapa de saliência pré-computado para melhorar a atenção visual enquanto escala proporcionalmente a atenção do token da consulta para manter o equilíbrio da fusão cross-modal.
• Validação Empírica: Demonstração de que o GIFT reduz consistentemente as alucinações em várias arquiteturas de VLM (LLaVA-1.5, Qwen2-VL, Qwen3-VL), alcançando melhorias significativas em benchmarks de alucinação enquanto preserva as capacidades de raciocínio geral com baixo overhead computacional.

Resultados Experimentais
Experimentos extensivos foram conduzidos em quatro modelos (LLaVA-1.5 7B/13B, Qwen2-VL 7B, Qwen3-VL 8B) através de múltiplos benchmarks:

• Mitigação de Alucinação: O GIFT alcançou até 20,7% de melhoria no CHAIR (legenda de imagens), 15,9% no MMHal-Bench (VQA) e 3,0% no POPE (detecção de objetos) em comparação com a decodificação greedy. Superou consistentemente baselines como VAF (Visual Attention Fusion), VAR (Visual Attention Recalibration) e VCD (Visual Contrastive Decoding).
• Desempenho Geral: Em benchmarks gerais de visão-linguagem (MME, SEED-Bench), o GIFT manteve um desempenho comparável à decodificação greedy, demonstrando que a mitigação de alucinação não ocorre às custas das capacidades de raciocínio.
• Eficiência: O GIFT incorreu em um baixo overhead computacional, operando a apenas 1,13× a latência da decodificação greedy, significativamente mais rápido que a decodificação contrastiva (1,99×) ou métodos de redução de tokens (11,10×).

Significância e Alegações
O artigo afirma que o GIFT aborda as limitações simultâneas dos métodos existentes: sumidouros de atenção visual e fusão cross-modal desequilibrada. Ao imitar os deslocamentos do olhar visual humano, o método fornece um sinal de fundamentação visual mais robusto e relevante para a tarefa. Os autores afirmam que o GIFT oferece um forte equilíbrio entre eficiência e desempenho, tornando-o uma solução prática para reduzir alucinações em domínios de alto risco, como biomedicina, direção autônoma e robótica, onde a precisão factual é crítica. O trabalho é apresentado como um passo em direção ao implante de VLMs mais seguros e confiáveis sem os altos custos computacionais de retreinamento ou estratégias complexas de decodificação contrastiva.