System-Mediated Attention Imbalances Make Vision-Language Models Say Yes

Resumo Técnico: Desequilíbrios de Atenção Mediados pelo Sistema

Título Original: System-Mediated Attention Imbalances Make Vision-Language Models Say Yes

1. O Problema: O Viés do "Sim" (Yes-Bias)

O estudo aborda um fenômeno de alucinação comum em Modelos de Linguagem e Visão (VLMs), conhecido como "yes-bias". Este é um erro de resposta de token único onde o modelo responde indiscriminadamente "sim" em tarefas binárias (sim/não), independentemente do conteúdo da imagem ou do texto.

Até então, a literatura científica defendia a "hipótese centrada na imagem", sugerindo que as alucinações ocorrem porque o modelo não dedica atenção suficiente à modalidade visual. No entanto, os autores argumentam que essa visão é incompleta por ignorar o papel das outras modalidades, especialmente a modalidade de sistema (tokens de sistema, como <BOS> e mensagens de sistema).

2. Metodologia: A Hipótese Mediada pelo Sistema

Os autores propõem uma nova perspectiva: a "hipótese mediada pelo sistema". Eles sugerem que a alucinação não é apenas uma falta de atenção à imagem, mas sim um desequilíbrio causado por pesos de atenção redundantes na modalidade de sistema. Esses pesos funcionam como "sumidouros de atenção" (attention sinks), que consomem uma parte desproporcional da atenção (muitas vezes >70%) sem fornecer informação semântica útil, privando as modalidades de imagem e texto de atenção necessária.

Intervenções Causais:
Para testar isso, os pesquisadores realizaram intervenções de redistribuição proporcional de pesos de atenção no decodificador de texto (focando nas camadas finais, Q4) do modelo LLaVA-1.5 7B:

• Ablação do Sistema: Remover a atenção do sistema sem redistribuir.
• Redistribuição Proporcional: Zerar a atenção da modalidade de origem (sistema ou texto) e redistribuir esse peso entre as modalidades restantes (imagem e texto) proporcionalmente aos seus pesos originais.
• Transferências de Par a Par: Testar transferências específicas (ex: Sistema $\rightarrow$ Texto, Sistema $\rightarrow$ Imagem, Texto $\rightarrow$ Imagem) para comparar a eficácia de cada hipótese.

3. Principais Contribuições

1. Identificação de um novo fator de alucinação: Demonstram que a atenção redundante nas camadas finais da modalidade de sistema é um motor crítico para o yes-bias.
2. Formalização de uma visão holística: Substituem a visão simplista (centrada na imagem) por um modelo de desequilíbrio de atenção que envolve o sistema, a imagem e o texto de forma integrada.
3. Nova estratégia de mitigação: Propõem que a redistribuição de atenção (em vez de apenas aumentar a atenção da imagem) é uma ferramenta mais eficaz para reduzir alucinações.

4. Resultados Principais

• Superioridade da Redistribuição do Sistema: A intervenção de redistribuição proporcional da atenção do sistema (Q4 system redistribution) superou significativamente as estratégias existentes de aumento de atenção à imagem (PAI) e de supressão de texto (AD-HH) em quase todos os benchmarks (como HallusionBench, SugarCrepe e Winoground).
• Validação da Hipótese: Os resultados mostraram que transferir atenção do sistema para o texto foi, em muitos casos, mais eficaz do que transferir do sistema para a imagem. Isso refuta a ideia de que o problema é puramente a falta de atenção visual, validando a necessidade de uma abordagem que considere o texto também.
• Análise de Erro (Fine-grained vs. Coarse): Os autores descobriram que o desequilíbrio de atenção induz o modelo a depender de representações de entrada grosseiras (coarse). Em tarefas que exigem detalhes finos e composição (como detectar objetos sutis), essa dependência causa o erro. Em tarefas de alto nível (como MME), o modelo performa bem mesmo com o desequilíbrio, pois essas tarefas não exigem análise detalhada.
• Evidência Representacional: As intervenções reduziram significativamente a similaridade de cosseno entre as representações de imagem e texto, provando que a atenção do sistema forçava uma agregação multimodal excessivamente simplista.

5. Significância e Conclusão

O trabalho é significativo porque muda o paradigma de como devemos mitigar alucinações em VLMs. Em vez de tentar "forçar" o modelo a olhar mais para a imagem, o estudo sugere que devemos corrigir o desperdício de atenção na modalidade de sistema.

A pesquisa estabelece que o desequilíbrio de atenção mediado pelo sistema é um fator fundamental para o comportamento de "resposta padrão" (como o yes-bias) e oferece um caminho promissor para o desenvolvimento de modelos multimodais mais confiáveis e precisos em tarefas de raciocínio detalhado.