Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

No mundo rapidamente evolutivo da inteligência artificial, uma nova geração de sistemas surgiu, capaz de ver e falar ao mesmo tempo. Esses grandes modelos de visão-linguagem atuam como observadores digitais, capazes de olhar para uma fotografia e descrever o que está acontecendo nela, ou responder perguntas sobre a cena. Eles aprenderam a conectar o mundo visual com a linguagem humana, criando uma ponte entre pixels e palavras. No entanto, apesar de sua impressionante habilidade de gerar sentenças fluentes e frequentemente sensatas, esses sistemas sofrem de uma falha persistente e frustrante: eles frequentemente mentem. Eles podem descrever confiantemente uma pessoa segurando um balão vermelho quando a imagem mostra uma pipa azul, ou inventar detalhes que simplesmente não existem. Essa tendência de gerar informações falsas, conhecida como alucinação, decorre de uma dependência profunda do que o modelo já leu antes, em vez do que ele está realmente vendo agora. Quando a evidência visual é incerta ou complexa, o sistema frequentemente recorre a suposições baseadas em sua biblioteca interna de padrões de linguagem, produzindo respostas que parecem corretas, mas que são factualmente erradas. Essa falta de confiabilidade impede que essas ferramentas poderosas sejam confiadas em situações do mundo real onde a precisão é essencial.

Pesquisadores da Universidade Xidian e da Universidade Tsinghua identificaram as causas raízes dessa confusão visual e desenvolveram um método para ajudar esses modelos a "enxergar claramente" antes de responderem. O trabalho deles revela que o problema não é apenas a falta de conhecimento, mas uma falha na forma como o modelo processa e lembra do que vê durante o breve segundo em que está pensando. A equipe descobriu que, à medida que o modelo analisa uma imagem, sua atenção é frequentemente sequestrada por detalhes irrelevantes do plano de fundo, fazendo com que ele ignore as partes mais críticas da foto. Além disso, conforme o modelo começa a gerar sua resposta palavra por palavra, sua memória da cena visual se degrada, tornando-se distorcida e menos conectada à pergunta específica que está sendo feita. Para corrigir isso, os pesquisadores introduziram uma estrutura livre de treinamento chamada Alinhamento Perceptual Impulsionado pela Saliência (Saliency-Driven Perceptual Realignment). Esta abordagem não exige o retreinamento do enorme modelo de IA do zero; em vez disso, ela atua como um guia durante o processo de pensamento, corrigindo gentilmente o foco e a memória do modelo para garantir que ele permaneça fundamentado na realidade visual da imagem.

A primeira etapa deste processo de correção aborda o momento em que o modelo olha para a imagem pela primeira vez. Os pesquisadores descobriram que o mecanismo de atenção interna do modelo frequentemente fica preso em "tokens de sumidouro" (sink tokens), que são essencialmente elementos de fundo sem sentido que acidentalmente capturam muito foco. Imagine uma pessoa tentando ouvir uma conversa em uma sala barulhenta; se a atenção dela for sequestrada por um ruído alto e irrelevante, ela perde as palavras importantes que estão sendo ditas. Da mesma forma, o modelo estava deixando essas distrações de fundo abafarem as pistas visuais salientes, como o rosto de uma pessoa ou um objeto específico. O novo método detecta quando esse sequestro ocorre e redistribui a atenção do modelo, puxando o foco para longe do ruído e de volta para as partes significativas da imagem. Ao fazer isso, o modelo recupera a evidência visual suprimida que estava ignorando anteriormente, permitindo que veja a cena com mais precisão antes mesmo de começar a falar.

Uma vez que o modelo tenha uma visão mais clara, o segundo desafio surge conforme ele começa a gerar sua resposta. O modelo armazena uma memória da imagem para consultar enquanto escreve cada nova palavra. No entanto, os pesquisadores observaram que essa memória se torna distorcida ao longo do tempo. Como o modelo processa a imagem e a pergunta em uma ordem específica, a memória dos detalhes visuais torna-se ligada à sua posição na sequência, em vez de sua importância real para a pergunta. É como se o modelo esquecesse que um objeto específico é importante porque foi visto no início da sequência, enquanto detalhes posteriores, menos importantes, tornam-se excessivamente proeminentes em sua memória. Para combater isso, a nova estrutura realinha essa memória interna. Ela injeta um sinal que destaca quais partes da imagem são realmente relevantes para a pergunta atual, garantindo que a memória do modelo permaneça focada na evidência visual correta durante todo o processo de geração, em vez de derivar para detalhes irrelevantes.

Finalmente, mesmo com uma visão clara e uma boa memória, o modelo ainda enfrenta a tentação de confiar em seus hábitos de linguagem pré-existentes. Às vezes, o modelo sabe que a resposta é "sim" com base na foto, mas seus padrões de linguagem internos sugerem fortemente "não" porque essa é uma frase comum em seus dados de treinamento. Para evitar isso, os pesquisadores adicionaram uma verificação final que compara a previsão baseada na visão do modelo contra uma referência construída a partir de seus próprios hábitos de linguagem. Se os dois divergirem, o sistema suprime ativamente o palpite baseado na linguagem e força o modelo a manter-se fiel à evidência visual. Esse processo contrastivo garante que a resposta final seja impulsionada pelo que realmente está na imagem, e não pelo que o modelo espera ver.

Os resultados da aplicação desta estratégia de três partes são significativos. Ao serem testados em vários modelos diferentes de visão-linguagem de grande escala, o método reduziu consistentemente o número de alucinações e melhorou a precisão das respostas. Em testes específicos que medem a frequência com que os modelos identificam objetos corretamente, a nova abordagem mostrou melhorias de quase sete pontos, e em testes que medem a frequência de detalhes alucinados, reduziu os erros em mais de um terço. Crucialmente, tudo isso foi alcançado sem a necessidade de retreinamento caro ou dados adicionais, simplesmente ajustando como o modelo presta atenção e lembra das informações enquanto trabalha. Ao abordar sistematicamente a degradação da consciência visual, desde o primeiro olhar até a frase final, esta pesquisa oferece uma maneira robusta de tornar esses poderosos sistemas de IA mais confiáveis, garantindo que eles digam a verdade sobre o que veem.