Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation

O artigo propõe o framework CAPL, que combina calibração de atenção inter-imagem e aprendizado por preferência para mitigar alucinações em modelos de linguagem e visão grandes, melhorando a modelagem de associações entre múltiplas imagens e a fundamentação em evidências visuais autênticas.

O essencial

Imagine que você tem um amigo muito inteligente, mas que às vezes "alucina" quando você mostra a ele duas fotos ao mesmo tempo.

O Problema: O Amigo que Só Vê o Passado
Normalmente, esses modelos de inteligência artificial (como o Qwen ou o InternVL) funcionam como uma pessoa lendo um livro de capa a capa. Se você mostrar a foto A e depois a foto B, o modelo consegue ver a B e lembrar da A. Mas, ele não consegue olhar para trás e ver como a A se conecta com a B de forma equilibrada. É como se ele tivesse uma visão de túnel: só consegue olhar para o que está "à frente" na fila.

Por causa disso, quando você pergunta: "A foto A e a foto B mostram o mesmo objeto?", ele pode inventar uma resposta baseada apenas no que ele acha que deveria ser verdade (baseado em texto), em vez de olhar realmente para as duas fotos e comparar. Ele "alucina" porque não consegue fazer uma conexão visual real entre as duas imagens.

A Solução: O "CAPL" (O Detetive de Duas Lentes)
Os autores criaram uma nova técnica chamada CAPL (Calibração de Atenção Cruzada e Aprendizado de Preferência). Vamos usar uma analogia de um Detetive para explicar como funciona:

1. A Calibração da Atenção (O Óculos de Visão Dupla)

Antes, o detetive olhava para a foto A e depois para a foto B, mas não podia olhar para a foto A enquanto analisava a B.

• A Mudança: O CAPL coloca um "óculos especial" no modelo. Agora, quando ele olha para a foto B, ele pode olhar de volta para a foto A instantaneamente.
• O Filtro Inteligente: Como olhar para tudo de uma vez pode ser confuso (muita informação), o modelo aprende a escolher apenas os "detalhes importantes" (como um rosto ou um carro) de cada foto para comparar. É como se ele dissesse: "Não preciso comparar o céu das duas fotos, mas preciso comparar o cachorro da foto 1 com o cachorro da foto 2". Isso cria uma conversa real entre as imagens.

2. O Aprendizado de Preferência (O Treino com o "Pior Cenário")

Aqui está a parte mais criativa. Como ensinar o modelo a não alucinar?

• O Cenário Normal (Positivo): O modelo usa os "óculos especiais" e vê as duas fotos conectadas. Ele dá a resposta correta.
• O Cenário de Treino (Negativo): Os pesquisadores fazem uma "mágica" no treino: eles cortam a conexão entre as fotos. É como se o modelo fosse forçado a olhar para a foto B com os olhos vendados, sem poder ver a foto A.
  • Nesse estado cego, o modelo é forçado a chutar ou inventar (alucinar) porque não tem a prova visual.
  • O modelo recebe uma "piscadinha" (feedback) dizendo: "Ei, essa resposta que você deu quando estava cego está errada! A resposta certa é aquela que você deu quando usou os óculos e viu as duas fotos juntas."

Ao fazer isso milhares de vezes, o modelo aprende: "Ah, quando eu não consigo conectar as imagens, eu erro. Quando eu conecto, eu acerto. Vou sempre tentar conectar as imagens!"

3. O Resultado: Um Super-Herói das Imagens

Depois desse treino, o modelo se torna muito melhor em:

• Comparar fotos: Saber se duas fotos são iguais ou diferentes.
• Contar objetos: Saber quantos gatos existem se você mostrar 3 fotos de gatos.
• Não inventar: Parar de dizer coisas que não estão nas fotos.

O Grande Truque:
O mais impressionante é que, mesmo treinado para olhar duas fotos, o modelo não esqueceu como olhar para uma só. Ele continua bom em tarefas simples de imagem única, como descrever uma foto de um gato, mas agora com uma "visão mais aguçada" para quando o desafio aumenta.

Resumo em uma frase:
O CAPL ensina a inteligência artificial a não apenas olhar para as fotos uma por uma, mas a conversar entre elas para não inventar histórias, usando um treino inteligente onde ela aprende com seus próprios erros de "cegueira".

Resumo técnico

Título: Calibração de Atenção Cruzada entre Imagens e Aprendizado de Preferência Atento para Mitigação de Alucinações em Múltiplas Imagens

1. Problema Identificado

Os Modelos de Linguagem e Visão Grandes (LVLMs) demonstraram capacidades notáveis em tarefas de imagem única, mas enfrentam desafios significativos em cenários de múltiplas imagens. O problema central é a alucinação, onde o modelo gera respostas plausíveis, mas factualmente incorretas, ao tentar relacionar informações de diferentes imagens.

As causas estruturais identificadas pelos autores são:

• Viés Posicional e Fluxo Unidirecional: A maioria dos LVLMs utiliza um mecanismo de atenção causal (autoregressivo). Em entradas com múltiplas imagens, isso cria um fluxo de informação assimétrico: as imagens subsequentes podem "ver" as anteriores, mas as anteriores não têm acesso às representações das subsequentes.
• Falta de Modelagem Cruzada Simétrica: Essa assimetria impede a modelagem de relações simétricas e estáveis entre imagens. O modelo tende a depender excessivamente de priors linguísticos (o que o texto sugere) em vez de evidências visuais cruzadas, levando a inferências errôneas e à fusão incorreta de entidades entre imagens.
• Limitações das Soluções Atuais: Métodos existentes focam em estratégias de decodificação ou treinamento de alinhamento para imagens únicas, ou tratam imagens múltiplas como contextos independentes, sem modelar explicitamente as relações inter-imagem.

2. Metodologia Proposta: CAPL

Os autores propõem um novo framework chamado CAPL (Cross-Image Attention Calibration and Attentive Preference Learning), que atua em duas frentes: arquitetura e otimização de treinamento.

A. Calibração de Atenção Cruzada entre Imagens (Atenção Seletiva)
Para corrigir o viés causal, o CAPL introduz um mecanismo de atenção que permite a interação bidirecional entre imagens, mas de forma controlada:

• Máscara de Atenção Cruzada: Remove a restrição causal entre tokens de imagens diferentes, permitindo que tokens de imagens anteriores atendam a tokens de imagens posteriores e vice-versa.
• Seleção de Tokens Chave: Para evitar ruído e interações redundantes, o modelo seleciona apenas os tokens mais importantes de cada imagem (baseados na intensidade de resposta/embedding energy). A interação ocorre apenas entre esses "tokens chave" de imagens diferentes.
• Fusão e Alternância: A atenção cruzada seletiva é fundida com a atenção causal original. Além disso, utiliza-se uma estratégia de máscaras alternadas nas camadas do decodificador (camadas ímpares usam atenção cruzada, pares usam causal) para equilibrar a modelagem relacional com a estabilidade da geração autoregressiva.

B. Aprendizado de Preferência Atento (DPO com Amostras Negativas Induzidas)
Para ensinar o modelo a preferir respostas baseadas em evidências visuais cruzadas, os autores utilizam Otimização Direta de Preferência (DPO):

• Amostras Positivas: Geradas utilizando o mecanismo de atenção cruzada calibrado (com interações completas entre imagens) e refinadas por um modelo avançado (Qwen3) para garantir correção.
• Amostras Negativas (Induzidas por Truncamento): Esta é uma contribuição inovadora. Para forçar o modelo a expor seus comportamentos de alucinação, os autores truncam completamente as conexões de atenção entre imagens durante a geração das amostras negativas. Isso força o modelo a depender apenas de imagens individuais e priores linguísticos, resultando em respostas alucinadas que servem como exemplos negativos robustos para o treinamento.
• Função de Perda Híbrida: O treinamento combina a perda de DPO (para alinhar preferências) com uma perda de NLL (Negative Log-Likelihood) nas amostras positivas, garantindo que o modelo não apenas aprenda a preferência, mas também imite trajetórias de geração corretas.

3. Principais Contribuições

1. Análise Estrutural: Identificação de que o fluxo de informação visual desequilibrado e a falta de associação semântica cruzada são as raízes das alucinações em tarefas de múltiplas imagens.
2. Framework CAPL: Uma abordagem integrada que combina:
   • Um mecanismo de atenção interativa seletiva para estabelecer alinhamento de entidades e fluxo de informação bidirecional.
   • Uma estratégia de otimização de preferência baseada na comparação entre interações completas e interações truncadas.
3. Geração de Amostras Negativas Inteligente: O uso do truncamento de atenção para induzir alucinações controladas, criando pares de preferência (positivo/negativo) mais eficazes do que amostras aleatórias ou geradas pelo próprio modelo sem restrições.

4. Resultados Experimentais

O CAPL foi testado em várias arquiteturas base (Qwen2.5-VL, InternVL2.5, GLM4.1VBase) e benchmarks diversos:

• Redução de Alucinações: O método demonstrou ganhos consistentes e significativos em benchmarks específicos de alucinação em múltiplas imagens (BLINK e MUIRBench).
  • Exemplo: No MUIRBench, o Qwen2.5-VL melhorou de 58.42 para 62.00, e o GLM4.1VBase de 57.84 para 60.57.
• Desempenho em Tarefas Gerais: A melhoria na modelagem cruzada também beneficiou tarefas gerais de múltiplas imagens (NLVR2, QBench2, MIBench), com ganhos ou estabilidade nos resultados.
• Generalização para Imagem Única: Crucialmente, o modelo não degradou o desempenho em tarefas de imagem única (POPE, CHAIR, MMBench). Em alguns casos, houve até ligeira melhoria, indicando que a capacidade de raciocínio visual foi reforçada sem prejudicar a especialização em imagem única.
• Estudos de Ablação: Confirmaram que tanto a calibração de atenção quanto o treinamento com amostras truncadas são essenciais. O uso de amostras negativas truncadas foi particularmente eficaz, superando o DPO com amostras negativas originais em sub-tarefas complexas como "Geographic Understanding" (+7.0 pontos).

5. Significância e Impacto

Este trabalho é significativo porque aborda a raiz estrutural das alucinações em LVLMs de múltiplas imagens, indo além de ajustes superficiais de decodificação.

• Inovação Arquitetural: A proposta de permitir atenção bidirecional seletiva entre imagens quebra o viés causal inerente aos Transformers, permitindo uma modelagem relacional simétrica.
• Estratégia de Treinamento: A técnica de induzir alucinações via truncamento de atenção para criar dados de treinamento negativos é uma abordagem elegante e eficaz para alinhar o modelo com a realidade visual, em vez de apenas com padrões linguísticos.
• Aplicabilidade Prática: O framework é compatível com modelos existentes e melhora a confiabilidade em cenários do mundo real que exigem comparação e integração de informações de várias fontes visuais (ex: comparação de produtos, análise de séries temporais visuais, diagnósticos médicos com múltiplas radiografias).

Em resumo, o CAPL estabelece um novo padrão para mitigar alucinações em cenários multimodais complexos, garantindo que as inferências do modelo sejam fundamentadas em evidências visuais cruzadas autênticas.