Resumo Técnico: Mitigando o Vazamento de Informação entre Imagens em Compreensão de Múltiplas Imagens com Grandes Modelos de Visão-Linguagem

Declaração do Problema

Embora os Grandes Modelos de Visão-Linguagem (LVLMs) demonstrem um forte desempenho em tarefas de imagem única, suas capacidades degradam significativamente ao processar múltiplas imagens simultaneamente. Embora trabalhos anteriores tenham observado essa queda de desempenho, os mecanismos subjacentes permaneceram pouco compreendidos.

Os autores identificam empiricamente um fenômeno específico denominado vazamento de informação entre imagens (cross-image information leakage). Em configurações de múltiplas imagens, as representações visuais do modelo tornam-se emaranhadas, fazendo com que ele misture pistas visuais de diferentes imagens em vez de interpretá-las de forma independente. Conforme ilustrado pela motivação do artigo, ao ser apresentado com duas imagens (por exemplo, uma com tulipas amarelas e outra com rosas vermelhas) e uma consulta sobre a primeira imagem, o modelo frequentemente falha em isolar o alvo. Em vez de selecionar a opção correta ("tulipas amarelas"), ele escolhe incorretamente uma opção fundida ("tulipas amarelas e rosas vermelhas").

Este vazamento é atribuído ao processamento padrão de múltiplas imagens como uma sequência de tokens visuais concatenados. O mecanismo de atenção causal inter-imagem faz com que os tokens de diferentes imagens interajam fortemente, misturando representações latentes e levando a alucinações onde o conteúdo de imagens não-alvo contamina a resposta.

O artigo também observa que uma solução ingênua — processar cada imagem de forma independente e agregar os resultados — falha porque sacrifica as relações entre imagens (ex: comparações, referências cruzadas) que são essenciais para tarefas complexas de raciocínio de múltiplas imagens.

Metodologia: FOCUS

Para enfrentar este desafio sem exigir treinamento adicional ou modificações arquiteturais, os autores propõem o FOCUS, um método de inferência livre de treinamento e agnóstico à arquitetura. O método opera sobre a observação de que os LVLMs raciocinam bem sobre imagens únicas e visa guiar o modelo para focar em uma imagem por vez, preservando o contexto posicional da entrada de múltiplas imagens.

O FOCUS consiste em três etapas sequenciais:

1. Mascaramento Visual:
   Para um conjunto de $N$ imagens de entrada, o método gera $N$ entradas parcialmente mascaradas e uma referência totalmente mascarada.

   • Para cada imagem alvo $I_i$, todas as outras imagens $I_j$ ($j \neq i$) são corrompidas com ruído aleatório (escala $\lambda$), enquanto $I_i$ permanece limpa.
   • Uma entrada totalmente mascarada por ruído ($I_{noise}$) também é criada, onde todas as imagens são corrompidas.
   • Isso força o modelo a atender primariamente a uma única imagem limpa em cada passagem direta (forward pass), mantendo a ordem original das imagens.

2. Inferência Focada por Imagem:
   O modelo realiza a inferência em cada uma das $N$ entradas parcialmente mascaradas para obter uma distribuição de logit $\ell_i$ para cada imagem alvo $I_i$. Adicionalmente, uma distribuição de logit de referência de ruído $\ell_{noise}$ é computada usando a entrada totalmente mascarada. Esta etapa captura o raciocínio do modelo quando focado em imagens específicas dentro do contexto conjunto.

3. Agregação Contrastiva:
   O resultado final é derivado agregando os logits focados enquanto se suprime artefatos de ruído residuais. A fórmula utilizada é:
   $$\ell_{final} = \sum_{i=1}^{N} (\ell_i - \alpha \cdot \ell_{noise})$$
   Aqui, $\alpha$ é um hiperparâmetro ajustado via validação. Subtrair a referência de ruído ($\ell_{noise}$) ajuda a isolar e remover sinais visuais espúrios que persistem mesmo após o mascaramento, garantindo que a predição final dependa do conteúdo da imagem limpa em vez de artefatos induzidos pelo ruído.

Principais Contribuições

• Identificação do Vazamento de Informação entre Imagens: O artigo fornece evidência empírica de que a degradação do desempenho em múltiplas imagens está intimamente ligada ao emaranhamento das representações visuais entre as imagens, levando a respostas fundidas e incorretas.
• Método FOCUS: Um método de inferência inovador, livre de treinamento, que mitiga o vazamento usando mascaramento de ruído e agregação contrastiva de logits. Ele preserva as relações entre imagens (ao contrário da inferência independente) enquanto evita a mistura de conteúdo.
• Generalização: O método mostra-se eficaz em diversas famílias de LVLMs (InternVL3, Qwen2.5-VL, LLaVA-OneVision, Qwen3-VL) e escalas (de <7B a >30B parâmetros).
• Extensão para Compreensão de Vídeo: Os autores demonstram que o FOCUS se generaliza além de entradas de imagens estáticas para tarefas de compreensão de vídeo (Vinoground), sugerindo que o mecanismo aborda uma questão fundamental no raciocínio visual temporal e sequencial.

Resultados Experimentais

Os autores avaliaram o FOCUS em cinco benchmarks de múltiplas imagens: Winoground, VisMin (Easy e Hard), Mantis-Eval, MuirBench e MIRB.

• Ganhos de Desempenho: O FOCUS melhorou consistentemente a Pontuação de Imagem (I) e a Pontuação de Grupo (G), que refletem diretamente as capacidades de raciocínio de múltiplas imagens, enquanto deixou a Pontuação de Texto (T) amplamente inalterada.
  • No Winoground, os ganhos atingiram até +18.8 na pontuação de Imagem e +16.8 na pontuação de Grupo.
  • No VisMin-Easy, as melhorias foram substanciais; por exemplo, o InternVL3-2B viu um aumento na Pontuação de Imagem de 29.96 para 74.33.
  • No Mantis-Eval, a precisão melhorou em até +5.5 pontos percentuais.
  • No MuirBench e MIRB, foram observados ganhos consistentes, embora menores, em todos os modelos.
• Comparação com Alternativas: O FOCUS superou abordagens alternativas, incluindo:
  • Processamento Independente: Processar imagens separadamente e concatenar textos, o que falhou em capturar as relações entre imagens.
  • Decodificação Contrastiva Convencional (VCD): Métodos contrastivos padrão projetados para imagens únicas degradaram o desempenho em configurações de múltiplas imagens.
  • SoFA: Um método voltado para o viés de posição, que não melhorou o desempenho de forma consistente, indicando que o viés de posição e o vazamento de informação são problemas distintos.
• Estudos de Ablação: Remover a injeção de ruído ou a etapa de subtração da referência de ruído degradou significamente o desempenho, confirmando que ambos os componentes são essenciais.
• Latência: O método introduz um overhead de latência moderado (exigindo $N+1$ passagens de inferência para $N$ imagens), o qual os autores observam ser um compromisso justificável pelos ganhos de precisão.

Significância e Alegações

O artigo afirma que o FOCUS oferece uma solução de inferência prática e generalizável para melhorar o raciocínio de múltiplas imagens. Ao caracterizar empiricamente o vazamento de informação entre imagens e fornecer um método para mitigá-lo sem retreinamento, o trabalho aborda uma limitação crítica nos atuais LVLMs.

Os autores enfatizam que sua abordagem:

1. Não requer dados de treinamento adicionais ou mudanças arquiteturais.
2. Funciona em uma ampla gama de tamanhos e famílias de modelos.
3. Estende-se para a compreensão de vídeo, sugerindo que o problema do emaranhamento visual não se limita a imagens estáticas.
4. Fornece uma solução geral para melhorar a confiabilidade do raciocínio de múltiplas imagens, o que é essencial para aplicações do mundo real onde usuários fornecem múltiplas imagens simultaneamente.

O artigo conclui que, embora o FOCUS melhore significativamente o desempenho, ele não é uma panaceia para todas as tarefas de contexto longo ou de recuperação intensa, onde o gargalo pode residir na localização de informações relevantes em vez da desambiguação de conteúdo visual. No entanto, para tarefas que exigem a integração e comparação de múltiplas entradas visuais, o FOCUS oferece um aprimoramento robusto.