Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

Resumo Técnico: Perdido no Fim: Viés de Primazia em Resposta a Perguntas com Recuperação Multimodal Aumentada por Conhecimento

Definição do Problema
Sistemas de Resposta a Perguntas Visuais Baseados em Conhecimento (KB-VQA) dependem da recuperação de passagens de uma grande base de conhecimento (ex: escala Wikipedia) para condicionar um leitor de visão-linguagem (VLM) a responder perguntas sobre uma imagem. Embora LLMs puramente textuais de contexto longo exibam um efeito de "perdido no meio" (lost-in-the-middle) bem documentado (Liu et al., 2024) — onde a informação no início e no fim de um contexto é utilizada enquanto o meio é ignorado — permanece desconhecido se este fenômeno se transfere para sistemas KB-VQA implantados. Estudos existentes de viés de posição multimodal não caracterizaram este cenário em escala de implantação, utilizando frequentemente pequenos números de distratores ou benchmarks de compreensão geral de imagem-texto em vez de stacks específicas de KB-VQA. Consequentemente, não está claro se o viés em forma de U se mantém, se uma forma diferente emerge, onde o viés se origina (proximidade da imagem vs. posição do texto) e se otimizações do lado da recuperação (ex: diversificação, reranking) podem mitigar o problema para leitores congelados (frozen readers).

Metodologia
Os autores projetam um "protocolo de posição de ouro" controlado para isolar a dependência de posição do lado do leitor em KB-VQA multimodal.

• Design do Protocolo: Para cada pergunta, três prompts são construídos que são bit-idênticos, exceto pela posição da única passagem "de ouro" (relevante). A passagem de ouro é colocada no primeiro slot (índice 0), no slot do meio (índice $\lfloor(k-1)/2\rfloor$), ou no último slot (índice $k-1$). Todos os outros $k-1$ slots são preenchidos com distratores idênticos.
• Escala e Configuração: O estudo opera em escala de implantação usando os 50 candidatos principais de um recuperador multivetorial forte (PreFLMR ViT-G) e variando $k$ até 20.
• Modelos e Benchmarks: Os experimentos são conduzidos em três VLMs de instrução abertos de 7B/8B (Qwen2.5-VL-7B, InternVL3-8B, Qwen3-VL-8B) em dois benchmarks de KB-VQA (INFOSEEK e E-VQA).
• Rigor Estatístico: O estudo utiliza um design pareado dentro do prompt com inferência de bootstrap pareado (10.000 reamostragens) para garantir comparações pareadas exatas. Um classificador de cinco vias pré-registrado é usado para categorizar tamanhos de efeito (ex: Generalização, Amplificado) para evitar a coleta de dados post-hoc.
• Ablações: Os autores realizam ablações direcionadas para determinar o locus do efeito:
  1. Controle apenas de texto: Removendo a imagem para medir o viés basal do modo de texto.
  2. Ablação de posição da imagem: Movendo o bloco de tokens da imagem para o final do prompt para testar efeitos de proximidade de tokens de imagem.
  3. Ablação de embaralhamento de distratores: Randomizando a ordem dos distratores em relação ao seu ranking de recuperação para desacoplar a posição do slot do prompt da similaridade de recuperação.
  4. Correções do lado da recuperação: Testando diversificação por Relevância Marginal Máxima (MMR), reranking de oráculo e reordenação baseada em ranking em um leitor congelado.

Resultos Principais

1. Viés de Primazia, Não em Forma de U: Contrariamente ao efeito de "perdido no meio" em forma de U de LLMs apenas de texto, o KB-VQA multimodal exibe um forte viés de primazia. A configuração "ouro-no-início" supera a configuração "ouro-no-fim" em 16 a 26 pontos percentuais em todas as seis combinações de leitor-benchmark. A curva de desempenho é um decaimento monotônico em vez de uma forma de U; as posições do meio e do fim frequentemente colapsam juntas abaixo da primeira posição.
2. Amplificação Multimodal: Uma ablação apenas de texto revela que o viés de primazia existe nos leitores de texto subjacentes, mas é amplificado de 2,2 a 4,5 vezes no cenário multimodal. O contexto multimodal remodela o viés, tornando a lacuna entre a primeira e a última posição significativamente maior do que nos modos apenas de texto.
3. O Locus é o Slot de Prompt 0: O viés está ancorado ao slot de prompt 0 do leitor ajustado por instrução.
   • Mover a imagem para o final do prompt não reduziu a lacuna entre o primeiro e o último, descartando a proximidade do token de imagem como o principal driver.
   • Um experimento de embaralhamento de distratores mostrou que, quando o distrator mais similar (rank-1) foi movido para longe do slot 0, a taxa de erro do leitor não seguiu o ranking de similaridade, mas permaneceu alta quando o distrator estava no slot 0. Isso confirma que o leitor prioriza o primeiro slot, independentemente da similaridade de recuperação.
4. Correções do Lado da Recuperação Falham: Intervenções de recuperação sem treinamento, incluindo diversificação MMR, reranking de oráculo (forçando o ouro para o topo) e reordenação baseada em ranking, falharam em fechar a lacuna em um leitor congelado. A lacuna de desempenho entre o primeiro e o último permaneceu intacta dentro dos intervalos de confiança.

Significância e Alegações
O artigo alega que o Recall@k é a métrica errada para sistemas de KB-VQA implantados que dependem de leitores congelados. Como o leitor sistematicamente ignora ou subutiliza informações relevantes, a menos que elas apareçam no início do prompt, otimizar a recuperação para recall (encontrar a passagem de ouro no top-$k$) não garante a confiabilidade do sistema se a passagem de ouro não estiver no slot ideal.

Os autores concluem que fechar a lacuna de desempenho requer intervenção do lado do leitor (ex: ajuste fino consciente da posição, calibração de atenção ou rebalanceamento de dados) em vez de otimização adicional do componente de recuperação. Eles liberam seu protocolo de posição de ouro como um instrumento controlado para a comunidade avaliar futuras intervenções do lado do leitor ou de tempo de treinamento.

Limitações Reconhecidas pelos Autores

• Escopo: Os achados são específicos para VLMs abertos de 7B/8B, contextos curtos ($k \le 20$) e bases de conhecimento derivadas da Wikipedia em inglês. Modelos proprietários ou escalas maiores podem se comportar de forma diferente.
• Mecanismo: Embora o locus tenha sido identificado como o slot de prompt 0, o mecanismo subjacente (ex: padrões de atenção específicos ou distribuições de dados de ajuste de instrução) não é totalmente caracterizado.
• Confundimento: A ablação apenas de texto compara diferentes datasets (NQ-Open vs. M2KR), o que significa que o "amplificação" relatada confunde efeitos de modalidade e de corpus, embora os autores argumentem que a amplificação é uma propriedade do cenário de KB-VQA multimodal.
• Heurísticas: O diagnóstico de balde de falha depende de correspondência de strings, o que pode confundir erros de forma superficial e semântica.