Resumo Técnico: Aprimoramento Baseado em Atenção para Recuperação de Documentos Visuais (AGREE)

Declaração do Problema

A recuperação de documentos visuais (VDR) visa recuperar páginas de documentos semanticamente relevantes para uma consulta de texto dada. Diferentemente da recuperação de imagens tradicional, a VDR envolve conteúdo heterogêneo (texto, tabelas, figuras, layouts) com alta densidade de informação. Embora métodos recentes de última geração (SOTA), como o ColQwen, utilizem codificação baseada em capturas de tela com interação tardia de alta granularidade (MaxSim) para capturar alinhamentos em nível de token e de patch, eles enfrentam uma limitação crítica: a supervisão de treinamento é grosseira.

Os recuperadores atuais são treinados usando apenas rótulos binários globais de relevância (relevante vs. não relevante). Esses rótulos indicam se uma página corresponde a uma consulta, mas não fornecem insights sobre quais regiões específicas sustentam essa correspondência. Consequentemente, os recuperadores tendem a depender de pistas de superfície (por exemplo, correspondência exata de palavras-chave) e lutam para capturar conexões semânticas implícitas ou consultas não extrativas (por exemplo, raciocinar sobre estruturas de "autoencoder" vs. "encoder-decoder"). Isso prejudica o desempenho em tarefas de recuperação complexas e do mundo real, onde a evidência está distribuída entre elementos visuais e textuais.

Metodologia: Framework AGREE

Para abordar a falta de supervisão de alta granularidade sem incorrer no custo de anotação manual, os autores propõem o AGREE (Aprimoramento de Recuperador Baseado em Atenção). O AGREE aproveita os mecanismos de atenção multimodal de Modelos de Linguagem Multimodal Grandes (MLLMs) pré-treinados como um proxy para supervisão de alta granularidade. O framework opera em três etapas principais:

1. Anotação de Atenção do MLLM

O AGREE emprega um MLLM pré-treinado congelado (especificamente Qwen2.5-VL) para gerar mapas de atenção em nível de patch condicionados à consulta.

• Estratégia de Extração: Os autores comparam duas estratégias: Atenção do Token de Resposta (extrair atenção do token que precede a geração da resposta) e Atenção do Token de Consulta (média da atenção de todos os tokens de consulta para patches de imagem). Experimentos mostram que a Atenção do Token de Consulta produz um alinhamento melhor com julgamentos humanos, cobrindo tanto correspondências explícitas quanto implícitas de forma mais robusta.
• Normalização: Para enfatizar a relevância semântica sobre a agregação global, a atenção específica da consulta é normalizada contra uma atenção de descrição geral de imagem.
• Agregação: Mapas de atenção são agregados em todas as camadas do MLLM para formar um sinal de supervisão unificado.

2. Subamostragem de Atenção Preservadora de Espaço

Existe uma incompatibilidade de resolução entre as entradas de alta resolução necessárias para o raciocínio do MLLM (até 2048 patches) e as entradas de menor resolução usadas por recuperadores eficientes (por exemplo, 768 ou 1024 patches).

• Solução: O AGREE emprega pooling máximo adaptativo para subamostrar os mapas de atenção de alta resolução. Diferentemente do pooling médio, que dilui picos salientes, o pooling máximo preserva os valores de atenção mais altos dentro de cada janela, garantindo que as regiões-chave destacadas pelo MLLM permaneçam proeminentes na grade de menor resolução usada pelo recuperador.

3. Treinamento Guiado por Atenção

O recuperador é treinado com uma função de objetivo dupla:

• Perda Global ($L_{global}$): Uma perda contrastiva padrão usando negativos difíceis no lote para manter a relevância em nível de página.
• Perda de Alinhamento Local ($L_{local}$): Aplicada apenas a pares consulta-página positivos, esta perda incentiva que as pontuações de similaridade em nível de patch do recuperador imitem o mapa de atenção subamostrado do MLLM.
  • Os autores avaliam três estratégias de alinhamento: divergência de Kullback–Leibler (KL), contraste Top-K saliente e Semelhança Cosseno.
  • A Semelhança Cosseno é encontrada como a mais eficaz, pois foca no acordo direcional dos padrões de pontuação (priorizando regiões salientes) sem ser excessivamente penalizada por ruído em áreas de fundo de baixa saliência ou exigir ajuste manual de limiar.

A perda total é definida como $L_{total} = L_{global} + \lambda \cdot L_{local}$. Crucialmente, essa supervisão de alta granularidade é usada apenas durante o treinamento; na inferência, o recuperador opera independentemente, sem exigir o MLLM ou sinais de atenção externos.

Contribuições Principais

1. Framework de Treinamento Inovador: O AGREE é o primeiro framework a destilar a atenção de MLLM condicionada à consulta em recuperadores de documentos visuais de interação tardia, fornecendo supervisão escalável e de alta granularidade para correspondência de relevância implícita sem anotação manual.
2. Ganhos de Desempenho: Experimentos extensivos demonstram que o AGREE melhora significativamente o desempenho de recuperação em tarefas desafiadoras e não extrativas, provando ser eficaz em diferentes modelos base (PaliGemma e Qwen2.5-VL).
3. Interpretabilidade e Raciocínio: O framework altera o comportamento de recuperação de correspondência de palavras-chave de superfície para alinhamento fundamentado semanticamente e consciente de justificativas, permitindo que os modelos capturem correspondências consulta-documento implícitas.

Resultados Experimentais

Os autores avaliaram o AGREE no benchmark ViDoRe V2, um conjunto de dados desafiador fora do domínio que exige raciocínio semântico além da sobreposição de palavras-chave.

• Desempenho: Em comparação com a linha de base de supervisão global apenas (ColQwen2.5), o AGREE alcançou:
  • Melhoria de +12,82% no nDCG@1 médio (de 0,5481 para 0,6184).
  • Melhoria de +5,03% no nDCG@5 médio (de 0,5859 para 0,6154).
• Robustez: No benchmark ViDoRe V1 mais fácil (impulsionado por sobreposição textual explícita), o AGREE permaneceu competitivo, confirmando que a supervisão de alta granularidade não degrada o desempenho em tarefas explícitas.
• Análise Qualitativa:
  • Cobertura: Recuperadores treinados com AGREE mostraram cobertura significativamente maior de regiões relevantes anotadas por humanos (tanto explícitas quanto implícitas) em comparação com as linhas de base.
  • Estudos de Caso: Visualizações demonstraram que o AGREE destaca com sucesso correspondências implícitas (por exemplo, ligar "gay" a "LGBT" ou identificar regiões de resposta que não contêm a palavra-chave da consulta) onde as linhas de base falharam ou destacaram apenas correspondências de superfície.

Significado e Alegações

O artigo afirma que a limitação principal da recuperação atual de documentos visuais não é a capacidade de codificação, mas a grosseiridade do sinal de treinamento. Ao tratar o MLLM não como um modelo a ser comprimido, mas como um anotador que sintetiza rótulos de alta granularidade ausentes, o AGREE transfere efetivamente as capacidades intrínsecas de raciocínio do professor para o recuperador.

Os autores enfatizam que essa abordagem permite que os recuperadores generalizem além de padrões extrativos simples encontrados nos dados de treinamento. O sucesso do AGREE depende da qualidade dos rótulos proxy (mapas de atenção) e do equilíbrio entre objetivos globais e locais. O trabalho sugere que melhorias futuras na recuperação de documentos visuais podem depender menos de corpora de treinamento maiores e mais de mecanismos de supervisão precisos e escaláveis que guiam os modelos a entender por que um documento é relevante, levando a sistemas de recuperação mais interpretáveis e precisos.