Resumo Técnico: MINER - Mineração de Representação Interna Multimodal para Recuperação Eficiente

Declaração do Problema

A recuperação de documentos visuais (VDR) visa recuperar páginas relevantes de documentos visualmente ricos (por exemplo, apresentações, relatórios, pôsteres) diretamente a partir de suas imagens renderizadas, contornando pipelines frágeis de OCR e fragmentação. As abordagens atuais enfrentam um compromisso fundamental entre qualidade de recuperação e eficiência:

1. Recuperadores de Interação Tardia (por exemplo, ColPali): Esses métodos representam consultas e documentos como conjuntos de incorporações em nível de token, permitindo correspondência granular. Embora alcancem alta qualidade de recuperação, eles incorrem em grandes pegadas de índice (centenas a milhares de vetores por página) e altos custos de atendimento.
2. Recuperadores Densos de Vetor Único: Estes comprimem um documento inteiro em uma única incorporação da camada final, oferecendo índices compactos e baixa latência. No entanto, consistentemente ficam atrás em qualidade porque a compressão em um único vetor cria um gargalo de informação, descartando sinais relevantes para a recuperação presentes nas camadas intermediárias da rede.

Estudos recentes em PLN e visão sugerem que as representações internas de redes profundas frequentemente contêm informações mais ricas relevantes para a tarefa do que as saídas finais isoladamente. Isso levanta a questão: as representações internas de recuperadores de vetor único podem ser aproveitadas para recuperar sinais de recuperação perdidos sem sacrificar a eficiência do paradigma de vetor único?

Metodologia: MINER

Os autores propõem o MINER (Mineração de Representação Interna Multimodal para Recuperação Eficiente), um módulo plug-in leve projetado para extrair e fundir sinais relevantes para a recuperação a partir de camadas internas de transformadores. O MINER opera sem modificar o modelo de base, preservando a eficiência de armazenamento e atendimento da recuperação densa. Consiste em duas etapas principais:

1. Diagnóstico e Análise por Camada

Antes de projetar o módulo, os autores conduziram uma análise sistemática de recuperadores de vetor único (Jina, Eager, MoCa) usando duas métricas:

• Alinhamento de Kernel Centralizado Normalizado (CKA): Mede a similaridade estrutural entre o espaço de representação de uma camada e o espaço final de recuperação multimodal. Isso identifica um conjunto candidato de camadas ($S_{cand}$) que estão estruturalmente suficientemente próximas do espaço final para serem passíveis de extração leve.
• Razão de Alinhamento (AR): Definida como a razão entre a similaridade cosseno em nível de amostra e a pontuação CKA. Isso distingue entre camadas que são meramente estruturalmente similares e aquelas que estão diretamente alinhadas em coordenadas com o espaço final.
  • Resultado: A análise revelou dois regimes distintos dentro das camadas candidatas. Camadas anteriores exibem baixa AR (estruturalmente similares, mas desalinhadas), enquanto as últimas poucas camadas exibem alta AR (diretamente alinhadas). Essa descoberta motiva estratégias de extração diferenciadas para diferentes camadas.

2. A Arquitetura do MINER

O MINER opera em duas etapas:

Etapa 1: Sondagem de Camadas Alinhadas à Recuperação
Uma sonda leve é anexada a cada camada no conjunto candidato $S_{cand}$. A parametrização da sonda é determinada pelo regime de alinhamento da camada:

• Sonda Base (para camadas de alta AR): Aplica reponderação elemento a elemento ($p_l \odot x$) para preservar o sistema de coordenadas original.
• Sonda de Projeção Normalizada (para camadas de baixa AR): Aplica reponderação elemento a elemento seguida por uma projeção linear normalizada por linha ($\tilde{W}_l(p_l \odot x)$) para realinhar o subespaço desalinhado ao espaço de referência sem redimensionamento.
• Treinamento: Todas as sondas são treinadas usando um objetivo siamês multimodal (perda InfoNCE) para alinhar as leituras de texto/vídeo sondadas com suas referências da camada final multimodal.

Etapa 2: Fusão Adaptativa Esparsa Multicamada
Os sinais sondados são agregados em uma única incorporação densa:

• Mascaramento Nível de Neurônio Adaptativo ao Desempenho: Uma razão de retenção específica por camada ($P_l$) é calculada com base no desempenho de validação independente (nDCG@5) de cada camada. Uma máscara binária rígida retém apenas os top-$P_l$ neurônios (com base no vetor de importância aprendido $p_l$) para cada camada, suprimindo dimensões irrelevantes.
• Fusão Inter-camadas: Os sinais mascarados de todas as camadas selecionadas são combinados por meio de uma soma ponderada aprendida com um viés global:
  $$e = \sum_{l \in S_{cand}} u_l \odot h^{(l)} + b$$
  onde $h^{(l)}$ é a leitura processada (ou mascarada diretamente ou mascarada após projeção).

Contribuições Principais

1. Insight Diagnóstico: Os autores revelam que os sinais relevantes para a recuperação em recuperadores de vetor único estão distribuídos de forma desigual entre as camadas do transformador e requerem estratégias de extração qualitativamente diferentes (reponderação simples versus projeção) com base em um diagnóstico de razão de alinhamento.
2. Módulo MINER: Uma arquitetura plug-in composta por Sondagem de Camadas Alinhadas à Recuperação e Fusão Adaptativa Esparsa Multicamada. Melhora a qualidade de recuperação sem modificar a base ou aumentar custos de armazenamento/atendimento.
3. Desempenho Empírico: O MINER supera consistentemente recuperadores densos de vetor único existentes em múltiplas bases e no conjunto de benchmarks ViDoRe.

Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks ViDoRe V1, V2 e V3 usando Jina-Embeddings-v4, Eager-Embed-v1 e MoCa-3B como bases.

• Qualidade de Recuperação: O MINER alcançou até 4,5% de melhoria no nDCG@5 sobre sua base densa correspondente (por exemplo, o MINER-Eager melhorou de 56,0 para 58,5 no ViDoRe V2). Em várias configurações, reduziu substancialmente a lacuna de desempenho em relação a bases fortes de interação tardia (reduzindo a lacuna para 0,2 nDCG@5 em alguns casos).
• Eficiência:
  • Armazenamento: O MINER mantém exatamente a mesma pegada de armazenamento que a base densa (índice de vetor único), que é 42,4 vezes menor do que os métodos de interação tardia.
  • Latência: O MINER incorre em apenas 1,07 vezes de sobrecarga de latência de consulta em comparação com a base densa, permanecendo 5,3 vezes mais rápido do que os métodos de interação tardia.
• Estudos de Ablação: Remover a partição de razão de alinhamento (usando apenas sondas Base ou apenas Norm) ou remover o mascaramento esparso resultou em desempenho inferior, confirmando que tanto a sondagem diferenciada quanto o mascaramento adaptativo são componentes necessários.
• Robustez: O método é robusto a hiperparâmetros-chave, especificamente o limite CKA para seleção de camadas e o piso de esparsidade para mascaramento.

Significado e Alegações

O artigo afirma que o MINER conecta com sucesso a lacuna entre a alta qualidade da recuperação de interação tardia e a alta eficiência da recuperação densa de vetor único. Ao minerar representações internas, o MINER recupera informações perdidas para o gargalo da camada final sem as penalidades de armazenamento e latência associadas a abordagens de múltiplos vetores.

Os autores posicionam o MINER como uma solução prática para sistemas de recuperação de documentos visuais que exigem tanto alta precisão quanto baixos custos operacionais. Eles observam que o método é atualmente avaliado em modelos onde estados ocultos internos e dados de treinamento são acessíveis, servindo como um aprimoramento leve para pipelines de recuperação densa existentes, em vez de um substituto para a própria arquitetura de base.