CMDR: Contextual Multimodal Document Retrieval

Resumo Técnico: CMDR: Recuperação de Documentos Multimodais Contextuais

1. Definição do Problema

Os benchmarks e métodos existentes de recuperação de documentos multimodais (MDR) focam primariamente na recuperação direta, onde uma consulta é correspondida contra páginas individuais usando similaridade léxica ou semântica simples. Essas abordagens tipicamente codificam as páginas de forma independente, assumindo implicitamente que a informação contextual gera benefícios negligenciáveis. No entanto, documentos do mundo real frequentemente distribuem informações ao longo de múltiplas páginas, exigindo que os modelos resolvam consultas que dependem de dependências entre páginas e da estrutura global do documento.

As limitações atuais incluem:

• Falta de Avaliação Contextual: Benchmarks existentes (ex: MMLB-Doc, ViDoRe) não avaliam a capacidade de recuperar páginas que não são explicitamente mencionadas na consulta, mas que são necessárias para resolvê-la via contexto do documento.
• Codificação Independente: A maioria dos recuperadores de estado da arte (ex: ColPali, ColQwen) codifica páginas isoladamente, falhando em capturar relacionamentos entre páginas.
• Resolução de Ambiguidade: As consultas frequentemente exigem raciocínio sobre completude de texto, resolução de correferência, compreensão estruturada ou raciocínio de múltiplos saltos (multi-hop) que abrangem várias páginas, o que codificadores independentes não conseguem lidar.

Para abordar isso, os autores introduzem o CMDR (Recuperação de Documentos Multimodais Contextuais), uma tarefa que exige que os sistemas recuperem páginas relevantes de um documento de múltiplas páginas ao aproveitar o contexto do documento circundante.

2. Metodologia

A. CMDR-Bench (O Benchmark)
Os autores construíram um novo benchmark composto por 800 consultas de alta qualidade, anotadas por humanos, em 255 documentos (comprimento médio: 183,5 páginas) abrangendo seis domínios (manuais, artigos de pesquisa, teses, etc.). As consultas são categorizadas em quatro tipos que exigem raciocínio contextual:

1. Completude de Texto (TC): Reconstrução do fluxo semântico dividido entre páginas.
2. Resolução de Correferência (CR): Resolução de pronomes ou abreviações usando pistas de outras páginas.
3. Compreensão Estruturada (SU): Compreensão de relações entre componentes estruturados (ex: cabeçalhos de tabelas e linhas) através de fronteiras de páginas.
4. Raciocínio de Múltiplos Saltos (MR): Conectar entidades na consulta a páginas relevantes através de um caminho de informação contextual.

B. CMDR-Embed (O Modelo)
O CMDR-Embed é um framework de embedding multimodal contextual projetado para codificar conjuntamente múltiplas páginas enquanto preserva a discriminabilidade ao nível da página.

• Codificação Multimodal Contextualizada: Em vez de codificar páginas independentemente, o modelo adota uma estratégia de "chunk-then-split" (fragmentar e depois dividir). Páginas consecutivas são agrupadas em fragmentos (chunks) sobrepostos (usando uma janela deslizante com salto $s$ e tamanho de janela $w$) e alimentadas em um Grande Modelo de Linguagem-Visão (LVLM). As representações de nível de token resultantes são então divididas de volta em embeddings de nível de página. Isso permite que o modelo incorpore o contexto entre páginas na representação de cada página.
• Interação Tardia Multimodal (LI): A similaridade entre uma consulta e uma página é computada usando Interação Tardia (Late Interaction), que captura o correspondência fina ao nível de token entre vetores de consulta e vetores de página contextualizados.

C. CMCL (Aprendizado Contrastivo Multimodal Contextual)
Um desafio crítico na codificação conjunta é o vazamento de informação (information leakage), onde páginas dentro do mesmo documento tornam-se excessivamente similares, reduzindo a discriminabilidade. Para resolver isso, os autores propõem o CMCL, um objetivo de aprendizado contrastivo que equilibra a modelagem contextual com a distintividade ao nível da página.

• Negativos Difíceis (Hard Negatives): A função de perda incorpora dois tipos de negativos conscientes do contexto:
  • Negativos Intra-Fragmento (In-Chunk Negatives): Diferentes páginas dentro do mesmo fragmento de codificação.
  • Negativos Intra-Documento (In-Document Negatives): Outros fragmentos do mesmo documento.
• Função de Perda: A perda total é uma soma ponderada de uma perda consciente do contexto ($L_{Context}$) e uma perda contrastiva padrão de lote ($L_{Batch}$):
  $$L_{CMCL} = \lambda L_{Context} + (1 - \lambda) L_{Batch}$$
  Isso garante que o modelo aprenda a distinguir páginas semanticamente similares dentro do mesmo documento, enquanto ainda utiliza seu contexto compartilhado.

3. Resultados Principais

Experimentos foram conduzidos no CMDR-Bench usando nDCG@5 como métrica principal.

• Ganho de Desempenho: O CMDR-Embed supera significativamente os baselines não contextuais. Usando a espinha dorsal (backbone) ColQwen, o CMDR-EmbedQwen alcançou uma pontuação geral de 56,6, representando uma melhoria de 16,2 pontos sobre o melhor baseline não contextual (ColQwen ajustado com os mesmos dados, que pontuou 40,4).
• Estudos de Ablação:
  • Remover a perda CMCL (usando apenas negativos de lote) causou uma queda significativa (7,2 pontos para o CMDR-EmbedQwen), confirmando a necessidade de negativos difíceis para manter a discriminabilidade.
  • Remover a Interação Tardia (substituindo por mean pooling) resultou em uma queda massiva de desempenho (18,5 pontos), destacando a importância do correspondimento fino de tokens.
  • Tanto os negativos Intra-Fragmento quanto os Intra-Documento contribuíram para o desempenho, sendo que os negativos Intra-Fragmento foram mais eficazes para contexto de curto alcance e os Intra-Documento para contexto de longo alcance.
• Eficiência: O modelo alcança esses ganhos com overhead computacional mínimo. O pooling hierárquico de tokens pode reduzir o armazenamento em 80% e acelerar a busca em 3,57× com perda de desempenho negligenciável.
• Generalização: Quando treinado com aprendizado multitarefa (combinando CMDR-Synth e ViDoRe), o modelo melhorou o desempenho de recuperação não contextual em 4,7%, mantendo fortes capacidades de recuperação contextual.

4. Significância e Alegações

O artigo afirma que embeddings multimodais conscientes do contexto são essenciais para avançar a recuperação de documentos em cenários do mundo real.

• Além de Páginas Isoladas: O trabalho demonstra que tratar documentos como páginas isoladas é insuficiente para consultas complexas. A modelagem explícita do contexto do documento permite que os sistemas resolvam ambiguidades e recuperem informações que não estão lexicalmente presentes na página alvo.
• Novo Padrão: O CMDR-Bench estabelece o primeiro benchmark que exige conjuntamente raciocínio de múltiplas páginas e recuperação multimodal, preenchendo uma lacuna deixada por datasets existentes que focam em correspondência direta.
• Viabilidade Prática: O método proposto (CMDR-Embed) prova que a modelagem contextual pode ser integrada às arquiteturas de recuperação baseadas em LVLM existentes sem sacrificar a discriminabilidade ou a eficiência ao nível da página.

Os autores concluem que os futuros sistemas de recuperação de documentos multimodais devem ir além das representações de páginas isoladas para modelar explicitamente o contexto do documento para lidar com a complexidade de documentos longos e de múltiplas páginas.