Document-as-Image Representations Fall Short for Scientific Retrieval

1. Problema e Motivação

O artigo aborda um desafio fundamental na recuperação de documentos científicos: a escolha da representação ideal para documentos multimodais ricos em texto (que contêm texto, equações, tabelas e figuras).

• Contexto Atual: Recentemente, modelos de embedding (incorporação) de documentos têm favorecido a abordagem "Document-as-Image" (documento como imagem), onde páginas renderizadas (PDFs) são tratadas como imagens e processadas por modelos de visão-linguagem (VLMs). Benchmarks existentes, como ArXivQA e ViDoRe, frequentemente tratam documentos como imagens de páginas, o que pode enviesar a avaliação a favor dessas representações visuais.
• A Lacuna: Documentos científicos são gerados a partir de linguagens de marcação estruturadas (como LaTeX ou XML). Ao convertê-los em imagens, perde-se a estrutura explícita (limites entre seções, referências cruzadas, distinção entre prosa e equações). O artigo questiona se essa representação visual é eficaz, especialmente em documentos longos e densos onde a evidência crítica está frequentemente no texto ou em tabelas, e não apenas em figuras.

2. Metodologia e Contribuições Principais

A. Novo Benchmark: ArXivDoc

Os autores introduzem o ArXivDoc, um benchmark de recuperação de documentos científicos de domínio aberto, construído a partir das fontes LaTeX brutas (e não de PDFs renderizados).

• Escala: 8.210 documentos completos (144.653 páginas).
• Consultas (Queries): 547 consultas geradas e verificadas manualmente, divididas em três categorias de evidência:
  • Baseadas em texto (229).
  • Baseadas em tabelas (218).
  • Baseadas em figuras (100).
• Diferencial: O uso do LaTeX permite acesso direto a elementos estruturados, permitindo a construção de consultas controladas e a geração de múltiplas representações do mesmo documento a partir da mesma fonte.

B. Pipeline de Construção de Dados

O processo de geração de consultas envolveu:

1. Geração Sintética: Uso de LLMs (gpt-5.2) para criar consultas baseadas em evidências locais.
2. Descontextualização: Reescrita das consultas para torná-las autocontidas (sem depender de referências implícitas como "na Figura 2").
3. Filtragem de Dificuldade: Remoção de consultas triviais que seriam resolvidas apenas por sobreposição lexical (usando BM25).
4. Verificação Humana: Anotadores revisaram a naturalidade, ambiguidade e a capacidade de resposta da consulta com base no documento alvo.

C. Representações Comparadas

O estudo compara sistematicamente diferentes representações de documentos:

1. Apenas Texto: Fonte LaTeX limpa (sem marcação não semântica) e Texto + Legendas geradas por VLM.
2. Apenas Imagem: Apenas as figuras renderizadas.
3. Documento como Imagem (Document-as-Image): Páginas inteiras renderizadas como imagens.
4. Interleaved (Texto + Imagem): Sequência intercalada de trechos de texto e as imagens das figuras correspondentes, preservando o fluxo narrativo.

D. Modelos de Recuperação

Foram avaliados modelos de single-vector (ex: Qwen3-Embedding, Qwen-VL-Embedding) e modelos de late-interaction (ex: ColQwen), aplicados a diferentes representações.

3. Resultados Experimentais

Os resultados, medidos por nDCG@10, revelaram descobertas contraintuitivas e significativas:

1. Representações "Documento como Imagem" são Subótimas:

   • A abordagem de tratar o documento inteiro como uma imagem performou consistentemente pior do que as alternativas, mesmo para consultas baseadas em figuras.
   • A degradação do desempenho é mais acentuada à medida que o documento aumenta de tamanho (mais texto por página).

2. Texto é Surpreendentemente Eficaz para Figuras:

   • Modelos baseados apenas em texto (sem acesso às imagens das figuras) alcançaram desempenho competitivo, e às vezes superior, para consultas baseadas em figuras.
   • Análise: Isso ocorre porque o texto científico frequentemente descreve, interpreta e referencia as figuras (legendas, menções no corpo do texto). O modelo de texto consegue recuperar a informação da figura através dessas descrições textuais.

3. Representações Interleaved (Texto + Imagem) Superam Imagens Planas:

   • A representação intercalada (texto e imagens mantidos em ordem) superou a abordagem "Documento como Imagem", mesmo utilizando modelos treinados originalmente apenas para imagens de página, sem ajuste fino (fine-tuning) para o formato intercalado.
   • Isso sugere que preservar a estrutura nativa e alinhar texto com figuras é mais robusto do que colapsar tudo em uma única imagem.

4. Eficiência: Single-Vector vs. Multi-Vector:

   • Modelos de single-vector (que geram um único embedding por unidade) superaram consistentemente os modelos de late-interaction (como ColQwen, que usam múltiplos vetores).
   • Os modelos de late-interaction exigiram índices de armazenamento até 40 vezes maiores sem oferecer melhor desempenho, indicando uma troca ineficiente entre custo e performance neste cenário.

5. Comparação com ViDoRe:

   • Ao testar no benchmark ViDoRe (focado em slides e relatórios visuais), a abordagem "Documento como Imagem" funcionou melhor. Isso destaca que a eficácia depende do tipo de documento: documentos científicos densos em texto beneficiam-se de representações textuais, enquanto documentos visuais (slides) beneficiam-se de representações de imagem.

4. Significado e Conclusão

O trabalho desafia o paradigma emergente de tratar documentos científicos complexos puramente como imagens para recuperação.

• Conclusão Principal: Para documentos científicos ricos em estrutura e texto, a representação baseada em texto (LaTeX), possivelmente enriquecida com legendas de VLM ou em formato intercalado, é superior à representação visual pura.
• Implicações: A conversão de documentos estruturados para imagens introduz ruído e perde informações semânticas críticas. O campo de recuperação de informação científica deve priorizar a preservação da estrutura nativa (texto, equações, tabelas) em vez de depender exclusivamente de processamento visual.
• Futuro: O estudo sugere que treinar modelos de embedding especificamente para documentos científicos intercalados (texto + imagem) é uma direção promissora para superar as limitações atuais.

Em suma, o artigo demonstra que, para a ciência, ler o texto (e sua estrutura) ainda é mais eficaz do que apenas "olhar" a página para encontrar informações relevantes.