IRPAPERS: A Visual Document Benchmark for Scientific Retrieval and Question Answering

1. Problema e Motivação

O processamento de documentos visuais (PDFs científicos) tem evoluído rapidamente, mas a maioria dos sistemas tradicionais ainda depende de transcrições de OCR (Reconhecimento Óptico de Caracteres) para converter imagens em texto e metadados antes da busca. Isso levanta uma questão fundamental: sistemas baseados em imagens (que processam o documento nativamente) superam ou complementam os métodos baseados em texto?

A literatura científica é inerentemente visual, contendo equações, diagramas, tabelas e layouts complexos que podem perder significado ao serem transcritos para texto puro. Com o volume massivo de publicações (ex: 300 novos artigos no arXiv diariamente), a capacidade de recuperar e raciocinar sobre esses documentos é crucial. O trabalho busca preencher a lacuna de benchmarks que avaliem diretamente a recuperação e a resposta a perguntas (QA) a partir de imagens de páginas, comparando-as com abordagens baseadas em texto.

2. O Benchmark IRPAPERS

Os autores introduzem o IRPAPERS, um novo conjunto de dados e benchmark projetado especificamente para avaliação de documentos visuais científicos.

• Composição: 3.230 páginas extraídas de 166 artigos científicos focados em Recuperação de Informação (IR).
• Densidade Semântica: Os artigos foram selecionados a partir das citações de uma pesquisa abrangente sobre LLMs para IR, garantindo que o corpus seja denso em vocabulário e técnicas semelhantes, tornando a discriminação entre documentos um desafio real (diferente de corpora gerais).
• Consultas: 180 perguntas do tipo "agulha no palheiro" (needle-in-the-haystack), geradas para exigir detalhes metodológicos precisos.
• Formatos: Cada página possui tanto a imagem original (codificada em base64) quanto a transcrição de texto gerada via GPT-4.1.

3. Metodologia Experimental

O estudo compara sistematicamente diferentes estratégias de recuperação e geração:

A. Recuperação (Retrieval)

• Baseado em Texto:
  • BM25: Busca lexical esparsa.
  • Arctic 2.0: Embeddings densos de texto (single-vector).
  • Híbrido de Texto: Combinação de BM25 e Arctic 2.0 via fusão de pontuação.
• Baseado em Imagem:
  • ColModernVBERT: Modelo de embeddings multi-vetor de interação tardia (late-interaction), otimizado para eficiência (250M parâmetros).
  • ColPali e ColQwen2: Modelos multi-vetor maiores (2.9B e 2.2B parâmetros) para comparação de capacidade.
  • MUVERA: Técnica de codificação eficiente que comprime vetores multi-vetor em um único vetor fixo para permitir busca aproximada (HNSW) com reclassificação posterior, analisando o trade-off entre eficiência e precisão (variando o parâmetro ef).
• Busca Híbrida Multimodal: Fusão de pontuações de texto (BM25 + Arctic) e imagem (ColModernVBERT) usando fusão de pontuação relativa (RSF) ou fusão de rank recíproco (RRF).
• Modelos Fechados (Closed-Source): Avaliação de Cohere Embed v4 (imagem) e Voyage 3 Large (texto) para estabelecer um baseline de estado da arte.

B. Resposta a Perguntas (RAG)

• Sistemas: Implementação de ImageRAG (retrieval de imagens + leitor multimodal) e TextRAG (retrieval de texto + leitor de texto).
• Avaliação: Uso de um "Juiz LLM" (LLM-as-Judge) para verificar a equivalência semântica entre a resposta do sistema e a resposta de referência (Ground Truth).
• Baselines: Inclui cenários sem recuperação, com "Hard Negatives" (documentos relevantes mas errados) e "Oracle" (documento correto fornecido diretamente).

4. Resultados Principais

Desempenho de Recuperação

• Textos vs. Imagens (Open-Source):
  • O texto (Híbrido) obteve 46% de Recall@1, superando levemente a imagem (ColModernVBERT) com 43%.
  • No entanto, em profundidades maiores (Recall@20), a imagem (93%) superou o texto (91%).
  • Falhas Complementares: 22 consultas foram resolvidas apenas por texto e 18 apenas por imagem, demonstrando que nenhuma modalidade é redundante.
• Busca Híbrida Multimodal:
  • A fusão multimodal alcançou o melhor desempenho geral: 49% Recall@1 e 95% Recall@20, superando qualquer modalidade isolada.
• Modelos Fechados:
  • O Cohere Embed v4 (imagem) liderou com 58% Recall@1, superando o melhor modelo de texto (Voyage 3 Large, 52%) e todos os modelos open-source.
• Eficiência (MUVERA):
  • A compressão MUVERA permite uma redução drástica no armazenamento (50x), mas introduz uma perda de desempenho. Com ef=1024, o Recall@1 caiu para 41% (vs 43% sem compressão), mostrando um trade-off ajustável.

Desempenho em Resposta a Perguntas (RAG)

• TextRAG vs. ImageRAG:
  • O TextRAG superou consistentemente o ImageRAG (0.82 vs 0.71 de alinhamento em k=5).
  • Ambos se beneficiaram significativamente ao aumentar a profundidade de recuperação (k=5), superando até mesmo a recuperação "Oracle" de um único documento. Isso sugere que a síntese de evidências de múltiplas páginas é crucial para QA científica.
• Limitações Unimodais:
  • A maioria das visualizações (tabelas, diagramas) pode ser descrita adequadamente por texto (OCR).
  • Exceção Crítica: Visualizações abstratas (ex: gráficos t-SNE) onde a informação reside na geometria espacial e posicionamento relativo. Nestes casos, a QA baseada em imagem (70% de acurácia) superou drasticamente a baseada em texto (30%).
  • Limitação da Imagem: Imagens não possuem mecanismos nativos para correspondência exata de strings (ex: encontrar uma sigla específica), onde o texto (BM25) é superior.

5. Contribuições Chave

1. Lançamento do IRPAPERS: Um benchmark de 3.230 páginas e 180 consultas focadas em detalhes metodológicos precisos de artigos de IR.
2. Comparação Sistemática: Avaliação abrangente de embeddings multi-vetor de imagem (ColModernVBERT, ColPali, ColQwen2) contra busca híbrida de texto.
3. Análise de Eficiência: Quantificação do trade-off entre desempenho e eficiência na codificação MUVERA para vetores multi-vetor.
4. Gap Open vs. Closed-Source: Demonstração de que modelos proprietários (Cohere) ainda superam significativamente as soluções open-source em recuperação de documentos visuais.
5. Insights sobre Representação: Evidência de que modalidades têm falhas complementares; a fusão multimodal é necessária para cobrir lacunas de representação (texto para precisão lexical, imagem para estrutura visual e geometria).

6. Significado e Conclusão

O artigo conclui que, embora a transcrição de texto seja eficiente e suficiente para a maioria dos conteúdos científicos, a representação visual nativa é essencial para preservar sinais perdidos na transcrição, especialmente em diagramas complexos e geometria de dados.

A descoberta mais importante é que nenhuma modalidade é suficiente isoladamente. A busca híbrida multimodal não apenas soma os resultados, mas explora as falhas complementares de cada método para superar os limites de desempenho unimodal. O trabalho sugere o desenvolvimento de sistemas de busca "agentes" que possam dinamicamente ajustar o peso entre texto e imagem com base na natureza da consulta (ex: priorizar texto para buscas por siglas exatas e imagem para consultas sobre diagramas), otimizando tanto a precisão quanto o custo computacional.

O código e os dados do IRPAPERS foram disponibilizados publicamente no HuggingFace e GitHub para fomentar pesquisas futuras na área de mineração de literatura científica.