ViDoRe V3: A Comprehensive Evaluation of Retrieval Augmented Generation in Complex Real-World Scenarios

1. O Problema

Os pipelines de Geração Aumentada por Recuperação (RAG) enfrentam desafios significativos que vão além da recuperação simples de documentos textuais. Em cenários reais, os sistemas precisam:

• Interpretar elementos visuais complexos (tabelas, gráficos, infográficos e imagens).
• Sintetizar informações dispersas em múltiplos documentos.
• Fornecer um "grounding" (fundamentação) preciso das fontes para mitigar alucinações.

Benchmarks existentes falham em capturar essa complexidade, focando frequentemente apenas em dados textuais, compreensão de documentos únicos ou avaliando a recuperação e a geração de forma isolada. Não há uma avaliação padronizada robusta para RAG multimodal em corpora de documentos visualmente ricos e multilíngues.

2. Metodologia

Os autores introduzem o ViDoRe V3, um benchmark abrangente construído através de um rigoroso processo de anotação humana em três etapas (human-in-the-loop):

• Coleta de Documentos: Foram curados 10 corpora diversos de domínios profissionais (Finanças, Ciência da Computação, Energia, Farmacêutica, Manutenção Industrial, Telecomunicações, Física, etc.), totalizando 26.000 páginas de documentos em inglês e francês.
• Geração de Consultas (Queries):
  • Taxonomia: As consultas foram classificadas em 7 tipos (abertas, extrativas, numéricas, multi-hop, comparação, booleanas, enumerativas) e 3 formatos (pergunta, palavra-chave, instrução).
  • Fontes: As consultas foram geradas a partir de três fluxos: anotação humana direta em páginas, anotação humana baseada em resumos (para evitar viés extrativo) e geração sintética via LLMs (Qwen3).
  • Multilíngue: As consultas foram traduzidas para 6 idiomas (Inglês, Francês, Espanhol, Alemão, Italiano e Português), desafiando os modelos a lidar com lacunas semânticas entre a língua da consulta e a do documento.
• Anotação e Grounding:
  • Seleção de Páginas: Um modelo VLM (Qwen2.5-VL-32B) pré-filtrou páginas candidatas, seguidas por revisão humana para pontuação de relevância (0 a 2).
  • Grounding Visual: Anotadores humanos delimitaram caixas delimitadoras (bounding boxes) ao redor das evidências nas páginas e atribuíram tipos de modalidade (texto, tabela, gráfico, etc.).
  • Respostas: As respostas foram geradas e consolidadas por anotadores humanos e refinadas por VLMs para garantir consistência factual.
  • Esforço: O processo envolveu 12.000 horas de anotação humana por 76 especialistas de domínio.

3. Principais Contribuições

1. Metodologia de Anotação Realista: Um protocolo que mitiga o viés de consultas puramente extrativas ao restringir o acesso dos anotadores ao conteúdo completo durante a formulação da pergunta, simulando comportamentos de busca autênticos.
2. O Benchmark ViDoRe V3:
   • Escala: 3.099 consultas verificadas por humanos, 26.000 páginas de documentos.
   • Diversidade: Cobertura de 10 domínios industriais, 6 idiomas e múltiplos tipos de consultas complexas.
   • Avaliação Granular: Inclui anotações de relevância, localização de caixas delimitadoras e respostas de referência verificadas.
   • Licença: Liberado sob licença comercialmente permissiva para fomentar a adoção na indústria.
3. Avaliação Abrangente: O benchmark integra-se ao ecossistema MTEB e permite avaliar separadamente recuperação, geração e fundamentação visual.

4. Resultados Chave

Os autores avaliaram pipelines de RAG de última geração (SOTA) e encontraram:

• Recuperação (Retrieval):

  • Recuperadores Visuais vs. Textuais: Recuperadores baseados em visão (que processam imagens de páginas) superam consistentemente os baseados apenas em texto para o mesmo número de parâmetros.
  • Reclassificação (Reranking): A adição de um reclassificador textual (textual reranker) traz ganhos substanciais (+13.2 NDCG@10), superando os recuperadores visuais puros. Reclassificadores visuais mostraram melhorias marginais ou degradação em alguns casos.
  • Dificuldade: Consultas envolvendo conteúdo visual (tabelas, imagens) e consultas que exigem múltiplas páginas são as mais difíceis para os modelos atuais.
  • Idioma: O desempenho cai 2-3 pontos em cenários cruzados de idioma (cross-lingual) em comparação com monolíngue.

• Geração de Respostas (Generation):

  • Contexto Visual: Manter o contexto visual (imagens) melhora a qualidade da geração de respostas complexas em comparação com apenas texto.
  • Abordagem Híbrida: Pipelines híbridos (combinando os top-5 resultados visuais e textuais) alcançaram o melhor desempenho em consultas difíceis (54,7% de precisão), superando as abordagens puras.
  • Limites do Conhecimento Paramétrico: Mesmo com contexto ideal (oracle), os modelos ainda lutam com consultas de "multi-hop" e raciocínio complexo, indicando que a síntese de longo contexto permanece um desafio.

• Fundamentação Visual (Visual Grounding):

  • Há uma lacuna significativa entre humanos e máquinas. A concordância entre anotadores humanos (F1) é de ~0,60, enquanto os melhores modelos (Qwen3-VL, Gemini 3 Pro) atingem apenas ~0,09.
  • Os modelos falham principalmente na recuperação (recall), deixando de anotar páginas relevantes com frequência.

5. Significado e Impacto

O ViDoRe V3 serve como um catalisador crítico para o desenvolvimento de modelos de compreensão de documentos mais robustos e inteligentes.

• Padrão de Ouro: Estabelece um novo padrão para avaliação de RAG multimodal, preenchendo a lacuna entre benchmarks acadêmicos simplistas e necessidades industriais complexas.
• Direções Futuras: O trabalho aponta claramente que a pesquisa futura deve focar em:
  • Melhorar a recuperação em cenários multilíngues e de consultas abertas.
  • Desenvolver mecanismos de fundamentação visual mais precisos.
  • Criar pipelines que integrem efetivamente texto e imagem para síntese de informações em documentos longos.

Em resumo, o ViDoRe V3 demonstra que, embora os modelos de RAG tenham avançado, eles ainda têm um longo caminho a percorrer para operar com a mesma eficácia e confiabilidade que os humanos em cenários de documentos complexos do mundo real.