ViDoRe V3: A Comprehensive Evaluation of Retrieval Augmented Generation in Complex Real-World Scenarios

1. El Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) actuales enfrentan desafíos significativos al pasar de entornos académicos simples a escenarios reales complejos. Las limitaciones principales identificadas son:

• Falta de comprensión multimodal: Los pipelines existentes a menudo ignoran elementos visuales críticos como tablas, gráficos e infografías, enfocándose únicamente en el texto.
• Complejidad de la consulta: Los benchmarks actuales se centran en consultas extractivas simples o de un solo documento, fallando en evaluar la capacidad de síntesis, comparación y razonamiento multi-paso sobre corpus de documentos dispersos.
• Falta de fundamentación (Grounding): Los sistemas deben poder señalar la ubicación exacta de la fuente (ej. coordenadas de un cuadro delimitador) para mitigar alucinaciones, algo que los benchmarks existentes no evalúan de manera integral.
• Brecha de evaluación: No existen benchmarks que evalúen simultáneamente la recuperación, la generación de respuestas y la fundamentación visual en un entorno multilingüe y multimodal.

2. Metodología

Los autores presentan ViDoRe V3, un benchmark diseñado para evaluar pipelines RAG de extremo a extremo en corpus de documentos visualmente ricos.

• Construcción del Dataset:

  • Corpus: 10 conjuntos de datos diversos de dominios profesionales (Finanzas, Ciencias de la Computación, Energía, Farmacéutica, Recursos Humanos, Mantenimiento Industrial, Telecomunicaciones y Física).
  • Escala: 26,000 páginas de documentos y 3,099 consultas verificadas por humanos.
  • Multilingüismo: Las consultas están disponibles en 6 idiomas (inglés, francés, español, alemán, italiano y portugués), desafiando a los modelos a cerrar la brecha semántica entre el idioma de la consulta y el del documento.
  • Formato: Los documentos se proporcionan en imágenes, texto y PDF.

• Metodología de Anotación Humana (Human-in-the-Loop):

  • Se empleó un proceso riguroso de 3 etapas con 76 expertos de dominio y 13 supervisores senior, acumulando 12,000 horas de anotación.
  • Generación de Consultas: Se utilizaron tres fuentes para asegurar diversidad y evitar sesgos:
    1. Humanas extractivas: Basadas en páginas completas.
    2. Humanas ciegas (contextuales): Basadas en resúmenes para evitar la copia literal.
    3. Sintéticas: Generadas por LLMs (Qwen3) a partir de resúmenes y filtradas por un juez automático.
  • Tipología de Consultas: Se definieron 7 tipos (abiertas, extractivas, numéricas, multi-hop, comparar/contrastar, booleanas, enumerativas) y 3 formatos (pregunta, palabra clave, instrucción).
  • Fundamentación Visual: Para cada consulta, los anotadores identificaron las páginas relevantes, dibujaron cuadros delimitadores (bounding boxes) alrededor de la evidencia y etiquetaron el tipo de modalidad (texto, tabla, gráfico, infografía, etc.).
  • Respuestas: Se generaron respuestas finales verificadas, agregando las anotaciones de múltiples humanos mediante un modelo VLM para asegurar consistencia.

3. Contribuciones Clave

1. Metodología de Anotación Realista: Un protocolo que combina la generación de consultas por humanos y LLMs con una verificación experta estricta, mitigando el sesgo hacia consultas extractivas simples.
2. El Benchmark ViDoRe V3: El primer benchmark integral que cubre recuperación, generación y fundamentación visual en corpus multilingües y multimodales, integrado en el ecosistema MTEB.
3. Evaluación Exhaustiva: Proporciona una evaluación granular de los componentes individuales del pipeline RAG (retriever, reranker, generador) y su interacción.

4. Resultados y Hallazgos Principales

Los autores evaluaron los modelos más avanzados (SOTA) y obtuvieron los siguientes insights:

• Recuperación (Retrieval):

  • Los retrievers visuales (que procesan imágenes de página) superan consistentemente a los retrievers puramente textuales.
  • Los modelos de interacción tardía (late-interaction) obtienen mejores resultados que los métodos densos simples.
  • Reranking: Los rerankers textuales mejoran drásticamente el rendimiento (+13.2 puntos NDCG@10), mientras que los rerankers visuales ofrecen mejoras marginales o incluso degradan el rendimiento en algunos casos.
  • Desafíos: El rendimiento cae significativamente en consultas cruzadas de idiomas (cross-lingual) y cuando la respuesta requiere integrar información de múltiples páginas (el rendimiento disminuye a medida que aumenta el número de páginas relevantes).

• Generación de Respuestas:

  • El uso de contexto visual (imágenes) mejora la calidad de la generación en consultas difíciles en comparación con solo texto.
  • La configuración híbrida (combinar los mejores resultados visuales y textuales) logra el mejor rendimiento en consultas complejas (54.7% de precisión en consultas difíciles), superando a los enfoques unimodales.
  • Las consultas "difíciles" (que requieren razonamiento multi-paso) exponen las limitaciones del conocimiento paramétrico de los modelos actuales, incluso con contexto óptimo (oracle).

• Fundamentación Visual (Visual Grounding):

  • Existe una brecha masiva entre el rendimiento humano y el de la IA. Mientras los humanos alcanzan un acuerdo inter-anotador F1 de ~0.60, los mejores modelos (Qwen3-VL, Gemini 3 Pro) apenas alcanzan un F1 de ~0.09.
  • El principal cuello de botella es la recall (capacidad de encontrar la página correcta): los modelos a menudo fallan en identificar qué página contiene la respuesta, no solo en dibujar el cuadro exacto.

5. Significancia e Impacto

ViDoRe V3 establece un nuevo estándar para la evaluación de RAG multimodal.

• Catalizador de Investigación: Al revelar que los modelos actuales luchan con elementos no textuales, consultas abiertas y fundamentación fina, define claramente las direcciones futuras de investigación.
• Licencia Permisiva: El benchmark se libera bajo una licencia comercialmente permisiva, fomentando su adopción en la industria y la academia.
• Realismo: A diferencia de benchmarks anteriores que usan datos sintéticos o documentos de una sola página, ViDoRe V3 simula entornos corporativos reales con documentos largos, complejos y multilingües, proporcionando una métrica más fiable para el despliegue de sistemas RAG en producción.

En resumen, el trabajo demuestra que, aunque los retrievers visuales y los enfoques híbridos son prometedores, aún queda un largo camino por recorrer para lograr sistemas RAG robustos capaces de razonar sobre documentos complejos y fundamentar sus respuestas con precisión visual.