ViDoRe V3: A Comprehensive Evaluation of Retrieval Augmented Generation in Complex Real-World Scenarios

Probleemstelling

Retrieval-Augmented Generation (RAG) systemen moeten in de praktijk veel complexere uitdagingen aanpakken dan alleen het zoeken naar informatie in eenvoudige tekstdocumenten. Bestaande benchmarks missen vaak de nuance van real-world scenario's, zoals:

1. Visuele interpretatie: Het begrijpen van elementen zoals tabellen, grafieken, infografieken en afbeeldingen binnen documenten, die vaak cruciale informatie bevatten die door tekst-only pipelines wordt genegeerd.
2. Synthese over documenten: Het samenvoegen van informatie uit verspreide bronnen voor open-ended vragen, in plaats van alleen feitelijke opzoekingen in één document.
3. Bronverankering (Grounding): Het vermogen om antwoorden te koppelen aan specifieke locaties in het bronmateriaal (bijv. via bounding boxes) om hallucinaties te voorkomen en vertrouwen te creëren.

Bestaande benchmarks focussen vaak op enkelvoudige documenten, zijn beperkt tot tekst, of evalueren retrieval en generatie gescheiden, waardoor ze de end-to-end complexiteit van multimodale RAG niet adequaat testen.

Methodologie: ViDoRe V3

De auteurs introduceren ViDoRe V3, een uitgebreid multimodaal RAG-benchmark dat is ontworpen voor realistische evaluaties.

• Dataverzameling: Het benchmark bestaat uit 10 diverse corpora uit professionele domeinen (Financiën, Computer Science, Energie, Farmacie, HR, Industrieel Onderhoud, Telecom, Fysica). Het omvat 26.000 documentpagina's en 3.099 menselijk geverifieerde queries.
• Meertaligheid: Elke query is beschikbaar in 6 talen (Engels, Frans, Spaans, Duits, Italiaans, Portugees), terwijl de brondocumenten voornamelijk in het Engels en Frans zijn. Dit test cross-linguale retrieval.
• Annotatieproces (Human-in-the-loop): Een rigoureus proces van 12.000 uur menselijke arbeid:
  1. Query Generatie: Queries komen uit drie bronnen: menselijke annotators (met volledige toegang tot pagina's), menselijke annotators (blind, gebaseerd op samenvattingen) en synthetische queries gegenereerd door LLMs (Qwen3).
  2. Relevantie en Grounding: Menselijke experts labelen relevante pagina's, scoren relevantie (niet relevant, kritisch relevant, volledig relevant), tekenen bounding boxes rond bewijsmateriaal en classificeren het modale type (tekst, tabel, grafiek, etc.).
  3. Antwoordvalidatie: Een VLM (Qwen2.5-VL) aggregeert de antwoorden van meerdere annotators tot één "Golden Answer", wat vervolgens wordt gevalideerd op feitelijke consistentie.
• Splitsing: 8 datasets zijn publiek beschikbaar, terwijl 2 datasets als private "hold-out" sets worden bewaard om overfitting te voorkomen.

Belangrijkste Bijdragen

1. Een nieuwe annotatiemethodologie: Een protocol dat authenticiteit garandeert door annotators beperkte toegang te geven tijdens het formuleren van queries (om extractieve bias te verminderen) en gebruik maakt van VLM-filtering gecombineerd met menselijke verificatie voor schaalbaarheid.
2. Het ViDoRe V3 Benchmark: Een uniek, commercieel toelaatbaar dataset dat multimodale retrieval, generatie en visuele grounding integreert, met een focus op complexe, open-ended vragen en cross-linguale scenario's.
3. Uitgebreide Evaluatie en Inzichten: Een systematische analyse van state-of-the-art modellen op retrieval, generatie en grounding, wat leidt tot concrete richtlijnen voor RAG-praktijkers.

Resultaten en Analyse

De auteurs hebben uitgebreide experimenten uitgevoerd met de nieuwste modellen (zoals ColEmbed, Jina-v4, Qwen, Gemini, GPT-5):

• Retrieval:

  • Visuele retrievers presteren over het algemeen beter dan tekstuele retrievers voor hetzelfde aantal parameters, omdat ze visuele context direct kunnen interpreteren.
  • Late-interaction modellen (zoals ColPali/ColEmbed) scoren aanzienlijk hoger dan dense retrieval methoden.
  • Reranking: Het toevoegen van een tekstuele reranker (bijv. zerank-2) aan een tekstuele pipeline levert enorme winsten op (+13.2 NDCG@10), terwijl visuele rerankers momenteel weinig tot geen verbetering bieden.
  • Uitdagingen: Retrieval presteert slechter bij cross-linguale queries (2-3 punten lager) en bij queries die visuele elementen (tabellen, infografieken) vereisen. De prestaties dalen ook naarmate het aantal relevante pagina's toeneemt.

• Generatie van Antwoorden:

  • Visuele context helpt: Modellen genereren betere antwoorden wanneer ze de originele afbeeldingen van de pagina's zien in plaats van alleen de getranscribeerde tekst, vooral bij moeilijke queries.
  • Hybride aanpak: Een hybride pipeline (combinatie van top-5 visuele en top-5 tekstuele resultaten) levert de beste prestaties op voor uitdagende queries (54.7% nauwkeurigheid), wat aantoont dat tekst en beeld complementaire informatie bevatten.
  • Grenzen van parametrische kennis: Zelfs met perfecte context (oracle) struggle modellen met complexe, multi-stap redeneringen. Het verschil in prestatie tussen "makkelijke" en "moeilijke" queries blijft groot (>10%).

• Visuele Grounding (Bounding Boxes):

  • Dit is het grootste knelpunt. Menselijke annotators bereiken een onderlinge overeenstemming (F1-score) van 0.60.
  • De beste VLM-modellen (Qwen3-VL, Gemini 3 Pro) scoren hier veel lager (F1 van ~0.09 en ~0.07). Ze missen vaak de juiste pagina's of tekenen onnauwkeurige boxes, wat aangeeft dat visuele grounding nog een open onderzoeksvraag is.

Betekenis en Toekomstperspectief

ViDoRe V3 is een mijlpaal in de evaluatie van multimodale RAG-systemen. Het paper benadrukt dat:

1. Visuele componenten essentieel zijn: Het negeren van visuele elementen in documenten leidt tot suboptimale RAG-prestaties.
2. Hybride systemen nodig zijn: De combinatie van visuele en tekstuele retrieval is superieur voor complexe taken.
3. Er nog veel ruimte is voor verbetering: Vooral bij cross-linguale zoekopdrachten, open-ended redenering en het nauwkeurig lokaliseren van bewijsmateriaal (grounding) moeten modellen nog aanzienlijk vooruitgang boeken.

Het benchmark is vrijgegeven onder een commercieel toelaatbare licentie, wat de gemeenschap in staat stelt om deze uitdagingen aan te pakken en robuustere, intelligentere documentbegripsmodellen te ontwikkelen.