Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG

Deze paper toont aan dat verbeterde documentrepresentatie, en niet de zoekmachine zelf, de belangrijkste drijfveer is voor prestatieverbeteringen in meertalige en visueel rijke RAG-systemen, waardoor BM25 na adequate voorverwerking grote benchmarkgaten kan dichten.

De kern

🕵️‍♂️ De Grote Misverstand: Is het de Zoeker of de Vertaler?

Stel je voor dat je een enorme bibliotheek hebt met boeken in 15 verschillende talen, vol met tekst, maar ook vol met ingewikkelde grafieken, tabellen en plaatjes. Je wilt een antwoord vinden op een vraag, maar je hebt een robot nodig die het juiste boek voor je kan vinden.

Vroeger dachten onderzoekers: "De oude robot (die alleen naar woorden kijkt) is te dom. We hebben een nieuwe, supermoderne robot nodig die ook naar plaatjes kan kijken en 'multimodaal' heet."

Maar Martin en zijn team van Parexel AI Labs zeggen in dit paper: "Wacht even! Misschien is de oude robot niet dom. Misschien is de vertaler die de boeken voor hem uitleest gewoon slecht!"

🧱 De Analogie: De Slechte Vertaler

Stel je voor dat je een zoekmachine bent (de robot). Je hebt een vraag: "Hoeveel procent van de producten is Octagonlock?"

1. De Oude Manier (BM25): Deze robot is heel goed in het zoeken naar exacte woorden. Maar hij kan geen plaatjes lezen. Hij is afhankelijk van een vertaler (de OCR-software) die de tekst uit het plaatje haalt en aan de robot geeft.
2. De Nieuwe Manier (Multimodale AI): Deze robot kijkt direct naar het plaatje en probeert het zelf te begrijpen.

Het probleem: In de vorige experimenten was de "vertaler" (de OCR) vaak slordig.

• Bij een plaatje met een taartdiagram gaf de oude vertaler alleen de tekst "Octagonlock" en "75%" door, maar dan in het verkeerde alfabet of met typfouten.
• De robot dacht toen: "Huh? Dit woord komt niet overeen met mijn vraag. Ik zoek verder."
• De nieuwe robot (die naar het plaatje kijkt) zag het antwoord direct en won de wedstrijd.

De conclusie van het papier: De nieuwe robot won niet omdat hij slimmer is, maar omdat de oude robot een slechte vertaler had.

🚀 Wat hebben ze gedaan? (Het Experiment)

De onderzoekers hebben een proef gehouden waarbij ze alles hetzelfde lieten, behalve de vertaler.

• Ze namen de oude robot (BM25).
• Ze gaven hem de beste, modernste vertalers (nieuwe OCR-tools en slimme AI's die plaatjes beschrijven).
• Ze gaven de robot ook een talen-specialist (die woorden in het Arabisch of Japans goed in stukjes snijdt).

Het resultaat?
De oude robot deed plotseling bijna net zo goed als de nieuwe, supermoderne robots!

• Bij teksten in moeilijke talen (zoals Arabisch of Japans) steeg de score met wel 8,9 punten alleen door de vertaling te verbeteren.
• Bij plaatjes met veel grafieken steeg de score zelfs met 31 punten als de vertaler niet alleen de tekst uitleesde, maar ook zei: "Dit is een taartdiagram dat laat zien dat 75% Octagonlock is."

🎯 De Grote Les: "Het is niet de Zoeker, het is de Voorbereiding"

De kernboodschap is als volgt:

Het is alsof je een topkok (de zoekmachine) een slechte ingrediëntenlijst geeft.
Als de lijst zegt "een beetje zout" in plaats van "2 gram zout", of als de naam van het ingrediënt verkeerd gespeld is, zal de kok een slechte maaltijd maken. Je kunt de kok niet de schuld geven; je moet de lijst verbeteren.

In de wereld van AI betekent dit:

1. Slechte OCR (tekstuitlezing) is de boosdoener. Veel van het verschil tussen "oude" en "nieuwe" systemen komt door hoe goed de tekst uit een plaatje wordt gehaald.
2. We moeten de benchmarks (toetstesten) aanpassen. Nu vergelijken we vaak appels met peren. We moeten apart kijken naar:
   • Hoe goed is de vertaler? (De OCR)
   • Hoe goed is de zoekmachine? (De AI)
3. Oude methoden zijn nog steeds sterk. Als je de tekst goed uitleest en voorbereidt, werkt de simpele, oude zoekmethode (BM25) vaak net zo goed als de dure, complexe nieuwe systemen.

🌍 Samenvatting voor de Gemiddelde Mens

Stel je voor dat je op zoek bent naar een specifiek document in een berg papierwerk.

• Vroeger dachten we: "We hebben een robot nodig die door de muren heen kan kijken en direct ziet waar het document ligt."
• Nu weten we: "We hebben gewoon iemand nodig die de muren goed schoonveegt en de documenten netjes in een mapje stopt met een duidelijk etiket."

Zodra je de documenten goed hebt voorbereid (goede OCR, goede vertaling), hoeft je zoekrobot niet eens meer zo complex te zijn. De paper roept op om te stoppen met het blindelings prijzen van nieuwe, dure AI-modellen, en eerst te kijken of we de basis (het uitlezen van de tekst) niet beter kunnen doen.

Kortom: Soms is het probleem niet dat de auto te langzaam rijdt, maar dat de wegen slecht zijn geasfalteerd. Als je de weg repareert, rijdt de oude auto ook razendsnel. 🚗💨

Technische samenvatting

Titel: Retrieval of Representatie? Herbeoordeling van Benchmarkhulpen in Meertalige en Visueel Rijke RAG-systemen

Auteurs: Martin Asenov, Kenza Benkirane, Dan Goldwater, Aneiss Ghodsi (Parexel AI Labs)
Conferentie: ICLR 2026 (Workshop: I Can't Believe It's Not Better)

---

1. Het Probleem

Retrieval-Augmented Generation (RAG) is een standaardtechniek om taalmodellen te koppelen aan externe documenten. Echter, in meertalige en visueel rijke omgevingen (documenten met veel tabellen, grafieken en complexe lay-outs) presteren moderne systemen vaak slechter dan verwacht.

De huidige consensus in het veld is dat klassieke, op lexicaal zoeken gebaseerde methoden (zoals BM25) fundamenteel tekortschieten in vergelijking met geavanceerde multimodale retrievers (zoals ColPali, ColQwen2) en dichte embeddings. Er wordt aangenomen dat deze prestatiekloof het gevolg is van de beperkingen van tekstuele zoekalgoritmen om visuele context te begrijpen.

De kernvraag van het paper: Is deze prestatiekloof echt het gevolg van een tekortkoming in de retrieval-mechanisme, of is het een gevolg van slechte representatie (transcriptie en voorverwerking) van de documenten?

2. Methodologie

De auteurs voeren gecontroleerde experimenten uit op de VisR-Bench benchmark (een dataset voor meertalige, visueel rijke documenten). Hun aanpak is uniek omdat ze de retrieval-methode vasthouden en uitsluitend variëren in de upstream-transcriptie en voorverwerking.

Experimentele Opzet:

• Vaste Retrievers: Ze vergelijken drie klassen van retrievers:
  1. Lexicaal: BM25.
  2. Dichte tekst-embeddings: SBERT, BGE-large, BGE-M3, NV-Embed-v2.
  3. Multimodale retrievers: CLIP, SigLip, VisRAG, ColPali, ColQwen2, etc.
• Variabele Transcriptie (OCR): Ze testen verschillende OCR-pipelines om de tekst uit de documenten te halen:
  • Adobe Document Extract (standaard in de dataset).
  • EasyOCR (open source).
  • Mistral OCR 3 (modern OCR-systeem).
  • Ministral 3B (een klein Vision-Language Model dat de afbeelding beschrijft in Markdown).
• Variabele Voorverwerking: Voor meertalige BM25-experimenten passen ze taal-specifieke technieken toe:
  • Stemming (voor Romaanse/Germaanse talen).
  • Lemmatization (voor sterk gebogen talen zoals Tsjechisch, Slowaaks).
  • Morfologische analyse (voor Arabisch).
  • Woordsegmentatie (voor Japans en Vietnamees).

Doel: Isoleren van de impact van OCR-kwaliteit en tekstnormalisatie op de uiteindelijke retrieval-accuraatheid, zonder de zoekalgoritmen zelf te veranderen.

3. Belangrijkste Bevindingen en Resultaten

A. Transcriptie is de primaire drijver van prestaties

De studie toont aan dat verbeterde OCR en transcriptie de prestatiekloof tussen klassieke en moderne methoden grotendeels wegneemt.

• BM25 + Goede OCR: Wanneer BM25 wordt gevoed met hoogwaardige transcripties (bijv. van Ministral 3B of Mistral OCR 3) en taal-specifieke normalisatie, stijgt de Top-5 nauwkeurigheid op meertalige benchmarks met gemiddeld +8,9 punten.
• Vergelijking: In sommige scenario's presteert BM25 met geoptimaliseerde transcriptie beter dan geavanceerde multimodale modellen die op de standaard (slechte) transcriptie van de dataset zijn getest.

B. Visueel Rijke Documenten (Figures)

Voor pagina's met veel grafieken en tabellen is de impact van transcriptie het grootst.

• Foutpatroon: Als figuren geen tekstuele beschrijving hebben, degradeert de retrieval drastisch.
• Oplossing: Zelfs ruwe semantische beschrijvingen van figuren (gegenereerd door VLM's zoals Ministral 3B) herstellen de prestaties aanzienlijk.
• Resultaat: BM25 met VLM-transcriptie behaalt +31,1 Top-5 punten extra op figure-heavy pagina's. Dit bewijst dat de "visuele" kloof vaak een "tekstuele" kloof is die ontstaat door slechte extractie van labels, legenda's en annotaties.

C. Meertalige Nuances

De optimale strategie verschilt per taal:

• OCR-gedreven talen: Voor talen met complexe scripts (Arabisch, Japans, Vietnamees) is de keuze van het OCR-model de belangrijkste factor. Zonder goede OCR helpt voorverwerking niet.
• Preprocessing-gedreven talen: Voor sterk gebogen talen (Tsjechisch, Slowaaks) is de OCR-kwaliteit secundair; hier levert lemmatisatie en morfologische analyse de grootste winst op.

D. Dichte Embeddings profiteren ook

Het is niet alleen BM25 die baat heeft bij betere transcriptie. Ook dichte retrievers (zoals BGE-M3 en SBERT) tonen aanzienlijke verbeteringen wanneer ze worden gevoed met schoner, vollediger getranscribeerde tekst. Dit suggereert dat de "representatie-kloof" een universeel probleem is, niet beperkt tot lexicaal zoeken.

4. Kernbijdragen

1. Ontmaskering van de Benchmark-kloof: Het paper demonstreert dat de vermeende superioriteit van multimodale retrievers vaak een artefact is van onvolledige of slechte OCR in de dataset. De kloof is grotendeels te verklaren door representatiekwaliteit, niet door de retrieval-architectuur.
2. Decompositie van Evaluatie: De auteurs pleiten voor het scheiden van evaluatie-metrics voor transcriptie (OCR/VLM) en retrieval. Zonder deze scheiding is het onmogelijk om te bepalen of vooruitgang komt van betere zoekalgoritmen of betere documentverwerking.
3. BM25 Herwaardering: Klassieke methoden zoals BM25 zijn nog steeds zeer krachtig, mits ze worden ondersteund door state-of-the-art transcriptie en taal-specifieke normalisatie.
4. OCR als Eerste-Klas Component: OCR moet niet langer worden gezien als een voorverwerkingsstap, maar als een kritieke, eerste-klas component van het RAG-systeem die direct de prestaties bepaalt.

5. Betekenis en Conclusie

De conclusie van het paper is een waarschuwing voor het veld: "We evalueren misschien niet de retrieval-methoden, maar de voorverwerkingspijplijnen."

Als benchmark-gaps (verschillen in prestaties) worden geïnterpreteerd als bewijs voor de superioriteit van complexe multimodale modellen, terwijl de onderliggende oorzaak eigenlijk slechte tekstextractie is, dan wordt de richting van het onderzoek verkeerd gestuurd.

Implicaties:

• Onderzoekers moeten eerst investeren in hoogwaardige transcriptie en taal-specifieke normalisatie voordat ze nieuwe, zware retrieval-modellen ontwikkelen.
• Toekomstige benchmarks moeten transparant zijn over de gebruikte OCR-methoden en deze als een variabele behandelen in plaats van als een "black box".
• Voor praktische toepassingen (zoals in de gezondheidszorg of juridische sector waar Parexel AI Labs actief is) kan een goed geoptimaliseerd BM25-systeem met goede OCR een kosteneffectiever en even goed alternatief zijn voor dure multimodale LLM-oplossingen.

Kortom: Betere representatie (transcriptie) is vaak belangrijker dan een complexer retrieval-model.