Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG

Die Studie zeigt, dass die Verbesserung der Dokumentenrepräsentation und nicht der Suchalgorithmus selbst der Hauptgrund für Leistungssteigerungen in mehrsprachigen und visuell reichen RAG-Benchmarks ist, weshalb BM25 durch optimierte Vorverarbeitung große Lücken schließen kann.

Das Wesentliche

🕵️‍♂️ Das große Missverständnis: Ist der Detektiv schlecht oder die Akte unleserlich?

Stell dir vor, du hast einen super-intelligenten Detektiv (das ist dein KI-Modell), der nach bestimmten Informationen in einem riesigen Archiv suchen soll. Dieses Archiv besteht aus tausenden von Dokumenten, die voller Text, aber auch voller Grafiken, Tabellen und Diagramme sind.

In den letzten Jahren haben Forscher gedacht: „Der alte Detektiv (der BM25-Suchalgorithmus) ist einfach zu dumm. Er versteht keine Bilder und kann keine komplexen Zusammenhänge erkennen. Wir brauchen einen neuen, modernen Super-Detektiv mit Augenhilfe (multimodale KI), der direkt auf die Bilder schaut."

Aber diese Studie sagt: „Moment mal! Vielleicht ist der Detektiv gar nicht das Problem."

🧐 Die wahre Ursache: Die schlechte Handschrift

Die Forscher haben etwas Entdecktes getan: Sie haben herausgefunden, dass das Problem oft gar nicht beim Suchen liegt, sondern beim Lesen der Dokumente, bevor sie überhaupt in das Archiv gelegt werden.

Stell dir vor, du hast ein Dokument mit einem Diagramm.

1. Der alte Weg (schlechte OCR): Ein Roboter versucht, das Bild in Text umzuwandeln. Aber er ist müde oder schlecht programmiert. Er liest das Diagramm falsch oder übersieht wichtige Beschriftungen. Das Ergebnis ist ein Text, der wie Kauderwelsch aussieht: „Grafik 1: 50%... äh... nein, 55%... und dann ein Strich."
2. Das Ergebnis: Der Detektiv (egal wie schlau er ist) sucht nach dem Wort „Umsatz", findet aber nur Kauderwelsch. Er gibt auf und sagt: „Ich finde nichts!"

Die Studie zeigt: Wenn man den Detektiv nicht ändert, sondern nur den Roboter verbessert, der die Texte liest (die OCR und Vorverarbeitung), dann wird der alte, einfache Detektiv plötzlich zum Meister.

🛠️ Was haben die Forscher gemacht? (Das Experiment)

Sie haben einen Wettbewerb veranstaltet, bei dem sie verschiedene Dinge getestet haben:

• Der „Schlechte Übersetzer": Ein einfacher Roboter, der Texte aus Bildern zieht (wie ein alter Scanner).
• Der „Gute Übersetzer": Ein moderner KI-Roboter, der Bilder genau anschaut und sogar beschreibt, was in den Grafiken steht (z. B. „Dies ist ein Tortendiagramm, das zeigt, dass 75% der Produkte X sind").
• Der Such-Algorithmus: Sie haben den Suchmechanismus (BM25) immer gleich gelassen und nur den „Übersetzer" getauscht.

Das Ergebnis war verblüffend:
Wenn sie den „Guten Übersetzer" nutzten, schaffte der einfache Such-Algorithmus fast genauso gute Ergebnisse wie die teuren, modernen Super-KIs.

• Bei Sprachen wie Arabisch oder Japanisch (die schwer zu lesen sind) war die Verbesserung riesig.
• Bei Dokumenten mit vielen Grafiken war der Unterschied noch größer: Der alte Algorithmus holte mit einem guten Text-Übersetzer bis zu 31 Prozentpunkte mehr Treffer als vorher.

🍕 Die Pizza-Analogie

Stell dir vor, du willst die beste Pizza der Stadt finden.

• Die modernen KI-Modelle sind wie ein Gourmet-Koch, der die Pizza selbst backen und bewerten kann.
• Der alte BM25-Algorithmus ist wie ein einfacher Bestellschein.

Die Forscher sagten bisher: „Der Bestellschein ist nutzlos, weil er nicht schmecken kann. Wir brauchen den Gourmet-Koch!"

Aber die Studie zeigt: Der Bestellschein war gar nicht nutzlos. Das Problem war, dass die Zutatenliste (der Text aus dem Bild) von einem schlechten Schreibkraft geschrieben wurde. Wenn man die Zutatenliste aber von einem perfekten Koch (einem guten OCR-System) schreiben lässt, findet der einfache Bestellschein die beste Pizza genauso gut wie der Gourmet-Koch.

💡 Was bedeutet das für die Zukunft?

1. Nicht alles neu erfinden: Wir müssen nicht unbedingt immer teurere, riesige KI-Modelle bauen, um Suchprobleme zu lösen. Oft reicht es, die Vorbereitung der Daten (das Lesen der Bilder) zu verbessern.
2. Die Wahrheit hinter den Benchmarks: Viele Studien, die sagen „Modell X ist viel besser als Modell Y", vergleichen vielleicht gar nicht die Suchfähigkeit, sondern nur, wie gut die Texte aus den Bildern gelesen wurden. Das ist wie ein Wettkampf, bei dem einer mit einem scharfen Messer und der andere mit einem stumpfen Messer schneidet – und dann gesagt wird, der erste sei ein besserer Koch.
3. Fokus auf das Wesentliche: Wenn wir Dokumente mit Grafiken durchsuchen wollen, müssen wir sicherstellen, dass die Grafiken in eine gute, verständliche Sprache übersetzt werden, bevor wir sie suchen.

Fazit:
Manchmal ist der Fehler nicht im Sucher, sondern im, was er zu sehen bekommt. Wenn man die „Brille" (die Texterkennung) verbessert, sieht auch der einfache Sucher plötzlich alles klar und deutlich. Man braucht nicht immer das teuerste Auto, um ans Ziel zu kommen – manchmal muss man nur die Straße (die Daten) besser ausbauen.

Technische Zusammenfassung

Titel: Retrieval oder Repräsentation? Neubewertung von Benchmark-Lücken in mehrsprachigen und visuell reichen RAG-Systemen

Verfasser: Martin Asenov, Kenza Benkirane, Dan Goldwater, Aneiss Ghodsi (Parexel AI Labs)
Veranstaltung: ICLR 2026 Workshop „I Can't Believe It's Not Better"

---

1. Problemstellung

Retrieval-Augmented Generation (RAG) ist ein Standardansatz, um Sprachmodelle mit externen Dokumenten und aktuellen Informationen zu versehen. In mehrsprachigen und visuell reichen Szenarien (z. B. Dokumente mit komplexen Layouts, Tabellen und Diagrammen) zeigen moderne multimodale Suchsysteme (z. B. ColPali, ColQwen2) oft signifikant bessere Ergebnisse als klassische lexikalische Suchmethoden wie BM25.

Die aktuelle Literatur interpretiert diese Lücke jedoch oft fälschlicherweise als Beweis für die Überlegenheit moderner Suchalgorithmen (Dense Retrieval, Multimodale Embeddings) gegenüber klassischen Methoden. Die Autoren argumentieren, dass diese Benchmark-Ergebnisse stark verzerrt sind, da sie die Qualität der vorhergehenden Texttranskription (OCR) und der Sprachvorverarbeitung nicht isoliert betrachten. Wenn die OCR-Qualität schlecht ist oder visuelle Inhalte (Diagramme) nicht korrekt in Text umgewandelt werden, fehlt diese Information im Index, was zu einem scheinbaren Versagen der Suchmethode führt, obwohl das eigentliche Problem in der Datenaufbereitung liegt.

2. Methodik

Die Autoren führen kontrollierte Experimente durch, um den Einfluss der Repräsentation von der eigentlichen Suchleistung zu trennen.

• Datensatz: Erweiterung des Benchmarks VisR-Bench, der Retrieval-Aufgaben über lange, visuell reiche Dokumente in 15 Sprachen umfasst.
• Kontrollierte Variable: Die Suchmethode (Retriever) wird konstant gehalten, während die OCR-Pipelines und die sprachspezifische Vorverarbeitung variiert werden.
• Vergleichene OCR-Modelle:
  • Adobe Document Extract (Standard im Datensatz).
  • EasyOCR (Open Source).
  • Mistral OCR 3 (Modernes OCR-System).
  • Ministral 3B (Ein kleines Vision-Language-Modell, das als VLM-Prompting-System verwendet wird, um Markdown-Inhalte inklusive semantischer Beschreibungen von Bildern zu generieren).
• Vorverarbeitung: Anpassung an die Morphologie der Sprachen (Stemming, Lemmatisierung, morphologische Analyse für Arabisch, Segmentierung für Japanisch/Vietnamesisch).
• Suchmethoden:
  • Lexikalisch: BM25 (mit variierender OCR/Vorverarbeitung).
  • Dense Text: SBERT, BGE-M3, NV-Embed-v2.
  • Multimodal: CLIP, SigLip, VisRAG, ColQwen2, ColPali (die direkt auf Bilder zugreifen und keine OCR benötigen).

3. Wichtige Beiträge & Erkenntnisse

A. Die Dominanz der Repräsentation

Die Studie zeigt, dass die Verbesserung der Transkriptionsqualität und der Textrepräsentation der Haupttreiber für Benchmark-Verbesserungen ist.

• BM25-Revival: Durch den Einsatz moderner OCR-Modelle (insbesondere Ministral 3B) und sprachspezifischer Vorverarbeitung kann BM25 die Leistungslücke zu modernen multimodalen Modellen auf mehrsprachigen Benchmarks fast vollständig schließen.
• Ergebnis: Im Durchschnitt über 15 Sprachen konnte BM25 durch bessere Transkription eine Steigerung von +8,9 Punkten bei der Top-5-Genauigkeit erzielen.

B. Visuell reiche Dokumente (Diagramme & Tabellen)

Ein kritischer Befund betrifft Dokumente mit vielen Abbildungen:

• Fehlermodus: Wenn Diagramme keine Textbeschreibung haben, bricht die Leistung von textbasierten Suchmethoden (BM25, Dense Embeddings) drastisch ein.
• Lösung: Selbst grobe semantische Beschreibungen von Bildern (generiert durch VLMs wie Ministral 3B) stellen die fehlenden lexikalischen Anker (Zahlen, Beschriftungen, Trends) wieder her.
• Ergebnis: Auf seiten mit vielen Abbildungen führte die Hinzufügung semantischer Bildbeschreibungen zu einer Steigerung von bis zu +31,1 Top-5-Punkten für BM25. Dies zeigt, dass auch Dense-Embedding-Modelle (wie SBERT oder BGE) stark von besseren Transkriptionen profitieren, da sie ebenfalls auf Textindizes angewiesen sind.

C. Sprachspezifische Nuancen

Die optimale Strategie variiert stark je nach Sprache:

• OCR-dominiert: Bei Sprachen wie Arabisch, Japanisch oder Vietnamesisch ist die Wahl des OCR-Modells entscheidend. Eine schlechte Transkription kann durch keine Vorverarbeitung kompensiert werden.
• Vorverarbeitungs-dominiert: Bei stark flektierenden Sprachen (z. B. Tschechisch, Slowenisch) ist die Lemmatisierung oder morphologische Analyse entscheidender als die reine OCR-Qualität, sobald eine lesbare Transkription vorliegt.

4. Ergebnisse (Zusammenfassung)

• Mehrsprachige Benchmarks: BM25 mit moderner OCR (Ministral 3B) und Vorverarbeitung erreicht Top-5-Genauigkeiten von ca. 82,8 %, was fast dem Niveau von ColQwen2-v0.1 (84,4 %) entspricht. Ohne diese Optimierungen liegt BM25 bei nur ca. 46,9 %.
• Visuell reiche Benchmarks: Auf Fragen, die sich spezifisch auf Abbildungen beziehen, schließt BM25 mit VLM-generierten Beschreibungen die Lücke zu multimodalen Modellen signifikant.
• Vergleich: Multimodale Modelle (die Bilder direkt verarbeiten) bleiben zwar in Szenarien mit rein visuellem Verständnis (z. B. räumliche Beziehungen) überlegen, aber der Großteil der „Lücke" in Standard-Benchmarks ist auf schlechte OCR zurückzuführen, nicht auf schlechte Suchalgorithmen.

5. Bedeutung und Implikationen

1. Neubewertung von Benchmarks: Die Autoren fordern eine dekomponierte Evaluierung. Benchmarks sollten Transkriptionsfähigkeit und Suchfähigkeit separat messen. Aktuelle Benchmarks vermischen diese Aspekte, was zu falschen Schlussfolgerungen führt (z. B. dass lexikalische Suche obsolet sei).
2. OCR als First-Class-Component: OCR und Vorverarbeitung sollten nicht als versteckte Implementierungsdetails betrachtet werden, sondern als primäre Komponenten des Retrieval-Systems. Die Optimierung der OCR-Pipeline ist oft effektiver und kostengünstiger als das Training neuer, komplexer multimodaler Suchmodelle.
3. Ressourceneffizienz: Klassische, effiziente Methoden wie BM25 sind in Kombination mit hochwertigen Transkriptionen für viele Anwendungen (insbesondere textdominierte Dokumente) konkurrenzfähig zu großen, rechenintensiven multimodalen Modellen.

Fazit: Das Paper widerlegt die Annahme, dass lexikalische Suche in visuell reichen und mehrsprachigen Umgebungen grundsätzlich unterlegen ist. Stattdessen zeigt es, dass die Qualität der Eingaberepräsentation (OCR/Transkription) der kritische Engpass ist. Sobald dieser behoben ist, können einfache und effiziente Suchmethoden die Leistungslücken schließen, die bisher fälschlicherweise modernen Architekturen zugeschrieben wurden.