Real5-OmniDocBench: A Full-Scale Physical Reconstruction Benchmark for Robust Document Parsing in the Wild

Die Arbeit stellt Real5-OmniDocBench vor, das erste Benchmark, das eine vollständige physische Rekonstruktion von OmniDocBench v1.5 über fünf reale Szenarien hinweg ermöglicht, um die Lücke zwischen digitaler Leistung und robuster Dokumentenanalyse in der realen Welt zu untersuchen und Fehlerursachen präzise zu identifizieren.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem intelligenten Roboter, der Dokumente lesen und in strukturierte Texte umwandeln kann. Auf dem Computerbildschirm, wo die Dokumente perfekt, scharf und gerade liegen, ist dieser Roboter ein Genie. Er erreicht fast 100 % Genauigkeit.

Aber was passiert, wenn Sie ihm ein echtes, physisches Dokument geben?
Stellen Sie sich vor, Sie halten ein Buch in der Hand, das sich am Buchrücken wölbt. Oder Sie fotografieren ein Dokument mit dem Handy unter einer schiefen Lampe. Oder Sie machen ein Foto von einem Bildschirm, auf dem ein Dokument angezeigt wird, und das Foto hat diese nervigen, welligen Muster (Moiré-Effekt).

In der echten Welt sind Dokumente selten perfekt. Und genau hier scheitern die meisten dieser KI-Roboter katastrophal, obwohl sie auf dem Computer so gut sind.

Das Problem: Die „Lüge des perfekten Bildschirms"
Bisherige Tests haben den Robotern nur „geborene digitale" Dokumente gezeigt – also Dateien, die nie ein echtes Papier berührt haben. Das ist, als würde man einen Autofahrer nur auf einer leeren, perfekt asphaltierten Rennstrecke testen und dann erwarten, dass er auch bei Glatteis, in einer Baustelle und im Stau sicher fährt. Die Tests zeigten, dass die KI super ist, aber sie sagten nichts darüber, ob sie im echten Leben überleben würde.

Die Lösung: Real5-OmniDocBench
Die Autoren dieses Papers haben eine brillante Idee gehabt: Sie haben die perfekte digitale Testbibliothek (OmniDocBench) genommen und sie physisch nachgebaut.

Stellen Sie sich das so vor:

1. Sie nehmen 1.355 digitale Dokumentseiten.
2. Sie drucken jede einzelne Seite mit einem High-End-Drucker aus.
3. Dann machen sie mit diesen Papierseiten genau das, was im echten Leben schiefgehen kann:
   • Scannen: Sie scannen sie ein, aber mal schief, mal mit einem Heftclip, mal wie ein gebundenes Buch.
   • Verbiegen (Warping): Sie knüllen das Papier, falten es, rollen es zu einer Röhre oder machen es zu einem „Hundsohr" an der Ecke.
   • Bildschirm-Fotografie: Sie fotografieren die Seite von einem Laptop, einem Tablet oder einem Handy ab (mit allen typischen Reflexionen und Pixelmustern).
   • Licht: Sie beleuchten das Papier mit einer Taschenlampe, werfen Schatten darauf oder färben das Licht rot/blau.
   • Verzerrung (Skew): Sie halten das Handy schief und machen ein Foto, sodass das Dokument perspektivisch verzerrt aussieht.

Das Ergebnis ist ein riesiger Datensatz mit über 6.700 Bildern. Das Besondere daran: Da sie von denselben digitalen Vorlagen stammen, wissen sie exakt, wie das Ergebnis sein sollte. Sie können also genau messen, wo und warum die KI scheitert. Ist es das Licht? Ist es die Verzerrung? Oder ist die KI einfach dumm?

Was sie herausfanden (Die Überraschung)
Als sie verschiedene KI-Modelle an diesem harten Test teilnahmen, passierte etwas Unerwartetes:

• Der Riese ist nicht immer der Stärkste: Die riesigen, allgemeinen KI-Modelle (die wie Supercomputer mit Milliarden von Parametern sind) schnitten gut ab, aber nicht immer perfekt. Sie waren wie ein Generalist, der alles ein bisschen kann, aber bei spezifischen physikalischen Problemen (wie einem geknickten Papier) ins Straucheln kam.
• Der Spezialist gewinnt: Ein kleineres, spezialisiertes Modell namens PaddleOCR-VL-1.5 (mit nur 0,9 Milliarden Parametern – also winzig im Vergleich zu den Giganten) gewann den Wettbewerb. Es war robuster, schneller und machte weniger Fehler bei den verzerrten Papieren.

Die Metapher:
Stellen Sie sich vor, Sie testen zwei Ärzte.

• Der eine ist ein weltberühmter Generalist, der alles über die menschliche Biologie weiß (der große KI-Modell). Er kennt die Theorie perfekt.
• Der andere ist ein praktizierender Hausarzt, der jeden Tag mit schmutzigen Wunden, schlechtem Licht und unkooperativen Patienten zu tun hat (das spezialisierte Modell).

Wenn Sie den Generalisten bitten, eine Wunde in einer dunklen Höhle zu nähen, zögert er vielleicht, weil er nur im hellen OP-Operationssaal trainiert wurde. Der Hausarzt hingegen hat genau dafür trainiert und macht die Arbeit besser, obwohl er weniger „Wissen" im Kopf hat.

Warum ist das wichtig?
Dieser Test (Real5-OmniDocBench) ist wie ein „Stress-Test" für Dokumenten-KIs. Er zeigt uns, dass wir nicht einfach nur KI-Modelle größer machen müssen, um sie besser zu machen. Stattdessen müssen wir sie so trainieren, dass sie die Unordnung der echten Welt verstehen.

Die Botschaft ist klar: Eine KI, die auf dem Bildschirm perfekt ist, ist noch lange keine KI, die in der echten Welt funktioniert. Um wirklich robuste Systeme zu bauen, müssen wir sie mit dem „Schmutz und Chaos" des echten Lebens konfrontieren – genau wie dieser neue Test es tut.

Technische Zusammenfassung

Technische Zusammenfassung: Real5-OmniDocBench

1. Problemstellung
Vision-Language-Modelle (VLMs) erzielen auf aktuellen digitalen Dokumenten-Benchmarks wie OmniDocBench nahezu perfekte Ergebnisse. Es besteht jedoch eine signifikante Lücke („Reality Gap") zwischen der Leistung in idealen, verzerrungsfreien digitalen Umgebungen und der Zuverlässigkeit in der physischen Realität.

• Herausforderung: Reale Dokumente leiden unter komplexen physikalischen Störungen wie nicht-rigiden Verformungen (durch Buchrücken), Perspektivverzerrungen (Handheld-Aufnahmen), ungleichmäßiger Beleuchtung und optischen Artefakten (z. B. Moiré-Effekte bei Bildschirmfotos).
• Limitierung bestehender Benchmarks:
  • In-the-Wild-Datensätze (z. B. WildDoc) sind realistisch, fehlen aber die digitale Ground-Truth-Korrespondenz, was eine präzise Ursachenanalyse von Fehlern unmöglich macht.
  • Teilweise physikalische Simulationen bieten Kontrolle, erfassen aber nicht das volle Spektrum realer Verzerrungen oder erlauben keine feingranulare Diagnose.
• Ziel: Es fehlt ein Benchmark, der Realismus mit einer strengen, 1-zu-1-Abbildung zur digitalen Ground-Truth kombiniert, um kausale Analysen von Leistungsabfällen zu ermöglichen.

2. Methodik: Real5-OmniDocBench
Das Paper stellt Real5-OmniDocBench vor, den ersten Benchmark, der eine vollständige, physische Rekonstruktion des gesamten OmniDocBench v1.5-Testsets (1.355 Seiten) durchführt.

• Aufbau: Jedes der 1.355 digitalen Originalbilder wird in fünf physikalische Varianten umgewandelt, was insgesamt 6.775 Testsamples ergibt.
• Die fünf kritischen Szenarien:
  1. Scanning: Hochauflösende Digitalisierung mit realen Papierstrukturen, Rauschen und Ausrichtungsfehlern (inkl. gebundener Bücher, gehefteter Dokumente).
  2. Warping (Verformung): Simulation nicht-rigider Deformationen wie Falten, Walzen, Zerknittern, Eckverformungen und Buchrücken-Krümmungen.
  3. Screen-Photography: Sekundäraufnahme von Dokumenten auf verschiedenen Endgeräten (Monitor, Laptop, Tablet, Smartphone), um Moiré-Muster und Pixelstrukturen zu testen.
  4. Illumination (Beleuchtung): Tests unter schwierigen Lichtbedingungen (Schatten, Farbstich, Blitzlicht, Refraktion).
  5. Skew (Verzerrung): 3D-Perspektivverzerrungen durch Handheld-Aufnahmen (Pitch, Roll, Yaw, extreme Neigungen).
• Datenerfassung & Standardisierung:
  • Verwendung eines professionellen Canon-Druckers (1200 dpi) für die Ausgabe, um die Quelle qualitativ hochwertig zu halten.
  • Heterogene Hardware-Matrix (Apple, Xiaomi, OPPO) für die Aufnahme, um diverse ISP-Eigenschaften und Sensorrauschen abzubilden.
  • Ground-Truth-Erbe: Die Original-Annotationen (Layout, Tabellen, Formeln, Text, Lesereihenfolge) werden unverändert übernommen, was eine strikte Vergleichbarkeit garantiert.
• Qualitätssicherung: Ein mehrstufiger Prozess aus automatischer Anomalieerkennung durch SOTA-VLMs und manueller Expertenprüfung stellt sicher, dass nur Samples mit irreparablen Fehlern (z. B. Unlesbarkeit) verworfen werden, während reale Artefakte erhalten bleiben.

3. Schlüsselbeiträge

• Erster Full-Scale Physical Benchmark: Bietet eine vollständige 1-zu-1-Abbildung von digitalen zu physischen Daten, was eine kausale Zuordnung von Leistungsabfällen zu spezifischen physikalischen Faktoren ermöglicht.
• Umfassende Multi-Szenario-Modellierung: Systematischer Aufbau von fünf orthogonalen physikalischen Szenarien mit diversen Unterbedingungen, die eine präzise Diagnose der Robustheit erlauben.
• Großangelegte empirische Studie: Evaluation von 15 State-of-the-Art-Modellen, die zu kontraintuitiven Erkenntnissen führt (siehe Ergebnisse).

4. Ergebnisse und Analyse
Die Evaluation deckt erhebliche Schwachstellen aktueller Parsing-Technologien auf:

• Überlegenheit spezialisierter Modelle: Ein überraschendes Ergebnis ist, dass kompakte, domänenspezifische VLMs (z. B. PaddleOCR-VL-1.5 mit nur 0,9 Mrd. Parametern) unter physikalischem Stress konsistent besser abschneiden als viel größere allgemeine Modelle (z. B. Qwen3-VL-235B, Gemini-3 Pro).
  • PaddleOCR-VL-1.5 erreicht einen Overall-Score von 92,05, während Qwen3-VL-235B bei 88,90 und Gemini-3 Pro bei 89,24 liegt.
  • Dies deutet darauf hin, dass Robustheit gegenüber realen Verzerrungen nicht primär eine Funktion der Parametergröße ist, sondern von domänenspezifischen induktiven Bias und Training mit diversen Artefakten profitiert.
• Szenario-spezifische Einblicke:
  • Geometrische Verformungen (Warping): Allgemeine VLMs zeigen oft einen stärkeren Abfall in der strukturellen Treue (TEDS) als spezialisierte Modelle, da Papierkrümmungen die räumlichen Beziehungen zwischen Textzeilen stören.
  • Optische Artefakte (Screen-Photo & Illumination): Pipeline-basierte Tools scheitern häufig an Moiré-Mustern oder Reflexionen, was zu Fehlern in der Lesereihenfolge führt. Spezialisierte Modelle nutzen globale Kontextinformationen, um die Parsing-Präzision zu halten.
  • Skew (Perspektive): Große Neigungswinkel führen bei traditionellen Systemen zu schweren Sequenzfehlern. PaddleOCR-VL-1.5 zeigt hier eine robuste Fähigkeit zur Wiederherstellung der logischen Dokumentenfluss.
• Fazit der Analyse: Die Skalierung von Parametern verbessert zwar semantische Priors und Zeichenerkennung, löst aber nicht automatisch geometrische Ambiguitäten durch 3D-Transformationen.

5. Bedeutung und Ausblick
Real5-OmniDocBench setzt einen neuen, anspruchsvollen Standard für die Dokumentenintelligenz:

• Diagnose-Tool: Es wandelt physikalische Verzerrungen von unkontrollierten Störfaktoren in kontrollierte, unabhängige Variablen um, was Forschern erlaubt, genau zu bestimmen, ob ein Fehler auf geometrische Verzerrungen, optische Artefakte oder Modellgrenzen zurückzuführen ist.
• Paradigmenwechsel: Die Ergebnisse fordern das vorherrschende „Scaling-Paradigma" heraus und legen nahe, dass zukünftige robuste Modelle domänenspezifische Architekturen und Training mit realistischen physikalischen Störungen benötigen, anstatt nur auf reine Größensteigerung zu setzen.
• Community-Impact: Durch die öffentliche Verfügbarkeit (Hugging Face) bietet der Benchmark eine notwendige Stress-Test-Umgebung, um die Entwicklung wirklich resilienter Modelle zu fördern, die sowohl in pristine Archiven als auch in der chaotischen physischen Welt funktionieren.