OCR or Not? Rethinking Document Information Extraction in the MLLMs Era with Real-World Large-Scale Datasets

Diese Studie zeigt anhand großskaliger Datensätze, dass Multimodale Large Language Models (MLLMs) bei der Dokumenteninformationsextraktion ohne OCR oft gleichwertige Ergebnisse erzielen wie traditionelle OCR-Methoden und durch optimierte Anweisungen sowie Beispielmuster weiter verbessert werden können.

Das Wesentliche

Titel: Brauchen wir noch den „Text-Scanner"? Eine neue Art, Dokumente zu verstehen

Stellen Sie sich vor, Sie haben einen riesigen Stapel alter Rechnungen, Verträge und Lieferlisten vor sich. Früher war die Lösung für Computer immer dieselbe: Zuerst muss ein Scanner (eine Art digitaler Augenarzt, genannt OCR) jeden einzelnen Buchstaben auf dem Papier ablesen und in Text umwandeln. Erst danach durfte ein zweiter, smarter Computer (das KI-Modell) diesen Text lesen und die wichtigen Zahlen herauspicken.

Das war wie ein zweistufiger Prozess: Erst der Übersetzer, dann der Manager. Aber was, wenn der Manager selbst so schlau wäre, dass er die Rechnung direkt ansehen und verstehen könnte, ohne dass der Übersetzer dazwischenfunkt?

Genau darum geht es in diesem Papier von SAP und Stanford. Die Forscher haben herausgefunden, dass die neuen, extrem starken Multimodalen KI-Modelle (MLLMs) vielleicht gar keinen Scanner mehr brauchen.

Hier ist die einfache Erklärung der wichtigsten Punkte:

1. Der alte Weg vs. der neue Weg

• Der alte Weg (OCR + KI): Wie ein Schüler, der erst einen Text kopieren muss, bevor er ihn verstehen kann. Wenn der Kopierer einen Buchstaben falsch schreibt (z. B. eine „1" als „I"), macht der Schüler später einen Fehler. Das ist komplex und fehleranfällig.
• Der neue Weg (Nur Bild): Die neuen KI-Modelle sind wie ein Super-Detektiv. Sie schauen sich das Originalfoto der Rechnung an und „sehen" die Zahlen und Buchstaben direkt auf dem Bild. Sie müssen den Text nicht erst in eine andere Sprache übersetzen.

2. Das große Experiment

Die Forscher haben eine riesige Menge an echten Geschäftsunterlagen (aus Lieferketten und Finanzen) gesammelt. Diese waren schwierig: viele Sprachen, krumme Tabellen und unübersichtliche Layouts. Sie haben verschiedene KI-Modelle getestet:

1. Nur mit dem gescannten Text.
2. Nur mit dem Bild der Rechnung.
3. Mit beidem zusammen.

Das überraschende Ergebnis:
Bei den stärksten Modellen (wie Gemini oder Nova) war das Ergebnis mit nur dem Bild genauso gut oder sogar besser als mit dem gescannten Text!

• Die Analogie: Es ist, als würde ein Mensch eine Rechnung ansehen und sofort die Summe verstehen, anstatt erst jeden Buchstaben abzutippen. Das direkte Sehen war schneller und genauer.

3. Warum funktioniert das?

Die Forscher haben eine Art „Fehler-Analyse-Tool" gebaut (eine digitale Autopsie), um zu sehen, wo die KI scheitert.

• Das Problem mit dem Scanner: Manchmal verwirrt der Scanner das Layout. Er mischt Zeilen durcheinander oder liest ein „I" als „1". Das verwirrt dann die KI.
• Die Stärke des Bildes: Die KI sieht das Bild so, wie wir es sehen. Sie erkennt, dass eine Zahl in einer bestimmten Spalte steht, auch wenn der Text daneben etwas verschmiert ist. Sie versteht den „Kontext" besser.

4. Größe zählt (aber nicht immer)

Je größer und mächtiger das KI-Modell ist, desto besser wird es – das ist bekannt. Aber hier gab es eine Überraschung: Bei manchen sehr großen Modellen half der zusätzliche Text vom Scanner sogar nicht mehr. Die KI war so gut darin, Bilder zu lesen, dass der extra Text nur noch „Rauschen" verursachte.

5. Was lernen wir daraus?

Die Studie zeigt uns drei wichtige Dinge für die Zukunft:

1. Der Scanner ist vielleicht überflüssig: Für die allerbesten KIs reicht das Bild allein. Das spart Zeit, Geld und Komplexität.
2. Die Anleitung ist wichtig: Damit die KI perfekt arbeitet, muss man ihr sehr klare Regeln geben (wie ein Kochrezept). Wenn man ihr genau sagt, was sie suchen soll, wird sie noch besser.
3. Einfacher ist besser: Statt einen komplizierten Maschinenbau aus Scanner und zwei KI-Modellen zu bauen, reicht oft ein einziges, sehr starkes Modell, das direkt auf das Bild schaut.

Fazit:
Die Ära, in der wir Dokumente erst mühsam in Text umwandeln mussten, könnte zu Ende gehen. Die neuen KI-Modelle sind wie Menschen, die Dokumente direkt „lesen" können, ohne Zwischenhändler. Das macht Prozesse in Unternehmen schneller, günstiger und weniger fehleranfällig.

Kurz gesagt: Manchmal ist es besser, direkt hinzuschauen, als erst abzutippen.

Technische Zusammenfassung

1. Problemstellung

Im Bereich des Document Information Extraction (DIE) – dem automatisierten Extrahieren strukturierter Daten aus Dokumenten wie Rechnungen oder Finanzberichten – dominiert in der Industrie traditionell ein zweistufiger Ansatz: Zuerst wird der Text mittels Optical Character Recognition (OCR) extrahiert, gefolgt von einem spezialisierten Modell, das den Text in ein Schema überführt.

Dieser Ansatz weist jedoch erhebliche Nachteile auf:

• Komplexität: Er erfordert die Wartung mehrerer Komponenten.
• Generalisierungsschwierigkeiten: Neue Domänen erfordern oft Anpassungen der Pipelines.
• Fehlerfortpflanzung: Fehler in der OCR-Stufe (z. B. durch Layout-Probleme oder mehrsprachige Inhalte) pflanzen sich direkt auf die Extraktionsstufe fort.

Mit dem Aufkommen von Multimodalen Large Language Models (MLLMs), die auf großen Mengen strukturierter Dokumente vortrainiert sind, stellt sich die Frage: Ist OCR für die Dokumenteninformationsextraktion noch notwendig? Können MLLMs, die nur das Rohbild als Eingabe erhalten, die Leistung des traditionellen OCR+MLLM-Setups erreichen oder sogar übertreffen?

2. Methodik

Die Autoren führen eine umfassende Benchmark-Studie durch, basierend auf einem internen, industriellen Datensatz, der für seine hohe Komplexität bekannt ist.

• Datensatz: Zwei große Datensätze (C1 aus der Lieferkette, C2 aus dem Finanzwesen) mit ca. 1.000 Dokumenten. Diese zeichnen sich durch Mehrsprachigkeit (über 20 Sprachen), komplexe verschachtelte Strukturen und hohe Textdichte aus. Es liegen manuell annotierte Ground-Truth-Daten sowie OCR-Ergebnisse vor.
• Experimentelles Setup: Es wurden verschiedene State-of-the-Art-MLLMs (u. a. GPT-4o, Gemini 2.0/2.5, Claude 3.5, Llama 4, Nova Pro) getestet. Drei Eingabemodalitäten wurden verglichen:
  1. Nur OCR-Text.
  2. Nur Rohbild (Image-only).
  3. Kombination aus Bild und OCR-Text.
• Metriken: Die Leistung wird mittels F1-Score auf Basis von Key-Value-Paaren gemessen.
• Automatisierte Fehleranalyse: Um Fehlermuster systematisch zu identifizieren, wurde ein hierarchischer Fehleranalyse-Rahmen entwickelt. Dieser nutzt LLMs, um Fehler in einer dreistufigen Hierarchie zu kategorisieren:
  1. Handler: Automatischer Abgleich von Vorhersage und Ground-Truth.
  2. LLM Reasoning: Klassifizierung der Fehlerursachen (z. B. Textmissverständnis, Layout-Probleme) unter Einbeziehung des Bildes bei Unklarheiten.
  3. Attribution: Zusammenfassung zu übergeordneten Fehlerquellen (z. B. OCR-Fehler, Schema-Ambiguität, Modellkapazität).

3. Wichtige Beiträge

1. Fraglichkeit der Notwendigkeit von OCR: Die Studie zeigt, dass für leistungsstarke MLLMs OCR oft nicht notwendig ist. In vielen Fällen erreicht der „Image-only"-Ansatz vergleichbare oder sogar bessere Ergebnisse als der OCR-basierte Ansatz.
2. Skalierbarkeit: Die Extraktionsleistung verbessert sich mit der Größe des Modells, wobei dieser Trend auch bei reinen Bildeingaben erhalten bleibt.
3. Neues Fehleranalyse-Framework: Ein automatisiertes System zur Diagnose von Fehlermustern, das tiefergehende Einblicke in das Scheitern von Modellen ermöglicht.
4. Optimierung durch Prompting: Es wird gezeigt, dass general-purpose MLLMs oft domänenspezifisches Wissen fehlt. Durch sorgfältig gestaltete Schemata, Beispiele (Exemplars) und Anweisungen (Instructions) kann die Leistung signifikant gesteigert werden.

4. Ergebnisse

• Leistungsgleichheit und Überlegenheit: Bestimmte hochleistungsfähige Modelle (insbesondere die Gemini-Serie und Amazon Nova Pro) erzielen mit reinen Bildeingaben (Image-only) F1-Scores, die denen des OCR-only-Ansatzes entsprechen oder diese übertreffen.
  • Beispiel: Gemini 2.0 Flash-Lite schnitt mit reinem Bildinput fast 3 % besser ab als mit multimodalem Input (Bild + OCR).
• Fehlerverteilung:
  • Der OCR-only-Ansatz weist die höchste Gesamtfehlerquote auf, hauptsächlich bedingt durch „Schema-Ambiguität" (Fehler, die durch die Diskrepanz zwischen OCR-Text und Dokumentenlayout entstehen).
  • Der Image-only-Ansatz führt zu weniger Gesamtfehlern, da die eingebauten Vision-Encoder Layout und Struktur direkter und konsistenter erfassen als externe OCR-Systeme.
  • Der Kombinationsansatz (Bild + OCR) führt bei einigen Modellen zu einer Leistungsverschlechterung, was darauf hindeutet, dass diese Modelle Schwierigkeiten haben, visuelle und textuelle Informationen effektiv zu fusionieren.
• Kosten und Latenz: MLLMs bieten den Vorteil einer besseren Generalisierung auf neue Dokumententypen und Sprachen ohne aufwendiges Fine-Tuning, was die Pipeline vereinfacht. Die Inferenzkosten und -latenz sinken tendenziell mit neueren Modellgenerationen.

5. Bedeutung und Fazit

Die Studie liefert einen Paradigmenwechsel für die Dokumentenverarbeitung:

• Vereinfachung der Pipeline: Für viele moderne, leistungsfähige MLLMs kann der OCR-Schritt entfallen. Dies reduziert die Systemkomplexität, eliminiert OCR-bedingte Fehlerquellen und senkt die Kosten.
• Rolle des Bildes: Hochleistungs-Vision-Encoder können Text und Layout direkt aus Bildern extrahieren und verstehen, oft präziser als externe OCR-Tools, die Layoutinformationen verlieren.
• Praxisleitfaden: Die Arbeit betont, dass der Erfolg von MLLMs stark von der Qualität der Prompts, der Schema-Definition und der Anweisungen abhängt. Ein „Image-only"-Ansatz ist nicht nur machbar, sondern für bestimmte Modelle die überlegene Wahl.

Zusammenfassend demonstriert das Paper, dass die Ära der rein textbasierten OCR-Pipelines für die Dokumenteninformationsextraktion möglicherweise zu Ende geht und durch effizientere, bildbasierte MLLM-Pipelines ersetzt werden sollte.