OCRGenBench: A Comprehensive Benchmark for Evaluating OCR Generative Capabilities

Das Paper stellt OCRGenBench vor, ein umfassendes Benchmark mit 1.060 annotierten Beispielen und einer neuen Metrik namens OCRGenScore, das die Fähigkeiten von Generativmodellen bei der visuellen Textsynthese über fünf Kategorien und 33 Aufgaben hinweg evaluiert und dabei erhebliche Defizite aktueller State-of-the-Art-Modelle aufdeckt.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr talentierten Künstler, der Bilder malen kann. Er kann wunderschöne Sonnenuntergänge, futuristische Städte oder lustige Katzen auf einem Fahrrad erschaffen. Aber wenn Sie ihn bitten, ein Bild zu malen, auf dem ein Schild mit der Aufschrift „Halt" steht, oder wenn Sie ihm ein Foto geben und sagen: „Ändere den Text auf dem Schild von 'Halt' zu 'Los'", dann wird der Künstler oft chaotisch. Er schreibt vielleicht „Halt" als „Haltt" oder „Haltz", oder er löscht versehentlich den Hintergrund mit.

Genau dieses Problem untersucht das neue Papier OCRGenBench. Hier ist eine einfache Erklärung, was die Forscher gemacht haben, ohne den technischen Jargon:

1. Das Problem: Der „Buchstaben-Blindheit"-Effekt

Bisherige Tests für KI-Künstler waren wie ein Sport, bei dem man nur prüft, ob der Künstler ein Tor schießen kann. Aber im echten Leben muss der Künstler auch den Schiedsrichter verstehen, das Tor genau treffen und dabei nicht versehentlich die Zuschauer verärgern.
Die alten Tests waren zu einfach: Sie zeigten der KI nur einfache Wörter auf Postern. Die KI lernte daraus, dass sie gut ist. Aber in der echten Welt gibt es dichte Dokumente, handschriftliche Briefe, verzerrte Fotos von Straßenschildern und alte Bücher. Hier versagten die KIs oft kläglich.

2. Die Lösung: Der „Große Text-Prüfstand" (OCRGenBench)

Die Forscher vom South China University of Technology und der Cardiff University haben einen neuen, extrem strengen Prüfstand gebaut, den sie OCRGenBench nennen.

• Die 5 Welten: Statt nur Postern zu testen, haben sie die KI in fünf verschiedene Welten geschickt:
  1. Dokumente: Wie ein voller Brief oder ein alter Vertrag.
  2. Handschrift: Wie ein persönlicher Brief oder ein Schulheft.
  3. Szenen-Text: Wie Straßenschilder oder Nummernschilder.
  4. Kunst-Text: Wie kreative Logos oder geschwungene Schriftarten.
  5. Layout-reiche Texte: Wie Plakate oder Präsentationsfolien mit vielen Bildern und Texten.
• Die 33 Aufgaben: Die KI musste nicht nur Bilder malen, sondern auch:
  • Texte in Bildern ändern (z. B. „Ändere 'Halt' zu 'Los'").
  • Verzerrte Bilder gerade rücken (wie ein geknicktes Blatt Papier glätten).
  • Schatten entfernen oder unscharfe Texte scharf machen.
  • Handschrift aus einem Bild löschen.
• Der Schwierigkeitsgrad: Die Bilder sind voller Text, haben seltsame Formen (sehr lang oder sehr breit) und sind auf Englisch und Chinesisch. Es ist wie ein „Hardcore-Modus" für KI.

3. Der neue Punktezähler: OCRGenScore

Früher gab es keine gute Art zu sagen, wie gut die KI war. War das Bild schön? War der Text richtig? Folgte die KI dem Befehl?
Die Forscher haben einen neuen Punktezähler namens OCRGenScore erfunden. Stellen Sie sich das wie einen Schulnoten-System vor, das drei Dinge misst:

1. Buchstabensicherheit: Steht da wirklich das Wort, das ich wollte?
2. Bild-Qualität: Sieht das Bild natürlich aus, oder ist es verschwommen?
3. Befehlsfolge: Hat die KI genau das gemacht, was ich gesagt habe, ohne den Rest des Bildes zu zerstören?

4. Die Ergebnisse: Die harte Wahrheit

Die Forscher haben 19 der besten KI-Modelle (sowohl kostenlose als auch teure, geschlossene Modelle) getestet. Das Ergebnis war ernüchternd:

• Die meisten liegen unter 60 von 100 Punkten. Das ist ein Durchfall in der Schule.
• Nur zwei Modelle (Nano Banana Pro und Flux.2-dev) schafften es über 70 Punkte.
• Die häufigsten Fehler:
  • Verwirrung: Die KI ändert den Text, löscht aber versehentlich auch den Hintergrund oder benachbarte Wörter.
  • Halluzinationen: Statt den Text zu ändern, malt die KI plötzlich ein Gesicht oder einen Hund in das Bild, weil sie den Befehl nicht verstanden hat.
  • Dichte Probleme: Bei vielen kleinen Buchstaben (wie in einem alten Buch) wird der Text unleserlich oder zu Kauderwelsch.
  • Sprach-Probleme: Die KIs sind viel besser im Englischen als im Chinesischen. Bei Chinesisch scheitern viele Modelle komplett.

5. Warum ist das wichtig?

Stellen Sie sich vor, Sie wollen eine KI nutzen, um alte, beschädigte Dokumente zu restaurieren oder automatisch Formulare auszufüllen. Wenn die KI heute noch so schlecht ist wie in diesem Test, können Sie ihr nicht trauen.

Dieser neue Test (OCRGenBench) ist wie ein ehrlicher Lehrer, der die KI nicht lobt, nur weil sie ein schönes Bild gemalt hat, sondern sie streng prüft, ob sie auch die Sprache beherrscht. Er zeigt den Entwicklern genau, wo sie noch üben müssen:

• Bessere „Augen" für kleine Buchstaben.
• Besseres Verständnis dafür, was ein „Autor" oder eine „Reihenfolge" ist.
• Mehr Übung mit komplexen Schriftarten und vielen Sprachen.

Zusammenfassend: Die KI kann heute tolle Bilder malen, aber sie ist noch ein „Buchstabier-Anfänger". Dieser neue Test hilft ihr, endlich fließend zu lesen und zu schreiben, damit wir ihr in der echten Welt wirklich vertrauen können.

Technische Zusammenfassung

1. Problemstellung

Die Generierung und Bearbeitung von Bildern mit Text (visuelle Textsynthese) stellt eine der größten Herausforderungen für aktuelle KI-Modelle dar. Obwohl State-of-the-Art (SOTA) Modelle in der Erzeugung natürlicher Bilder Fortschritte gemacht haben, scheitern sie oft an der präzisen Wiedergabe von Text.

Bestehende Benchmarks für die Bewertung dieser Fähigkeiten weisen jedoch erhebliche Mängel auf:

• Eingeschränkter Umfang: Sie konzentrieren sich meist nur auf Szenen-Text (Scene Text) und Poster, vernachlässigen aber wichtige Kategorien wie Dokumente, Handschrift und kunstvollen Text.
• Isolierte Bewertung: Sie trennen Text-zu-Bild-Generierung (T2I) und Textbearbeitung (Editing) oft voneinander, anstatt die ganzheitlichen Fähigkeiten eines Modells zu testen.
• Fehlende Schwierigkeit: Die Testszenarien sind oft zu einfach und berücksichtigen nicht komplexe Fälle wie dichten Text, extreme Seitenverhältnisse oder mehrsprachige Inhalte.
• Lücke bei OCR-Aufgaben: Es fehlen Bewertungen für optische Zeichenerkennungs-basierte Bild-zu-Bild-Übersetzungen (z. B. Entzerrung von Dokumenten, Entfernen von Schatten oder Handschrift).

Es fehlt somit an einem umfassenden, standardisierten Benchmark, der die „OCR-generativen Fähigkeiten" (die Fähigkeit, Text in Bildern zu verstehen, zu erzeugen und zu manipulieren) ganzheitlich bewertet.

2. Methodik und Aufbau von OCRGenBench

Die Autoren stellen OCRGenBench vor, den bisher umfassendsten Benchmark zur Evaluierung dieser Fähigkeiten.

Datensatz und Aufgaben:

• Umfang: Der Benchmark enthält 1.060 manuell annotierte Samples (Instruktion-Bild-Ground-Truth-Tripel).
• Kategorien: Er deckt fünf Haupttextkategorien ab:
  1. Dokumente (modern und historisch)
  2. Handschrift
  3. Szenen-Text
  4. Kunstvoller Text (Artistic Text)
  5. Text mit komplexem Layout (Layout-Rich Text, z. B. Poster, Folien)
• Aufgaben: Insgesamt werden 33 verschiedene OCR-generative Aufgaben abgedeckt, darunter:
  • Text-zu-Bild-Generierung (T2I)
  • Textbearbeitung (Editing)
  • Bild-zu-Bild-Übersetzungen (OCR I2I) wie Dokumenten-Entzerrung (Dewarping), Schattenentfernung, Entschärfung, Wiederherstellung historischer Dokumente und Entfernung von Handschrift.
• Komplexität: Die Daten sind bewusst herausfordernd gestaltet mit hoher Textdichte, variierenden Seitenverhältnissen (bis zu 16:1), unterschiedlichen Auflösungen und bilingualen Inhalten (Englisch und Chinesisch).

Metrik: OCRGenScore
Da keine einzelne Metrik ausreicht, um die Leistung zu bewerten, wurde OCRGenScore entwickelt. Dies ist eine vereinheitlichte Metrik, die folgende Aspekte integriert:

• Textgenauigkeit: Gemessen durch Accuracy Rate (AR) unter Verwendung von PPOCRv5 für Texterkennung.
• Visuelle Qualität und Konsistenz: Gemessen durch Metriken wie VIEScore (LLM-basierte Bewertung), LPIPS (visuelle Ähnlichkeit) und MS-SSIM.
• Instruktionsbefolgung: Bewertung, ob das Modell den Prompt korrekt umsetzt.
• Aggregation: Alle metrik-spezifischen Scores werden auf den Bereich [0, 1] normalisiert und zu einem Gesamtscore (0–100) aggregiert.

3. Wichtige Beiträge

1. OCRGenBench: Ein neuer, umfassender Benchmark, der erstmals T2I-Generierung, Text-Editing und OCR-spezifische I2I-Aufgaben in einem einzigen Framework vereint.
2. OCRGenScore: Eine neue, ganzheitliche Evaluierungsmetrik, die eine vollautomatische und vergleichbare Bewertung von Modellen über diverse Aufgaben hinweg ermöglicht.
3. Systematische Evaluation: Eine detaillierte Analyse von 19 fortschrittlichen Modellen (sowohl Closed-Source als auch Open-Source, spezialisierte und Unified-Modelle).
4. Identifikation von Limitationen: Durch die Analyse wurden acht kritische Schwachstellen aktueller Modelle aufgedeckt (siehe Ergebnisse).

4. Ergebnisse und Experimente

Die Autoren evaluierten 19 Modelle, darunter Nano-Banana-Pro, GPT Image 1.5, Flux.2-dev, Qwen-Image und verschiedene Open-Source-Modelle (z. B. BAGEL, OmniGen2).

Hauptergebnisse:

• Allgemeine Leistung: Die meisten Modelle erreichen einen OCRGenScore von unter 60 von 100. Nur zwei Modelle liegen über 70: Nano Banana Pro (77,19) und Flux.2-dev (70,19).
• Architektur-Vergleich:
  • Closed-Source Unified Models (z. B. Nano Banana Pro) zeigen das höchste Potenzial, hinken aber bei Open-Source-Alternativen oft hinterher.
  • Spezialisierte Modelle (Open-Source) wie Flux.2-dev und LongCat-Image übertreffen oft die Closed-Source-Modelle in spezifischen Aufgaben und bieten ein besseres Verhältnis von Leistung zu Komplexität.
• Aufgaben-spezifische Schwächen:
  • Modelle sind gut in kreativen T2I-Aufgaben, scheitern aber oft bei rekonstruktiven Aufgaben (z. B. Entzerrung, Schattenentfernung).
  • Textlokalisierung: Modelle haben Schwierigkeiten, spezifische Textbereiche in dichten Dokumenten zu finden, was zu falschen Bearbeitungen führt.
  • Konsistenz: Bei der Bearbeitung von Text werden oft unbeabsichtigt umliegende Texte oder Hintergründe verändert.
  • Dichte und Länge: Die Generierung von sehr langem Text (z. B. ganze Dokumentenseiten) oder komplexen Schriftarten führt zu Halluzinationen und unlesbarem Text.
  • Sprachunterschiede: Die Leistung bei Englisch ist deutlich besser als bei Chinesisch. Viele Open-Source-Modelle scheitern bei chinesischen Texten komplett (Garbled Text).
  • Kleine Textgrößen: Modelle haben Schwierigkeiten, kleine Schriftzeichen präzise zu kodieren und zu dekodieren.

5. Bedeutung und Fazit

OCRGenBench schließt eine kritische Lücke in der Forschung zur visuellen Textsynthese. Es etabliert einen neuen Standard für die Bewertung von Generativmodellen, der über einfache Text-zu-Bild-Tests hinausgeht und reale, komplexe OCR-Szenarien abdeckt.

Die Studie zeigt, dass trotz der Fortschritte in der generativen KI die Fähigkeit, Text in Bildern präzise zu verstehen und zu manipulieren, noch weit von menschlichem Niveau entfernt ist. Die identifizierten Limitationen (fehlende räumliche Kontrolle, mangelndes Weltwissen, Sprachverzerrungen) geben klare Richtungen für zukünftige Forschung vor, insbesondere in den Bereichen:

• Verbesserte räumliche Kontrolle für präzises Editing.
• Integration von OCR-Wissen in die Trainingsdaten.
• Entwicklung von Modellen, die multilingual und für kleine Textgrößen robust sind.

Der Benchmark und der Evaluierungscode sind öffentlich verfügbar, um die Entwicklung robusterer und zuverlässigerer OCR-generativer Systeme voranzutreiben.