A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents

Diese Studie kritisiert, dass die Evaluierung von OCR-Systemen durch die Vernachlässigung historischer Dokumente, insbesondere schwarzer Zeitungen, strukturelle Fehler übersieht und zu einer unsichtbaren Darstellung marginalisierter Archive führt, was auf institutionelle Anreize und Daten-Governance zurückzuführen ist.

Das Wesentliche

Der unsichtbare Riss in der Geschichte: Warum Computer Zeitungen nicht richtig lesen können

Stell dir vor, du hast einen riesigen, super-smarten Roboter, der alles lesen kann. Er ist der beste Leser der Welt. Er kann moderne E-Mails, wissenschaftliche Artikel und aktuelle Zeitungen blitzschnell und perfekt in Text umwandeln.

Aber dann legst du ihm eine alte, vergilbte Zeitung aus dem Jahr 1837 vor – eine, die von Schwarzen Amerikanern geschrieben wurde, um ihre Geschichten zu erzählen. Plötzlich wird der Roboter dumm. Er liest die Wörter zwar fast richtig, aber er versteht die Geschichte nicht. Er wirft die Spalten durcheinander, erfindet Sätze, die nie da waren, und ignoriert das, was die Zeitung eigentlich aussagen wollte.

Genau darum geht es in diesem Papier von Fitsum Sileshi Beyene und Christopher L. Dancy.

1. Das Problem: Der Roboter wurde nur mit „normalem" Essen gefüttert

Stell dir vor, du trainierst einen Koch, indem du ihm nur Pizza und Burger zeigst. Wenn du ihm dann einen traditionellen, komplexen japanischen Teezeremonie-Teller vorlegst, wird er wahrscheinlich versuchen, die Teeblätter in eine Pizza zu verwandeln, weil er nicht weiß, wie man sie richtig behandelt.

Das ist genau das Problem bei den heutigen KI-Systemen für das Lesen von Dokumenten (OCR):

• Die Trainingsdaten: Die KI wurde fast ausschließlich mit modernen, westlichen Dokumenten trainiert (wie Firmenformulare, wissenschaftliche PDFs oder aktuelle Zeitungen).
• Die fehlende Vielfalt: Historische Zeitungen, besonders die der Schwarzen Presse (wie The North Star oder Freedom's Journal), wurden fast nie in den Trainingsdaten berücksichtigt.
• Das Ergebnis: Die KI kennt die „Regeln" moderner Zeitungen, aber nicht die Regeln alter, komplexer Layouts, die oft viele Spalten, seltsame Schriftarten und beschädigtes Papier hatten.

2. Der falsche Maßstab: Wenn die Note stimmt, aber die Arbeit falsch ist

In der Schule gibt es oft eine Note für die Rechtschreibung und eine für den Inhalt. Die heutigen KI-Tests messen nur die Rechtschreibung.

• Der Trick: Ein KI-System kann 99 % der Buchstaben richtig erkennen. Das klingt toll!
• Der Fehler: Aber wenn die KI die Spalten einer alten Zeitung durcheinanderwirbelt (z. B. liest sie erst die linke Spalte, dann die rechte, statt von oben nach unten), ist der Text zwar buchstabiert, aber völlig unlesbar und sinnlos.
• Die Metapher: Stell dir vor, jemand schneidet ein Puzzle in tausend Teile, sortiert sie nach Farbe und klebt sie dann in der falschen Reihenfolge zusammen. Das Bild ist „vollständig" (alle Teile sind da), aber es zeigt kein erkennbares Bild mehr. Die KI-Tests sagen aber: „Super! Alle Teile sind da!" und ignorieren, dass das Bild kaputt ist.

3. Warum das wichtig ist: Unsichtbarkeit und Erfindung

Wenn diese Fehler nicht erkannt werden, passiert etwas Gefährliches:

• Unsichtbarkeit: Die Geschichten der Schwarzen Gemeinschaften werden für Computer unsichtbar. Sie sind da, aber die KI kann sie nicht „sehen" oder verstehen.
• Halluzinationen: Da die KI nicht weiß, wie alte Zeitungen aussehen, fängt sie an, Dinge zu erfinden. Sie setzt Wörter ein, die gut klingen, aber historisch falsch sind. Das nennt man „Over-historicization". Es ist, als würde ein Geschichtenerzähler die Geschichte so anpassen, dass sie sich „alt" anhört, aber dabei die Fakten verfälscht.

4. Die Lösung: Neue Regeln für den Test

Die Autoren schlagen vor, dass wir die Art und Weise, wie wir diese KI-Systeme testen, komplett ändern müssen:

• Neue Prüfungsfragen: Wir dürfen nicht nur fragen: „Wie viele Buchstaben waren richtig?" Wir müssen fragen: „Hat die KI die Struktur verstanden? Hat sie die Spalten richtig gelesen? Hat sie den historischen Kontext bewahrt?"
• Vielfalt im Test: Wir müssen historische Zeitungen (besonders aus marginalisierten Communities) als Hauptteil der Tests verwenden, nicht als Randnotiz.
• Kulturelles Verständnis: Es reicht nicht, nur Technik zu optimieren. Wir müssen anerkennen, dass das Layout einer alten Zeitung oft eine politische Botschaft trägt. Wenn die KI das Layout zerstört, zerstört sie auch die Botschaft.

Fazit in einem Satz

Dieses Papier warnt davor, dass wir unsere KI-Systeme nur an modernen, „sauberen" Dokumenten testen. Wenn wir das nicht ändern, werden wir die reichen, komplexen Geschichten unserer Geschichte (besonders die der Schwarzen Gemeinschaft) technisch zwar „lesen", aber inhaltlich völlig falsch verstehen oder sogar löschen. Wir brauchen neue Messlatten, die nicht nur die Buchstaben zählen, sondern die Bedeutung bewahren.

Technische Zusammenfassung

Problemstellung

Das Paper identifiziert eine kritische Lücke in der Entwicklung und Evaluierung von Optical Character Recognition (OCR) und Document Understanding Systemen. Während moderne Systeme zunehmend auf Large Vision-Language Models (VLMs) und Transformer-Architekturen setzen, basieren deren Evaluierungsmethoden und Benchmarks fast ausschließlich auf modernen, westlichen und institutionellen Dokumenten (z. B. wissenschaftliche Papers, Unternehmensformulare, aktuelle PDFs).

Dieser Fokus führt zu einer systematischen „Unsichtbarkeit" historischer Dokumente, insbesondere solcher aus marginalisierten Gemeinschaften wie der afroamerikanischen Presse (z. B. The Weekly Advocate, The North Star). Die aktuellen Evaluierungsmetriken (hauptsächlich CER und WER) reduzieren Dokumentenverständnis auf reine Zeichenketten-Ähnlichkeit (Edit-Distance). Sie erfassen dabei keine strukturellen Fehler, die für historische Zeitungen typisch sind, wie z. B.:

• Zusammenbruch von Spaltenlayouts (Column Collapse).
• Fehlerhafte Lesereihenfolge in mehrspaltigen Designs.
• Typografische Besonderheiten (z. B. viktorianische oder gotische Schriften).
• Materialbedingte Degradierung (Microfilm-Artefakte, Ausbluten, ungleichmäßige Beleuchtung).

Die Folge ist, dass Modelle, die auf modernen Benchmarks als „State-of-the-Art" gelten, bei historischen Dokumenten epistemologische Fehler begehen: Sie löschen die rhetorische und politische Bedeutung, die im Layout kodiert ist, oder generieren halluzinierte Inhalte, um die Lücken zu füllen.

Methodik

Die Autoren führen eine systematische Überprüfung (Systematic Review) nach den PRISMA-2020-Richtlinien durch.

• Zeitraum: 2006 bis 2025.
• Datenquellen: ACM Digital Library, IEEE Xplore, arXiv, ACL Anthology, Springer und andere.
• Auswahlkriterien: Studien, die quantitative Metriken zur Evaluierung von OCR-Systemen verwenden, Benchmarks einführen oder Evaluierungsprozesse analysieren.
• Analysefokus: Die Autoren untersuchen Trainingsdaten, Benchmark-Design und Evaluierungsmetriken von Vision-Transformer- und multimodalen OCR-Systemen.
• Fallstudie: Um die theoretischen Lücken zu verifizieren, wurde eine qualitative Fallstudie mit drei führenden Modellen (Tesseract v5, Surya, olmOCR 2) durchgeführt. Diese wurden auf einer Seite der historischen Zeitung The Weekly Advocate (1837) getestet, um spezifische Fehlermuster zu identifizieren.

Wichtige Beiträge

1. Systematische Analyse: Eine umfassende Kartierung des aktuellen Zustands von OCR-Evaluierungen, die zeigt, dass Trainingsdaten und Benchmarks historische und gemeindebasierte Archive (insbesondere schwarze Zeitungen) fast vollständig ausschließen.
2. Nachweis struktureller Blindheit: Der Nachweis, dass aktuelle Metriken (wie CER/WER) strukturelle und layoutbedingte Fehler in historischen Dokumenten nicht erfassen. Ein Modell kann eine hohe Zeichenkorrektheit aufweisen, aber gleichzeitig das Layout zerstören und damit den semantischen Inhalt verfälschen.
3. Fallstudie zur Repräsentationsschädigung: Eine detaillierte Analyse, wie Evaluierungslücken zu „repräsentativen Schäden" führen. Das Paper zeigt, dass Modelle bei historischen schwarzen Zeitungen spezifische Fehlermuster aufweisen (geometrischer Kollaps, Entschlüsselungsinstabilität, korrigierende Halluzinationen), die in der aktuellen Literatur ignoriert werden.

Ergebnisse

Die Analyse der 13 untersuchten OCR-Systeme und 7 Benchmarks ergab folgende Schlüsselergebnisse:

• Verzerrte Trainingsdaten: Die meisten Modelle (z. B. LayoutLMv3, DocFormer, DiT) basieren auf Datensätzen wie IIT-CDIP (hauptsächlich US-Geschäfts- und Rechtsdokumente aus der Mitte des 20. Jahrhunderts) oder synthetischen Daten. Historische schwarze Zeitungen, gotische Schriften und nicht-westliche Layouts fehlen fast vollständig.
• Mangelnde Benchmark-Repräsentation: Benchmarks wie OCRBench, OmniDocBench und DocVQA konzentrieren sich auf moderne Szenarien. Selbst Benchmarks, die historische Elemente enthalten (z. B. olmOCR-Bench), vernachlässigen spezifisch gemeindebasierte Archive.
• Fehlermuster in der Fallstudie:
  • Tesseract v5: Interpretierte vertikale Spaltenlinien als Text und las den Inhalt in einer falschen „Z-Muster"-Reihenfolge, was zu einer semantischen Vermischung unterschiedlicher Inhalte führte.
  • Surya: Zeigte Instabilität bei hochkontrastierenden 19. Jahrhundert-Schriften, was zu Wiederholungen von Zeichenfolgen und „Garbage Tokens" führte.
  • olmOCR 2 (SOTA VLM): Zeigte „korrigierende Halluzinationen". Das Modell überschrieb visuelle Beweise mit hochwahrscheinlichen Tokens (Wissens-„Bluten"), wodurch reale Entitäten durch erfundene Texte ersetzt wurden.
• Metrische Lücke: Es gibt kaum Metriken, die Layout-Treue oder strukturelle Integrität bewerten. Die Dominanz von CER/WER belohnt lineare Transkriptionen, selbst wenn die ursprüngliche rhetorische Struktur des Dokuments zerstört wurde.

Bedeutung und Implikationen

Das Paper argumentiert, dass das Problem nicht primär technischer Natur ist, sondern in der Ressourcenallokation, der Vielfalt der Datensätze und der Anerkennung kultureller Bedeutung liegt.

• Epistemologische Konsequenz: Durch die Ignorierung dieser Fehler werden ganze Klassen historischer Texte für KI-Systeme unlesbar oder werden falsch interpretiert. Dies führt zu einer „strukturellen Unsichtbarkeit" marginalisierter Geschichten.
• Überhistorisierung (Over-historicization): Generative Modelle neigen dazu, historisch plausible, aber faktisch falsche Inhalte zu generieren, was die Integrität digitaler Archive gefährdet.
• Forderung: Die Autoren fordern einen Paradigmenwechsel in der Evaluierungspraxis. Black Digital Archives und andere kulturell relevante Sammlungen sollten nicht als Randfälle („Edge Cases"), sondern als integraler Bestandteil der Haupttestdatensätze behandelt werden.
• Zukünftige Arbeit: Es bedarf neuer Metriken, die Layout-Integrität, Lesereihenfolge und kulturelle Kontexte bewerten, sowie einer kritischen Auseinandersetzung mit den institutionellen Strukturen, die diese Verzerrungen in Benchmarks und Trainingsdaten verankern.

Zusammenfassend stellt das Paper fest, dass ohne eine bewusste Inklusion historischer und marginalisierter Dokumente in Trainings- und Evaluierungszyklen OCR-Systeme weiterhin dazu neigen werden, die editorialen Logiken und politischen Identitäten dieser Archive zu löschen.