The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions

Die Studie stellt das Patrologia Graeca Corpus vor, eine groß angelegte, offene Ressource mit OCR- und linguistischen Annotationen für die verbleibenden und nicht digitalisierten Bände der Patrologia Graeca, die durch eine spezialisierte Pipeline mit einem außergewöhnlich niedrigen Fehlerwert von 1,05 % für polytonisches Griechisch erschlossen wurde.

Das Wesentliche

Stellen Sie sich vor, Sie betreten eine riesige, staubige Bibliothek aus dem 19. Jahrhundert. Diese Bibliothek ist voller Bücher, die das gesamte Wissen der antiken griechischen Welt enthalten – von Philosophen über Theologen bis hin zu Dichtern. Das Problem: Diese Bücher sind in einer sehr speziellen, alten Schriftart gedruckt, die mit vielen kleinen Strichen, Punkten und Akzenten über den Buchstaben (die sogenannten polytonischen Zeichen) übersät ist. Zudem sind die Seiten oft fleckig, die Tinte verblasst und die Buchstaben sind teilweise so klein, dass man sie kaum noch erkennen kann.

Bisher war es für Computer fast unmöglich, diese Seiten zu lesen. Sie waren wie ein verschlossenes Schloss für moderne KI-Modelle.

Was haben die Forscher gemacht?

Chahan Vidal-Gorène und Bastien Kindt haben sich wie ein Team aus hochmodernen Restauratoren und Übersetzern verhalten. Sie haben eine neue „Maschine" gebaut, um diese alten Bücher zu entschlüsseln. Hier ist, wie sie es getan haben, erklärt mit einfachen Bildern:

1. Das Auge der Maschine (Layout-Erkennung)

Stellen Sie sich vor, ein Buch hat auf jeder Seite zwei Spalten: links griechisch, rechts lateinisch. Dazwischen und drumherum gibt es noch Randnotizen und Überschriften. Ein normaler Computer sieht das oft als ein einziges Chaos aus Buchstaben.

Die Forscher haben ihrer KI ein „scharfes Auge" (eine Technologie namens YOLO) gegeben. Das ist wie ein Detektiv, der sofort erkennt: „Aha! Das hier ist die griechische Spalte, das hier ist die lateinische, und das hier ist nur eine Fußnote." Der Detektiv trennt also die verschiedenen Bereiche sauber voneinander, bevor er überhaupt zu lesen beginnt.

2. Der Lese-Meister (Texterkennung / OCR)

Sobald die KI weiß, wo der griechische Text ist, kommt der eigentliche Lese-Meister zum Einsatz (ein CRNN-Modell).

• Das Problem: Die alten Drucke sind „verrauscht". Ein Buchstabe „Alpha" könnte durch einen Tintenklecks wie ein „Beta" aussehen, oder ein kleines Häkchen (ein Akzent) fehlt.
• Die Lösung: Die Forscher haben ihre KI nicht einfach nur mit sauberen Texten trainiert. Sie haben ihr absichtlich „schmutzige" Bilder gezeigt – mit Rauschen, unscharfen Stellen und verzerrten Buchstaben. Das ist wie ein Sportler, der im Regen und Schlamm trainiert, damit er im Wettkampf bei jedem Wetter läuft.
• Das Ergebnis: Die Maschine liest nun mit einer Genauigkeit von über 99%. Das ist ein riesiger Sprung im Vergleich zu früheren Versuchen, bei denen die Maschinen oft nur 90% richtig lagen.

3. Der Lexikon-Experte (Sprachanalyse)

Nur die Buchstaben zu erkennen, reicht nicht. In der antiken griechischen Sprache ändert sich ein Wort je nach Satzstellung (es wird gebeugt). Das Wort „Hund" kann „Hund", „Hundes", „Hundem" oder „Hunde" heißen.
Die Forscher haben eine zweite KI hinzugefügt, die wie ein riesiges, intelligentes Wörterbuch funktioniert. Sie nimmt das erkannte Wort, schaut in ihr Lexikon und sagt: „Ah, dieses Wort hier ist eigentlich die Grundform 'Hund' und hat die Bedeutung 'Substantiv'."
Dadurch entsteht aus dem rohen Text eine strukturierte Datenbank mit etwa 6 Millionen Wörtern, die alle verstanden und kategorisiert sind.

Warum ist das wichtig?

Bisher waren diese Bücher wie ein versiegelter Briefkasten. Jetzt ist er geöffnet.

• Für Forscher: Sie können nun nach bestimmten Wörtern in allen diesen Büchern suchen, statt mühsam Seite für Seite zu blättern.
• Für die KI: Diese neuen Daten sind wie ein frisches, nahrhaftes Essen für künstliche Intelligenzen. Bisher hatten KI-Modelle für Altgriechisch oft nur wenig zu essen (wenige Daten). Jetzt bekommen sie ein riesiges Buffet aus verschiedenen Epochen und Stilen. Das hilft den KI-Modellen, die Sprache viel besser zu verstehen und vielleicht sogar selbst Texte zu schreiben oder zu übersetzen.

Zusammenfassung

Die Forscher haben eine alte, staubige Bibliothek (die Patrologia Graeca) mit Hilfe von modernster KI-Technologie „aufgeweckt". Sie haben der Maschine beigebracht, trotz schmutziger Seiten und verworrener Schrift den griechischen Text zu lesen, zu verstehen und in eine digitale, durchsuchbare Form zu verwandeln.

Sie haben nicht nur die Bücher digitalisiert, sondern ihnen auch eine „Sprachbrille" aufgesetzt, damit Computer die Bedeutung der Wörter verstehen können. Dieses neue, kostenlose Werkzeug steht nun allen zur Verfügung, die sich für die alte griechische Welt interessieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions" auf Deutsch:

1. Problemstellung

Die Patrologia Graeca (PG), eine von Jacques-Paul Migne zwischen 1857 und 1866 zusammengestellte Sammlung von 161 Bänden patristischer und byzantinischer Texte, stellt eine der wichtigsten Quellen für die griechische Literatur des 1. bis 15. Jahrhunderts dar. Trotz ihrer Bedeutung fehlen für einen Großteil dieser Werke verlässliche, offene und linguistisch angereicherte digitale Versionen.

Die bestehenden digitalen Angebote (z. B. PDF-Scans) sind nicht durchsuchbar und enthalten keine strukturelle Kodierung. Bisherige OCR-Versuche (wie das Open Patrologia Graeca 1.0-Projekt) scheiterten an der extremen Komplexität des Materials:

• Typografische Herausforderungen: Das Material stammt aus dem 19. Jahrhundert, weist stark degradierter Druckqualität auf und verwendet komplexe polytonische griechische Schriftzeichen (mit vielen Diakritika).
• Layout-Komplexität: Die Bände enthalten oft zweispaltige Layouts (Griechisch und Latein nebeneinander), überlappende Texte, Randnoten und Laufköpfe.
• Datenmangel: Es fehlten standardisierte Ground-Truth-Datensätze für das Training von OCR-Modellen auf diesem spezifischen, „verrauschten" Material.
• Folge: Bestehende Modelle (z. B. Tesseract, Transkribus) erreichen auf diesem Korpus keine ausreichende Genauigkeit (CER oft > 5–10 %), was die Anwendung computergestützter Methoden in der Philologie und das Training von Sprachmodellen (LLMs) für diese Epoche stark einschränkt.

2. Methodik

Das Projekt entwickelte eine spezialisierte Pipeline zur OCR, Layout-Analyse und linguistischen Annotation:

• Datenvorbereitung:

  • Erstellung eines Testsets (30 Seiten) und eines Trainingssets (445 Bilder), das die typografische Vielfalt der PG abdeckt.
  • Nutzung von Calfa Vision für die semi-automatische Ausrichtung und manuelle Korrektur.
  • Fokus auf die Trennung griechischer Textspalten von lateinischen und Randnotizen.

• OCR-Architektur (Layout & Erkennung):

  • Layout-Erkennung: Einsatz von YOLO (You Only Look Once) zur Detektion semantischer Zonen (Haupttext, Spalten, Titel, Randnoten) und zur Trennung der griechischen von den lateinischen Spalten.
  • Texterkennung: Ein CRNN (Convolutional Recurrent Neural Network) Modell, das auf Wortbasis trainiert wurde.
  • Fine-Tuning-Strategie:
    1. Vorab-Training auf griechischen Manuskripten (Genavensis Græcus 44).
    2. Erweiterung durch synthetische Daten (50.000 Samples via albumentations mit aggressiven Degradierungen wie Rauschen, Unschärfe, Verzerrung), um die Scan-Qualität der PG zu simulieren.
    3. Iteratives Fine-Tuning auf dem spezifischen PG-Trainingsset unter Verwendung einer Active-Learning-Strategie (manuelle Korrektur von Fehlern und erneutes Training).

• Linguistische Analyse:

  • Anwendung eines hybriden Modells (neuronale Tagging + regelbasierte Nachkorrektur), basierend auf der PIE-Architektur und dem GREgORI-Tagset.
  • Dies ermöglicht Lemmatisierung, POS-Tagging (Wortart) und morphologische Analyse, angepasst an die diachronen und stark flektierenden Formen des Griechischen.

3. Wichtige Beiträge

• Das Patrologia Graeca Corpus: Die erste groß angelegte, offene Ressource für OCR und linguistische Annotation der ungedigitalisierten PG-Bände.
• Umfang: Das Korpus enthält ca. 6 Millionen lemmatisierte und morphologisch annotierte Tokens.
• Datenformat: Die Ausgabe erfolgt im strukturierten .vert-Format (von Sketch Engine genutzt), das OCR-Wortformen, intuitive Formen (ohne Diakritika), Lemmata und morphosyntaktische Tags enthält. Dies ermöglicht Suchen ohne Kenntnis der komplexen Orthografie.
• Open Release: Rohdaten, Layout-Annotationen und strukturierte Dateien sind auf GitHub und Zenodo verfügbar; das durchsuchbare Korpus ist unter gregoriproject.com zugänglich.
• Benchmark: Das Projekt etabliert einen neuen Standard für die OCR von polytonischem Griechisch in historischen Drucken.

4. Ergebnisse

Die Leistung des speziell feinabgestimmten Modells wurde auf einem 30-seitigen Testset evaluiert und übertrifft alle bisherigen Systeme deutlich:

• OCR-Genauigkeit:
  • Character Error Rate (CER): 1,05 % (Vergleich: Tesseract ~11,57 %, Transkribus ~6,14 %).
  • Word Error Rate (WER): 4,69 % (Vergleich: Tesseract ~39,65 %, Transkribus ~14,82 %).
• Layout-Erkennung:
  • Hohe Präzision bei der Unterscheidung griechischer und lateinischer Spalten (mAP50 > 0,97 für griechische Haupttextspalten).
  • Herausforderungen blieben bei Titeln und stark überlappenden Bereichen bestehen, werden aber durch Active Learning adressiert.
• Fehleranalyse:
  • Die häufigsten Fehler (über 80 %) betreffen Verwechslungen von Diakritika (z. B. unterschiedliche Akzentkodierungen bei identischen Buchstaben), nicht die Buchstaben selbst.
  • Das Modell erkennt die Buchstabenidentität korrekt, scheitert aber oft an der exakten Wiedergabe der polytonischen Zeichen.
  • Durch Unicode-Normalisierung und Nachkorrektur-Regeln lässt sich die Fehlerquote weiter senken.

5. Bedeutung und Ausblick

• Für die Philologie: Das Korpus schließt eine massive Lücke in der digitalen Verfügbarkeit byzantinischer und spätantiker Texte. Es ermöglicht erstmals die Suche und Analyse von Tausenden seltenen Wortformen, Fachbegriffen und Eigennamen, die in bisherigen Korpora unterrepräsentiert sind.
• Für KI und NLP:
  • Das Korpus dient als hochwertiges Trainingsmaterial für zukünftige Modelle, insbesondere für Large Language Models (LLMs) und Transformer-Architekturen (wie Ancient-Greek-BERT, GreBERTa).
  • Es bietet eine robuste Basis für die Anpassung von Sprachmodellen an den diachronen und stilistischen Wandel des Griechischen.
• Technischer Fortschritt: Das Projekt demonstriert, dass durch die Kombination von YOLO-basiertem Layout-Management und CRNN-basierter Texterkennung mit synthetischer Datenaugmentierung auch extrem schwierige historische Drucke mit hoher Genauigkeit digitalisiert werden können.

Zusammenfassend stellt dieses Werk einen Meilenstein für die digitale Altertumswissenschaft dar, indem es eine bisher unzugängliche Textmenge maschinenlesbar, durchsuchbar und linguistisch analysierbar macht.