FP-THD: Full page transcription of historical documents

Stellen Sie sich vor, Sie besitzen eine Zeitmaschine, mit der Sie in ein staubiges, 500 Jahre altes Buch in mittelalterlichem Latein hineinzoomen können. Die Seiten sind zerknittert, die Tinte verblasst und die Handschrift ist ein wilder Mix aus Schlaufen, Gekritzel und seltsamen Symbolen, die ganz anders aussehen als die Buchstaben, die wir heute verwenden. Wenn Sie versuchen würden, dies mit einem modernen Computer zu lesen, wäre es so, als würde man von einem Roboter verlangen, einen Geheimcode zu verstehen, für den er nie trainiert wurde. Er könnte ein langes „s“ (das wie ein „f“ aussieht) in ein „f“ verwandeln oder zwei Buchstaben zu einem modernen „ae“ zusammenschmieden, was den historischen Charakter völlig ruinieren würde.

Hier kommt FP-THD ins Spiel, eine neue digitale Pipeline, die von einem Forscherteam entwickelt wurde, um der ultimative „zeitreisende Bibliothekar“ zu sein. Ihr Ziel war es nicht nur, die Wörter zu lesen, sondern auch das exakte Aussehen und Gefühl der Originalseite zu bewahren, einschließlich jener kniffligen Abkürzungen und Sonderzeichen, auf die Historiker angewiesen sind.

Der zweistufige Tanz: Erst die Zeilen finden, dann lesen

Die Autoren erkannten, dass der Versuch, eine ganze unordentliche Seite auf einmal zu lesen, so ist, als würde man versuchen, eine ganze Pizza in einem einzigen Bissen zu essen. Stattdessen bauten sie eine Pipeline, die in zwei deutlichen Schritten arbeitet, wie ein Team von Spezialisten.

Schritt 1: Der Layout-Detektiv (ParseNet)
Zuerst nutzt das System ein Werkzeug namens ParseNet, das als Layout-Detektiv fungiert. Es scannt das gesamte Seitenbild und zieht unsichtbare Kästen um jede einzelne Textzeile, wobei es erkennt, wo Absätze beginnen und enden, selbst wenn die Zeilen gekrümmt oder geneigt sind. Es ist wie ein Roboter-Bibliothekar, der die Umrisse jedes Satzes auf einer chaotischen Seite sorgfältig nachzeichnet und sie in ordentliche, gerade Streifen ausschneidet. Dieser Schritt erzeugt eine Karte (in einem Format namens PAGE XML), die dem Computer genau sagt, wo er suchen muss.

Schritt 2: Der Super-Leser (Masked Autoencoder)
Soblich die Zeilen ausgeschnitten und begradet wurden, werden sie dem zweiten Spezialisten übergeben: einem Masked Autoencoder, der von einem Vision Transformer angetrieben wird. Stellen Sie sich dieses Modell wie einen superintelligenten Schüler vor, der gelernt hat zu lesen, indem er das Spiel „Lückentext“ spielt.

So funktioniert das Spiel: Der Computer nimmt eine Textzeile, deckt zufällige Teile davon ab (so als würde man ein paar Wörter mit einem Klebezettel überkleben) und versucht dann, basierend auf den umgebenden Hinweisen zu erraten, was sich darunter befindet. Durch das Üben dieses Spiels Millionen Male an verschiedenen Arten von Schrift stellt das Modell sicher, dass es nicht nur moderne Buchstaben erkennt, sondern auch jene seltsamen mittelalterlichen Symbole, Ligaturen (wie „æ“) und Tilden (~), die auf fehlende Buchstaben hindeuten.

Der große Test: Handschrift vs. Druck

Das Team hat dieses System nicht nur gebaut, sondern es auch drei verschiedenen „Trainingslagern“ (Datensätzen) unterzogen:

1. Rodrigo (Handschrift): Eine Sammlung von 853 Seiten alter spanischer Handschrift aus dem Jahr 1545.
2. Bentham (Handschrift): Berühmte Briefe des Philosophen Jeremy Bentham, die für ihre vielfältigen, unordentlichen Handschriften bekannt sind.
3. Molino (Druck): Ein brandneuer Datensatz, den das Team selbst erstellt hat; er umfasst 143 Seiten gedruckter Rechtstexte aus den 1500er und 1600er Jahren, voll von lateinischen Abkürzungen.

Die Ergebnisse: Wie gut war es?

Die Arbeit zeigt, dass dieser Ansatz überraschend effektiv ist, insbesondere im Vergleich zu anderen Werkzeugen.

• Für die Handschrift von Rodrigo: Das Modell erreichte eine Zeichenfehlerrate (CER) von 1,30 % und eine Wortfehlerrate (WER) von 6,97 %, als es mit einer Batch-Größe von 128 getestet wurde. Das bedeutet, es hat fast jeden einzelnen Buchstaben richtig erkannt! Dies ist besser als einige andere hochtechnologische Modelle, die zusätzliche, komplizierte Schritte nutzen, um Fehler zu korrigieren.
• Für die Handschrift von Bentham: Es erreichte eine CER von 4,46 % und eine WER von 7,68 %. Obwohl dies etwas höher ist als die Ergebnisse von Rodrigo, merken die Autoren an, dass dies ohne den Einsatz von ausgeklügelten Post-Processing-Tricks oder externen Sprachleitfäden geschah, was eine große Sache in Bezug auf die Effizienz ist.
• Für den gedruckten Text von Molino: Dies war der wahre Glanzpunkt. Das Team testete sein System auf 10 Seiten des Molino-Datensatzes und verglich es mit zwei anderen Methoden: einem populären Open-Source-Tool namens Pero-OCR und einer Transkription der Biblioteca Virtual del Patrimonio Bibliográfico (BVPB) (die kommerzielle Software verwendete).
  • Die BVPB-Transkription hatte eine CER von 0,3379 und eine WER von 0,6835.
  • Pero-OCR hatte eine CER von 0,0242 und eine WER von 0,2106.
  • FP-THD kam mit den niedrigsten Fehlern an: eine CER von 0,0178 und eine WER von 0,0450.

In einfachem Deutsch ausgedrückt: Das neue System machte weniger Fehler als die kommerzielle Software und das andere Open-Source-Tool; es reduzierte die Fehler auf Wortebene um fast 80 % im Vergleich zu Pero-OCR und um über 90 % im Vergleich zur BVPB-Transkription. Es bewahrte zudem jene kritischen mittelalterlichen Tilden und Abkürzungen besser auf.

Was es (noch) nicht kann

Die Autoren sind ehrlich bezüglich der Grenzen ihrer Magie. Das System ist großartig darin, den Haupttext in der Mitte der Seite zu lesen, aber es hat manchmal Schwierigkeiten mit:

• Marginalien: Diese kleinen Kritzeleien am Rand der Seite werden manchmal übersehen oder falsch transkribiert.
• Einzelnen Wörtern: Wenn eine Zeile nur ein einziges Wort enthält, gerät das Modell manchmal in Verwirrung, da es hauptsächlich auf langen Zeilen trainiert wurde.

Das Fazrazit

Diese Arbeit behauptet nicht, das Problem des Lesens der Geschichte für immer gelöst zu haben. Stattdessen legt sie nahe, dass wir durch die Kombination eines Layout-Detektivs mit einem „Lückentext“-Leser ein Werkzeug schaffen können, das hochpräzise, kostenlos nutzbar und respektvoll gegenüber dem Originalstil historischer Dokumente ist. Es beweist, dass man altes Latein nicht in modernes Textformat umwandeln muss, um es zu verstehen; man kann den alten Stil beibehalten, und der Computer kann ihn dennoch lesen.

Das Team plant, dies weiter zu verbessern, indem sie mehr isolierte Wörter in ihre Trainingsdaten aufnehmen und schließlich dieses System nutzen, um Abkürzungen automatisch zu erweitern und Latein ins Spanische zu übersetzen. Aber für den Moment haben sie gezeigt, dass selbst die unordentlichsten mittelalterlichen Seiten mit der richtigen Pipeline in sauberen, digitalen Text verwandelt werden können, ohne ihre Seele zu verlieren.