TRIDIS: A Comprehensive Medieval and Early Modern Corpus for Handwritten Text Recognition and Named Entity Recognition
Dieses Paper stellt TRIDIS vor, ein offenes, harmonisiertes Korpus mittelalterlicher und frühneuzeitlicher handschriftlicher Dokumente, das zur Unterstützung von Handschrifterkennung (Handwritten Text Recognition) und Eigennamenerkennung (Named Entity Recognition) entwickelt wurde, während es gleichzeitig eine innovative, auf Ausreißern basierende Evaluierungsstrategie vorschlägt, um die Einschränkungen konventioneller Zufallsaufteilungen beim Benchmarking von Kulturerbedokumenten zu adressieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine riesige, staubige Bibliothek voller tausender handgeschriebener Briefe, juristischer Verträge und königlicher Dekrete aus dem Mittelalter und der Renaissance. Diese Dokumente sind in verschiedenen Sprachen (wie Latein, Französisch und Deutsch) verfasst, wurden von verschiedenen Schreibern mit sehr unterschiedlichen Handschriften geschrieben und sind teilweise sogar verschmutzt oder zerrissen.
TRIDIS ist der Name einer neuen, super organisierten digitalen Sammlung dieser Dokumente. Denken Sie an ein „Trainingsgymnasium für universelle Übersetzer“ für Computer. Das Ziel ist es, Computern beizubringen, diese alten, unordentlichen handschriftlichen Notizen präzise zu lesen.
Hier ist eine Aufschlüsselung dessen, was die Arbeit macht, unter Verwendung einfacher Analogien:
1. Das Problem: Der „Zu einfache“ Test
Lange Zeit hatten Forscher, die versuchten, Computer das Lesen alter Handschriften beizubringen, ein Problem. Sie trainierten den Computer an einer Reihe von Dokumenten und testeten ihn dann an ein paar anderen, die zufällig ausgewählt wurden.
Die Analogie: Stellen Sie sich vor, ein Schüler bereitet sich auf eine Mathearbeit vor. Er übt an einfachen Aufgaben aus Kapitel 1. Wenn der Lehrer eine Testfrage zufällig aus Kapitel 1 auswählt, bekommt der Schüler eine Eins. Aber im echten Leben könnte die Testfrage eine knifflige Aufgabe aus Kapitel 5 sein, die ganz anders aussieht als das, was er geübt hat. Der Zufallstest vermittelte ein falsches Gefühl der Sicherheit.
In der Welt der alten Manuskripte bedeutet dies, dass Computer oft schlauer wirken, als sie eigentlich sind, weil sie lediglich die spezifischen Handschriften auswendig lernen, die sie während des Trainings gesehen haben, anstatt zu lernen, wie man mit jeder beliebigen Handschrift umgeht.
2. Die Lösung: Die „Ausreißer“-Herausforderung
Der Autor, Sergio Torres Aguilar, hat TRIDIS geschaffen, um dies zu beheben. Aber die wahre Innovation ist nicht nur die Sammlung der Dokumente; es ist die Art und Weise, wie sie die Computer testen.
Anstatt Testfragen zufällig auszuwählen, verwenden sie eine Strategie namens „Outlier-Based Splitting“ (Ausreißer-basierte Aufteilung).
Die Analogie: Stellen Sie sich vor, Sie trainieren einen Hund beim Apportieren.
- Zufallstest: Sie werfen einen Ball im Garten. Der Hund fängt ihn.
- Ausreißer-Test: Sie werfen eine Frisbee, einen Stock, ein Quietschespielzeug und einen schlammigen Stein. Sie werfen sie auch im Regen, in der Dunkelheit und aus einem seltsamen Winkel.
Die „Ausreißer“-Strategie sucht nach allen handschriftlichen Zeilen und findet diejenigen, die am seltsamsten, beschädigt oder ungewöhnlich sind. Dies könnten Zeilen mit:
- Sehr seltsamen Handschriften sein.
- Wörtern, die kaum sichtbar sind (verblasste Tinte).
- Zeilen, die unglaublich lang sind oder ein seltsames Layout haben.
- Namen oder Wörtern, die sehr selten sind.
Diese „seltsamen“ Zeilen werden beiseite gelegt, um den Testdatensatz zu bilden. Der Computer wird mit dem „normalen“ Stoff trainiert, aber er wird nur daran gemessen, wie gut er mit dem „seltsamen“ Stoff umgeht. Dies liefert eine viel ehrlichere Bewertung dessen, wie klug der Computer wirklich ist.
3. Was ist in der Box? (Der Korpus)
TRIDIS ist ein riesiger Werkzeugkasten, der fast 200.000 Textzeilen aus verschiedenen historischen Sammlungen enthält.
- Zeitreise: Es deckt Dokumente aus den 1100er Jahren bis hin zu den 1700er Jahren ab.
- Sprachen: Es umfasst Latein, Altes Französisch, Mittelhochdeutsch und Spanisch.
- Stile: Es enthält verschiedene Arten von Handschriften, von ordentlichen, blockartigen Buchstaben bis hin zu unordentlicher, fließender Kursivschrift.
- Bereinigung: Der Text wurde von menschlichen Editoren „aufgeräumt“. Sie haben Abkürzungen erweitert (wie das Umwandeln von „dms“ in „dominus“) und die Interpunktion korrigiert, damit Computer die Bedeutung besser verstehen können.
4. Die Ergebnisse: Die Lücke zwischen „Gut“ und „Großartig“
Der Autor testete zwei populäre Computermodelle (TrOCR und MiniCPM) mit dieser neuen Methode.
- Der Zufallstest: Wenn sie auf zufälligen Zeilen getestet wurden, schnitten die Computer recht gut ab (ca. 9 % Fehlerrate). Das ist so, als würde der Schüler eine Eins in der einfachen Kapitel-1-Arbeit bekommen.
- Der Ausreißer-Test: Wenn sie auf den „seltsamen“ Zeilen getestet wurden, sprang die Fehlerrate signifikant an (bis zu 12–13 %).
Das Fazit: Diese Lücke beweist, dass aktuelle Computer nicht so robust sind, wie wir dachten. Sie haben Schwierigkeiten, wenn sie auf die unordentliche, unvorhersehbare Realität historischer Dokumente stoßen. Durch die Verwendung dieses „Ausreißer“-Tests können Forscher nun genau sehen, wo die Computer scheitern, und wissen, was sie als Nächstes lernen müssen.
Zusammenfassung
TRIDIS ist eine massive, offene Bibliothek alter handschriftlicher Dokumente, die darauf ausgelegt ist, Computern das Lesen der Geschichte beizubringen. Sein wichtigstes Merkament ist eine neue Art des Testens: Anstatt den Computern ein einfaches, zufälliges Quiz zu geben, setzt man ihnen die schwierigsten, ungewöhnlichsten Beispiele entgegen. Dies stellt sicher, dass, wenn wir sagen, ein Computer könne alte Manuskripte lesen, er tatsächlich mit der unordentlichen, echten Welt der Geschichte umgehen kann und nicht nur mit den perfekten Beispielen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.