Pre-Editorial Normalization for Automatically Transcribed Medieval Manuscripts in Old French and Latin
Diese Arbeit stellt die neue Aufgabe der präeditorischen Normalisierung (PEN) vor, die durch die Einführung eines umfassenden Datensatzes und eines darauf trainierten ByT5-Modells eine Brücke zwischen paläographisch treuen OCR-Ausgaben und für NLP-Anwendungen nutzbaren normalisierten Texten für mittelalterliche Handschriften in Altfranzösisch und Latein schlägt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen riesigen Schatzkeller voller alter mittelalterlicher Manuskripte aus dem 12. und 13. Jahrhundert. Die Texte sind auf Latein und Altfranzösisch geschrieben. Das Problem: Die Schrift ist schwer zu lesen, die Wörter sind abgekürzt, die Buchstaben sehen anders aus als heute, und es gibt keine modernen Satzzeichen.
Um diese Schätze zu retten, nutzen Wissenschaftler heute Computer, die wie super-schnelle Roboter-Gelehrte funktionieren. Diese Roboter können die Bilder der Handschriften in Text umwandeln. Das nennt man Automatische Texterkennung (ATR).
Aber hier kommt das große Dilemma ins Spiel, das die Autoren dieses Papers lösen wollen:
Das Problem: Der "Zwei-Welten-Konflikt"
Stellen Sie sich vor, diese Roboter-Gelehrten haben zwei verschiedene Arbeitsweisen, die beide nicht ganz perfekt sind:
Der "Fotograf" (Graphemischer Ansatz):
Dieser Roboter ist extrem genau. Er kopiert das Bild Wort für Wort, genau so, wie es auf dem Pergament steht. Er behält alle seltsamen Abkürzungen bei, er schreibt "u" statt "v" und "i" statt "j", genau wie der Schreiber damals.- Das Problem: Für einen modernen Menschen (oder eine moderne Software) ist das Ergebnis unlesbar und nutzlos. Es ist wie ein Foto von einer verschlüsselten Nachricht. Man sieht die Buchstaben, versteht aber nichts. Computer-Tools für die Sprachanalyse stolpern über diese "rohen" Daten.
Der "Übersetzer" (Normalisierter Ansatz):
Dieser Roboter versucht, das alte Latein sofort in modernes, sauberes Deutsch (bzw. modernes Französisch/Latein) zu übersetzen. Er löst alle Abkürzungen auf, setzt Satzzeichen und schreibt alles in der heutigen Rechtschreibung.- Das Problem: Dieser Roboter ist zu selbstbewusst. Er "halluziniert" oft. Er erfindet Wörter, die nicht da waren, oder er ändert die Bedeutung, weil er denkt, er wüsste es besser. Wenn er einen Fehler macht, kann man nicht mehr unterscheiden: War das ein Fehler beim Lesen des Bildes oder ein Fehler beim "Übersetzen"?
Die Lösung: Der "Vorbereiter" (Pre-Editorial Normalization)
Die Autoren schlagen einen dritten Weg vor, den sie Pre-Editorial Normalization (PEN) nennen. Man kann sich das wie einen professionellen Koch-Assistenten vorstellen.
- Der Koch-Assistent (PEN):
Der Assistent nimmt die "rohe" Kopie des Fotografen (die genauen Buchstaben, aber mit Abkürzungen). Seine Aufgabe ist es nicht, das ganze Gericht neu zu erfinden, sondern es zubereitbar zu machen.- Er macht die Abkürzungen lesbar (z. B. aus "qͥ" wird "qui").
- Er trennt die Wörter, die zusammengeschrieben sind.
- Er korrigiert offensichtliche Lesefehler des Computers (z. B. wenn der Computer "rn" statt "m" gelesen hat).
- Aber: Er verändert den Stil nicht. Er behält die alten Schreibweisen bei, wenn sie historisch wichtig sind. Er fügt keine modernen Satzzeichen hinzu, die nicht da waren.
Warum ist das genial?
Stellen Sie sich vor, Sie bauen ein Haus.
- Der Fotograf liefert den rohen Steinbruch.
- Der Übersetzer versucht, das fertige Haus direkt aus dem Steinbruch zu bauen, aber er vergisst, wo die Fenster hinkommen, und mauert Wände in die Luft.
- Der Koch-Assistent (PEN) nimmt den Stein, schneidet ihn zu, glättet die Kanten und macht ihn bereit für den Bau. Er hinterlässt aber noch Spuren, damit man später genau sieht, woher der Stein kam.
Was haben die Forscher konkret gemacht?
- Ein riesiges Trainingsbuch: Sie haben 4,6 Millionen Paare von Texten erstellt. Auf der einen Seite die "rohe" Computer-Abschrift, auf der anderen Seite eine korrekte, moderne Ausgabe. Damit haben sie den Roboter-Gelehrten trainiert, wie ein Schüler, der eine Lösung neben die Aufgabe schreibt.
- Der Gold-Standard: Sie haben ein kleines, perfektes Testset erstellt, das von echten Menschen (Philologen) geprüft wurde, um zu sehen, ob der Roboter wirklich gut lernt.
- Das Ergebnis: Ihr neuer Roboter (basierend auf einem Modell namens ByT5) ist viel besser als alle vorherigen. Er macht deutlich weniger Fehler (nur noch 6,7 % Fehlerquote) und halluziniert viel weniger.
Warum ist das wichtig für die Zukunft?
Stellen Sie sich vor, Sie wollen mit einem Computer analysieren, wie sich die Sprache im Mittelalter verändert hat.
- Wenn Sie die "rohen" Texte nehmen, versteht der Computer nichts.
- Wenn Sie die "übersetzten" Texte nehmen, ist der Computer verwirrt, weil der Übersetzer zu viel erfunden hat.
- Mit dem PEN-Ansatz bekommen Sie einen Text, den der Computer versteht, aber der immer noch die wahre Geschichte des Originals erzählt.
Zusammenfassend:
Die Autoren haben eine neue Methode erfunden, die die Lücke zwischen "genauem Abbild des Originals" und "lesbarem modernen Text" schließt. Sie schaffen eine Zwischenstufe, die Computer nutzen können, ohne die historische Wahrheit zu verfälschen. Es ist wie ein Dolmetscher, der nicht nur übersetzt, sondern auch sicherstellt, dass der ursprüngliche Akzent und die Nuancen des Redners erhalten bleiben, damit wir die Vergangenheit wirklich verstehen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.