Which papyrus HTR is good enough? Character-error-rate tolerance of four papyrological tasks on Greek texts
Diese Studie legt spezifische Schwellenwerte für die Zeichenfehlerrate für vier papyrologische Aufgaben bei griechischen Texten fest und zeigt auf, dass die Genauigkeitsanforderungen je nach Aufgabe variieren (zwischen 3 % und 20 %), während das erneute Trainieren von Modellen mit verrauschten Daten den Leistungsabfall signifikant abmildert und unvollkommene HTR-Systeme praktisch nutzbar macht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die antike mediterrane Welt hat eine riesige, stille Bibliothek aus Papyrusfragmenten hinterlassen, die in über einer Million Stücken in Museen und Sammlungen verstreut liegen. Die meisten dieser Bruchstücke wurden noch nie gelesen. Sie sind in einer fließenden, kursiven Handschrift ohne Wortzwischenräume geschrieben und oft durch die Zeit beschädigt sowie voller Abkürzungen, die nur ein geschulter Experte entziffern kann. Seit mehr als einem Jahrhundert transkribieren Gelehrte diese Dokumente mühsam von Hand – ein Prozess, der für einen einzelnen Text Tage oder Wochen dauern kann. Da so vieles ungelesen bleibt, ist der Großteil dieser historischen Aufzeichnungen für moderne digitale Werkzeuge unsichtbar. Ein Forscher kann nicht einfach eine Datenbank nach einem bestimmten Namen oder einer Phrase durchsuchen, um ein neues Dokument zu finden, da der Text noch nicht in einer maschinenlesbaren Form vorliegt.
Um dies zu ändern, haben Forscher sich einer Technologie namens Handschrifterkennung zugewandt, einer Form der künstlichen Intelligenz, die in der Lage ist, ein Bild antiker Schrift zu betrachten und sie in digitale Buchstaben umzuwandeln. Diese Systeme sind jedoch nicht perfekt. Sie machen Fehler, lesen einen Buchstaben falsch oder überspringen ein Wort. Jahrelang konzentrierte sich das Feld darauf, diese Systeme präziser zu machen, indem berichtet wurde, wie oft sie einen Buchstaben richtig oder falsch lesen. Doch eine entscheidende Frage blieb unbeantwortet: Wie genau muss das System tatsächlich sein, um nützlich zu sein? Ein Gelehrter benötigt vielleicht keine perfekte Transkription, um zu wissen, ob ein Dokument ein Rechtsvertrag oder ein Gedicht ist, aber er benötigt eine nahezu perfekte Genauigkeit, um genau zu bestimmen, wann es geschrieben wurde. Ohne die Antwort auf diese Frage ist es unmöglich zu wissen, ob die aktuelle Technologie bereit ist, den Großteil der ungelesenen Papyri zu erschließen.
Ein Team von Forschern setzte sich zum Ziel, die Antwort zu finden, indem sie testete, wie sich unterschiedliche Fehlerraten auf vier spezifische Aufgaben auswirken, die Papyrologen jeden Tag ausführen. Sie warteten nicht auf das Erscheinen einer perfekten Maschine; stattdessen begannen sie mit tausenden bereits edierten Texten und führten absichtlich Fehler ein, um zu simulieren, was eine fehlerhafte Maschine produzieren könnte. Sie nahmen diese unvollkommenen Versionen und leiteten sie durch Computermodelle, die darauf ausgelegt waren, den Dokumententyp zu identifizieren, sein Alter zu schätzen, zwischen offiziellen Aufzeichnungen und literarischen Werken zu unterscheiden und nach spezifischen Wörtern zu suchen. Durch die systematische Erhöhung der Anzahl der Fehler von null bis hin zu einer Hälfte des fehlerhaften Textes maßen sie genau, wann jede Aufgabe zu scheitern begann.
Die Ergebnisse zeigten, dass die Fehlertoleranz vollständig davon abhängt, was der Gelehrte erreichen möchte. Einige Aufgaben sind überraschend robust. So ist es für einen Computer beispielsweise einfach, den Unterschied zwischen einem bürokratischen Dokument und einem literarischen Werk festzustellen, selbst wenn der Text recht unordentlich ist. Die Modelle konnten das Genre selbst dann noch mit hoher Genauigkeit korrekt identifizieren, wenn der Text zwanzig Prozent Fehler enthielt. Dies liegt daran, dass sich der allgemeine Stil und der Wortschatz juristischer Dokumente so stark von der Poesie unterscheiden, dass der Computer das Muster trotz des Rauschens erkennen kann. Ähnlich bleibt die Suche nach langen Phrasen oder spezifischen Formeln auch bei erheblichen Beschädigungen zuverlässig, vorausgesetzt, die Suchbegriffe sind lang genug.
Andere Aufgaben sind jedoch viel fragiler. Die Bestimmung des exakten Datums eines Dokuments erwies sich als die am empfindlichsten gegenüber Fehlern. Die Modelle konnten ihre Genauigkeit nur aufrechterhalten, wenn die Fehlerrate sehr niedrig gehalten wurde, etwa bei drei Prozent. Sobald die Fehler diesen kleinen Schwellenwert überschritten, brach die Fähigkeit zusammen, das Jahrhundert oder gar das Jahrzehnt des Textes präzise zu bestimmen. Dies deutet darauf an, dass für die Datierung die Qualität der Transkription von entscheidender Bedeutung ist und die aktuellen Systeme sich noch signifikant verbessern müssen, bevor sie für diese spezifische Aufgabe vertrauenswürdig eingesetzt werden können. Auch die Identifizierung der spezifischen Unterart eines Dokuments, etwa die Unterscheidung zwischen einem Beleg und einer Petition, erforderte einen höheren Standard an Genauigkeit, wobei die Leistung spürbar sank, sobald die Fehler fünf Prozent erreichten.
Eine entscheidende Entdeckung der Studie war, dass die Art und Weise, wie die Modelle trainiert werden, alles verändert. Wenn die Forscher ihre Computer auf sauberen, perfekten Texten trainierten und sie dann auf unordentlichen, fehlerhaften Texten testeten, sank die Leistung mit zunehmenden Fehlern drastisch. Wenn sie die Modelle jedoch mit Texten neu trainierten, die bereits die gleichen Arten von Fehlern enthielten, die sie erwarteten zu sehen, wurden die Systeme viel belastbarer. Der starke Leistungsabfall, der normalerweise auftritt, wenn Fehler fünfzehn Prozent überschreiten, verschwand weitgehend. Mit anderen Worten: Ein Computer, der gelernt hat, unordentliche Texte zu lesen, ist viel besser darin, unordentliche Texte zu lesen, als einer, der bisher nur perfekte Beispiele gesehen hat. Das bedeutet, dass Gelehrte diese Werkzeuge auch mit der heute verfügbaren, unvollkommenen Technologie effektiv nutzen können, wenn sie sie mit realistischen, verrauschten Daten trainieren, anstatt auf eine makellose Maschine zu warten.
Die Studie hob auch hervor, dass die Größe des Fragments eine Rolle spielt. Ein Computer kann die Art eines langen Dokuments oft auch dann noch korrekt erraten, wenn es viele Fehler enthält, da er genügend Kontext hat, um das große Ganze zu sehen. Aber bei sehr kurzen Fragmenten können selbst wenige Fehler die Analyse ruinieren. Darüber hinaus fanden die Forscher heraus, dass das Fehlen einer ganzen Textzeile weniger schädlich ist als das falsche Lesen einzelner Buchstaben. Eine Lücke im Text ist eine bekannte Leerstelle, während eine Folge falscher Buchstaben den Computer austricksen kann, Muster zu sehen, die gar nicht existieren.
Letztendlich liefert die Forschung eine klare Zielsetzung für die Zukunft der digitalen Papyrologie. Sie zeigt, dass wir keine perfekte Transkriptionssoftware benötigen, um damit zu beginnen, die ungelesenen Papyri zu erschließen. Für viele Aufgaben, wie das Sortieren von Dokumenten nach Typ oder die Suche nach breiten Themen, ist die aktuelle Technologie bereits „gut genug“, insbesondere wenn die Werkzeuge darauf trainiert sind, mit den unvermeidlichen Fehlern umzugehen. Für sensiblere Aufgaben wie die Datierung liegt die Messlatte höher, und die Technologie muss sich verbessern. Der Weg nach vorn besteht nicht darin, auf Perfektion zu warten, sondern Systeme zu bauen, die robust genug sind, um mit der unvollkommenen Realität antiker, beschädigter Schrift umzugehen. Durch das Verständnis dessen, wie viel Fehler eine Aufgabe verträgt, können Gelehrte diese Werkzeuge nun auf die riesigen, ungelesenen Sammlungen der Welt anwenden und so unsichtbare Fragmente in durchsuchbare Geschichte verwandeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.