Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts

Das geschriebene Wort ist eine zerbrechliche Sache. Papier vergilbt, Tinte verblasst und die physischen Seiten der Geschichte zerbröckeln langsam. Um diese Aufzeichnungen zu bewahren, haben Bibliotheken und Archive Jahrzehnte damit verbracht, Bücher zu scannen und die Bilder ihrer Seiten in digitalen Text umzuwandeln, den Computer lesen und durchsuchen können. Dieser Prozess, bekannt als optische Zeichenerkennung (Optical Character Recognition), funktioniert bemerkenswert gut bei modernen Büchern, bei denen die Schriftarten einheitlich und das Papier sauber sind. Die Aufgabe wird jedoch weitaus schwieriger, wenn das Quellmaterial aus einer Zeit vor der Standardisierung stammt, wie etwa japanische Bücher, die zwischen dem späten 19. und frühen 20. Jahrhundert veröffentlicht wurden. Diese Texte zeichnen sich durch eine chaotische Vielfalt an Schriftarten, abgenutztem Druck und Zeichen aus, die einander verblüffend ähnlich sehen. Wenn ein Computer versucht, sie zu lesen, verwechselt er oft ein Zeichen mit einem anderen, wodurch ein digitaler Text entsteht, der auf den ersten Blick korrekt aussieht, aber voller subtiler, stiller Fehler ist, die den Inhalt für ernsthafte Forschung unbrauchbar machen.

Ein Team von Forschern aus den Universitäten in Nara, Kyoto und Shiga hat einen neuen Weg entwickelt, um diese spezifischen Fehler zu beheben. Sie haben ein System entwickelt, das wie ein zweistufiger Editor für diese beschädigten digitalen Texte fungiert. Zuerst scannt das System den Text, um zu finden, wo die Fehler verborgen liegen. Anstatt sich auf eine einzige Methode zu verlassen, haben sie zwei verschiedene Ansätze kombiniert: einen, der prüft, ob ein Wort in einer bekannten Liste existiert, und einen anderen, der ein Computermodell nutzt, das darauf trainiert wurde, den Fluss und den Kontext eines Satzes zu verstehen. Indem sie diese beiden Methoden zusammenarbeiten lassen, kann das System Fehler finden, die eine Methode vielleicht übersehen hätte, während es Fehlalarme ignoriert, die die andere Methode auslösen könnte. Soblich ein Fehler gefunden wurde, schlägt das System das korrekte Zeichen vor, um es zu ersetzen, indem es ein leistungsfähiges Sprachmodell verwendet, um das wahrscheinlichste Wort basierend auf dem umgebenden Text zu erraten. Ihre Experimente zeigten, dass dieser kombinierte Ansatz Fehler genauer findet als bisherige Methoden und einen signifikanten Teil von ihnen erfolgreich korrigiert, was die digitalisierte Geschichte des frühen modernen Japans für Wissenschaftler und die Öffentlichkeit wesentlich zuverlässiger macht.

Die Herausforderung beim Lesen dieser alten Bücher liegt nicht nur im Alter des Papiers, sondern in der Natur des Drucks selbst. Im Gegensatz zu heutigen Büchern, die konsistente Schriftarten verwenden, wurden Publikationen aus der Meiji- bis zur frühen Showa-Ära mit einer großen Vielfalt an Schriftarten gedruckt, die sich von Verleger zu Verleger und sogar von Jahr zu Jahr änderten. Der Druckprozess jener Zeit führte oft zu verschwommenen oder ungleichmäßigen Zeichen. Wenn moderne Software zur optischen Zeichenerkennung, die auf sauberem, standardisiertem Text trainiert ist, versucht, diese Seiten zu lesen, verwechselt sie häufig Zeichen, die sich ähnlich sehen. Beispielsweise kann ein Zeichen mit einem leicht zusätzlichen Strich als ein völlig anderes Wort gelesen werden. Obwohl spezialisierte Software entwickelt wurde, um diese alten Schriftarten zu handhaben, macht sie dennoch Fehler bei etwa drei Prozent der Zeichen. In einem langen Satz bedeutet dies, dass fast die Hälfte aller Sätze mindestens einen Fehler enthält, was zu viele sind, um sie von einem Computer durchsuchen zu lassen oder um sie einem Forscher ohne Überprüfung anzuvertrauen.

Um dies zu lösen, bauten die Forscher ein System, das in zwei deutlichen Phasen arbeitet: Erkennung und Korrektur. Die erste Phase ist die kritischste, da das System genau identifizieren muss, welche Zeichen falsch sind, ohne die korrekten Zeichen als Fehler zu markieren. Das Team stellte fest, dass die Verwendung nur eines Werkzeugs zur Suche dieser Fehler nicht ausreichte. Eine einfache Wörterbuchprüfung, die nachsieht, ob ein Wort in einer Liste bekannter Wörter enthalten ist, ist sehr gut darin, Unfug zu entdecken, scheitert aber oft, wenn sie auf ein seltenes oder unbekanntes Wort stößt, das tatsächlich korrekt ist. Andererseits ist ein Computermodell, das aus dem Kontext eines Satzes lernt, sehr gut darin, zu verstehen, wie Wörter zusammenpassen, kann aber manchmal durch seltene Namen oder spezifische Begriffe verwirrt werden, die es nicht oft gesehen hat.

Die Forscher entschieden sich, diese beiden Stärken in einer einzigen Ensemble-Methode zu kombinieren. Sie nahmen die Ausgabe eines Wörterbuch-basierten Prüfers und die Ausgabe eines kontextsensitiven Computermodells und ließen sie zusammenarbeiten. Wenn das Wörterbuch sagt, dass ein Wort fehlt, prüft das System, ob das Kontextmodell ebenfalls denkt, dass es falsch ist. Wenn beide zustimmen, markiert das System es als Fehler. Wenn nur eines davon denkt, dass es falsch ist, nimmt das System an, dass es sich um ein seltenes, aber korrektes Wort handelt, und lässt es unverändert. Diese Strategie reduzierte die Anzahl der Fälle, in denen das System ein korrektes Wort fälschlicherweise als Fehler beschuldigte, erheblich. In ihren Tests identifizierte dieser kombinierte Ansatz Fehler etwa 75 Prozent der Zeit, während er die Anzahl der Fehlalarme viel niedriger hielt, als es eine der beiden Methoden allein erreichen könnte.

Sob sobald das System die Fehler lokalisiert hat, geht es zum zweiten Schritt über: dem Korrigieren. Die Forscher ersetzten das vermutete falsche Zeichen durch ein Leerzeichen, oder eine „Maske“, und baten ein hochentwickeltes Sprachmodell vorherzusagen, welches das ursprüngliche Zeichen gewesen sein sollte. Dieses Modell, das auf riesigen Mengen von Texten aus derselben Ära trainiert wurde, betrachtet die Wörter vor und nach der Maske, um den wahrscheinlichsten Kandidaten zu erraten. Um sicherzustellen, dass die Vermutung gut passte, prüfte das System auch, wie ähnlich das neue Zeichen dem alten, falschen war, da OCR-Fehler meist zwischen Zeichen auftreten, die einander ähneln. Das System bewertete dann seine besten Vermutungen und wählte die beste aus.

Die Ergebnisse dieser neuen Methode waren vielversprechend. Als die Forscher ihr System an tausenden Sätzen aus digitalisierten Büchern testeten, fanden sie heraus, dass es etwa 65 Prozent der Fehler korrigierte, die es erfolgreich erkannt hatte. Dies war eine merkliche Verbesserung gegenüber der alleinigen Verwendung des Kontextmodells, das etwa 58 Prozent der Fehler korrigierte. Das System war besonders effektiv, wenn es die exakte Position des Fehlers ohne Verwirrung gefunden hatte; in diesen Fällen sprang die Erfolgsrate der Korrektur auf über 90 Prozent. Die Forscher stellten jedoch auch einen Kompromiss fest. Indem sie sehr vorsichtig waren, um Fehlalarme zu vermeiden, übersah das System manchmal einige Fehler gänzlich, was bedeutete, dass es nicht jeden einzelnen Fehler im Text erfasste. Sie fanden heraus, dass das System am meisten mit sehr seltenen Wörtern oder Eigennamen zu kämpfen hatte, die nicht in den Trainingsdaten vorkamen, da weder das Wörterbuch noch das Kontextmodell genügend Informationen hatten, um sich darüber sicher zu sein.

Trotz dieser Einschränkungen zeigt die Studie, dass die Kombination verschiedener Arten von Prüfungen eine leistungsstarke Methode ist, um historische Texte zu bereinigen. Die Forscher zeigten, dass sie durch das Zusammenführen eines Wörterbuchs und eines kontextsensitiven Modells, die sich gegenseitig kontrollieren, ein zuverlässigeres Werkzeug für Historiker und Bibliothekare schaffen konnten. Diese Arbeit beansprucht nicht, das Problem des Lesens alter japanischer Bücher vollständig gelöst zu haben, aber sie stellt einen bedeutenden Schritt nach vorn dar, um die digitalen Versionen dieser Texte präzise genug zu machen, um nützlich zu sein. Da immer mehr Bücher digitalisiert werden, werden Methoden wie diese unerlässlich sein, um sicherzustellen, dass das digitale Archiv ein getreues Abbild des Originals ist und die wahre Stimme der Vergangenheit für kommende Generationen bewahrt.