Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts

Het geschreven woord is een fragiel ding. Papier vergeelt, inkt vervaagt en de fysieke pagina's van de geschiedenis verbrokkelen langzaam. Om deze verslagen te bewaren, hebben bibliotheken en archieven decennia besteed aan het scannen van boeken en het omzetten van de afbeeldingen van hun pagina's naar digitale tekst die computers kunnen lezen en doorzoeken. Dit proces, bekend als optische tekenherkenning (OCR), werkt opmerkelijk goed voor moderne boeken waar de lettertypen uniform zijn en het papier schoon is. De taak wordt echter veel moeilijker wanneer het bronmateriaal afkomstig is uit een tijd vóór standaardisatie, zoals Japanse boeken die werden gepubliceerd tussen de late 19e en de vroege 20e eeuw. Deze teksten kenmerken zich door een chaotische variëteit aan lettertypen, versleten drukwerk en karakters die opvallend veel op elkaar lijken. Wanneer een computer probeert deze te lezen, verwart hij vaak het ene karakter met het andere, wat resulteert in een digitale tekst die op het eerste gezicht correct lijkt, maar vol subtiele, stille fouten zit die de inhoud onbruikbaar maken voor serieus onderzoek.

Een team van onderzoekers van universiteiten uit Nara, Kyoto en Shiga heeft een nieuwe manier ontwikkeld om deze specifieke fouten te herstellen. Ze creëerden een systeem dat fungeert als een twee-staps editor voor deze beschadigde digitale teksten. Eerst scant het systeem de tekst om te vinden waar de fouten zich verbergen. In plaats van te vertrouwen op één enkele methode om dit te doen, hebben ze twee verschillende benaderingen gecombineerd: één die controleert of een woord voorkomt in een bekende lijst, en een andere die een computermodel gebruikt dat getraind is om de flow en context van een zin te begrijpen. Door deze twee methoden samen te laten werken, kan het systeem fouten ontdekken die de ene methode zou missen, terwijl het valse alarmen negeert die de andere methode zou kunnen geven. Zodra een fout is gevonden, stelt het systeem het juiste karakter voor om het te vervangen, waarbij een krachtig taalmodel wordt gebruikt om het meest waarschijnlijke woord te raden op basis van de omliggende tekst. Hun experimenten toonden aan dat deze gecombineerde aanpak fouten nauwkeuriger vindt dan eerdere methoden en een aanzienlijk deel van deze fouten succesvol corrigeert, waardoor de gedigitaliseerde geschiedenis van het vroegmoderne Japan veel betrouwbaarder wordt voor wetenschappers en het publiek.

De uitdaging bij het lezen van deze oude boeken ligt niet alleen in de ouderdom van het papier, maar in de aard van de druk zelf. In tegenstelling tot de boeken van tegenwoordig, die een consistent lettertype gebruiken, werden publicaties uit het Meiji- tot het vroege Showa-tijdperk gedrukt met een grote variëteit aan lettertypen die per uitgever en zelfs per jaar verschilden. Het drukproces van die tijd resulteerde vaak in wazige of ongelijkmatige karakters. Wanneer moderne software voor optische tekenherkenning, die getraind is op schone, standaardtekst, deze pagina's probeert te lezen, verwart het regelmatig karakters die op elkaar lijken. Bijvoorbeeld, een karakter met een kleine extra streep kan worden gelezen als een volledig ander woord. Hoewel er gespecialiseerde software is gebouwd om deze oude lettertypen te verwerken, maakt deze nog steeds fouten bij ongeveer drie procent van de karakters. In een lange zin betekent dit dat bijna de helft van alle zinnen minstens één fout bevat, wat te veel is om een computer door te laten zoeken of voor een onderzoeker om te vertrouwen zonder verificatie.

Om dit op te lossen, bouwden de onderzoekers een systeem dat in twee duidelijke fasen werkt: detectie en correctie. De eerste fase is de meest kritieke, aangezien het systeem precies moet identificeren welke karakters fout zijn zonder de correcte karakters als fouten te markeren. Het team realiseerde zich dat het gebruik van slechts één hulpmiddel om deze fouten te vinden niet voldoende was. Een eenvoudige woordenlijstcontrole, die kijkt of een woord in een lijst van bekende woorden staat, is erg goed in het opsporen van onzin, maar faalt vaak wanneer het een zeldzaam of onbekend woord tegenkomt dat eigenlijk correct is. Aan de andere kant is een computermodel dat leert van de context van een zin erg goed in het begrijpen van hoe woorden bij elkaar passen, maar het kan soms in de war raken door zeldzame namen of specifie speciale termen die het niet vaak heeft gezien.

De onderzoekers besloten deze twee sterktes te combineren in één enkele ensemble-methode. Ze namen de output van een op woordenboeken gebaseerde controle en de output van een contextbewust computermodel en lieten deze samenwerken. Als het woordenboek zegt dat een woord ontbreekt, controleert het systeem of het contextmodel ook denkt dat het fout is. Als beide het erover eens zijn, markeert het systeem het als een fout. Als slechts één van de twee denkt dat het fout is, gaat het systeem ervan uit dat het een zeldzaam maar correct woord kan zijn en laat het ongemoeid. Deze strategie verminderde aanzienlijk het aantal keren dat het systeem een correct woord onterecht als een fout aangaf. In hun tests identificeerde deze gecombineerde aanpak fouten ongeveer 75 procent van de tijd, terwijl het aantal valse alarmen veel lager hield dan welk enkele methode op zichzelf zou kunnen bereiken.

Zodmaal het systeem de fouten heeft vastgesteld, gaat het over naar de tweede fase: het herstellen ervan. De onderzoekers vervingen het verdachte foutieve karakter door een lege ruimte, of een "masker", en vroegen een geavanceerd taalmodel om te voorspellen wat het oorspronkelijke karakter had moeten zijn. Dit model, getraind op enorme hoeveelheden tekst uit hetzelfde tijdperk, kijkt naar de woorden voor en na de lege ruimte om de meest waarschijnlijke kandidaat te raden. Om te garanderen dat de gok een goede match was, controleerde het systeem ook hoe sterk het nieuwe karakter leek op het oude, foutieve karakter, aangezien OCR-fouten meestal voorkomen tussen karakters die op elkaar lijken. Het systeem rangschikte vervolgens de beste suggesties en selecteerde de beste.

De resultaten van deze nieuwe methode waren veelbelovend. Wanneer de onderzoekers hun systeem testten op duizenden zinnen uit gedigitaliseerde boeken, ontdekten ze dat het ongeveer 65 procent van de fouten corrigeerde die het succesvol had gedetecteerd. Dit was een merkbare verbetering ten opzichte van het gebruik van het contextmodel alleen, dat ongeveer 58 procent van de fouten corrigeerde. Het systeem was bijzonder effectief wanneer het de exacte locatie van de fout zonder verwarring had gevonden; in die gevallen sprong het succespercentage van de correctie naar boven de 90 procent. De onderzoekers merkten echter ook een afweging op. Door zeer voorzichtig te zijn om valse alarmen te vermijden, miste het systeem soms bepaalde fouten volledig, wat betekende dat het niet elke enkele fout in de tekst opmerkte. Ze ontdekten dat het systeem het moeilijkst had met zeer zeldzame woorden of eigennamen die niet veel voorkwamen in de trainingsdata, omdat noch het woordenboek, noch het contextmodel genoeg informatie had om daarover zeker te zijn.

Ondanks deze beperkingen toont de studie aan dat het combineren van verschillende soorten controles een krachtige manier is om historische teksten op te schonen. De onderzoekers lieten zien dat door een woordenboek en een contextbewust model elkaar te laten controleren, zij een betrouwbaarder hulpmiddel voor historici en bibliothecarissen konden creëren. Dit werk beweert niet het probleem van het lezen van oude Japanse boeken volledig te hebben opgelost, maar het vormt een belangrijke stap voorwaarts in het nauwkeuriger maken van de digitale versies van deze teksten. Naarman meer boeken gedigitaliseerd worden, zullen methoden zoals deze essentieel zijn om te garanderen dat het digitale archief een getrouwe weergave is van het origineel, waarmee de ware stem van het verleden voor toekomstige generaties wordt bewaard.