Which papyrus HTR is good enough? Character-error-rate tolerance of four papyrological tasks on Greek texts
Deze studie stelt specifieke drempelwaarden voor de karakterfoutratio vast voor vier papyrologische taken op Griekse teksten, waarbij wordt aangetoond dat hoewel de nauwkeurigheidseisen per taak variëren (variërend van 3% tot 20%), het hertrainen van modellen op ruisige gegevens de prestatieverslechtering aanzienlijk vermindert en imperfecte HTR-systemen praktisch bruikbaar maakt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De oude mediterrane wereld heeft een enorme, stille bibliotheek van papyrusfragmenten achtergelaten, verspreid over musea en collecties in meer dan een miljoen stukjes. De meeste van deze schraapsels zijn nooit gelezen. Ze zijn geschreven in een vloeiend, cursief handschrift zonder spaties tussen de woorden, vaak beschadigd door de tijd, en gevuld met afkortingen die alleen een getrainde expert kan ontcijferen. Al meer dan een eeuw transcriberen geleerden deze documenten met de hand, een proces dat dagen of weken kunnen duren voor een enkele tekst. Omdat er zoveel ongelezen blijft, is de meerderheid van deze historische registers onzichtbaar voor moderne digitale hulpmiddelen. Een onderzoeker kan niet simpelweg een database doorzoeken op een specifieke naam of frase om een nieuw document te vinden, omdat de tekst nog niet in een machineleesbare vorm bestaat.
Om dit te veranderen, hebben onderzoekers zich gericht op een technologie genaamd handwritten text recognition (handgeschreven tekstherkenning), een vorm van kunstmatige intelligentie die naar een afbeelding van oud schrift kan kijken en het kan omzetten in digitale letters. Deze systemen zijn echter niet perfect. Ze maken fouten, waarbij ze een letter verkeerd lezen of een woord overslaan. Jarenlang heeft het veld zich gericht op het nauwkeuriger maken van deze systemen, door te rapporteren hoe vaak ze een letter wel of niet goed krijgen. Maar een cruciale vraag bleef onbeantwoord: hoe nauwkeurig moet het systeem eigenlijk zijn om nuttig te zijn? Een geleerde heeft misschien geen perfecte transcriptie nodig om te weten of een document een juridisch contract of een stuk poëzie is, maar hij heeft mogelijk bijna perfecte nauwkeurigheid nodig om te bepalen wanneer het precies is geschreven. Zonder het antwoord op deze vraag is het onmogelijk om te weten of de huidige technologie klaar is om de meerderheid van de ongelezen papyri te ontsluiten.
Een team van onderzoekers zette zich in om het antwoord te vinden door te testen hoe verschillende niveaus van fouten de effectiviteit beïnvloeden van vier specifieke taken die papyrologen dagelijks uitvoeren. Ze wachtten niet op een perfecte machine; in plaats daarvan begonnen ze met duizenden reeds bewerkte teksten en voerden ze doelbewust fouten in om te simuleren wat een gebrekkige machine zou produceren. Ze namen deze imperfecte versies en haalden ze door computermodellen die ontworpen waren om het type document te identificeren, de ouderdom in te schatten, onderscheid te maken tussen officiële verslagen en literaire werken, en naar specifieke woorden te zoeken. Door het aantal fouten systematisch te verhogen van nul tot de helft van de tekst foutief is, maten ze precies wanneer elke taak begon te falen.
De resultaten toonden aan dat de tolerantie voor fouten volledig afhangt van wat de geleerde probeert te doen. Sommige taken zijn verrassend robuust. Het onderscheiden van een bureaucratisch document van een stuk literatuur is bijvoorbeeld gemakkelijk voor een computer, zelfs wanneer de tekst behoorlijk slordig is. De modellen konden het genre nog steeds met een hoge nauwkeurigheid identificeren, zelfs wanneer de tekst twintig procent fouten bevatte. Dit komt doordat de algemene stijl en het vocabulaire van juridische documenten zo sterk verschillen van poëzie dat de computer het patroon kan herkennen ondanks de ruis. Op dezelfde manier blijft het zoeken naar lange frases of specifieke formules betrouwbaar, zelfs bij aanzienlijke schade, mits de zoektermen lang genoeg zijn.
Andere taken zijn echter veel kwetsbaarder. Het bepalen van de exacte datum van een document bleek het meest gevoelig voor fouten. De modellen konden hun nauwkeurigheid alleen behouden wanneer het foutpercentage zeer laag werd gehouden, rond de drie procent. Zodra de fouten dit kleine drempelgetal overschreden, stortte het vermogen om de eeuw of zelfs het decennium van de tekst te pinpointen in. Dit suggereert dat voor datering de kwaliteit van de transcriptie van cruciaal belang is, en dat huidige systemen aanzienlijk moeten verbeteren voordat ze voor deze specifieke taak vertrouwd kunnen worden. Het identificeren van het specifieke subtype van een document, zoals het onderscheid tussen een bonnetje en een petitie, vereiste ook een hogere standaard van nauwkeurigheid, waarbij de prestaties merkbaar afnamen zoder de fouten vijf procent bereikten.
Een cruciale ontdekking in de studie was dat de manier waarop de modellen worden getraind alles verandert. Wanneer de onderzoekers hun computers trainden op schone, perfecte tekst en ze vervolgens testten op slordige, foutgevoelige tekst, daalde de prestatie scherp naarmendeل de fouten toenamen. Echter, wanneer ze de modellen opnieuw trainden met tekst die al de soorten fouten bevatte die ze verwachtten te zien, werden de systemen veel veerkrachtiger. De sterke daling in prestaties die gewoonlijk optreedt wanneer fouten de vijftien procent overschrijden, verdween grotendeels. Met andere woorden: een computer die heeft geleerd om slordige tekst te lezen, is veel beter in het lezen van slordige tekst dan een computer die alleen maar perfecte voorbeelden heeft gezien. Dit betekent dat zelfs met de imperfecte technologie van vandaag, geleerden deze tools nog steeds effectief kunnen gebruiken als ze ze trainen op realistische, ruisige data in plaats van te wachten op een foutloze machine.
De studie benadrukte ook dat de grootte van het fragment ertoe doet. Een computer kan het type van een lang document vaak correct raden, zelfs als het veel fouten bevat, omdat het genoeg context heeft om het grote plaatje te zien. Maar voor zeer korte fragmenten kunnen zelfs een paar fouten de analyse ruïneren. Bovendien ontdekten de onderzoekers dat het missen van een volledige regel tekst minder schadelijk is dan het verkeerd lezen van individuele letters. Het verliezen van een blok tekst is een bekende lacune, terwijl een reeks verkeerde letters de computer kan misleiden om patronen te zien die niet bestaan.
Uiteindelijk biedt het onderzoek een duidelijke set doelstellingen voor de toekomst van de digitale papyrologie. Het laat zien dat we geen perfect transcriptiesysteem nodig hebben om te beginnen met het ontsluiten van de ongelezen papyri. Voor veel taken, zoals het sorteren van documenten op type of het zoeken naar brede thema's, is de huidige technologie al "goed genoeg", vooral als de tools getraind zijn om met de onvermijdelijke fouten om te gaan. Voor meer delicate taken zoals datering ligt de lat hoger, en moet de technologie verbeteren. De weg vooruit is niet wachten op perfectie, maar het bouwen van systemen die robuust genoeg zijn om te werken met de imperfecte realiteit van oude, beschadigde schrift. Door precies te begrijpen hoeveel fouten een taak kan tolereren, kunnen geleerden deze instrumenten nu toepassen op de enorme, ongelezen collecties van de wereld, waardoor onzichtbare fragmenten veranderen in doorzoekbare geschiedenis.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.