OCR-Based Field Extraction for Archaeological Pottery Metadata: The CENTURIA Dataset
Het artikel introduceert CENTURIA, een dataset van 507 handgeschreven Romeinse aardewerkrecords, en demonstreert dat het finetunen van state-of-the-art OCR-modellen met een minimale set van slechts 57 geannoteerde monsters effectief de domeingap overbrugt, waardoor ontoegankelijke archiefmetadata wordt getransformeerd naar gestructureerde, doorzoekbare data met een hoge nauwkeurigheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De geschiedenis spreekt vaak tot ons via de zaken die mensen hebben achtergelaten, maar voor archeologen zijn de meest vitale aanwijzingen vaak verborgen in het volle zicht binnen hun eigen archieven. Scherven van aardewerk, gebroken en verspreid over oude vindplaatsen, zijn de primaire manier waarop onderzoekers het dagelijselijk leven, de handelsroutes en de tijdlijnen van het verleden begrijpen. Omdat klei vuur en de tijd beter doorstaat dan bijna alles, fungeren deze fragmenten als een universele taal van het verleden. Echter, het verhaal dat ze vertellen, zit vaak opgesloten in een formaat dat computers niet kunnen lezen. Decennialang hebben archeologen deze vondsten met de hand genoteerd, door de vorm van een gebroken pot te schetsen en de details ervan op te schrijven in notitieboeken of op kaartjes. Deze handgeschreven aantekeningen bevatten de essentiële gegevens: waar het stuk is gevonden, wat voor soort pot het was en hoe groot het is. Hoewel de fysieke tekeningen in een computer kunnen worden gescand, blijft de handgeschreven tekst slechts een afbeelding, onzichtbaar voor de zoekmachines en databases die historici zouden kunnen helpen om de verbanden over duizenden jaren heen te leggen.
De uitdaging ligt in het leren lezen van deze specifieke, slordige aantekeningen door een computer. In tegen tegenstelling tot een gedrukt boek of een getypt document, zijn deze archeologische verslagen gevuld met unieke afkortingen, vreemde symbolen en handschriften die van de ene archeoloog op de andere verschillen. De aantekeningen staan vaak verspreid over de pagina, zonder een duidelijke leesvolgorde, en de inkt kan vervaagd of doorgestreept zijn. Lange tijd was de enige manier om deze informatie bruikbaar te maken voor modern onderzoek het inhuren van mensen om elke enkele aantekening handmatig in een computer over te typen, een traag en duur proces dat ervoor heeft gezorgd dat enorme collecties geschiedenis ontoegankelijk bleven. De vraag die onderzoekers tegenkwamen was of moderne kunstmatige intelligentie zelfstandig deze moeilijke, handgeschreven archieven kon leren lezen, om zo een statische afbeelding van een schets te veranderen in een doorzoekbare lijst met feiten.
Een team van onderzoekers van de Technische Universiteit van Wenen en het Oostenrijkse Archeologische Instituut zette zich erin om dit probleem op te lossen door een nieuwe tool en een nieuwe test voor de technologie te creëren. Ze richtten zich op de enorme collectie aardewerkverslagen van Carnuntum, een belangrijke Romeinse nederzetting in het huidige Oostenrijk. Alleen al deze site bevat ongeveer 70.000 analoge records, een schatkist aan geschiedenis die grotendeels ondoorzoekbaar was gebleven voor computers. Het team verzamelde 507 van deze handgeschreven records om een dataset te bouwen die zij CENTURIA noemden. Elk record in deze collectie werd zorgvuldig gecontroleerd en gelabeld door menselijke experts, wat een perfect "antwoordsleutel" creëerde waar de computer van kon leren. Deze dataset bevatte de originele scans, de correcte tekst die door mensen was uitgeschreven, en een gestructureerde kaart die precies aangaf welk deel van de tekst bij welke categorie hoorde, zoals de vindplaats of het type aardewerk.
De onderzoekers testten vervolgens vijf verschillende modellen voor kunstmatige intelligentie om te zien of zij deze documenten zonder hulp konden lezen. Dit zijn dezelfde soorten technologieën die worden gebruikt om handschrift in andere vakgebieden te lezen, maar wanneer het team de modellen zonder enige training op de aardewerkverslagen losliet, waren de resultaten slecht. De computers maakten fouten in bijna elk enkel record; ze lazen letters en cijfers zo slecht dat ze niet in staat waren de juiste informatie te extraheren. De foutmarge was zo hoog dat de machines in essentie aan het gokken waren, waarbij ze er niet in slaagden de specifieke afkortingen en symbolen te herkennen die archeologen dagelijks gebruiken. Dit bevestigde dat het simpelweg toepassen van bestaande technologie op dit probleem niet voldoende was; de computers moesten de specifieke taal van de archeologen leren.
Om dit op te lossen, probeerde het team een methode genaamd 'fine-tuning', wat vergelijkbaar is met het geven van een korte, intensieve cursus over de specifieke onderwerpen aan de computer. In plaats van de machine duizenden voorbeelden te tonen, wat jaren zou duren om te maken, toonden ze het slechts 57 voorbeelden van de aardewerkrecords die al door mensen waren gecorrigeerd. Ze pasten de interne instellingen van de computer licht aan om het de unieke handschriften en afkortingen te laten begrijpen die in deze archieven voorkomen. De verandering was spectaculair. Na deze korte training stopten de computers met gokken en begonnen ze met een hoge nauwkeurigheid te lezen. De foutmarge daalde van meer dan 30 procent naar minder dan 2 procent. De computers konden nu de locatie van de vondst, het type pot en de afmetingen met een succespercentage van bijna 90 procent correct identificeren.
De studie onderzocht ook hoe dit proces betrouwbaar genoeg te maken voor gebruik in de echte wereld. Omdat computers niet perfect zijn, ontwikkelden de onderzoekers een systeem waarbij twee verschillende modellen hetzelfde document lezen en hun antwoorden vergelijken. Als beide modellen het eens waren over een stuk informatie, accepteerde het systeem dit als correct. Deze eenvoudige controle stelde het team in staat om automatisch de resultaten voor meer dan de helft van de documenten te vertrouwen, terwijl de weinige moeilijke gevallen werden gemarkeerd voor menselijke beoordeling. Deze aanpak betekent dat een klein team van experts nu een enorm archief kan verwerken in een fractie van de tijd die het handmatig zou kosten. De onderzoekers ontdekten dat met slechts een minimale hoeveelheid deskundige tijd voor het creëren van de initiële trainingsvoorbeelden, zij decennia aan handgeschreven records konden ontsluiten.
De resultaten tonen aan dat de barrière voor het digitaliseren van deze archieven niet een gebrek aan technologie is, maar een gebrek aan specifieke trainingsdata. Door te bewijzen dat een kleine, zorgvuldig samengestelde set voorbeelden genoeg is om een computer te leren hoe hij deze gespecialiseerde aantekeningen moet lezen, hebben de onderzoekers de deur geopend voor archieven over de hele wereld om doorzoekbaar te worden. De CENTURIA-dataset en de methoden die in deze studie zijn ontwikkeld, bieden een blauwdruk voor het transformeren van stapels oude, handgeschreven schetsen in een levende, doorzoekbare database. Dit betekent dat historici binnenkort complexe vragen over het verleden kunnen stellen, zoals hoe aardewerkstijlen in de loop van de tijd veranderden of hoe handelsroutes verschoven, en antwoorden kunnen krijgen door te zoeken door miljoenen records die voorheen opgesloten zaten in inkt en papier. Het werk laat zien dat met de juiste aanpak, de verhalen die verborgen liggen in het handschrift van het verleden, eindelijk gehoord kunnen worden door de machines van de toekomst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.