Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation

In de stille hoekjes van de digitale geschiedenis werkt een gespecialiseerde tak van de computerwetenschap, bekend als natuurlijke taalverwerking, eraan om het verleden leesbaar te maken voor machines. Dit vakgebied leert computers menselijke taal te begrijpen, niet alleen als een reeks woorden, maar als een gestructureerd systeem waarin specifieke namen — personen, plaatsen en groepen — een duidelijke betekenis dragen. Voor moderne talen is deze taak opmerkelijk accuraat geworden, waardoor software direct nieuwsartikelen of sociale mediafeeds kan scannen en elke vermelding van een specifieke stad of persoon kan extraheren. Echter, dezelfde technologie worstelt wanneer zij wordt geconfronteerd met historische teksten. Deze documenten gebruiken vaak spelling en grammatica die uit het dagelijks taalgebruik zijn verdwenen, en ze bestaan in veel kleinere hoeveelheden dan modern schrift. Wanneer de taal zeldzaam is en de data schaars, struikelen de computers die uitblinken in het huidige nieuws vaak over de woorden van eeuwen geleden. Dit creëert een barrière voor historici en archivarissen die digitale hulpmiddelen willen gebruiken om hun collecties te verkennen, aangezien de software niet betrouwbaar het onderscheid kan maken tussen de naam van een koning en een gemeenschappelijk zelfstandig naamwoord in een middeleeuwse oorkonde.

Een team van onderzoekers zette zich in om deze kloof te overbruggen door geavanceerde computermodellen te leren om namen te herkennen in pre-moderne Servisch-Cyrillische teksten. Ze richtten zich op een specifieke uitdaging: hoe deze modellen robuust genoeg te maken voor documenten die ze nog nooit eerder hebben gezien, die kunnen verschillen in spelling, stijl of tijdsperiode van de voorbeelden waarop ze zijn getraind. Om dit te doen, maakten ze gebruik van een techniek genaamd generatieve data-augmentatie. In plaats van te wachten tot historici duizenden nieuwe documenten handmatig labelen — een traag en kostbaar proces — vroegen de onderzoekers een krachtige kunstmatige intelligentie om nieuwe, synthetische trainingsvoorbeelden te schrijven. Ze stuurden deze AI aan om de stijl van middeleeuwse oorkondes en juridische documenten na te bootsen, waardoor duizenden neppunten werden gecreëerd die leken en klonken als het echte werk, compleet met de juiste labels voor namen en plaatsen. Vervolgens testten ze twee verschillende soorten moderne taalmodellen, één die gespecialiseerd is voor de regio en een andere die getraind is op vele talen, om te zien welke het beste kon leren van deze mix van echte en synthetische data.

De onderzoekers begonnen met een collectie authentieke middeleeuwse documenten, inclusief koninklijke oorkondes en brieven uit de veertiende eeuw. Deze teksten werden zorgvuldig geannoteerd door menselijke experts die elke instantie van een persoonnaam, een locatie of een verwijzing naar een specifieke groep mensen markeerden. Deze oorspronkelijke collectie was klein en bevatte net iets meer dan drieduizend zinnen, wat een beperkte hoeveelheid materiaal is voor het trainen van een geavanceerd computermodel. Om dit fundament uit te breiden, gebruikte het team een generatief AI-systeem om nieuwe zinnen te creëren die dezelfde patronen volgden als de originele teksten. Ze produceerden drie verschillende versies van de trainingsdata: één waarbij de synthetische zinnen dertig procent van het totaal uitmaakten, een andere waarbij ze vijftig procent uitmaakten, en een derde waarbij de synthetische voorbeelden de omvang van de oorspronkelijke dataset verdubbelden. Dit stelde hen in staat om te testen of het voeden van de computer met meer voorbeelden, zelfs als sommige kunstmatig gegenereerd waren, de computer zou helpen de nuances van de historische taal beter te begrijpen.

Toen het team deze modellen testte op hetzelfde type documenten als waarmee ze getraind waren, waren de resultaten indrukwekkend. Het model dat getraind was met een mix van echte en synthetische data, specifiek de versie die dertig procent synthetische voorbeelden bevatte, bereikte een hoog niveau van nauwkeurigheid en identificeerde namen en plaatsen in de overgrote meerderheid van de gevallen correct. Deze prestatie was aanzienlijk beter dan die van een ouder type computermodel dat vertrouwde op andere wiskundige structuren. De echte test kwam echter toen de onderzoekers de modellen vroegen om volledig nieuwe historische documenten te lezen die niet deel uitmaakten van hun training. Deze nieuwe teksten bevatten een testament uit het jaar 1500, een manuscript van een kerk in Wenen geschreven in 1778, en een reeks koninklijke oorkondes uit het midden van de veertiende eeuw. Deze documenten vertegenwoordigden verschillende tijdperken en schrijfstijlen, wat de modellen dwong om te zien of ze de taal werkelijk hadden geleerd of simpelweg de trainingsvoorbeelden hadden gememoriseerd.

De resultaten toonden aan dat de modellen getraind op synthetische data veel aanpasbaarder waren dan de oudere systemen. Het model dat met vijftig procent synthetische data werd getraind, bleek de meest betrouwbare te zijn over alle nieuwe documenten heen, waarbij het een hoog niveau van nauwkeurigheid behield, zelfs wanneer het werd geconfronteerd met de oudste en stilistisch meest verschillende teksten. Hoewel het model getraind met dertig procent synthetische data iets beter presteerde op de bekende teksten, hanteerde de vijftig procent versie de onbekende teksten met grotere consistentie. Dit suggereert dat het toevoegen van een matige hoeveelheid synthetische voorbeelden de computer helpt een flexibeler begrip van de taal op te bouwen, waardoor het patronen kan herkennen zelfs wanneer de spelling of context verschuift. De onderzoekers vonden dat de modellen bijzonder goed waren in het identificeren van persoonsnamen, die frequent in de trainingsdata voorkwamen, maar nog steeds enigszinaar moeite hadden met plaatsnamen en groepsverwijzingen, die zeldzamer en gevarieerder waren.

De studie concludeert dat het genereren van synthetische voorbeelden een krachtig hulpmiddel is om computers te leren historische teksten te lezen, maar het is geen eenvoudige oplossing voor alles. De hoeveelheid synthetische data doet er toe; te weinig helpt misschien niet genoeg, terwijl te veel ruis kan introduceren die het model in verwarring brengt. De beste resultaten kwamen voort uit een gebalanceerde aanpak, waarbij de synthetische data de echte historische registers aanvulde zonder ze te overstemmen. Door zowel hun getrainde modellen als de gebruikte data publiekelijk beschikbaar te stellen, hebben de onderzoekers een nieuw instrument voor de digitale geesteswetenschappen geboden. Dit werk demonstreert dat met de juiste combinatie van historische expertise en moderne kunstmatige intelligentie, we kunnen beginnen met het ontsluiten van de namen en plaatsen die verborgen liggen in eeuwenoude handgeschreven documenten, waardoor het verleden toegankelijker wordt voor zowel wetenschappers als het nieuwsgierige publiek.