From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages

Stel je voor dat je probeert een bibliotheek met oude boeken te lezen, geschreven in drie verschillende middeleeuwse talen: Middeleeuws Occitaans, Middeleeuws Catalaans en Middeleeuws Frans. Dit zijn niet zomaar oude versies van moderne talen; het zijn als wilde, ongetemde neven. De spelling verandert van pagina tot pagina (soms wordt "vuur" geschreven als fuoc, soms als foc), de grammatica is complex, en er zijn zeer weinig woordenboeken of leraren beschikbaar om je te helpen ze te begrijpen.

Het doel van dit artikel is om computers te leren elk woord in deze boeken te labelen met zijn "taak" (zoals zelfstandig naamwoord, werkwoord of bijvoeglijk naamwoord). Dit proces heet Part-of-Speech (POS) tagging. Het is de essentiële eerste stap voordat een computer het verhaal echt kan begrijpen, vertalen of zijn geschiedenis kan analyseren.

De onderzoekers stelden de vraag: Kunnen moderne "super-slimme" AI's (Large Language Models of LLM's) dit beter doen dan de oude, traditionele tools die we tot nu toe hebben gebruikt?

Hier is de uiteenzetting van hun experiment, uitgelegd via eenvoudige analogieën:

1. De Deelnemers

Het onderzoek stelde een race op tussen twee soorten "taggers":

• De Oude Garde (Traditionele Taggers): Denk aan deze als regels volgend bibliothecarissen. Ze hebben een strikt regelboek gebaseerd op moderne talen. Ze proberen de taak van een woord te raden door naar de vorm te kijken en het te vergelijken met bekende patronen. Ze zijn snel en goedkoop, maar raken snel in de war als de spelling vreemd is of het woord zeldzaam.
• De Nieuwe Kandidaten (LLM's): Deze zijn als geniale polyglotten die bijna alles wat ooit is geschreven hebben gelezen. Ze volgen niet alleen regels; ze begrijpen context. Ze kunnen naar een zin kijken en "voelen" wat een woord waarschijnlijk is, zelfs als de spelling vreemd is.

2. De Trainingsmethoden (Hoe ze de AI leerden)

De onderzoekers lieten de AI niet zomaar gokken; ze probeerden verschillende manieren om het te leren:

• Zero-Shot (De "Koude Lezing"): Ze gaven de AI een prompt met de tekst: "Je bent een expert. Hier is een woord, vertel me zijn taak", zonder er voorbeelden bij te tonen. Het is alsof je een toerist vraagt een menu te vertalen zonder hen een zinsboek te geven.
• Few-Shot (De "Spiekbrief"): Ze gaven de AI eerst een klein lijstje met voorbeelden (bijv. "Dit woord is een zelfstandig naamwoord, dit een werkwoord"). Het is alsof je de toerist een paar sleutelzinnen geeft voordat ze beginnen.
• Fine-Tuning (De "Leerling"): Ze namen de AI en trainden deze specifiek op de middeleeuwse teksten. Het is alsof je de toerist een maand als stagiair inhuurt om alleen deze specifieke boeken te bestuderen.
• Cross-Lingual Transfer (De "Talenfamilie Reünie"): Dit is het meest interessante deel. Ze trainden de AI op een mix van talen. Bijvoorbeeld, ze leerden het op Catalaans en Occitaans samen, en testten het vervolgens op Occitaans. Het is alsof je iemand Spaans en Italiaans leert, en dan ziet of ze Portugees beter begrijpen omdat de talen verwant zijn.

3. De Resultaten: Wie won?

De resultaten waren duidelijk, maar met enkele interessante draaien:

• De AI wint: In bijna elk geval won de moderne AI (LLM's) van de oude regelgebaseerde tools. De "geniale polyglotten" omgingen de rommelige, vreemde spellingen veel beter dan de "regels volgend bibliothecarissen".
• Training telt: De AI deed het het beste wanneer deze daadwerkelijk op de data was getraind (Fine-tuning) in plaats van alleen maar te gokken.
• De "Goudlokje" van het mixen van talen:
  • Voor de kleinste, moeilijkste dataset (Middeleeuws Occitaans): De AI leerde het beste wanneer het alle drie de talen samen bestudeerde (Trilinguaal). Het was alsof de student alle verwante dialecten moest horen om eindelijk de lastige een te begrijpen.
  • Voor de medische tekst (Middeleeuws Frans): De AI deed het het beste wanneer deze alleen met Catalaans werd gekoppeld (Bilinguaal). Het toevoegen van de derde taal maakte het zelfs iets slechter. Het is alsof een student Frans leert; soms helpt het om een derde taal toe te voegen (zoals Spaans), maar soms is het effectiever om je alleen te richten op de naaste verwant (Italiaans/Catalaans) voor een specifieke, kleine taak.

4. Het "Waarom" Achter de Winst

De onderzoekers ontdekten dat de AI bijzonder goed was in het achterhalen van woorden die betekenis en context hebben, zoals bijvoeglijke naamwoorden, bijwoorden en voornaamwoorden. De oude tools hadden moeite met deze omdat ze vertrouwen op stijve regels. De AI daarentegen kon naar de hele zin kijken en zeggen: "Ah, dit woord beschrijft het zelfstandig naamwoord, dus het moet een bijvoeglijk naamwoord zijn", zelfs als de spelling vreemd was.

5. De Vangst (Beperkingen)

Het artikel is eerlijk over wat het niet deed:

• Kosten: De "geniale polyglotten" (de grote AI-modellen) zijn duur om te draaien en vereisen krachtige computers. De oude tools zijn gratis en snel.
• Grootte van de Data: De datasets waren zeer verschillend in grootte (de ene had 2.000 woorden, de andere 59.000). De onderzoekers konden niet perfect scheiden of de AI goed presteerde vanwege de taal of gewoon omdat het meer data had om van te leren.
• Specificiteit: Ze testten alleen deze drie talen. We weten nog niet of dit werkt voor andere oude talen die niet verwant zijn aan Romaanse talen.

De Conclusie

Dit artikel bewijst dat voor het lezen van rommelige, oude middeleeuwse teksten, moderne AI een krachtig nieuw instrument is. Het vervangt de oude methoden niet alleen; het verbetert ze aanzienlijk, vooral wanneer je het leert door verwante talen te mixen. Er is echter geen "pas voor iedereen"-strategie. Soms moet je alle talen samen mixen, en soms moet je je richten op slechts twee, afhankelijk van de specifieke tekst die je probeert te lezen.

Voor historici en digital humanisten betekent dit dat we nu betere tools kunnen bouwen om duizenden jaren literatuur automatisch te organiseren en te begrijpen, die voorheen te rommelig waren voor computers om mee om te gaan.