YoNER: A New Yorùbá Multi-domain Named Entity Recognition Dataset

Probleemstelling

Naam-entiteitsdetectie (Named Entity Recognition - NER) is een fundamentele taak in de Natural Language Processing (NLP), essentieel voor toepassingen zoals informatiewinning en vraagbeantwoording. Voor het Yorùbá, een taal met meer dan 50 miljoen sprekers in Nigeria en omringende landen, is de NLP-onderzoekslandschap echter beperkt door een gebrek aan diversiteit in beschikbare bronnen.

• Bestaande beperkingen: Huidige datasets zoals MasakhaNER en WikiAnn zijn voornamelijk beperkt tot nieuws- en Wikipedia-domeinen.
• Kwaliteitsproblemen: Datasets gebaseerd op Wikipedia zijn vaak automatisch gegenereerd (met lage kwaliteit) en bevatten weinig testvoorbeelden.
• Domeinverschil: Er is een groot gat in kennis over hoe NER-modellen presteren in informele of specifieke culturele domeinen zoals blogs, films, radio-uitzendingen en religieuze teksten (Bijbel).
• Taalmodeltekort: Er ontbreken specifieke monolinguale Yorùbá-taalmodellen die beter presteren dan algemene meertalige modellen in low-resource settings.

Methodologie

1. Dataset Curation (YoNER)
De auteurs hebben YoNER ontwikkeld, het eerste multi-domein NER-dataset voor Yorùbá.

• Domeinen: Het dataset omvat vijf domeinen: Bijbel, Blogs, Films, Radio-uitzendingen en Wikipedia.
• Data: In totaal bevat het corpus ongeveer 5.148 zinnen (100.795 tokens).
• Annotatie: Drie native Yorùbá-sprekers hebben de data handmatig geannoteerd volgens CoNLL-richtlijnen. Er zijn drie entiteitstypen gedefinieerd: Persoon (PER), Organisatie (ORG) en Locatie (LOC).
• Kwaliteitsborging: De inter-annotator overeenstemming (Fleiss' Kappa) was hoog op token-niveau (0,71–0,88), maar lager op entiteitsniveau (0,30–0,61), wat wijst op moeilijkheden bij het bepalen van exacte grenzen van entiteiten.

2. Experimenteel Opzet
De auteurs hebben drie hoofdvragen onderzocht door middel van experimenten met transformer-modellen:

• Cross-domein transfer: Hoe goed transfereren modellen getraind op nieuwsdata (MasakhaNER 2.0) naar andere domeinen?
• Few-shot learning: Hoeveel verbetert de prestatie met slechts kleine hoeveelheden domeinspecifieke data (bijv. 200 zinnen)?
• Monolinguale vs. Meertalige modellen: Presteren monolinguale BERT-modellen beter dan meertalige modellen in low-resource settings?

3. Modelontwikkeling (OyoBERT)
Om de derde vraag te beantwoorden, hebben de auteurs een nieuw monolinguale Yorùbá-BERT-model ontwikkeld, genaamd OyoBERT.

• Pre-training: Het model is getraind op een corpus van ongeveer 1,93 GB, bestaande uit bestaande Yorùbá-teksten (Wikipedia, nieuws) en synthetische data gegenereerd via machine vertaling (NLLB-200) van Engelse teksten.
• Varianten: Er zijn twee versies gemaakt: OyoBERT-base (110M parameters) en OyoBERT-large (337M parameters).

Belangrijkste Bijdragen

1. YoNER Dataset: Een publiek beschikbaar, handmatig geannoteerd multi-domein dataset voor Yorùbá dat verder gaat dan nieuws en Wikipedia, inclusief cultureel specifieke domeinen zoals films en de Bijbel.
2. OyoBERT: De introductie van een Yorùbá-specifiek taalmodel dat is getraind op een combinatie van echte en synthetische data, wat een nieuwe benchmark zet voor monolinguale modellen in deze taal.
3. Empirische Analyse: Een uitgebreide evaluatie van cross-domein en cross-linguale transfer voor een Afrikaanse taal, inclusief vergelijkingen met Engelse datasets (CoNLL, OntoNotes).

Resultaten

• Prevalentie van Afrikaanse modellen: Afrikaanse modellen (zoals AfroXLMR) presteren over het algemeen beter dan algemene meertalige modellen (zoals mBERT of XLM-R) voor Yorùbá, voornamelijk omdat deze modellen specifiek zijn getraind op Afrikaanse culturele en geografische entiteiten.
• Domein-afhankelijkheid:
  • Cross-domein transfer werkt goed tussen formeel geschreven domeinen (Nieuws $\leftrightarrow$ Wikipedia).
  • Er is een aanzienlijke prestatiedaling bij transfer naar informele domeinen zoals Blogs en Films (F1-scores dalen soms tot onder de 50%). Dit wordt toegeschreven aan het informele taalgebruik, slang en het gebrek aan entiteiten in deze domeinen.
• Effect van kleine datasets: Het toevoegen van slechts 200 zinnen aan de training in het doeldomein verbetert de prestaties aanzienlijk, maar is niet voldoende om de kloof met het bron-domein volledig te dichten.
• Cross-linguale vs. Cross-domein transfer:
  • Transfer binnen dezelfde taal (Yorùbá Nieuws $\to$ Yorùbá Blogs) is effectiever dan cross-linguale transfer (Engels Nieuws $\to$ Yorùbá Blogs), zelfs als de Engelse dataset groter is.
  • Echter, cross-linguale transfer met grote datasets kan soms beter presteren dan training op zeer kleine in-domein datasets (200 zinnen).
• Monolinguale vs. Meertalige modellen:
  • In in-domein evaluaties (met weinig data) presteert het monolinguale OyoBERT beter dan het meertalige AfroXLMR, vooral in cultureel specifieke domeinen (Films, Radio).
  • In multi-domein evaluaties (met meer data) wint het meertalige model vaak, waarschijnlijk door de bredere exposure aan diverse data tijdens het pre-training.

Betekenis en Toekomstperspectief

Dit paper is van groot belang voor de Afrikaanse NLP-gemeenschap omdat het de beperkingen van nieuws-gerichte datasets doorbreekt en inzicht geeft in de uitdagingen van NER in informele en culturele contexten.

• Praktische toepassing: De resultaten tonen aan dat voor toepassingen in specifieke domeinen (zoals chatbots voor films of religieuze apps) domeinspecifieke data en mogelijk monolinguale modellen noodzakelijk zijn.
• Toekomstig werk: De auteurs wijzen op de noodzaak om meer entiteitstypen (zoals DATUM) toe te voegen en grotere taalmodellen (LLMs) te evalueren op YoNER. Ook wordt gepleit voor verdere analyse van de vertaalde data in OyoBERT om mogelijke biases te begrijpen.

Kortom, YoNER en OyoBERT vormen een cruciale stap voorwaarts in het maken van Yorùbá-NLP robuuster en toepasbaar in de echte wereld, buiten de nieuwsartikelen om.