Part-of-Speech Tagger for Bodo Language using Deep Learning approach

Dit artikel introduceert BodoBERT, het eerste taalmodel voor het Bodo, en een ensemble deep learning-model voor part-of-speech tagging dat een F1-score van 0,8041 bereikt, waarmee een bijdrage wordt geleverd aan de NLP-ondersteuning voor deze laag-resourcetaal.

De kern

De Taalbouwer: Hoe we een computer leerden om Bodo te begrijpen

Stel je voor dat je een enorme bibliotheek hebt, maar alle boeken zijn geschreven in een taal die niemand van de computers in de wereld kent. Die taal heet Bodo. Het wordt gesproken door ongeveer 1,5 miljoen mensen in het noordoosten van India. Hoewel het een rijke taal is met een prachtige geschiedenis, was het voor computers tot nu toe als een gesloten deur. Computers konden de woorden niet "lezen" en zeker niet begrijpen welke rol elk woord in een zin speelt.

Dit artikel vertelt het verhaal van hoe een team van onderzoekers die deur openbrak. Ze bouwden twee cruciale dingen: een woordenboek (een taalmodel) en een grammatica-checker (een POS-tagger).

Hier is hoe ze dat deden, vertaald naar alledaagse taal:

1. Het Bouwen van een Taalmodel: BodoBERT

Stel je voor dat je een kind wilt leren een taal spreken. Je kunt het niet zomaar een zin geven en hopen dat het alles snapt. Je moet het kind duizenden verhalen laten lezen, zodat het begint te voelen hoe zinnen opgebouwd zijn, welke woorden vaak samen komen en welke betekenis ze hebben.

Voor talen als Engels of Chinees hebben computers al zo'n "kind" opgevoed (bekend als BERT). Maar voor Bodo bestond er niemand. De onderzoekers moesten dus zelf beginnen.

• De Verzameling: Ze verzamelden 1,6 miljoen zinnen uit kranten, boeken, nieuws en verhalen over cultuur en wetenschap.
• De Oefening: Ze trainden een computermodel (dat ze BodoBERT noemden) om deze teksten te "lezen". Het model moest gissen welke woorden er ontbraken in een zin, net als bij een invuloefening. Na zeven dagen zware rekenarbeid had het model een gevoel voor de Bodo-taal ontwikkeld. Het was alsof ze een nieuwe taal voor de computer hadden "geboren".

2. De Grammatica-Checker: De "Kledingkeuze"

Nu het model de taal kon "lezen", wilden ze het leren om de grammatica te begrijpen. In de taalkunde heet dit Part-of-Speech tagging.

Stel je een zin voor als een groep mensen die naar een feestje gaan. Elke persoon heeft een specifieke rol:

• De Naam (bijv. "Tiken") is de gastheer.
• Het Werkwoord (bijv. "is") is de danser.
• Het Bijvoeglijk naamwoord (bijv. "goed") is de versiering.

De computer moet voor elk woord in een zin bepalen: "Ben jij een naam, een werkwoord of iets anders?" Dit is lastig, vooral omdat Bodo een complexe taal is waar woorden veel kunnen veranderen.

3. De Drie Proeven: Welke Methode werkt het beste?

De onderzoekers probeerden drie verschillende manieren om deze "kledingkeuze" te laten maken door de computer:

1. De Directe Methode: Ze gaven het model de taak om direct te raden. (Niet zo goed).
2. De Regels-Methode: Ze gaven het model strikte regels. (Beter, maar nog steeds niet perfect).
3. De Team-Methode (BiLSTM-CRF): Dit was de winnaar. Stel je voor dat je een team hebt:
   • BodoBERT (de taalkenner) kijkt naar de context.
   • BiLSTM (de patroonzoeker) kijkt naar de volgorde van de woorden.
   • CRF (de beslissingsmaker) zorgt dat de hele zin logisch klopt.

Deze combinatie was het sterkst. Maar ze waren nog niet klaar.

4. De Superkracht: Het "Stapelen" van Kennis

De onderzoekers dachten: "Wat als we BodoBERT niet alleen laten werken, maar hem laten samenwerken met andere slimme modellen?"

Ze gebruikten een techniek die ze "Stacked Embeddings" noemen.

• Analogie: Stel je voor dat je een detective bent. Je hebt één expert die goed is in namen, één die goed is in werkwoorden, en één die goed is in context. Als je ze allemaal samen laat werken aan één zaak, wordt de oplossing veel beter dan als ze alleen werken.
• Ze combineerden hun nieuwe BodoBERT met andere bestaande modellen (zoals modellen voor Hindi, omdat beide talen hetzelfde schrift gebruiken).
• Het Resultaat: Deze "super-detektive" haalde een score van 80,4%. Dat betekent dat de computer in 80 van de 100 gevallen precies wist welk woord wat was.

5. De Uitdagingen: Waarom is het niet 100%?

Hoewel 80% een groot succes is voor een taal die zo lang genegeerd was, is het niet perfect. De onderzoekers merkten op dat de computer soms in de war raakt:

• Verwarring tussen namen en gewone woorden: In het Engels zien we dat namen vaak met een hoofdletter beginnen (zoals "Bodo"). In Bodo doen ze dat niet. De computer moet dus heel goed luisteren naar de context om te weten of het een naam is of gewoon een woord.
• Verandering van rol: Soms verandert een woord van rol. Een woord dat normaal een naam is, kan in een zin een bijvoeglijk naamwoord worden. Dat is lastig te vangen.

Conclusie: De Basis voor de Toekomst

Voorheen was er geen enkele computer die Bodo kon begrijpen. Nu hebben deze onderzoekers de eerste stap gezet. Ze hebben een taalmodel (BodoBERT) en een grammatica-checker gemaakt die publiek beschikbaar zijn.

Het is alsof ze de eerste fundering hebben gelegd voor een huis. Het huis is nog niet af (de muren zijn nog niet perfect gestuct), maar zonder deze fundering zou er niets kunnen worden gebouwd. Andere onderzoekers kunnen nu deze tools gebruiken om vertalers te bouwen, spraakherkenning te maken of zoekmachines voor de Bodo-taal te ontwikkelen.

Kortom: Ze hebben een computer leren "denken" in Bodo, en dat is een enorme sprong voorwaarts voor de 1,5 miljoen sprekers van deze taal.

Technische samenvatting

Probleemstelling

Hoewel Natural Language Processing (NLP) systemen zoals part-of-speech (POS) tagging, naam-entiteit herkenning en machine vertaling goed onderzocht zijn voor talen met veel data (high-resource languages), ontbreekt het aan dergelijke systemen voor veel laag-resource talen (low-resource languages). De Bodo-taal, een Tibeto-Burman taal met ongeveer 1,5 miljoen sprekers in de staat Assam (Noordoost-India), is een dergelijk geval.

• Gebrek aan middelen: Er bestond tot dit onderzoek geen vooraf getraind taalmodel (Language Model - LM) voor Bodo.
• Schrijfsysteem: Bodo wordt geschreven in het Devanagari-script (hetzelfde als Hindi), maar er waren geen specifieke NLP-tools gebaseerd op deep learning beschikbaar.
• Data-schaarste: Het annoteren van corpora is tijdrovend en er was slechts één klein, handmatig geannoteerd corpus beschikbaar (ongeveer 30.000 zinnen) voor training.
• Impact: Zonder een goed werkende POS-tagger kunnen geavanceerde downstream taken (zoals NER, vertaling en syntactische parsing) niet effectief worden uitgevoerd voor deze taal.

Methodologie

De auteurs hebben een tweeledige aanpak ontwikkeld: eerst het creëren van een taalmodel en vervolgens het bouwen van een POS-tagging model.

1. Ontwikkeling van BodoBERT

• Architectuur: Gebaseerd op de standaard BERT-architectuur (Vanilla BERT) met een multi-layer bidirectionele Transformer.
• Training: Het model is getraind op een monolinguïstisch corpus van 1,6 miljoen tokens (191.000 zinnen) afkomstig uit diverse domeinen (cultuur, media, wetenschap, etc.).
• Specificaties: 6 Transformer-blokken, verborgen laaggrootte van 768, 6 self-attention heads en ongeveer 103 miljoen parameters.
• Tokenizer: Gebruik van WordPiece met een vocabulaire van 50.000 tokens.
• Hardware: Getraind op een Nvidia Tesla P100 GPU gedurende 300.000 stappen (ongeveer 7 dagen).

2. POS Tagging Experimenten
De auteurs hebben drie fasen van experimenten uitgevoerd om de beste architectuur te vinden:

• Fase 1: Architectuurvergelijking: Drie benaderingen werden getest met BodoBERT:
  1. Fine-tuning van BodoBERT.
  2. Conditional Random Field (CRF) met BodoBERT embeddings.
  3. BiLSTM-CRF (Bidirectional Long Short-Term Memory + CRF) met BodoBERT embeddings.
     Resultaat: De BiLSTM-CRF architectuur presteerde het beste.
• Fase 2: Vergelijking van Embeddings: De BiLSTM-CRF architectuur werd getraind met verschillende taalmiddelen (embeddings), waaronder BodoBERT, FastText, Byte-Pair Embeddings (BPE), FlairEmbeddings, MuRIL, XLM-R en IndicBERT. Ook werd een vergelijking gemaakt met Assamees (een verwante taal in dezelfde regio).
• Fase 3: Stacked Embeddings: Om de prestaties te maximaliseren, werd een "Stacked" methode toegepast. Hierbij worden de embeddings van BodoBERT gecombineerd met andere taalmiddelen (bijv. BodoBERT + BPE) als input voor de BiLSTM-CRF.

Dataset:

• Gebruikt het Bodo Monolingual Text Corpus (ILCI Phase-II) met ongeveer 240.000 tokens.
• Tagset: Bureau of Indian Standards (BIS) tagset met 34 tags verdeeld over 11 hoofdcategorieën.
• Verdeling: 80% training, 10% validatie, 10% test.

Belangrijkste Bijdragen

1. Eerste Bodo Taalmodel: Introductie van BodoBERT, het eerste vooraf getrainde taalmodel specifiek voor de Bodo-taal.
2. Eerste Deep Learning POS-Tagger: Presentatie van de eerste neurale netwerkbased POS-tagging oplossing voor Bodo.
3. Uitgebreide Vergelijking: Een grondige evaluatie van verschillende state-of-the-art sequence labeling frameworks (CRF, Fine-tuning, BiLSTM-CRF) en embeddings (FastText, BPE, XLM-R, etc.) in een low-resource context.
4. Openbare Beschikbaarheid: Zowel het BodoBERT-model als de beste POS-tagging modellen zijn openbaar gemaakt voor de onderzoeksgemeenschap.
5. Cross-linguale Analyse: Een vergelijkend experiment met Assamees om te zien hoe modellen presteren op talen met vergelijkbare schrijfsystemen en regio.

Resultaten

• Beste Prestatie: Het model dat gebruikmaakt van een Stacked embedding van BodoBERT en Byte-Pair Embeddings (BPE) binnen een BiLSTM-CRF architectuur behaalde de hoogste score.
  • F1-score: 0,8041 (Micro F1).
• Vergelijking:
  • De individuele BodoBERT methode (zonder stacking) haalde een F1-score van 0,7949.
  • Andere modellen zoals MuRIL, XLM-R en IndicBERT presteerden lager dan BodoBERT, wat aantoont dat een taal-specifiek model superieur is aan multilinguale modellen voor deze specifieke taal.
  • Een vergelijking met Assamees toonde aan dat Bodo (met 34 tags) iets beter presteerde dan Assamees (met 41 tags) onder dezelfde omstandigheden.
• Data Augmentatie: Door het toevoegen van 10.000 extra geannoteerde zinnen aan de training set, steeg de F1-score van het beste model naar 0,8494.
• Foutanalyse: De belangrijkste fouten werden gemaakt bij het onderscheiden tussen algemene zelfstandige naamwoorden (N_NN), eigennamen (N_NNP) en plaatsnamen (N_NST). Dit komt door het ontbreken van hoofdlettergebruik in het Devanagari-script om eigennamen te markeren, in tegenstelling tot het Engels.

Betekenis en Conclusie

Dit onderzoek markeert een mijlpaal in de NLP voor laag-resource talen in India. Hoewel de prestaties (F1 ~0,80) lager liggen dan die van rijkere talen (vaak >0,90), biedt het:

1. Een de facto baseline voor toekomstig onderzoek naar Bodo NLP.
2. Bewijs dat het trainen van een taal-specifiek taalmodel (BodoBERT) essentieel is voor de prestaties van downstream taken, zelfs met beperkte data.
3. Een bewezen methode (Stacked Embeddings + BiLSTM-CRF) die effectief is voor het combineren van subwoord-informatie en contextuele embeddings in lage-data scenario's.

De auteurs concluderen dat hoewel er nog ruimte is voor verbetering (vooral door grotere trainingsdatasets en betere annotatiekwaliteit), hun werk de basis legt voor de ontwikkeling van geavanceerde NLP-toepassingen voor de Bodo-talengemeenschap.