Building a Functional Machine Translation Corpus for Kpelle

Technische Samenvatting: Het bouwen van een functionele machinevertalingscorpus voor het Kpelle

Probleemstelling
Ondanks het feit dat er meer dan een miljoen sprekers zijn in Liberia en Guinee, blijft de Kpelle-taal ernstig ondervertegenwoordigd in NLP-onderzoek (Natural Language Processing). Als een taal met weinig middelen (low-resource language) lijdt Kpelle onder datatekort, een gebrek aan gestandaardiseerde orthografie en dialectische variaties (specifiek tussen het Liberiaanse en Guinese Kpelle). Hoewel initiatieven zoals Masakhane, de Lacuna Fund en Meta's "No Language Left Behind" (NLLB) project de middelen voor andere Afrikaanse talen hebben geavanceerd, is Kpelle grotendeels uitgesloten gebleven, waardoor sprekers geen toegang hebben tot digitale hulpmiddelen zoals machinevertaling (MT) of spraakherkenning.

Methodologie
Om dit gat te dichten, hebben de auteurs het eerste publiekelijk beschikbare tweetalige Engels-Kpelle corpus geconstrueerd. De methodologie bestond uit een meerfasig proces:

1. Dataverzameling: De dataset werd samengesteld uit drie primaire bronnen:
   • Reizen en Toerisme: Veelvoorkomende zinnen afkomstig van gevestigde taalverwervingswebsites.
   • Religieuze Teksten: Fragmenten uit publiekelijk beschikbare vertaalde religieuze literatuur.
   • Educatief Materiaal: Inhoud uit tekstboeken en woordenboeken, inclusief A Learner Directed Approach to Kpelle en de English-Kpelle Dictionary.
2. Verwerking en Uitlijning:
   • Vertaling: Moedertaalsprekers van het Kpelle met linguïstische expertise vertaalden Engelse paragrafen die geen corresponderende Kpelle-tekst hadden.
   • Segmentatie: Paragrafen werden gesegmenteerd in zinparen om de granulariteit voor MT-taken te vergroten.
   • Opschoning en Normalisatie: De ruwe data ondergingen spellingcontrole, verwijdering van duplicaten en standaardisatie van de op het Latijn gebaseerde orthografie. Er werd speciale aandacht besteed aan diakritische tekens om het tonale systeem van het Kpelle (hoog, midden, laag en contourtonen) nauwkeurig weer te geven.
   • Verificatie: Alle vertalingen werden beoordeeld door taalexperts om grammaticale correctheid en contextuele toepasbaarheid te waarborgen.
3. Experimentele Opstelling:
   • De auteurs gebruikten het NLLB-200-model van Meta als baseline.
   • Er werden twee versies van de dataset gemaakt: Versie 1 (V1) met 1.518 vertaalparen (1.667 Kpelle/1.638 Engelse zinnen), en Versie 2 (V2) met 2.005 vertaalparen (2.202 Kpelle/2.167 Engelse zinnen), bereikt door data-augmentatie.
   • De datasets werden gesplitst in een ratio van 9:1 voor training en testen.
   • Modellen werden gefinetuned voor 10k, 30k en 60k stappen met de Adafactor-optimizer op een Quadro RTX 6000 GPU.
   • Een op Kpelle specifieke SentencePiece-tokenizer werd getraind om out-of-vocabulary tokens af te handelen.
   • Evaluatie werd uitgevoerd met sacreBLEU, chrF2++ en precisie-metrieken.

Belangrijkste Bijdragen
Het artikel beschrijft drie primaire bijdragen:

1. Datasetcreatie: De release van een tweetalig Engels-Kpelle corpus met in totaal 3.234 unieke vertaalparen (over de verschillende datasetversies heen), bestaande uit meer dan 30.000 woorden. Dit is momenteel de grootste publiekelijk beschikbare bron voor het Kpelle.
2. Methodologisch Kader: De auteurs bieden een reproduceerbaar kader voor dataverzameling, opschoning en uitlijning, specifiek ontworpen voor talen met weinig middelen met beperkte schriftelijke tradities en orthografische inconsistenties.
3. Benchmarking: De dataset is afgezet tegen het NLLB-model, waarmee prestatie-baselines voor Kpelle machinevertaling zijn vastgesteld.

Resultaten
De fine-tuning experimenten leverden de volgende resultaten op:

• Kpelle-naar-Engels (kpe_Latn → eng_Latn): De beste prestatie werd bereikt met Versie 2 van de dataset bij 60k trainingsstappen, met een BLEU-score van 30,28 (en een chrF2++ van 44,28).
• Engels-naar-Kpelle (eng_Latn → kpe_Latn): Het beste resultaat was een BLEU-score van 24,46, behaald met Versie 1 bij 30k stappen. Hoewel Versie 2 verbeteringen liet zien bij hogere stapenaantallen (bereikend tot 20,79 bij 60k stappen), overtrof het de piekprestatie van Versie 1 in deze richting niet.
• Impact van Data-augmentatie: Het uitbreiden van het corpus van V1 naar V2 verbeterde over het algemeen de prestaties, met name in de Kpelle-naar-Engels richting bij hogere trainingsstappen. Echter, voor de Engels-naar-Kpelle vertaling merkt het artikel op dat de winst bescheiden was, waarbij V1 de V2 overtrof bij de 30k-stap markering.
• Vergelijkende Analyse: De behaalde BLEU-scores (variërend van ongeveer 20–30) zijn consistent met de NLLB-200 prestaties op andere talen met weinig middelen (zoals Wolof, Luo, Yoruba), hoewel ze lager blijven dan hoogpresterende talen zoals het Swahili.

Betekenis en Claims
De auteurs beweren dat dit werk de basis legt voor intensief onderzoek naar het Kpelle en andere Liberiaanse talen met weinig middelen. Door aan te tonen dat competitieve MT-prestaties haalbaar zijn ondanks de status van de taal als low-resource, benadrukt het artikel het potentieel voor inclusieve ontwikkeling van taaltechnologie.

De betekenis van het werk wordt gekaderd rondom:

• Het mogelijk maken van NLP-toepassingen: De dataset dient als een noodzakelijke bron voor de ontwikkeling van niet alleen machinevertaling, maar ook spraakherkenning en taalmodelleringsinstrumenten.
• Gemeenschap en Inclusie: Het project draagt bij aan het bredere doel van het bevorderen van taaldiversiteit en inclusie voor Afrikaanse talen, specifiek gericht op de marginalisering van Mande-talen in NLP.
• Toekomstige Roadmap: De auteurs benadrukken dat, hoewel de huidige resultaten veelbelovend zijn, toekomstig werk zich moet richten op orthografische consistentie, het uitbreiden van domeindeckage (met name in gezondheidszorg, onderwijs en religie) en gemeenschapsgestuurde validatie om de modelprestaties verder te verbeteren.

Het artikel sluit af met een oproep tot actie voor onderzoekers en taalkundigen om samen te werken aan het verfijnen van de dataset en het ontwikkelen van nieuwe NLP-technieken om de digitale kloof voor Kpelle-sprekers te overbruggen.