Building a Functional Machine Translation Corpus for Kpelle

Technische Zusammenfassung: Aufbau eines funktionalen maschinellen Übersetzungskorpus für Kpelle

Problemstellung
Trotz mehr als einer Million Sprechern in Liberia und Guinea bleibt die Sprache Kpelle in der Forschung zur natürlichen Sprachverarbeitung (NLP) stark unterrepräsentiert. Als ressourcenarme Sprache leidet Kpelle unter Datenknappheit, einem Mangel an standardisierter Orthografie und dialektalen Variationen (insbesondere zwischen dem liberianischen und dem guineischen Kpelle). Während Initiativen wie Masakhane, der Lacuna Fund und das „No Language Left Behind“ (NLLB)-Projekt von Meta die Ressourcen für andere afrikanische Sprachen vorangebracht haben, wurde Kpelle weitgehend ausgeschlossen, wodurch die Sprecher ohne Zugang zu digitalen Werkzeugen wie maschineller Übersetzung (MT) oder Spracherkennung bleiben.

Methodik
Um diese Lücke zu schließen, haben die Autoren den ersten öffentlich verfügbaren bilingualen Englisch-Kpelle-Korpus erstellt. Die Methodik umfasste einen mehrstufigen Prozess:

1. Datenerhebung: Der Datensatz wurde aus drei Primärquellen zusammengestellt:
   • Reisen und Tourismus: Gebräuchliche Phrasen, die von etablierten Sprachlern-Websites stammen.
   • Religiöse Texte: Auszüge aus öffentlich verfügbaren übersetzten religiösen Literaturwerken.
   • Bildungsmaterialien: Inhalte aus Lehrbüchern und Wörterbüchern, einschließlich A Learner Directed Approach to Kpelee und dem English-Kpelle Dictionary.
2. Verarbeitung und Ausrichtung (Alignment):
   • Übersetzung: Muttersprachliche Kpelle-Sprecher mit linguistischer Expertise übersetzten englische Absätze, für die kein entsprechender Kpelle-Text vorlag.
   • Segmentierung: Die Absätze wurden in Satzpaare segmentiert, um die Granularität für MT-Aufgaben zu erhöhen.
   • Bereinigung und Normalisierung: Die Rohdaten wurden einer Rechtschreibprüfung, Duplikatentfernung und der Standardisierung der latein-basierten Orthografie unterzogen. Besonderes Augenmerk wurde auf diakritische Zeichen gelegt, um das Tonsystem von Kpelle (Hoch-, Mittel-, Tief- und Konturton) präzise darzustellen.
   • Verifizierung: Alle Übersetzungen wurden von Sprachexperten überprüft, um grammatikalische Korrektheit und kontextuelle Angemessenheit zu gewährleisten.
3. Experimenteller Aufbau:
   • Die Autoren nutzten das NLLB-200-Modell von Meta als Baseline.
   • Es wurden zwei Versionen des Datensatzes erstellt: Version 1 (V1) mit 1.518 Übersetzungspaaren (1.667 Kpelle/1.638 englische Sätze) und Version 2 (V2) mit 2.005 Übersetzungspaaren (2.202 Kpelle/2.167 englische Sätze), die durch Datenaugmentation erreicht wurden.
   • Die Datensätze wurden im Verhältnis 9:1 in Trainings- und Testdaten aufgeteilt.
   • Die Modelle wurden für 10k, 30k und 60k Schritte unter Verwendung des Adafactor-Optimierers auf einer Quadro RTX 6000 GPU feinjustiert.
   • Ein spezieller, Kpelle-spezifischer SentencePiece-Tokenizer wurde trainiert, um Out-of-Vocabulary-Token zu handhaben.
   • Die Evaluierung erfolgte mittels sacreBLEU, chrF2++ und Präzisionsmetriken.

Wesentliche Beiträge
Das Paper skizziert drei primäre Beiträge:

1. Datensatz-Erstellung: Die Veröffentlichung eines bilingualen Englisch-Kpelle-Korpus, der insgesamt 3.234 einzigartige Übersetzungspaare umfasst (über alle Datensatzversionen hinweg) und mehr als 30.000 Wörter enthält. Dies ist derzeit die größte öffentlich verfügbare Ressource für Kpelle.
2. Methodischer Rahmen: Die Autoren stellen einen replizierbaren Rahmen für Datenerhebung, Bereinigung und Ausrichtung bereit, der speziell für ressourcenarme Sprachen mit begrenzten schriftlichen Traditionen und orthografischen Inkonsistenzen entwickelt wurde.
3. Benchmarking: Der Datensatz wurde gegen das NLLB-Modell getestet, wodurch Leistungsgrundlagen (Baselines) für die Kpelle-Maschinelle Übersetzung etabliert wurden.

Ergebnisse
Die Experimente zur Feinjustierung lieferte folgende Ergebnisse:

• Kpelle-zu-Englisch (kpe_Latn → eng_Latn): Die beste Leistung wurde mit Version 2 des Datensatzes bei 60k Trainingsschritten erzielt, wobei ein BLEU-Score von 30,28 (und ein chrF2++ von 44,28) erreicht wurde.
• Englisch-zu-Kpelle (eng_Latn → kpe_Latn): Das beste Ergebnis war ein BLEU-Score von 24,46, erzielt mit Version 1 bei 30k Schritten. Obwohl Version 2 bei höheren Schrittzahlen Verbesserungen zeigte (erreichte 20,79 bei 60k Schritten), konnte sie die Spitzenleistung von Version 1 in dieser Richtung nicht übertreffen.
• Auswirkung der Datenaugmentation: Die Erweiterung des Korpus von V1 zu V2 verbesserte generell die Leistung, insbesondere in der Kpelle-zu-Englisch-Richtung bei höheren Trainingsschritten. Für die Englisch-zu-Kpelle-Übersetzung stellt das Paper jedoch fest, dass die Zuwächse moderat waren, wobei V1 bei der 30k-Schritt-Marke besser abschnitt als V2.
• Vergleichende Analyse: Die erreichten BLEU-Scores (etwa im Bereich von 20–30) sind konsistent mit der NLLB-200-Leistung bei anderen ressourcenarmen afrikanischen Sprachen (z. B. Wolof, Luo, Yoruba), liegen jedoch unter den Hochleistungssprachen wie Swahili.

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Arbeit das Fundament für intensive Forschung zu Kpelle und anderen ressourcenarmen Liberianischen Sprachen legt. Durch den Nachweis, dass eine wettbewerbsfähige MT-Leistung trotz des ressourcenarmen Status der Sprache erreichbar ist, unterstreicht das Paper das Potenzial für eine inklusive Entwicklung der Sprachtechnologie.

Die Bedeutung der Arbeit wird wie folgt gerahmt:

• Ermöglichung von NLP-Anwendungen: Der Datensatz dient als notwendige Ressource für die Entwicklung nicht nur der maschinellen Übersetzung, sondern auch von Spracherkennung und Sprachmodellierungstools.
• Gemeinschaft und Inklusion: Das Projekt trägt zum übergeordneten Ziel bei, die sprachliche Vielfalt und Inklusion afrikanischer Sprachen zu fördern, indem es gezielt die Marginalisierung von Mande-Sprachen im NLP adressiert.
• Zukünftiger Fahrplan: Die Autoren betonen, dass die aktuellen Ergebnisse zwar vielversprechend sind, die zukünftige Arbeit jedoch den Fokus auf orthografische Konsistenz, die Erweiterung der Domänenabdeckung (insbesondere in den Bereichen Gesundheit, Bildung und Religion) und gemeinschaftsbasierte Validierung legen muss, um die Modellleistung weiter zu verbessern.

Das Paper schließt mit einem Aufruf an Forscher und Linguisten, bei der Verfeinerung des Datensatzes und der Entwicklung neuartiger NLP-Techniken zusammenzuarbeiten, um die digitale Kluft für Kpelle-Sprecher zu überbrücken.