Building a Functional Machine Translation Corpus for Kpelle

Résumé Technique : Construction d'un corpus de traduction automatique fonctionnel pour le kpelle

Énoncé du problème
Malgré plus d'un million de locuteurs à travers le Liberia et la Guinée, la langue kpelle reste gravement sous-représentée dans la recherche en traitement du langage naturel (NLP). En tant que langue à faibles ressources, le kpelle souffre de la rareté des données, d'une absence d'orthographe standardisée et de variations dialectales (spécifiquement entre le kpelle libérien et le kpelle guinéen). Bien que des initiatives telles que Masakhane, le Lacuna Fund et le projet « No Language Left Behind » (NLLB) de Meta aient fait progresser les ressources pour d'autres langues africaines, le kpelle a été largement exclu, laissant ses locuteurs sans accès aux outils numériques tels que la traduction automatique (MT) ou la reconnaissance vocale.

Méthodologie
Pour combler cette lacune, les auteurs ont construit le premier corpus bilingue anglais-kpelle accessible au public. La méthodologie a impliqué un processus à plusieurs étapes :

1. Collecte de données : Le jeu de données a été compilé à partir de trois sources primaires :
   • Voyage et Tourisme : Des phrases courantes provenant de sites Web d'apprentissage des langues établis.
   • Textes religieux : Des extraits de littérature religieuse traduite et accessible au public.
   • Matériel éducatif : Du contenu issu de manuels scolaires et de dictionnaires, incluant A Learner Directed Approach to Kpelle et l'English-Kpelle Dictionary.
2. Traitement et alignement :
   • Traduction : Des locuteurs natifs du kpelle possédant une expertise linguistique ont traduit des paragraphes anglais dépourvus de texte kpelle correspondant.
   • Segmentation : Les paragraphes ont été segmentés en paires de phrases pour augmenter la granularité des tâches de MT.
   • Nettoyage et normalisation : Les données brutes ont subi une correction orthographique, une suppression des doublons et une standardisation de l'orthographe basée sur l'alphabet latin. Une attention particulière a été portée aux signes diacritiques pour représenter fidèlement le système tonal du kpelle (tons haut, moyen, bas et contour).
   • Vérification : Toutes les traductions ont été révisées par des experts linguistiques pour garantir la correction grammaticale et la pertinence contextuelle.
3. Configuration expérimentale :
   • Les auteurs ont utilisé le modèle NLLB-200 de Meta comme base de référence.
   • Deux versions du jeu de données ont été créées : la Version 1 (V1) avec 1 518 paires de traduction (1 667 phrases en kpelle / 1 638 phrases en anglais), et la Version 2 (V2) avec 2 005 paires de traduction (2 202 kpelle / 2 167 anglais), obtenue grâce à l'augmentation de données.
   • Les jeux de données ont été divisés selon un ratio 9:1 pour l'entraînement et les tests.
   • Les modèles ont été affinés (fine-tuning) pour 10k, 30k et 60k étapes en utilisant l'optimiseur Adafactor sur un GPU Quadro RTX 6000.
   • Un tokenizer SentencePiece spécifique au kpelle a été entraîné pour gérer les jetons hors vocabulaire.
   • L'évaluation a été réalisée à l'aide de sacreBLEU, chrF2++ et de mesures de précision.

Principales contributions
L'article expose trois contributions principales :

1. Création de jeu de données : La publication d'un corpus bilingue anglais-kpelle contenant un total de 3 234 paires de traduction uniques (à travers les différentes versions du jeu de données), comprenant plus de 30 000 mots. Il s'agit actuellement de la plus grande ressource disponible publiquement pour le kpelle.
2. Cadre méthodologique : Les auteurs fournissent un cadre reproductible pour la collecte, le nettoyage et l'alignement des données, spécifiquement conçu pour les langues à faibles ressources présentant des traditions écrites limitées et des incohérences orthographiques.
3. Évaluation de référence (Benchmarking) : Le jeu de données a été évalué par rapport au modèle NLLB, établissant des bases de référence de performance pour la traduction automatique en kpelle.

Résultats
Les expériences d'affinage ont produit les résultats suivants :

• Kpelle vers Anglais (kpe_Latn → eng_Latn) : La meilleure performance a été obtenue avec la Version 2 du jeu de données à 60k étapes d'entraînement, atteignant un score BLEU de 30,28 (et un chrF2++ de 44,28).
• Anglais vers Kpelle (eng_Latn → kpe_Latn) : Le meilleur résultat a été un score BLEU de 24,46, obtenu avec la Version 1 à 30k étapes. Bien que la Version 2 ait montré des améliorations à des nombres d'étapes plus élevés (atteignant 20,79 à 60k étapes), elle n'a pas surpassé la performance de pointe de la Version 1 dans cette direction.
• Impact de l'augmentation de données : L'expansion du corpus de la V1 à la V2 a généralement amélioré la performance, particulièrement dans la direction Kpelle vers Anglais lors des étapes d'entraînement plus élevées. Cependant, pour la traduction Anglais vers Kpelle, l'article note que les gains ont été modestes, la V1 surpassant la V2 au stade des 30k étapes.
• Analyse comparative : Les scores BLEU obtenus (variant approximativement de 20 à 30) sont cohérents avec la performance de NLLB-200 sur d'autres langues africaines à faibles ressources (ex. wolof, luo, yoruba), bien qu'ils restent inférieurs aux langues performantes comme le swahili.

Signification et revendications
Les auteurs affirment que ce travail pose les jalons d'une recherche intensive sur le kpelle et d'autres langues à faibles ressources du Liberia. En démontant qu'une performance de MT compétitive est réalisable malgré le statut de faible ressource de la langue, l'article souligne le potentiel pour un développement technologique linguistique inclusif.

La signification du travail est articulée autour de :

• Permettre des applications de NLP : Le jeu de données sert de ressource nécessaire pour le développement non seulement de la traduction automatique, mais aussi de la reconnaissance vocale et des outils de modélisation du langage.
• Communauté et inclusion : Le projet contribue à l'objectif plus large de promouvoir la diversité et l'inclusion linguistiques pour les langues africaines, en abordant spécifiquement la marginalisation des langues mandé dans le NLP.
• Feuille de route future : Les auteurs soulignent que, bien que les résultats actuels soient prometteurs, les travaux futurs devront se concentrer sur la cohérence orthographique, l'extension de la couverture thématique (notamment dans la santé, l'éducation et la religion) et la validation communautaire pour améliorer davantage la performance des modèles.

L'article conclut par un appel à l'action destiné aux chercheurs et aux linguistes pour collaborer à l'affinement du jeu de données et au développement de nouvelles techniques de NLP afin de combler le fossé numérique pour les locuteurs du kpelle.