Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages

Cet article présente Nsanku, une évaluation complète des performances de traduction en zéro-shot de 19 grands modèles de langage à travers 43 langues ghanéennes, révélant que, bien que les meilleurs modèles comme Gemini-2.5-flash obtiennent des scores modérés, aucun modèle actuel ne démontre simultanément une haute performance et une cohérence, indiquant qu'ils ne sont pas encore utilisables de manière fiable pour la traduction à grande échelle dans ces langues.

L'essentiel

Le Rapport Nsanku : Tester les Traducteurs IA sur les Langues du Ghana

Imaginez que vous possédiez une immense bibliothèque contenant 19 « super-cerveaux » (modèles d'IA) différents. Certains appartiennent à d'immenses géants de la technologie, tandis que d'autres sont des projets open-source construits par des communautés. Vous voulez savoir : L'un de ces cerveaux peut-il traduire l'anglais vers les 43 langues différentes parlées au Ghana sans jamais avoir été enseigné spécifiquement ces langues ?

C'est exactement ce que le papier Nsanku a réalisé. Le nom « Nsanku » provient de la langue akan et signifie « instruments de musique ». Tout comme un groupe a besoin de nombreux instruments différents pour faire de la musique, ce projet avait besoin de nombreux modèles d'IA différents pour tester la façon dont ils gèrent la « musique » diverse des langues ghanéennes.

Voici l'histoire de ce qu'ils ont découvert, expliquée simplement.

---

1. La Mise en Place : Un Test Strict « Zero-Shot »

Imaginez ces modèles d'IA comme des élèves passant un examen surprise.

• La Règle : Ils n'avaient pas le droit d'étudier à l'avance. Ils ne pouvaient pas être « affinés » (re-entraînés) sur des données ghanéennes. Ils devaient se fier entièrement à ce qu'ils savaient déjà de leur formation générale. C'est ce qu'on appelle un test zero-shot.
• Le Matériel de l'Examen : Les questions de l'examen étaient 300 phrases de la Bible, traduites dans 43 langues ghanéennes différentes. Les chercheurs ont utilisé la Bible car c'est l'un des rares endroits où l'on peut trouver des versions écrites de presque toutes ces langues au même endroit.
• La Notation : Ils ont utilisé deux systèmes de notation différents :
  • BLEU : Comme un enseignant strict vérifiant si l'élève a utilisé exactement les bons mots.
  • chrF : Comme un enseignant plus flexible vérifiant si l'élève a obtenu le son et la structure générale de la phrase corrects, même si les mots exacts étaient légèrement différents.

2. Les Résultats : Qui a réussi ? Qui a échoué ?

Les « Élèves Stars » (Modèles Propriétaires)

Trois modèles d'IA de grande renommée provenant de géants technologiques (Google, Anthropic et OpenAI) sont arrivés en tête.

• Gemini-2.5-flash était le premier de la classe avec le score le plus élevé.
• Claude-sonnet-4-5 et GPT-4.1 étaient juste derrière.
• L'Analogie : Ce sont comme les élèves qui ont fréquenté les écoles privées les plus chères. Ils ont vu beaucoup de données et peuvent mieux deviner les réponses que quiconque, mais ils ne sont toujours pas parfaits.

Les « Élèves Communautaires » (Modèles à Poids Ouverts)

Le reste des modèles étaient open-source (gratuits à utiliser et à modifier).

• Le meilleur de ce groupe était kimi-k2-instruct, mais il a obtenu un score nettement inférieur à celui des « Élèves Stars ».
• L'Écart : Il existe un écart clair entre les modèles privés et coûteux et les modèles gratuits et communautaires. Les modèles privés sont actuellement bien meilleurs pour comprendre ces langues.

Le Facteur « Difficulté de la Langue »

Toutes les langues n'étaient pas également faciles à traduire.

• Siwu était la langue « la plus facile » pour l'IA à traduire (score le plus élevé).
• Nkonya était la « plus difficile » (score le plus bas).
• La Surprise : Étonnamment, les langues les plus parlées (comme le twi) n'ont pas toujours obtenu les scores les plus élevés. Parfois, les langues avec moins de locuteurs ont obtenu des scores plus élevés. Pourquoi ? Parce que la traduction biblique spécifique utilisée pour ces langues était plus claire et plus complète que celles pour les langues populaires. C'est comme avoir une carte plus claire pour un petit village que pour une grande ville.

3. Le Grand Problème : Le Problème de l'« Ami Fiable »

C'est la découverte la plus critique du papier. Les chercheurs ne se sont pas contentés de regarder le score moyen ; ils ont examiné la cohérence.

• L'Analogie : Imaginez que vous avez un ami qui est excellent pour cuisiner de la nourriture italienne mais terrible pour cuisiner de la nourriture thaïlandaise. Si vous lui demandez de cuisiner un repas au hasard, vous ne savez jamais si vous obtiendrez un dîner délicieux ou un désastre brûlé.
• La Découverte : Aucun modèle d'IA unique n'était à la fois « Haute Performance » ET « Cohérent ».
  • Les meilleurs modèles étaient « Haute Performance mais Incohérents ». Ils pouvaient traduire le siwu parfaitement mais échouer lamentablement sur le nkonya.
  • Les modèles cohérents étaient « Cohérents mais Moyens ». Ils donnaient le même résultat médiocre pour chaque langue, ne tombant jamais dans l'échec total mais ne réussissant jamais bien non plus.
  • Le Quadrant « Leaders » : Les chercheurs ont dessiné un graphique avec quatre coins. Le coin supérieur droit est la zone des « Leaders » (Haute Qualité + Haute Cohérence). Aucun modèle et aucune langue n'a fini dans cette zone.

4. Ce Que Cela Signifie (Selon le Papier)

Le papier conclut que, bien que ces modèles d'IA soient impressionnants, ils ne sont pas encore assez fiables pour être utilisés dans des tâches réelles (comme traduire des documents gouvernementaux, des conseils médicaux ou des actualités) pour les langues ghanéennes.

• La Limite « Scripturale » : Le test a été réalisé en utilisant des versets bibliques. Les auteurs avertissent que ces modèles pourraient faire encore pire dans la conversation quotidienne, les actualités ou les textes juridiques, car ils n'ont pas vu ces types de mots dans leur formation.
• Le Problème de « Données » : Les scores bas ne sont pas parce que les langues sont « difficiles » ou « brisées ». C'est parce que l'IA n'a pas vu assez d'exemples d'elles. C'est comme essayer d'apprendre une langue en ne lisant qu'un seul livre ; vous pourriez saisir l'essentiel, mais vous manquerez les nuances.

Résumé

Le projet Nsanku a construit un immense tableau de scores pour tester 19 modèles d'IA sur 43 langues ghanéennes.

1. Les modèles des Géants Technologiques sont actuellement les meilleurs, mais les modèles gratuits rattrapent leur retard.
2. La notation basée sur les caractères (chrF) est une meilleure façon d'évaluer ces langues que la notation mot à mot (BLEU).
3. Le plus important : Aucune IA n'est actuellement assez fiable pour être confiée à ces langues. Elles sont comme un élève qui obtient parfois un A+ et parfois un F, selon la langue spécifique. Jusqu'à ce que nous voyions un modèle qui est constamment bon, nous ne pouvons pas leur faire entièrement confiance pour des tâches importantes.

Le papier a rendu toutes ses données et son code publics afin que les chercheurs continuent à tester et à améliorer ces modèles, espérant remplir éventuellement ce quadrant « Leaders ».

Résumé technique

Résumé Technique : Nsanku – Évaluation des performances de traduction sans exemple (zero-shot) des LLM pour les langues ghanéennes

Énoncé du problème

Malgré les avancées rapides des modèles de langage de grande taille (LLM) dans la traduction automatique (TA) multilingue pour les langues bien dotées en ressources, leurs capacités pour les langues africaines à faibles ressources restent mal comprises et largement inévaluées. Le Ghana, qui abrite plus de 80 langues documentées, fait face à un déficit critique : les citoyens ne peuvent souvent pas accéder aux services de santé numériques, gouvernementaux ou éducatifs dans leur langue maternelle, car les outils de traduction sont soit inexistants, soit non vérifiés. Les benchmarks multilingues existants (par exemple, FLORES-200, XTREME) couvrent au maximum une langue ghanéenne (le twi), laissant la vaste majorité du paysage linguistique du pays sans évaluation systématique. De plus, les recherches antérieures se sont largement concentrées sur des modèles affinés nécessitant des données étiquetées, laissant les capacités « sans exemple » (zero-shot) des LLM de pointe — où les modèles traduisent sans formation explicite sur la paire de langues spécifique — inexplorées à grande échelle.

Méthodologie

L'article présente Nsanku, un benchmark systématique conçu pour évaluer les performances de TA sans exemple de 19 LLM à travers 43 langues ghanéennes appariées avec l'anglais. Le cadre d'évaluation est mis en œuvre sous forme d'un pipeline Python modulaire en quatre étapes :

1. Collecte de données : Des paires de phrases parallèles ont été extraites de la plateforme YouVersion Bible, la seule source numérique offrant une ampleur suffisante pour 43 langues. À l'aide d'un outil d'extraction web, les auteurs ont aligné des versets bibliques pour créer 300 paires de phrases par langue.
2. Échantillonnage reproductible : Une étape d'échantillonnage déterministe (graine 42) a sélectionné 200 indices de phrases dans le premier fichier de langue et les a appliqués uniformément à l'ensemble des 43 langues. Cela a assuré que les 19 modèles étaient évalués sur exactement les mêmes 200 phrases par langue, éliminant ainsi la variance de l'ensemble de test.
3. Inférence du modèle : L'étude a évalué 19 LLM (10 à poids ouverts et 9 propriétaires) via l'API NVIDIA Build. Les modèles comprenaient des systèmes de pointe (par exemple, gemini-2.5-flash, claude-sonnet-4-5, gpt-4.1) et des alternatives à poids ouverts (par exemple, kimi-k2-instruct-0905, llama-3.1-405b, deepseek-v3.1). Toutes les évaluations ont été menées dans un cadre strict sans exemple, sans exemples en contexte ni affinage.
4. Calcul des métriques : La performance a été mesurée à l'aide de deux métriques automatiques :
   • BLEU (Bilingual Evaluation Understudy) : Précision standard des n-grammes.
   • chrF (Character n-gram F-Score) : Robuste aux variations morphologiques et aux problèmes de tokenisation.
   • Score moyen : La moyenne arithmétique de BLEU et chrF.
   • Cohérence : Calculée comme l'inverse de l'écart-type des scores par langue pour un modèle donné, visualisée via des diagrammes de dispersion quadrants pour identifier les modèles à la fois performants et stables.

Contributions clés

• Couverture complète : Nsanku est la première évaluation à grande échelle couvrant 43 langues ghanéennes, dont 42 n'ont jamais figuré dans un benchmark majeur de traduction automatique multilingue.
• Infrastructure : Le projet publie une infrastructure d'évaluation extensible par la communauté, incluant le code complet du pipeline, les scripts de collecte de données et un notebook Google Colab, permettant aux chercheurs de contribuer avec de nouveaux modèles ou sous-ensembles de langues.
• Analyse multidimensionnelle : Au-delà de la précision agrégée, l'étude introduit une dimension de cohérence interlinguistique pour déterminer si la performance du modèle est stable à travers les langues ou concentrée sur un petit sous-ensemble.
• Étalonnage sans exemple : Il fournit la première évaluation rigoureuse des capacités de traduction sans exemple pour cette région linguistique spécifique, comblant le fossé entre les performances des modèles propriétaires et ceux à poids ouverts.

Résultats

L'évaluation, achevée le 29 janvier 2026, a produit les constatations suivantes :

• Performance des modèles : Les modèles propriétaires de pointe ont nettement surpassé les alternatives à poids ouverts.
  • Meilleurs performeurs : gemini-2.5-flash a obtenu le score moyen le plus élevé (26,88), suivi de claude-sonnet-4-5 (24,87) et gpt-4.1 (23,20).
  • Chefs de file à poids ouverts : kimi-k2-instruct-0905 a mené la catégorie à poids ouverts avec un score moyen de 20,87, suivi de deepseek-v3.1 (19,29).
  • Écart de performance : Il existe un écart significatif (environ 6 points) entre le meilleur modèle propriétaire et le meilleur modèle à poids ouverts, bien que cet écart se réduise par rapport aux tendances historiques.
• Discrépance des métriques : Pour tous les modèles, les scores chrF ont largement dépassé les scores BLEU. Pour le modèle le moins performant (mistral-7b-instruct-v0.3), l'écart était de 15,76 points (BLEU 4,15 contre chrF 19,91). Cela suggère que les modèles préservent mieux la morphologie au niveau des caractères que les correspondances exactes au niveau des mots, validant chrF comme une métrique plus appropriée pour les langues ghanéennes riches en morphologie.
• Variation linguistique : La performance variait considérablement d'une langue à l'autre. Siwu a obtenu la moyenne par langue la plus élevée (25,73), tandis que Nkonya a obtenu le score le plus bas (11,65). Fait intéressant, certaines langues avec des populations de locuteurs plus petites (par exemple, Siwu, Chumburung) ont surpassé des langues largement parlées comme le Twi (21,82), suggérant que la qualité de la traduction biblique de référence dans le domaine scripturaire est un facteur déterminant.
• Analyse de cohérence (constat critique) : Aucun modèle et aucune langue n'occupait le quadrant « Leaders » (haute performance et haute cohérence).
  • Les meilleurs modèles se situaient dans le quadrant « Haute performance mais incohérente », ce qui signifie que leur qualité sur une langue spécifique est imprévisible.
  • Aucune langue ghanéenne ne reçoit actuellement une traduction de haute qualité et cohérente à travers l'ensemble des modèles évalués.

Importance et affirmations

L'article affirme que Nsanku établit une base rigoureuse pour ce que les LLM actuels peuvent et ne peuvent pas faire pour les langues ghanéennes. Sa principale importance réside dans la mise en évidence du déficit de fiabilité : malgré des scores agrégés impressionnants des modèles de pointe, l'absence de tout modèle dans le quadrant « Leaders » indique que les LLM actuels ne sont pas encore utilisables de manière fiable pour la traduction des langues ghanéennes à grande échelle.

Les auteurs soulignent que les scores faibles reflètent la pénurie de ressources et les déséquilibres des données d'entraînement plutôt qu'une complexité linguistique intrinsèque. Ils soutiennent que sans des benchmarks systématiques comme Nsanku, les développeurs ne peuvent pas prendre des décisions de déploiement fondées sur des preuves, et les décideurs politiques ne peuvent pas identifier les lacunes critiques en matière de capacités. L'étude conclut que, bien que le développement à poids ouverts commence à combler l'écart avec les modèles propriétaires, le domaine nécessite un investissement supplémentaire dans les données et l'évaluation pour atteindre une traduction fiable et cohérente pour les langues africaines. Les auteurs mettent explicitement en garde que ces résultats sont spécifiques au domaine scripturaire et peuvent ne pas se généraliser à des textes conversationnels ou journalistiques sans évaluation supplémentaire.