💬 NLP

Evaluating Large Language Models for Hausa and Fongbe Machine Translation: Benchmarks, Failures, and Metric Reliability

Cette étude évalue les capacités de traduction de quatre grands modèles de langage pour l'anglais vers le haoussa et l'anglais vers le fon, révélant des disparités de performance significatives entre les deux langues, le manque de fiabilité des métriques automatiques standards pour corréler avec le jugement humain, et la nécessité d'évaluations à grande échelle ainsi que d'approches multi-métriques pour les langues africaines à faibles ressources.

Auteurs originaux : Mahounan Pericles Adjovi, Roald Eiselen, Prasenjit Mitra

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mahounan Pericles Adjovi, Roald Eiselen, Prasenjit Mitra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de traduire une histoire de l'anglais vers deux langues africaines très différentes : le haoussa (parlé par des millions de personnes au Nigeria et au Niger) et le fon (parlé par un groupe plus restreint au Bénin). Vous avez quatre puissants « robots traducteurs » (des modèles de langage de grande taille comme GPT-4, Claude et Gemini) prêts à faire le travail.

Ce document est comme un test de dégustation rigoureux pour voir quel robot fait le meilleur travail et, plus important encore, si les « feuilles de notation » que nous utilisons pour les évaluer (les métriques automatiques) correspondent réellement à ce que pensent les véritables locuteurs humains.

Voici le compte rendu de leurs conclusions, en utilisant des analogies simples :

1. La « Course des Robots » : Qui a gagné ?

Les chercheurs ont demandé aux robots de traduire des milliers de phrases. Les résultats ont révélé deux mondes très différents :

Le Haoussa (le coureur « assez bon ») : Les robots ont fait un travail décent ici. Les traductions étaient compréhensibles et fluides. C'était comme un coureur terminant une course avec un temps respectable.
- Le vainqueur : GPT-4o a été le favori des juges humains, même si les feuilles de notation informatiques ont donné la victoire à Claude.
Le Fon (le coureur qui « trébuche ») : Les robots ont très mal luré ici. Les traductions étaient souvent absurdes ou brisées. C'était comme un coureur qui trébuche sur ses propres lacets.
- Le vainqueur : Gemini était l'option la moins pire, mais même lui n'a obtenu qu'une note « médiocre » de la part des humains.
Le Grand Écart : Les traductions en haoussa étaient environ trois fois meilleures que les traductions en fon. Ce n'était pas parce que le fon est une langue plus « difficile », mais parce que les robots avaient vu beaucoup plus de données d'entraînement pour le haoussa que pour le fon.

Point clé à retenir : Le fait qu'un robot soit bon dans une langue africaine ne signifie pas qu'il le sera dans une autre. On ne peut pas supposer qu'une IA « universelle » fonctionne partout.

2. Le problème de la « Feuille de Notation » : Les ordinateurs mentent-ils ?

C'est la partie la plus surprenante du document. Les chercheurs ont comparé les performances des robots par rapport à deux éléments :

Des juges humains : De vrais locuteurs natifs évaluant les traductions.
Des métriques automatiques : Des algorithmes informatiques (comme BLEU, chrF++, BERTScore) qui tentent de noter les traductions sans qu'un humain ne regarde.

Le décalage :

Pour le fon : Les feuilles de notation informatiques et les humains étaient d'accord. Ils ont tous deux dit : « Gemini est le meilleur ».
Pour le haoussa : Les feuilles de notation informatiques et les humains étaient en total désaccord.
- Les ordinateurs (spécifiquement BLEU et chrF++) ont dit : « Claude est le vainqueur ! »
- Les humains ont dit : « Non, GPT-4o est le vainqueur ; Claude semble robotique. »

L'analogie de la « Règle Cassée » :
Imaginez que vous mesurez la taille de deux personnes.

Pour le fon, votre règle fonctionne parfaitement.
Pour le haoussa, votre règle est tordue. Elle dit que la personne la plus petite est la plus grande parce qu'elle mesure la mauvaise chose (comme compter le nombre de lettres dans un mot au lieu de mesurer la qualité sonore de la phrase).

3. Le « Miroir Magique » qui ne reflète rien (Métriques neuronales)

Le document a testé un type spécifique de métrique informatique appelé BERTScore, qui utilise un « miroir magique » (un modèle de plongement/embedding) pour voir si deux phrases signifient la même chose.

Le bug : Pour le haoussa et le fon, ce miroir était brisé. Il regardait deux phrases complètement différentes et disait : « Elles sont 99 % identiques ! »
Le résultat : Parce que le miroir ne pouvait pas distinguer une bonne traduction d'une mauvaise, les scores étaient tous les mêmes (des chiffres élevés pour tout le monde). C'était comme un juge donnant une médaille d'or à chaque candidat parce qu'il ne pouvait pas distinguer qui chantait vraiment.
La leçon : On ne peut pas faire confiance à ces métriques « intelligentes » pour ces langues tant que nous n'avons pas réparé le miroir.

4. Le piège de la « Taille de l'Échantillon »

Les chercheurs ont testé les robots avec de petits groupes de phrases (500 ou 1 000) puis avec un groupe énorme (10 000).

Le piège : Avec de petits groupes, les résultats étaient chaotiques et trompeurs. Par exemple, avec 1 000 phrases, les données suggéraient que Gemini gagnait en haoussa. Mais lorsqu'ils ont testé 10 000 phrases, il s'est avéré que c'était Claude qui gagnait réellement.
La leçon : Il faut une grande foule (au moins 2 500 phrases) pour obtenir une image fidèle. Les petits échantillons sont comme juger un film entier à partir d'un clip de 10 secondes ; vous risquez de vous faire une idée erronée.

Résumé des Recommandations

Sur la base de ce « test de dégustation », les auteurs suggèrent :

Ne faites pas confiance aux feuilles de notation informatiques seules. Surtout pour le haoussa, les ordinateurs se sont trompés de vainqueur. Vous devez faire vérifier le travail par de vrais humains.
Utilisez la bonne règle. Si vous devez utiliser une métrique informatique, utilisez chrF++ (qui compte les correspondances de caractères) plutôt que le « miroir magique » (BERTScore), qui est actuellement défaillant pour ces langues.
Choisissez votre robot avec soin. Si vous avez besoin de traduire en haoussa, utilisez GPT-4o ou Claude. Si vous avez besoin de traduire en fon, utilisez Gemini, mais soyez prêt à une qualité médiocre.
N'utilisez pas les traductions en fon pour des choses sérieuses pour le moment. La qualité est trop faible ; ce serait comme essayer de construire une maison avec du sable mouillé.
Le haoussa est prêt pour « l'augmentation de données ». Les traductions sont assez bonnes pour être utilisées comme données d'entraînement supplémentaires, à condition de filtrer d'abord les mauvaises.

En bref : L'IA s'améliore dans la traduction des langues africaines, mais elle n'y est pas encore. Les outils que nous utilisons pour mesurer son succès sont souvent défaillants, et nous avons besoin de vrais humains pour garder les robots honnêtes.

Résumé technique : Évaluation des grands modèles de langage pour la traduction automatique en haoussa et en fon

Énoncé du problème

La traduction automatique (TA) pour les langues africaines à faibles ressources est entravée par une pénurie critique de données. Bien que les grands modèles de langage (LLM) offrent une solution potentielle via la génération de données parallèles synthétiques, leur capacité à produire une qualité de traduction suffisante pour des langues typologiquement distinctes reste non vérifiée. De plus, la fiabilité des métriques d'évaluation automatique standard — développées principalement pour les langues européuses à hautes ressources — n'a pas été systématiquement validée pour ces paires de langues spécifiques.

Cette étude aborde deux questions de recherche spécifiques :

RQ1 : Quelle est la qualité de traduction des LLM commerciaux et à poids ouverts actuels pour l'anglais vers le haoussa et l'anglais vers le fon, et comment cette qualité varie-t-elle selon les systèmes et les langues ?
RQ2 : Dans quelle mesure les métriques d'évaluation automatique sont-elles corrélées au jugement humain de locuteurs natifs pour ces langues, et quelles métriques devraient guider le filtrage de la qualité ?

L'investigation se concentre sur le haoussa (famille afro-asiatique, 58 millions de locuteurs) et le fon (famille Niger-Congo, 2,3 millions de locuteurs). Ces langues présentent des défis linguistiques distincts : le haoussa présente une morphologie agglutinante et une marquage complexe du TAM (temps-aspect-mode) verbal, tandis que le fon utilise des constructions verbales sérielles et un système de trois tons qui est obligatoirement marqué orthographiquement.

Méthodologie

Modèles évalués

L'étude a évalué quatre systèmes de traduction basés sur des LLM à des échelles progressives (de 500 à 10 000 phrases) :

API commerciales : GPT-4o Mini (OpenAI), Claude Sonnet 4 (Anthropic), Gemini 2.5 Flash (Google).
Poids ouverts : Qwen2.5-7B (Alibaba).
Tous les modèles ont été exécutés avec une température de 0,0 pour des sorties déterministes.

Données et stratégie d'évaluation

Données sources : Les paires de phrases parallèles proviennent du dépôt OPUS (CCMatrix pour l'anglais-haoussa ; NLLB v1 pour l'anglais-fon).
Échelles : Les évaluations ont été menées à $n=500, 1\,000, 2\,500$ et $10\,000$ phrases pour déterminer la taille minimale de l'échantillon requise pour une stabilité du classement des systèmes.
Métriques automatiques : Cinq métriques ont été employées :
- Lexicales : BLEU, chrF++, TER.
- Neurales : COMET (wmt22-comet-da) et BERTScore (XLM-RoBERTa-large).
Évaluation humaine : 13 locuteurs natifs (7 fon, 6 haoussa) ont évalué les traductions sur une échelle de 5 points selon quatre dimensions : Adéquation, Fluidité, Pertinence culturelle et Qualité globale. En raison de contraintes de ressources, $n=50$ phrases ont été évaluées par langue par 3 évaluateurs chacun.
Analyse statistique : Le rééchantillonnage par bootstrap (10 000 itérations) a été utilisé pour calculer les intervalles de confiance à 95 % pour les comparaisons de systèmes par paires. Le coefficient de Spearman $\rho$ a été utilisé pour mesurer la corrélation de rang entre les métriques et les jugements humains.

Principales contributions

Benchmark LLM pour le haoussa et le fon : Il s'agit de la première comparaison systématique des LLM commerciaux actuels (publiés en 2024–2025) pour ces langues spécifiques avec des tests de signification statistique à grande échelle ( $n=10\,000$ ). L'étude révèle que la performance sur une langue africaine à faibles ressources ne prédit pas la performance sur une autre.
Analyse de la fiabilité des métriques : L'étude fournit une validation systématique des métriques automatiques par rapport au jugement des locuteurs natifs. Elle identifie que la corrélation métrique-humain varie considérablement selon la langue et expose l'« effondrement de l'embedding » dans les métriques neurales pour les deux langues.
Recommandations pratiques : Les auteurs établissent des exigences de taille d'échantillon minimale ( $n=2\,500$ ) pour une évaluation fiable et recommandent des métriques spécifiques (chrF++) ainsi que des protocoles d'évaluation (évaluation humaine obligatoire) pour les langues africaines à faibles ressources.

Résultats

Qualité de traduction et classement des modèles

Écart de performance interlinguistique : Les traductions en haoussa ont atteint une qualité acceptable (scores humains 3,37–4,46/5), tandis que les traductions en fon étaient médiocres (1,0–2,2/5). Un écart de 3× BLEU constant existait entre le meilleur système de haoussa et le meilleur système de fon à toutes les échelles.
Classement des modèles par langue :
- Fon : Gemini 2.5 Flash a mené de manière constante sur les deux métriques automatiques et l'évaluation humaine.
- Haoussa : GPT-4o Mini a été préféré par les évaluateurs humains (4,46/5), tandis que Claude Sonnet 4 a été classé premier sur toutes les métriques automatiques (BLEU 15,75).
- Open-source : Qwen2.5-7B a nettement sous-performé par rapport aux modèles commerciaux.

Fiabilité des métriques et corrélation

Corrélation Métrique-Humain :
- Fon : Corrélation de rang parfaite ( $\rho=1,0$ ) entre les métriques automatiques et le jugement humain.
- Haoussa : Faible corrélation ( $\rho=0,5$ ). Les évaluateurs humains préféraient GPT-4o, tandis que toutes les métriques automatiques classaient Claude en premier. Cela indique que les métriques de surface et sémantiques peuvent manquer des dimensions de qualité (ex: naturel, pertinence culturelle) prioritaires pour les locuteurs natifs.
Échecs des métriques neurales (Effondrement de l'embedding) :
- BERTScore : A présenté un « effondrement de l'embedding » pour les deux langues, avec une similitude cosinus intra-langue dépassant 0,99. Cela a rendu la métrique incapable de différencier la qualité de traduction, affichant des scores uniformément élevés (0,83–0,88) quel que soit le niveau de performance.
- COMET : A montré un comportement anomal pour le fon, classant le pire système (Qwen2.5-7B) en premier malgré ses faibles scores lexicaux. Pour le haoussa, COMET s'alignait mieux avec les métriques lexicales.
Stabilité de l'échelle : Les classements étaient instables à $n=1\,000$ (ex: Gemini semblait mener erronément pour le haoussa). Des classements stables et statistiquement significatifs nécessitaient un minimum de $n=2\,500$ phrases.

Problèmes de corpus de référence

Une analyse post-hoc des données de référence a révélé des problèmes de qualité importants, particulièrement pour le fon, incluant une contamination par une mauvaise langue (chinois au lieu du fon) et une corruption de l'encodage. Le score de qualité moyen du corpus de référence était de 2,94/5,0.

Signification et affirmations

L'article affirme que la catégorie « faibles ressources » n'est pas monolithique ; des écarts de qualité substantiels existent même entre des langues ouest-africaines comptant des millions de locuteurs. L'étude démontre que :

Les pratiques d'évaluation ne sont pas transférables : Les métriques validées sur les langues à hautes ressources ne se transfèrent pas de manière fiable aux contextes typologiquement distincts à faibles ressources. Plus précisément, les métriques neurales comme BERTScore sont peu fiables en raison de l'effondrement de l'embedding dans des modèles comme XLM-RoBERTa, même pour les langues incluses dans le pré-entraînement (comme le haoussa).
L'échelle est critique : Les petits échantillons de taille ( $<2\,500$ ) produisent des résultats artificiels qui s'inversent à plus grande échelle. La comparaison fiable des systèmes pour la TA à faibles ressources nécessite des ensembles de données plus vastes.
La sélection des modèles est spécifique à la langue : Aucun modèle unique n'excelle dans les deux langues. La performance sur une langue à faibles ressources ne prédit pas la performance sur une autre, suggérant que la représentation des données d'entraînement est le facteur dominant plutôt qu'une « capacité de faible ressource » généralisable.
Viabilité de l'augmentation de données :
- Haoussa : Les traductions générées par LLM sont viables pour l'augmentation de données si elles sont filtrées par des seuils (ex: COMET > 0,55 ou chrF++ > 35).
- Fon : Les traductions générées par LLM ne sont pas viables pour l'augmentation de données, car le meilleur système (Gemini) a obtenu un score inférieur au seuil acceptable (2,20/5), introduisant plus de bruit que de signal.

Les auteurs concluent que pour les langues morphologiquement complexes et à faibles ressources, chrF++ devrait être la métrique automatique principale, mais qu'une évaluation humaine obligatoire est essentielle pour l'évaluation finale de la qualité, particulièrement lorsque les métriques automatiques divergent du jugement humain.