Who Benchmarks the Benchmarks? A Case Study of LLM Evaluation in Icelandic

Cette étude révèle que les benchmarks actuels pour l'islandais, souvent basés sur des données synthétiques ou traduites par machine sans vérification, contiennent des erreurs graves qui faussent les résultats, appelant ainsi à l'adoption de méthodes d'évaluation plus rigoureuses pour les langues à ressources limitées.

L'essentiel

🧊 Le Titre : « Qui vérifie les vérificateurs ? » (L'histoire du test de glace islandaise)

Imaginez que l'Islande est un petit village isolé au milieu d'un océan de données géantes, dominé par l'anglais. Les chercheurs veulent construire des tests (des examens) pour voir si les intelligences artificielles (les robots) parlent bien islandais.

Le problème ? Personne ne veut prendre le temps de créer ces tests à la main, c'est trop long et cher. Alors, ils utilisent une machine pour traduire les tests anglais existants ou pour inventer de nouvelles questions automatiquement.

Ce papier dit : « Attention ! On a vérifié ces tests islandais, et beaucoup sont pourris. »

---

🏗️ L'Analogie : Construire une maison avec des briques pourries

Pour comprendre le cœur du problème, imaginez que vous voulez construire une maison (l'IA) et que vous avez besoin de briques solides (les données d'entraînement et les tests).

1. La méthode humaine (Idéale) : Des maçons islandais natifs construisent les murs avec des briques qu'ils ont fabriquées eux-mêmes. Ils savent exactement où va chaque brique. C'est solide, c'est beau, et ça résiste au vent.
2. La méthode automatique (Le problème) : On prend des plans de maisons américaines (les tests anglais), on les passe dans un traducteur automatique, et on essaie de construire la maison islandaise avec ces plans traduits.
   • Le résultat ? Parfois, le traducteur oublie que la pluie en Islande tombe différemment qu'au Nevada. Il met une fenêtre là où il faut un mur de pierre. Il traduit un mot scientifique par un mot qui n'existe pas.
   • La conséquence : La maison semble debout sur le papier, mais dès qu'on y habite (qu'on utilise l'IA), elle s'effondre ou fait des choses bizarres.

🔍 Ce que les auteurs ont découvert (Le diagnostic)

Les auteurs ont pris une loupe et ont examiné les tests utilisés pour l'Islande. Ils ont trouvé deux types de problèmes majeurs :

1. La « Traduction Magique » qui rate tout

Quand on traduit un test d'anglais en islandais sans faire attention, ça donne des résultats absurdes.

• Exemple drôle : Dans un test de lecture, une question demande de choisir entre des pays. La traduction automatique a mis le mot « kalkúnn » (qui veut dire dinde l'animal) au lieu de « Tyrkland » (la Turquie).
• Exemple scientifique : Un test de physique demande de distinguer des organismes. La traduction a inventé un mot islandais qui n'existe pas pour dire « autotrophe ».
• Le verdict : C'est comme si on demandait à un élève islandais de répondre à un examen de sciences américaines sur le désert du Nevada, traduit par un robot qui ne connaît pas la géographie islandaise. L'élève va échouer, non pas parce qu'il est bête, mais parce que le test est faux.

2. L'absence de natifs (Le problème du « ScaLA »)

Certains tests ont été créés par des experts qui ne parlent pas islandais. Ils ont pris des textes de l'parlement islandais (qui sont des transcriptions orales, avec des hésitations et des interruptions) et les ont utilisés pour tester la grammaire.

• L'erreur : Ils ont marqué comme « fautes de grammaire » des choses qui sont normales à l'oral (comme un président qui sonne une cloche pendant un discours).
• L'analogie : C'est comme si un expert en musique classique notait un concert de jazz en disant : « C'est faux, il n'y a pas de partition ! ». Le test ne mesure pas la compétence, il mesure la méconnaissance de la culture.

📉 Les Chiffres (La réalité en face)

Les auteurs ont fait un comptage précis :

• Sur certains tests générés par IA ou traduits automatiquement, moins de 10 % des questions étaient correctes et utilisables.
• Sur d'autres, comme le test HellaSwag, aucune question n'était valide. C'est comme un examen où toutes les questions sont illisibles.
• À l'inverse, les tests créés ou vérifiés par des humains natifs (comme WinoGrande) étaient quasi parfaits.

💡 La Leçon à retenir

Ce papier est un appel à l'ordre pour les chercheurs du monde entier, surtout pour les langues moins connues (comme l'islandais, le basque, le quechua, etc.).

Les 3 règles d'or :

1. Arrêtez de tout traduire automatiquement : Si vous ne vérifiez pas le travail du robot, vous risquez de construire une IA qui parle une langue qui n'existe pas.
2. Impliquez les natifs : Il faut des humains qui parlent la langue pour valider les tests. C'est le seul moyen de s'assurer que le test a du sens culturellement.
3. Ne confondez pas « grand nombre » et « bonne qualité » : Avoir 10 000 questions générées par une machine ne vaut rien si 9 000 d'entre elles sont fausses. Mieux vaut 100 questions parfaites.

🎯 Conclusion

En résumé, ce papier nous dit : « Ne laissez pas les robots juger les robots sans supervision humaine. »

Si on continue à utiliser des tests pourris pour entraîner les intelligences artificielles, on risque de créer des modèles qui semblent intelligents sur le papier, mais qui sont complètement déconnectés de la réalité des gens qui parlent ces langues. C'est comme donner une carte routière avec des fausses routes à un conducteur : il va avancer, mais il finira dans un fossé.

L'avenir de l'IA pour les petites langues passe par la qualité humaine, pas par la quantité automatique.

Résumé technique

1. Problématique

L'article adresse un problème critique dans le domaine du Traitement Automatique des Langues (TAL) : la qualité et la validité des benchmarks (ensembles de données d'évaluation) pour les langues à ressources faibles ou moyennes, comme l'islandais.

• Le constat : Avec l'avènement des Grands Modèles de Langage (LLM), la création de benchmarks s'est accélérée. Pour les langues peu dotées, les chercheurs ont souvent recours à la traduction automatique (MT) de benchmarks existants (souvent en anglais) ou à la génération de données synthétiques par des LLM.
• Le risque : Cette approche, souvent non vérifiée par des locuteurs natifs, introduit des erreurs systématiques (traductions de mauvaise qualité, incohérences culturelles, hallucinations) qui faussent les résultats d'évaluation. Les modèles peuvent obtenir de bons scores sur des données défectueuses sans pour autant maîtriser la langue cible, ce qui compromet la validité de construction (construct validity) des tests.

2. Méthodologie

Les auteurs ont mené une analyse quantitative des erreurs sur un échantillon représentatif des benchmarks actuellement utilisés pour évaluer les LLM en islandais.

• Corpus analysé : L'étude couvre les benchmarks présents sur deux classeurs publics (leaderboards) : celui de l'entreprise islandaise Miðeind et celui du projet EuroEval. Les jeux de données incluent des tâches de compréhension de lecture (ARC, Belebele), de raisonnement (WinoGrande, HellaSwag), de sentiment, de détection d'erreurs grammaticales (GED) et de questions-réponses (WikiQA, NQiI).
• Échantillonnage : Pour chaque benchmark, les auteurs ont sélectionné aléatoirement 250 exemples (ou 10 % si le jeu de données était plus petit).
• Annotation : Trois auteurs, tous experts en linguistique islandaise et en TAL, ont annoté les échantillons selon trois catégories :
  • IC (Incorrect/Severely Flawed) : Réponse fausse, traduction machine très médiocre, ou exemple gravement défectueux.
  • F (Flawed) : Contient des erreurs (orthographe, grammaire, vocabulaire) mais reste compréhensible.
  • OK (Valid) : Exemple valide et correct.
• Mesures de fiabilité : L'accord inter-annotateurs a été calculé à l'aide du coefficient alpha de Krippendorff, en tenant compte de la nature ordinaire des notes (IC > F > OK).

3. Contributions Clés

1. Analyse empirique des défauts : C'est l'une des premières études à quantifier systématiquement la proportion d'erreurs dans les benchmarks pour une langue spécifique à ressources limitées (islandais), en distinguant les données créées par des humains de celles générées ou traduites par des machines.
2. Critique de la traduction automatique non vérifiée : L'article démontre que la traduction automatique de benchmarks (surtout sans vérification humaine) introduit des artefacts linguistiques et culturels majeurs qui rendent les évaluations invalides.
3. Mise en lumière de l'absence de locuteurs natifs : L'étude souligne que l'absence de validation par des locuteurs natifs lors de la création ou de l'adaptation de benchmarks conduit à des données qui ne reflètent pas la réalité linguistique ou culturelle de la langue cible.
4. Appel à une nouvelle méthodologie : Les auteurs proposent une approche « Benchmark-Validation-First », exigeant que les benchmarks soient validés par des experts natifs avant d'être utilisés pour l'entraînement ou l'évaluation.

4. Résultats Principaux

L'analyse quantitative révèle des écarts massifs entre les benchmarks humains et ceux générés automatiquement :

• Qualité variable selon l'origine :
  • Les benchmarks traduits par machine (ex: HellaSwag-IS, MMLU-IS, ARC-IS d'EuroEval) présentent un taux d'erreurs catastrophique. Par exemple, HellaSwag-IS est jugé « presque entièrement gravement défectueux » (aucun exemple valide trouvé par les annotateurs). MMLU-IS et ARC-IS (version EuroEval) ont moins de 10 % d'exemples valides.
  • Les benchmarks traduits ou créés par des humains (ex: WinoGrande-IS, WikiQA-IS vérifié manuellement) montrent une qualité nettement supérieure, avec une proportion d'exemples valides beaucoup plus élevée.
• Types d'erreurs détectés :
  • Traductions littérales et incohérentes : Exemple : la traduction du mot « turkey » (pays) par « kalkúnn » (dinde, l'animal) dans Belebele.
  • Perte de sens culturel : Des questions sur le système scolaire américain ou des faits historiques locaux sont mal adaptées sans localisation.
  • Terminologie scientifique erronée : Dans les versions traduites d'ARC, des termes comme « bi-flagellate » sont mal traduits ou inventés.
  • Incohérences dans les données synthétiques : Le benchmark MultiWikiQA-IS (généré par LLM) contient des faits erronés (ex: un nom de personne qui n'apparaît pas dans le contexte) et des questions sans rapport avec le contexte.
• Fiabilité des annotateurs : L'accord inter-annotateurs est généralement bon, confirmant que les défauts détectés sont objectifs et non subjectifs.

5. Signification et Implications

• Validité des évaluations : Les résultats actuels des classeurs pour l'islandais sont probablement biaisés. Les modèles peuvent sembler performants car ils exploitent des indices superficiels ou des erreurs dans les données de test, plutôt que de démontrer une véritable compréhension linguistique.
• Risque de boucle de rétroaction négative : Si ces benchmarks défectueux sont utilisés pour le fine-tuning (ajustement fin) des modèles, les LLM apprendront à reproduire ces erreurs et ces « traductions » (translationese), dégradant la qualité de la langue islandaise générée par l'IA.
• Recommandations pour la communauté :
  • Éviter l'utilisation de benchmarks traduits automatiquement sans vérification humaine rigoureuse.
  • Privilégier les données rédigées par des locuteurs natifs et validées par la communauté.
  • Considérer la traduction automatique générée par LLM comme équivalente à la traduction machine en termes de risques de qualité.
  • Élargir le spectre des benchmarks pour inclure des tâches de génération de texte et non seulement des sorties à étiquette unique (True/False).

En conclusion, l'article plaide pour une responsabilité accrue des créateurs de benchmarks (« Who benchmarks the benchmarks? ») et exige que l'évaluation des LLM dans les langues à ressources limitées passe par un processus de validation humaine stricte pour garantir que les mesures de performance reflètent réellement les capacités du modèle.