💻 computer science

How Reliable Are Bengali LLM Benchmarks? A Cross-Lingual Contamination and Robustness Audit of Open-Weight Language Models

Cet article présente et valide un cadre systématique pour auditer la fiabilité des benchmarks de LLM en bengali en détectant la contamination des données translinguistiques et en mesurant la robustesse face aux perturbations, révélant que les premiers résultats pilotes montrent une performance dépassant à peine le niveau du hasard.

Auteurs originaux : Md Fahim Faisal Tanha

Publié 2026-08-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md Fahim Faisal Tanha

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de juger si un nouvel étudiant est doué pour résoudre des problèmes mathématiques. Vous lui faites passer un test, il obtient un score élevé, et vous le déclarez génie. Mais et si, avant le test, il avait secrètement mémorisé le corrigé ? Ou s'il avait vu les mêmes problèmes dans une autre langue et avait simplement deviné les réponses en se basant sur cela ? C'est le monde complexe des tests d'Intelligence Artificielle (IA). Les scientifiques construisent des « Large Language Models » (LLM) — des programmes informatiques super intelligents capables de lire, d'écrire et de discuter dans de nombreuses langues. Pour voir si ces programmes sont réellement intelligents ou s'ils sont simplement doués pour la mémorisation, les chercheurs leur font passer des tests standardisés appelés « benchmarks ».

Cependant, il existe un problème sournois appelé « contamination ». C'est comme si un enseignant avait accidentellement laissé le corrigé sur son bureau et qu'un élève l'avait trouvé avant l'examen. L'élève obtient un score parfait, mais il n'a pas réellement appris la matière ; il a juste mémorisé les réponses. C'est un problème majeur car si les tests sont « contaminés », nous ne pouvons pas faire confiance aux scores. Nous pourrions penser qu'une IA est excellente dans une langue comme le bengali (parlée par des centaines de millions de personnes) alors qu'elle a simplement déjà vu la version anglaise du test auparavant.

Maintenant, regardons une nouvelle étude qui agit comme un détective, enquêtant pour savoir si les tests d'IA pour la langue bengalie sont équitables ou s'ils sont remplis de fuites cachées.

Le travail de détective : Auditer les tests d'IA en bengali

Les chercheurs de cet article posent une question très importante : Les scores que nous voyons pour les modèles d'IA sur les tests en bengali sont-ils réels, ou sont-ils gonflés parce que les modèles ont eu une exposition préalable ?

Ils se sont concentrés sur le bengali car c'est une langue massive qui ne commence à avoir ses propres tests d'IA que récemment. Beaucoup de ces tests sont de simples traductions directes de tests anglais célèbres. L'équipe craignait que si un modèle d'IA avait vu la version anglaise d'une question lors de son entraînement, il pourrait être capable de deviner la réponse en bengali sans réellement comprendre le bengali. C'est ce qu'on appelle la « contamination translingue ».

Pour résoudre ce mystère, les chercheurs ont construit un « cadre d'audit » spécial — un ensemble d'outils pour vérifier l'exposition préalable. Ils ont utilisé trois méthodes principales :

La vérification de la « vraisemblance » (Likelihood) : Ils ont observé à quel point l'IA était surprise par les questions du test. Si l'IA avait déjà vu la question, elle ne serait pas surprise ; elle serait très confiante. Si elle la voyait pour la première fois, elle serait plus hésitante.
Le test du « texte à trous » : Ils ont essayé de piéger l'IA en cachant l'une des mauvaises réponses dans une question à choix multiples et en lui demandant de deviner quel était le mot manquant. Si l'IA pouvait deviner le mot exact manquant, c'est qu'elle avait probablement tout le test en mémoire.
La recherche de la « vérité terrain » (Ground Truth) : Pour certains modèles qui sont totalement ouverts (où nous pouvons voir exactement quelles données ont servi à leur entraînement), ils ont littéralement cherché dans les données d'entraînement pour voir si les questions du test s'y trouvaient.

Ils ont également testé la robustesse. Cela consiste à changer légèrement la formulation d'une question — en remplaçant un nombre ou en ajoutant une phrase absurde et non pertinente — pour voir si l'IA réussit toujours. Si le score de l'IA s'effondre lorsque vous modifiez légèrement la question, cela suggère que l'IA ne « réfléchissait » pas vraiment ; elle mémorisait simplement le motif exact.

Ce qu'ils ont trouvé (jusqu'à présent)

Les chercheurs n'ont pas seulement parlé de théorie ; ils ont en fait mené un petit test « pilote » pour voir si leurs outils de détective fonctionnaient. Ils ont utilisé un modèle d'IA plus petit (appelé Qwen2.5-1.5B) et l'ont testé sur 500 questions d'un test de compréhension de lecture en bengali appelé BoolQ-bn.

Voici ce que le pilote a révélé :

Le score était à peine meilleur qu'un lancer de pièce : Le modèle a obtenu une précision de 0,568. Puisqu'il s'agit d'un test de questions par oui ou par non, un choix au hasard donnerait 0,50. Le modèle n'a fait que 7 points de mieux qu'un pur hasard. Cela suggère qu'à cette taille, le modèle n'a pas encore une compréhension solide de la compréhension de lecture en bengali.
Le test d'« exposition préalable » était non concluant : Ils ont essayé de voir si le modèle avait mémorisé les réponses en utilisant leurs outils de vraisemblance, mais ils avaient besoin d'un ensemble de questions « contrôle » spécial (des questions que le modèle n'avait certainement pas vues) pour comparer. Cette partie est encore en cours de finalisation.
Le test de « distraction » : Ils ont ajouté une phrase de distraction aux questions pour voir si le modèle serait confus. Le score du modèle a légèrement chuté à 0,558, mais la différence n'était pas statistiquement significative (les mathématiques indiquent que cela pourrait n'être que du bruit aléatoire). Cela signifie que le pilote était trop petit pour dire avec certitude si le modèle était fragile ou non.

La vue d'ensemble

La principale conclusion de cet article n'est pas un verdict final sur la question de savoir si l'IA en bengali présente une exposition préalable ou non. Au lieu de cela, l'article est un plan directeur sur la manière de le découvrir.

Les chercheurs ont construit un ensemble d'outils complet et en open-source que n'importe qui peut utiliser pour auditer ces tests. Ils ont répertorié tous les benchmarks disponibles en bengali, créé un protocole pour vérifier la contamination et montré qu'il est possible d'exécuter ces tests coûteux avec des ressources informatiques gratuites (comme Google Colab).

Ils effectuent actuellement l'audit complet sur beaucoup plus de modèles et de benchmarks. Le pilote a prouvé que le système fonctionne, mais les résultats complets sont encore en cours de calcul. L'article soutient que tant que nous ne réalisons pas ces audits, nous ne pouvons pas être sûrs si les scores élevés que nous voyons pour l'IA en bengali sont une intelligence réelle ou simplement le résultat du fait que les modèles ont vu les réponses en anglais auparavant.

En résumé, cet article est un appel à l'action : « Arrêtons de deviner si l'IA est intelligente en bengali et commençons à utiliser ces outils de détective pour le prouver. » Ils s'assurent que lorsque nous disons qu'une IA est bonne dans une langue, c'est parce qu'elle comprend réellement la langue, et non parce qu'elle a mémorisé le test.

Résumé technique : Fiabilité des benchmarks pour les LLM en bengali

1. Énoncé du problème

Le bengali, parlé par environ 250 millions de personnes, a récemment vu proliférer les benchmarks d'évaluation pour les modèles de langage de grande taille (LLM). Cependant, la fiabilité de ces benchmarks est compromise par deux menaces primaires :

Contamination des données de benchmark (BDC) : Les éléments d'évaluation fuient fréquemment dans les corpus d'entraînement des modèles. Crucialement, cette contamination est translingue ; les modèles entraînés sur des textes sources en anglais peuvent obtenir des scores gonflés sur leurs traductions en bengali sans même avoir vu le texte traduit. Comme la plupart des benchmarks en bengali sont des traductions directes de jeux de tests anglais, ils sont structurellement vulnérables à ce risque.
Manque de robustesse : La performance sur les benchmarks de langues à faibles ressources peut refléter une mémorisation superficielle plutôt qu'une capacité réelle. Des preuves récentes suggèrent que les scores peuvent s'effondrer sous l'effet de perturbations sémantiquement équivalentes, pourtant cette fragilité n'a pas été systématiquement auditée pour le bengali.

Malgré l'adoption rapide de ces benchmarks pour les décisions de déploiement dans l'éducation et les services publics, aucune étude préalable n'a audité les benchmarks bengalis pour la contamination ou la robustesse. Cela remet en question la validité des scores de performance rapportés.

2. Méthodologie

L'auteur présente un cadre d'audit systématique conçu pour évaluer la fiabilité des benchmarks de LLM en bengali. Le cadre est appliqué à des modèles à poids ouverts (1B–9B paramètres) afin de tirer parti de l'accès aux probabilités au niveau du jeton (token) et, dans certains cas, aux corpus de pré-entraînement complets.

2.1 Composantes du cadre d'audit

Le cadre utilise une triangulation de trois familles de détection :

Signaux basés sur la vraisemblance (Min-K% Prob) : Mesure la probabilité logarithmique moyenne des $k\%$ de jetons les moins probables pour les éléments du benchmark. Les éléments présents dans les données d'entraînement présentent généralement des scores plus élevés. Cela est comparé à un ensemble de sondage privé, jamais publié, et à un contrôle temporel (modèles Pythia entraînés avant l'existence des benchmarks).
Tests basés sur la génération (TS-Guessing) : Pour les questions à choix multiples, le modèle est incité à reconstruire une option incorrecte masquée. Une précision significativement supérieure à une ligne de base par chance indique une mémorisation du fichier de test plutôt qu'une compréhension de la tâche.
Recherche dans le corpus de vérité terrain : Pour les modèles dotés de corpus de pré-entraînement entièrement publics (Tier B : OLMo, Pythia, BLOOM), le cadre effectue des recherches de chevauchement exact de 13-grammes contre les données d'entraînement (Dolma, The Pile, ROOTS) sous leurs formes bengalie et anglaise.

2.2 Analyse translingue et de robustesse

Contamination translingue (RQ2) : En utilisant la conception parallèle bengali-anglais de BEnQA, l'étude compare les signaux de mémorisation et la précision entre les éléments sources en anglais et leurs homologues en bengali. Elle teste si une mémorisation plus forte sur la source anglaise prédit des réponses correctes sur la traduction en bengali.
Audit de robustesse (RQ3) : Le cadre applique des perturbations préservant le sens aux éléments du benchmark, incluant :
- Le réordonnancement des options (pour les QCM).
- L'insertion de phrases distractrices.
- La substitution numérique (pour les problèmes mathématiques).
- La paraphrase par traduction automatique aller-retour.
- L'étude mesure le delta de précision et la stabilité du classement des modèles sous ces perturbations.

2.3 Configuration expérimentale

Modèles : Les modèles audités incluent Llama-3.2, Qwen2.5, Gemma-2, Mistral, TituLLM, TigerLLM, OLMo, Pythia et BLOOM.
Benchmarks : Un inventaire curaté de 8 benchmarks publics en bengali (ex: BEnQA, Bangla MMLU, BanglaMATH, BoolQ-bn), distinguant les sources natives (rédigées en bengali) et traduites (dérivées de l'anglais).
Calcul : Toutes les expériences ont été menées sur du calcul GPU en version gratuite (Kaggle/Google Colab) en utilisant la quantification 4-bit pour les modèles plus larges.
Pilote : Un pilote terminé a évalué Qwen2.5-1.5B-Instruct sur un sous-échantillon de 500 éléments de BoolQ-bn.

3. Contributions clés

Inventaire curaté : Un inventaire versionné et documenté des benchmarks publics de LLM en bengali, détaillant la provenance, la taille, la licence et les méthodes de construction.
Protocole d'audit de contamination : Le premier protocole spécifiquement dédié aux benchmarks bengalis, combinant des méthodes de vraisemblance, de génération et de recherche de corpus.
Test translingue : Un design expérimental novateur utilisant des données parallèles (BEnQA) pour isoler et mesurer la contamination translingue.
Instrument de robustesse : Une suite de perturbations pour mesurer la stabilité des scores et les changements de classement, liant la fragilité à une potentielle contamination.
Publication publique : Tout le code, les manifestes de données et les sorties d'audit par élément sont publiés pour permettre un ré-audit par la communauté.

4. Résultats du pilote

L'étude pilote sur Qwen2.5-1.5B-Instruct (500 éléments de BoolQ-bn) a produit les résultats suivants :

Précision : 0,568 (IC 95 % [0,524, 0,610]), ce qui est à peine supérieur au niveau de chance de 0,50 pour une tâche binaire. Le modèle n'a surpassé la ligne de base de la classe majoritaire que de 3,4 points de pourcentage.
Robustesse : Une perturbation par distracteur a déplacé la précision de -1,0 point de pourcentage (0,568 à 0,558). Le test de McNemar sur les éléments discordants n'était pas statistiquement significatif ( $p=0,302$ ), bien que l'auteur note que la taille de l'échantillon pilote était sous-dimensionnée pour détecter de petits deltas.
Signaux de contamination : La moyenne du Min-K% Prob est de -3,767. Les scores AUROC complets pour la détection de la contamination sont en attente de la comparaison avec l'ensemble de sondage privé.
Faisabilité : Le pilote a confirmé qu'une cellule d'audit complète modèle $\times$ benchmark (précision + Min-K% + perturbation) peut être exécutée en environ 0,56 heure-GPU sur un seul GPU T4.

5. Signification et affirmations

Le papier se positionne comme le premier audit systématique des benchmarks de LLM en bengali. Sa signification réside dans :

Question fondamentale : Il remet en question l'interprétation des scores élevés sur les benchmarks bengalis, demandant s'ils reflètent une capacité réelle ou une mémorisation de données fuyant.
Rigueur méthodologique : En combinant trois familles de détection distinctes et en utilisant un contrôle temporel (Pythia), l'étude vise à fournir des preuves plus solides que les approches à méthode unique.
Évolutivité : Le cadre est conçu pour être indépendant de la langue et suffisamment peu coûteux en calcul (compatible avec les versions gratuites) pour être appliqué à d'autres langues intermédiaires dépendantes de la traduction.
Utilité pour la communauté : La publication du protocole et de l'inventaire permet à la communauté de surveiller continuellement la fiabilité des benchmarks bengalis à mesure que de nouveaux modèles et jeux de données émergent.

L'auteur déclare explicitement que l'audit complet (couvrant tous les modèles et benchmarks) est actuellement en cours, et que ce manuscrit rapporte le cadre, l'inventaire, le protocole et le pilote terminé. Il maintient une position modeste, notant que les détecteurs basés sur la vraisemblance fournissent des preuves plutôt que des preuves définitives pour les modèles à poids ouverts, et que l'absence de signal ne garantit pas qu'un benchmark est propre.