💬 NLP

BenHalluEval: A Multi-Task Hallucination Evaluation Framework for Large Language Models on Bengali

Cet article présente BenHalluEval, le premier cadre d'évaluation complet des hallucinations pour les grands modèles de langage en bengali, qui utilise un protocole à double voie et une nouvelle métrique de calibration pour évaluer la performance à travers quatre tâches et révéler des variations significatives dans les capacités de détection d'hallucinations.

Auteurs originaux : Shefayat E Shams Adib, Ahmed Alfey Sani, Ekramul Alam Esham, Ajwad Abrar, Ishmam Tashdeed, Md Taukir Azam Chowdhury

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shefayat E Shams Adib, Ahmed Alfey Sani, Ekramul Alam Esham, Ajwad Abrar, Ishmam Tashdeed, Md Taukir Azam Chowdhury

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot multilingue très intelligent capable de parler le bengali. Vous lui posez des questions, lui demandez de résumer des actualités ou de résoudre des problèmes mathématiques. Parfois, ce robot est brillant. D'autres fois, il invente des choses avec assurance — comme dire que la mère d'un auteur célèbre s'appelait « Kathleen » alors que son vrai nom était « Anne ». Dans le monde de l'IA, nous appelons ces mensonges assurés des hallucinations.

Jusqu'à présent, personne n'avait construit un véritable « détecteur de mensonges » spécifiquement pour le bengali. Les auteurs de ce document, BenHalluEval, ont décidé de régler ce problème. Voici comment ils ont fait, expliqué simplement :

1. Le grand problème : Le « mensonge silencieux »

La plupart des tests pour l'IA vérifient seulement si le robot donne la bonne réponse. Mais et si le robot donnait la bonne réponse par accident, ou mentait si habilement que vous ne le remarqueriez pas ?

L'analogie : Imaginez un étudiant passant un examen. Si vous ne vérifiez que la note finale, vous pourriez manquer le fait qu'il a triché sur la moitié des questions. Vous devez vérifier comment il a répondu, et pas seulement ce qu'il a répondu.

2. La solution : Un test à « deux voies »

Les chercheurs ont construit un examen spécial avec deux voies séparées pour attraper différents types d'erreurs :

Voie A (Le contrôle de la vérité) : Ils ont donné au robot des questions avec des réponses correctes. Ils voulaient voir si le robot accuserait faussement une réponse correcte d'être un mensonge. (A-t-il crié au loup alors qu'il n'y avait pas de loup ?)
Voie B (Le détecteur de mensonges) : Ils ont donné au robot des questions avec des réponses fausses, inventées. Ils voulaient voir si le robot pouvait repérer le mensonge. (A-t-il attrapé le loup ?)

Le score (BenHalluScore) :
Ils ont créé un nouveau score appelé BenHalluScore. Voyez cela comme un « Compteur de Confiance ».

Si un robot dit « Oui, c'est un mensonge ! » à tout, il attrape toutes les fausses réponses mais accuse aussi à tort toutes les réponses réelles.
S'il dit « Non, c'est correct » à tout, il manque tous les mensonges mais n'accuse jamais la vérité.
L'objectif : Un robot parfait doit être assez intelligent pour attraper les mensonges sans accuser la vérité. Plus le score est bas, mieux le robot est capable de distinguer la vérité de la fiction.

3. Comment ils ont construit l'examen

Ils n'ont pas seulement écrit des questions ; ils ont construit une usine massive pour créer des réponses « fausses ».

L'usine : Ils ont utilisé une IA super intelligente (GPT-5.4) pour générer 12 000 fausses réponses à travers quatre types de tâches :
1. Répondre à des questions : (ex. : « Qui est le maire ? »)
2. Questions en code mixte : Mélanger le bengali et l'anglais, comme les gens écrivent sur les réseaux sociaux : « Kothay jabe ? » au lieu de « কোথায় যাবে ? »
3. Résumé : Condenser un long article en un court paragraphe.
4. Raisonnement : Résoudre des problèmes mathématiques étape par étape.
Les types de mensonges : Ils ont fait en sorte que l'IA mente de manières spécifiques, comme changer une date, inventer le nom d'une personne ou faire une erreur de calcul.

4. Les résultats : Qui a réussi le test ?

Ils ont testé 7 robots IA différents (certains sont énormes et généraux, d'autres sont plus petits et spécialisés en bengali).

Le vainqueur : Un petit robot spécialisé, nommé TigerLLM-9B (construit spécifiquement pour le bengali), a fait un travail étonnamment bon, battant des robots beaucoup plus grands et généralistes. C'est comme un guide local qui connaît mieux la ville qu'un énorme GPS coûteux qui essaie de connaître le monde entier.
Les perdants : Certains robots très célèbres et volumineux ont échoué lamentablement. Un robot (Mistral-nemo) était tellement confus qu'il accusait chaque réponse correcte d'être un mensonge. Un autre (LLaMA) était si paresseux qu'il disait que rien n'était un mensonge, même quand c'était évident.
La surprise du script : Lorsque les questions étaient écrites en « Banglish » (le bengali écrit avec des lettres anglaises), certains robots ont en réalité mieux performé que lorsque les questions étaient en script bengali standard. C'est comme si certains robots se sentaient plus à l'aise pour lire un SMS qu'une lettre formelle.

5. L'astuce du « Penser à voix haute » ne fonctionne pas toujours

Les gens disent souvent à l'IA de « réfléchir étape par étape » (Chain-of-Thought) pour l'empêcher de mentir. Les chercheurs ont testé cette astuce.

Le résultat : Cela n'a pas fonctionné de manière constante. Parfois cela aidait, mais souvent cela faisait simplement changer d'avis au robot sans réellement l'améliorer dans sa capacité à repérer les mensonges. C'est comme dire à un menteur de « réfléchir plus fort » — parfois, ils trouvent juste un meilleur mensonge, pas la vérité.

L'essentiel

Ce document est la première fois que quelqu'un construit un « détecteur de mensonges » dédié à la langue bengali. Ils ont découvert que :

La taille ne fait pas tout : Un petit robot axé sur le bengali peut être plus digne de confiance qu'un géant générique.
Les tests à sens unique sont dangereux : Si vous testez seulement si un robot peut trouver des mensonges, vous pourriez manquer le fait qu'il déteste aussi la vérité. Il faut tester les deux côtés.
Les langues à faibles ressources ont besoin d'attention : Ce n'est pas parce qu'une langue dispose de moins de ressources numériques que nous ne pouvons pas construire de meilleurs outils pour elle.

Les auteurs ont rendu leurs « questions d'examen » et leurs « fausses réponses » disponibles pour que tout le monde puisse les utiliser, afin que nous puissions continuer à tester et à améliorer ces robots pour nous assurer qu'ils disent la vérité en bengali.

Résumé Technique : BenHalluEval

Énoncé du Problème

Malgré le fait que le bengali soit la sixième langue la plus parlée au monde, il n'existe aucune évaluation systématique des hallucinations dans les modèles de langage de grande taille (LLM) pour cette langue. Les benchmarks existants pour la détection d'hallucinations (par exemple, TruthfulQA, FActScore, HaluEval) se concentrent principalement sur l'anglais ou d'autres langues à hautes ressources comme l'arabe et l'hindi. De plus, les méthodes d'évaluation actuelles reposent souvent sur des protocoles à voie unique qui ne testent que des candidats hallucinés, ne tenant pas compte du fait que les modèles peuvent présenter des biais de réponse uniformes (par exemple, prédire systématiquement « hallucination » ou « pas d'hallucination »). En outre, le comportement spécifique des LLM sur les entrées codées mélangeant le bengali et l'anglais (code-mixed) — un mode d'utilisation courant dans la communication numérique en bengali — reste inexploré.

Méthodologie

Les auteurs introduisent BenHalluEval, un cadre d'évaluation des hallucinations multi-tâches conçu spécifiquement pour le bengali et les entrées codées mélangeant le bengali et l'anglais. Le cadre fonctionne via un pipeline à trois étapes :

1. Sélection et filtrage du jeu de données de base (Seed Dataset)

Le cadre construit un benchmark à l'aide de quatre tâches distinctes, en s'appuyant sur des jeux de données existants et en appliquant des stratégies de filtrage spécifiques pour identifier les échantillons « difficiles » sujets aux hallucinations :

Réponse de Questions Génératives (GQA) : Utilise TyDiQA-GoldP (bengali). Les échantillons ont été filtrés en sollicitant trois modèles (Qwen2.5-14B, Gemma-2-9B, DeepSeek-R1-14B) sans contexte ; les instances où les trois ont échoué ont été sélectionnées comme ensemble de base (1 000 échantillons).
QA Codé Mélange Bengali-Anglais : Les 1 000 questions de base de GQA ont été converties en mélange bengali-anglais (script romain) via GPT-5.4, tout en conservant les réponses originales en bengali.
Résumé (Summarization) : Utilise BanglaCHQ-Summ (1 800 paires requête-résumé médical). Les échantillons ont été filtrés sur la base d'une faible similarité BERTScore F1 lorsqu'ils étaient résumés par trois modèles, sélectionnant les 1 000 instances les plus difficiles.
Raisonnement : Utilise SOMADHAN (8 792 problèmes mathématiques en bengali). Les échantillons ont été stratifiés par longueur de chaîne de raisonnement (500 les plus longs, 500 les plus courts) pour assurer une diversité de niveaux de difficulté.

2. Génération d'échantillons hallucinés

En utilisant GPT-5.4, les auteurs ont généré 12 000 candidats hallucinés à travers les quatre tâches. Le processus de génération a employé des taxonomies d'hallucination spécifiques à chaque tâche :

GQA & QA Codé Mélangé (4 types) : Vraisemblance (fabrication de faits), Compréhension (mauvaise interprétation de l'intention), Spécificité (niveau de détail inapproprié) et Inférence (conclusions non soutenues).
Résumé (3 types) : Contenu fabriqué, Ajout non factuel et Contradiction directe.
Raisonnement (5 types) : Erreur arithmétique, Mauvaise application de formule, Déduction invalide, Fait intermédiaire halluciné et Dérive sémantique.

3. Protocole d'évaluation à double voie (Dual-Track)

Pour remédier aux limites de l'évaluation à voie unique, les auteurs proposent un protocole à double voie évalué sur sept LLM (couvrant les catégories orientées raisonnement, multilingues et centrées sur le bengali) :

Voie A (Track A) : Présente des réponses correctes de vérité terrain (ground-truth). Le verdict attendu est « Non » (pas d'hallucination). Cela mesure le Taux de Faux Positifs.
Voie B (Track B) : Présente les candidats hallucinés générés. Le verdict attendu est « Oui ». Cela mesure le Taux de Détection d'Hallucination.

4. BenHalluScore (BHS)

Les auteurs introduisent le BenHalluScore, une métrique de calibration conçue pour pénaliser conjointement les deux modes d'échec (faux positifs sur la vérité terrain et ratés de détection sur les données hallucinées).
$\text{BenHalluScore} = \frac{1}{2} \left( \frac{W_A}{N_A} + \frac{W_B}{N_B} \right) \times 100\%$
Où $W$ représente les verdicts erronés et $N$ représente le nombre total d'instances par voie. Un score plus bas indique une meilleure calibration ; un score de 50 % implique un comportement aléatoire ou uniformément biaisé.

Résultats Clés

L'évaluation de sept modèles (incluant DeepSeek-R1-14B, GPT-4.1 mini, Qwen2.5-32B, Gemma-2-27B, Mistral-nemo-12B, LLaMA-3.1-8B et TigerLLM-9B) a révélé des variations significatives de performance :

Plage de Performance : Les BenHalluScores variaient de 7,72 % (Qwen2.5-32B sur le Résumé) à 55,42 % (Mistral-nemo-12B sur le QA Codé Mélangé).
Variance des Tâches : Les tâches de Résumé ont généralement produit des scores plus bas (meilleurs) que la GQA ou le Raisonnement, suggérant que l'accès aux documents sources complets favorise la cohérence factuelle. Les tâches de Raisonnement ont montré la plus large dispersion de performance, indiquant une grande difficulté à détecter les hallucinations de raisonnement en bengali.
Catégories de Modèles :
- GPT-4.1 mini a obtenu le meilleur équilibre sur la GQA (15,56 %), maintenant des erreurs faibles sur les deux voies.
- TigerLLM-9B (un modèle centré sur le bengali) a surpassé de manière significative des modèles multilingues beaucoup plus grands sur la GQA et le Résumé, suggérant que le pré-entraînement spécifique à la langue est un prédicteur de calibration plus fort que le nombre de paramètres.
- Mistral-nemo-12B et LLaMA-3.1-8B ont présenté des biais systématiques sévères. Par exemple, Mistral-nemo-12B a marqué presque toutes les réponses de vérité terrain comme des hallucinations (87,70 % d'erreur sur la Voie A), tandis que LLaMA-3.1-8B n'a pas détecté la plupart des hallucinations (81,63 % d'erreur sur la Voie B).
Codage Mélangé vs Script Natif : Certains modèles multilingues (Qwen2.5, Gemma-2, DeepSeek-R1) ont performé mieux sur les entrées codées mélangeant le bengali et l'anglais que sur le script bengali natif, probablement en raison de représentations plus ancrées dans l'anglais. Inversement, TigerLLM-9B et GPT-4.1 mini ont mieux performé sur le bengali natif.
Atténuation (Chaîne de Pensée - CoT) : L'application du prompting par Chaîne de Pensée (CoT) n'a pas amélioré de manière constante la discrimination des hallucinations. Dans plusieurs cas, le CoT a simplement déplacé le biais d'un modèle d'un « Non » uniforme vers un « Oui » uniforme (ou vice versa), sans réellement améliorer la précision de la détection.

Signification et Contributions

L'article revendique les contributions et significations suivantes :

Premier Benchmark Dédié : BenHalluEval établit le premier benchmark dédié aux hallucinations pour le bengali, couvrant les entrées natives et codées mélangées.
Calibration à Double Voie : Ce travail souligne l'insuffisance de l'évaluation à voie unique pour les langues à faibles ressources. En introduisant la Voie A et la Voie B, il révèle des modes d'échec (biais de réponse uniforme) qui seraient autrement masqués par des taux de détection élevés sur les seules données hallucinées.
Optimisation Spécifique à la Langue : Les résultats remettent en question l'hypothologie selon laquelle un nombre plus élevé de paramètres garantit une meilleure performance dans les contextes à faibles ressources, démontrant qu'un pré-entraînement centré sur le bengali (TigerLLM-9B) peut offrir une meilleure calibration que des modèles multilingues plus vastes.
Limites du Prompting : L'étude fournit des preuves empiriques que le prompting CoT n'est pas une stratégie d'atténuation universelle pour les hallucinations en bengali, car il modifie souvent les distributions de prédiction sans améliorer les capacités de discrimination.

Les auteurs concluent qu'une évaluation fiable des hallucinations pour le bengali nécessite des cadres spécialisés à double voie et que les stratégies de prompting actuelles seules sont insuffisantes pour atténuer les hallucinations dans ce domaine. Le jeu de données et le code sont mis à disposition pour faciliter la recherche ultérieure.