💬 NLP

Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs

Cet article présente Halluverse-M^3, un ensemble de données de référence multilingue et multitâche couvrant l'anglais, l'arabe, l'hindi et le turc qui évalue et distingue systématiquement les hallucinations au niveau de l'entité, de la relation et de la phrase dans les grands modèles de langage, révélant des écarts de performance significatifs entre les langues et les tâches.

Auteurs originaux : Samir Abdaljalil, Parichit Sharma, Erchin Serpedin, Hasan Kurban

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Samir Abdaljalil, Parichit Sharma, Erchin Serpedin, Hasan Kurban

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un groupe de robots très intelligents et très cultivés (des modèles de langage étendus ou LLM) capables d'écrire des histoires, de répondre à des questions et de résumer des conversations dans de nombreuses langues différentes. Ces robots sont incroyables, mais ils ont une habitude étrange : parfois, ils inventent des choses avec assurance. Ils peuvent inventer une fausse personne, confondre qui a fait quoi, ou ajouter un événement totalement nouveau qui n'a jamais eu lieu. Dans le monde de la technologie, nous appelons cela une « hallucination ».

Le document que vous avez fourni présente un nouvel outil appelé HalluVerse-M3. Voyez cet outil comme un immense jeu de « trouver les différences » multilingue, conçu spécifiquement pour tester la capacité de ces robots à débusquer leurs propres mensonges.

Voici une décomposition de ce que les chercheurs ont fait et découvert, en utilisant des analogies simples :

1. Le Problème : Le « Menteur Confiant »

Auparavant, les chercheurs testaient principalement ces robots en anglais et ne leur posaient que des questions simples par oui ou par non, ou regardaient si une histoire entière était vraie ou fausse. C'était comme tester un chef uniquement sur sa capacité à émincer des oignons, sans jamais lui demander de faire un gâteau. Nous ne savions pas s'ils pouvaient gérer des tâches complexes ou s'ils mentaient différemment dans d'autres langues comme l'arabe, le hindi ou le turc.

2. La Solution : HalluVerse-M3 (Le jeu de données « Détecteur de Mensonges »)

Les auteurs ont construit un ensemble de données massif (une collection de cas de test) pour corriger cela.

Quatre Langues : Ils ont testé les robots en anglais, en arabe, en hindi et en turc.
Deux Tâches : Ils ne se sont pas contentés de poser des questions ; ils ont également demandé aux robots de résumer de longues conversations (comme prendre des notes lors d'une réunion).
Trois Types de Mensonges : Ils n'ont pas seulement dit « ceci est un mensonge ». Ils ont classé les mensonges dans trois catégories spécifiques :
- Le Mauvais Nom (Entité) : Le robot dit « Elon Musk a acheté Twitter » alors qu'il s'agissait de « Jack Dorsey ». (La personne est erronée).
- Le Mauvais Lien (Relation) : Le robot dit « Elon Musk a inventé Twitter » alors qu'il l'a acheté. (L'action est erronée).
- L'Histoire Inventée (Phrase) : Le robot ajoute un paragraphe entier sur la victoire d'Elon Musk au prix Nobel, ce qui n'est jamais arrivé. (L'idée entière est fausse).

Comment ils l'ont fabriqué : Ils ont pris de vraies réponses authentiques et ont utilisé un ordinateur pour remplacer soigneusement un nom, changer un verbe ou ajouter une phrase fictive. Ensuite, de véritables experts humains ont vérifié le travail pour s'assurer que les « mensonges » étaient clairs et que la « vérité » était solide.

3. Le Test : Mise au Travail des Robots

Les chercheurs ont pris un groupe de robots parmi les plus intelligents disponibles (à la fois des modèles gratuits et open-source et des modèles privés coûteux comme GPT-4) et leur ont demandé d'examiner une paire de textes : la vérité originale et la version « hallucinée ». Les robots devaient indiquer : « Quel type de mensonge est-ce ? »

4. Les Résultats : Ce que les Robots Ont Réussi (et Raté)

Les résultats étaient comme un bulletin de notes pour les robots :

La Tâche la Plus Facile : La Réponse aux Questions. Lorsque les robots répondaient simplement à une question spécifique, ils étaient plutôt bons pour repérer les mensonges. C'est comme trouver une faute de frappe dans un court SMS.
La Tâche la Plus Difficile : Résumer des Conversations. Lorsqu'ils devaient résumer une longue discussion, ils avaient beaucoup plus de mal. C'est comme essayer de trouver un seul ingrédient erroné dans une soupe complexe ; les mensonges se cachent au milieu de phrases longues.
Le Mensonge le Plus Difficile : Les Hallucinations au Niveau de la Phrase. Même les robots les plus intelligents avaient du mal à détecter lorsqu'une histoire entière et fausse était ajoutée. Ils pouvaient facilement repérer un mauvais nom, mais inventer un événement fictif qui semble plausible était très difficile à débusquer pour eux.
L'Écart Linguistique : Les robots étaient meilleurs en anglais (leur langue « maternelle »). Ils devenaient moins performants à mesure que les langues devenaient plus difficiles ou disposaient de moins de ressources d'entraînement. Le hindi était la langue la plus difficile pour eux ; ils ont commis le plus d'erreurs de détection de mensonges en hindi.
Ouvert vs Fermé : Les robots privés et très coûteux (comme GPT-4) ont généralement mieux réussi que les modèles gratuits et open-source, mais l'écart n'était pas énorme sur les questions simples. Cependant, pour la synthèse, les robots coûteux ont pris une avance significative.

5. Pourquoi Cela Importe

Le document conclut que bien que ces robots deviennent plus intelligents, ils ne sont toujours pas parfaits pour repérer leurs propres erreurs subtiles, surtout lorsqu'ils résument des informations complexes ou qu'ils parlent des langues autres que l'anglais.

HalluVerse-M3 est désormais un outil public que d'autres chercheurs peuvent utiliser pour construire de meilleurs « détecteurs de mensonges » pour l'IA. C'est une salle de sport réaliste et exigeante où ces robots peuvent s'entraîner pour arrêter d'inventer des faits, garantissant que lorsqu'ils nous parlent, ils nous disent la vérité.

En bref : Les auteurs ont créé un jeu de « trouver le faux » multilingue pour montrer que l'IA est excellente pour repérer des erreurs simples, mais qu'elle a encore du mal à attraper des mensonges complexes, en particulier dans les résumés et les langues autres que l'anglais.

Résumé Technique : HalluVerse-M3

Problématique

Les grands modèles de langage (LLM) génèrent fréquemment des textes cohérents qui manquent de fondement factuel, un phénomène connu sous le nom d'hallucination. Ce problème pose des risques importants dans des domaines critiques tels que la santé, le droit et la prise de décision exécutive. Bien que des recherches récentes aient produit des ensembles de données pour analyser les hallucinations, les ressources existantes souffrent de trois limitations principales :

Biais linguistique : Elles se concentrent principalement sur l'anglais, limitant la compréhension des schémas d'hallucination dans d'autres contextes linguistiques.
Granularité grossière : La plupart traitent l'hallucination comme un phénomène binaire (factuel vs halluciné), occultant la diversité des types d'erreurs (ex. : substitution d'entité vs distorsion de relation).
Spécificité des tâches : Les ressources traitent généralement de tâches de génération uniques, ce qui entrave une comparaison systématique à travers différents contextes d'application comme le questionnement et la génération de réponses (QA) ou la synthèse (summarization).

Par conséquent, il existe un manque de cadres unifiés capables d'analyser les hallucinations de manière fine à travers plusieurs langues et tâches.

Méthodologie

Les auteurs introduisent HalluVerse-M3, un ensemble de données conçu pour permettre une analyse systématique des hallucinations grâce à un pipeline de construction contrôlé.

Construction de l'ensemble de données

Langues et Tâches : L'ensemble de données couvre quatre langues (anglais, arabe, hindi, turc) et deux tâches de génération : le Questionnement/Réponse (QA) et la Synthèse de Dialogue (DS).
Données Sources :
- QA : Dérivé d'un ensemble de données de QA factuel par Lin et al. [2022], utilisant des réponses de référence ancrées dans des preuves vérifiables.
- DS : Dérivé de l'ensemble de données DialogSum [Chen et al., 2021], se concentrant sur les résumés d'événements et d'entités concrètes.
Préparation Multilingue : L'anglais sert de source. Des sorties parallèles pour l'arabe, l'hindi et le turc ont été générées via une traduction automatique (API Google Translate) suivie d'une vérification manuelle rigoureuse par des locuteurs natifs pour garantir la correction grammaticale et la fidélité sémantique.
Injection d'Hallucinations : Un processus d'édition contrôlé a été employé pour créer des sorties hallucinées ( $\tilde{y}$ $\tilde{y}$ ) à partir de sorties de référence ( $y^*$ $y^{*}$ ). Ce processus implique :
- La suppression ou l'altération de propositions de référence spécifiques ( $\Delta^-$ ).
- L'introduction d'exactement une nouvelle proposition non supportée ( $\Delta^+$ ) telle que $|\Delta^+| = 1$ .
- S'assurer que la nouvelle proposition n'est pas supportée par la référence ( $\Delta^+ \cap P(y^*) = \emptyset$ ).
Annotation Fine : L'ensemble de données distingue trois types d'hallucinations mutuellement exclusifs basés sur la nature de la proposition injectée $p^+$ $p^{+}$ :
1. Niveau Entité : Le prédicat et les attributs correspondent à la référence, mais au moins un argument d'entité diffère.
2. Niveau Relation : Les arguments d'entité correspondent, mais le prédicat (relation) ou les attributs (ex. : ordre temporel, causalité) diffèrent.
3. Niveau Phrase : La proposition n'a aucune proposition de référence alignée ; c'est une déclaration non ancrée.
Validation : Deux locuteurs natifs par langue ont annoté les données de manière indépendante. Les instances présentant des erreurs grammaticales ou des hallucinations peu claires ont été étiquetées comme nulles (0) et exclues. L'accord inter-annotateurs était substantiel à quasi-parfait (le $\kappa$ de Cohen variant de 0,74 à 0,83).

Configuration Expérimentale

Les auteurs ont évalué un ensemble diversifié de 14 LLM contemporains (tant open-source que propriétaires) sur la tâche de détection fine d'hallucinations.

Modèles : Incluaient Phi-4, Mistral-7B, des variantes de Qwen-2.5, Gemma-2, LLaMA-3.3, DeepSeek-V2.5, PaLM 2, Claude-3.5, Gemini-2.5, et des variantes de GPT-4.
Protocole : L'évaluation a été menée uniquement par prompting (sans fine-tuning). Les modèles avaient pour tâche d'identifier le type d'hallucination (Entité, Relation ou Phrase) étant donné une paire de sorties originales et hallucinées.
Métriques : La précision (accuracy) a été rapportée comme la métrique principale, analysée à travers les tâches, les langues et les types d'hallucinations.

Résultats Clés

L'évaluation a produit plusieurs tendances cohérentes concernant la performance des modèles :

Difficulté de la Tâche : Le Questionnement/Réponse (QA) est systématiquement plus facile à évaluer pour les modèles que la Synthèse de Dialogue (DS). Cela est attribué à la nature localisée des erreurs en QA par rapport à la nature diffuse et dépendante du contexte des hallucinations en synthèse.
Difficulté du Type d'Hallucination : Un gradient de performance clair existe entre les types d'hallucinations :
- Niveau Entité : Le plus facile à détecter. Les modèles de pointe (ex. : GPT-4o) ont atteint une précision >90 % en QA.
- Niveau Relation : Modérément difficile, nécessitant un raisonnement sémantique plus profond.
- Niveau Phrase : Le plus difficile. Même les modèles les plus puissants ont éprouvé des difficultés, la précision chutant souvent à 50–65 % dans les tâches de synthèse.
Effets de la Langue : La performance est la plus élevée en anglais et se dégrade dans les langues à faibles ressources. L'hindi a systématiquement présenté la précision de détection la plus faible, particulièrement dans les tâches de synthèse.
Comparaison des Modèles : Les modèles propriétaires ont généralement surpassé les systèmes open-source, bien que les modèles open-source plus larges (ex. : DeepSeek-V2.5, LLaMA-3.3-70B) soient compétitifs en QA. GPT-4o a obtenu la meilleure performance globale, bénéficiant probablement de sa participation au processus d'injection d'hallucinations.

Signification et Revendications

L'article affirme que HalluVerse-M3 fournit un benchmark réaliste et exigeant pour étudier les hallucinations dans des contextes multilingues et multi-tâches. Sa signification réside dans :

Granularité : Aller au-delà de la classification binaire pour distinguer les erreurs de niveau entité, relation et phrase.
Portée Multilingue : Offrir une ressource rare pour analyser les schémas d'hallucination à travers des langues typologiquement diverses (anglais, arabe, hindi, turc).
Diversité des Tâches : Permettre des comparaisons contrôlées entre des tâches ancrées (QA) et des tâches abstraites (Synthèse).

Les auteurs concluent que bien que les modèles de pointe récents montrent une forte performance dans la détection d'erreurs de niveau entité en QA, les hallucinations de niveau phrase dans les tâches génératives restent un problème ouvert, même pour les modèles les plus avancés. L'ensemble de données est publié pour soutenir la recherche future en détection et atténuation, soulignant la nécessité de méthodes qui dépassent les indices de surface vers un ancrage sémantique plus profond.

Considérations Éthiques

L'ensemble de données contient des informations délibérément fabriquées. Les auteurs notent le risque de détournement pour entraîner des systèmes à générer du contenu trompeur. Pour atténuer cela, l'ensemble de données est publié sous une licence CC BY-NC 4.0 pour la recherche non commerciale uniquement, avec un étiquetage explicite des instances hallucinées et de leurs types. Le filtrage de la sécurité du contenu a indiqué une faible présence de langage offensant.