A multilingual hallucination benchmark: MultiWikiQHalluA
Cet article présente MultiWikiQHalluA, une référence multilingue sur les hallucinations couvrant 306 langues, et l'utilise pour démontrer que les taux d'hallucination sont nettement plus élevés dans les langues à ressources limitées et les modèles plus petits, les plus grands modèles obtenant les meilleurs résultats sur les langues européennes évaluées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédiez un robot très intelligent et multilingue, qui adore lire des articles Wikipédia et répondre à des questions les concernant. Vous lui demandez : « Quelle est la capitale de l'Islande ? » et il répond : « Reykjavik ». Super ! Mais parfois, ce robot devient un peu trop créatif. Il pourrait dire : « Reykjavik est située sur la Lune », ou « La capitale est une ville appelée 'Ice-berg' ». Même si la phrase semble fluide et assurée, elle est complètement inventée. Dans le monde de l'IA, nous appelons cela une hallucination.
Ce papier est comme un nouveau test de « détecteur de mensonges » pour les robots, mais au lieu de vérifier uniquement l'anglais, les chercheurs ont conçu un test fonctionnant pour 306 langues différentes, y compris certaines rarement rencontrées par les ordinateurs (comme l'islandais).
Voici l'histoire de leur démarche, expliquée simplement :
1. Le Problème : Le « menteur éloquent »
La plupart des tests d'honnêteté des robots ne vérifient que l'anglais. C'est comme ne tester le permis de conduire d'un automobiliste que dans une seule ville, puis supposer qu'il peut conduire en toute sécurité partout ailleurs. Les chercheurs voulaient savoir : Les robots mentent-ils plus souvent lorsqu'ils parlent des langues qu'ils maîtrisent moins bien ?
Ils ont défini l'« hallucination » spécifiquement comme une fidélité. Cela signifie : Le robot s'est-il tenu à l'histoire que vous lui avez racontée ?
- Bon robot : Lit une histoire sur un chat, puis dit : « Le chat est orange. »
- Robot hallucinant : Lit une histoire sur un chat, puis dit : « Le chat est en fait un dragon. » (Cela semble plausible, mais ce n'est pas dans l'histoire).
2. La Solution : Créer une « usine de fausses nouvelles »
Pour entraîner leur détecteur de mensonges, les chercheurs avaient besoin d'un immense tas d'exemples où le robot avait menti. Mais ils ne voulaient pas attendre que les robots mentent naturellement ; cela prendrait trop de temps.
Alors, ils ont construit une usine synthétique :
- Ils ont pris un vaste ensemble de données de questions et réponses réelles (MultiWikiQA) couvrant 306 langues.
- Ils ont utilisé une IA ultra-intelligente (GPT-5) pour réécrire intentionnellement les bonnes réponses, les rendant plausibles mais factuellement erronées par rapport au texte source.
- Ils ont fait cela pour 306 langues, créant une immense bibliothèque de « fausses réponses ».
- Ils ont ensuite entraîné une IA plus petite et spécialisée (un « classifieur au niveau des tokens ») pour repérer ces mensonges. Imaginez ce classifieur comme un correcteur orthographique de la vérité. Au lieu de vérifier si un mot est bien orthographié, il vérifie si un mot spécifique dans une phrase appartient à l'histoire originale ou s'il s'agit d'une invention.
Ils ont entraîné ces « correcteurs de vérité » pour 30 langues européennes et les ont testés sur quatre : l'anglais, l'allemand, le danois et l'islandais.
3. L'Expérience : Tester les robots
Les chercheurs ont pris cinq modèles d'IA différents (allant d'un tout petit à un géant) et leur ont demandé de répondre à des questions dans ces quatre langues. Ensuite, ils ont fait passer les réponses à travers leur nouveau « correcteur de vérité » pour voir combien de mensonges étaient cachés dans le texte.
4. Les Résultats : La taille compte, mais la langue compte davantage
Voici ce qu'ils ont découvert, en utilisant quelques analogies simples :
- Le « petit robot » a du mal : Le plus petit modèle d'IA (Qwen3-0.6B) était le pire menteur. C'était comme un étudiant qui n'a pas assez révisé et qui a simplement deviné. En islandais, 60 % de ses réponses contenaient au moins un mensonge.
- Les « gros robots » sont meilleurs : Les modèles plus grands et plus puissants (comme ceux à 70 milliards de paramètres) étaient bien meilleurs pour s'en tenir aux faits. Ils étaient les « élèves modèles » du groupe.
- Le « fossé linguistique » : C'est la découverte la plus importante. Les robots mentaient beaucoup plus souvent dans les langues qu'ils connaissaient moins bien.
- Anglais et allemand (langues que les robots connaissent très bien) : Très peu de mensonges.
- Danois et islandais (langues que les robots connaissent moins bien) : Beaucoup plus de mensonges.
- L'islandais était le plus difficile. Même les meilleurs robots mentaient davantage ici qu'en anglais. C'est comme demander à un chef de cuisiner un plat qu'il n'a jamais vu ; il est plus susceptible de se tromper sur les ingrédients.
5. Une Surprise Inattendue
Vous pourriez penser : « Plus le robot est grand, moins il ment ». Mais ce n'est pas si simple. Parfois, un robot de taille moyenne était meilleur qu'un géant, selon la langue. Cela suggère que la manière dont le robot a été entraîné (quelles langues il a étudiées) compte tout autant que sa taille.
6. L'Écueil (Le Problème des « Tokens »)
Les chercheurs ont également noté une particularité technique. Dans des langues comme l'islandais, l'ordinateur découpe les mots en de tout petits morceaux (tokens) pour les comprendre. En anglais, il pourrait voir un mot comme un seul morceau. En islandais, ce même mot pourrait être cinq morceaux.
- L'Analogie : Imaginez vérifier une phrase pour y trouver des erreurs. Si vous la vérifiez mot par mot, vous pourriez trouver 1 erreur. Si vous la vérifiez lettre par lettre, vous pourriez trouver 5 erreurs simplement parce que le mot est plus long.
- Les chercheurs avertissent que leur « décompte des mensonges » pourrait sembler plus élevé pour l'islandais en partie parce que les mots sont découpés en plus de morceaux, offrant au détecteur plus d'occasions de trouver un « mensonge », même si le sens reste le même.
Résumé
Le papier présente un nouvel outil open source capable de détecter quand les modèles d'IA inventent des choses dans 306 langues. Ils ont découvert que, bien que les modèles plus grands soient généralement plus honnêtes, les robots sont nettement plus enclins à halluciner dans les langues qu'ils maîtrisent moins, comme l'islandais. Ils ont rendu leurs jeux de données de « fausses nouvelles » et leurs « détecteurs de vérité » disponibles pour que tout le monde puisse les utiliser.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.