FFE-Hallu:Hallucinations in Fixed Figurative Expressions:Benchmark of Idioms and Proverbs in the Persian Language
Cet article présente FFE-Hallu, le premier benchmark pour l'évaluation des hallucinations dans les expressions figurées figées au sein de la langue persane, révélant que les modèles de langage de grande taille actuels peinent avec l'ancrage culturel et génèrent ou ne parviennent pas à détecter fréquemment des idiotismes et des proverbes fabriqués.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot à parler une langue humaine. Vous pourriez penser que si le robot connaît les définitions du dictionnaire pour des mots comme « kick » (donner un coup de pied) et « bucket » (seau), il peut comprendre l'expression « kick the bucket » (passer l'arme à gauche). Mais en réalité, cette expression ne signifie pas littéralement donner un coup de pied dans un seau ; c'est un code culturel figé pour dire « mourir ».
Cet article, FFE-HALLU, est comme un test de « détection de mensonges » spécialisé pour l'IA, conçu pour voir si ces robots sont réellement en train d'inventer leurs propres codes culturels ou s'ils comprennent vraiment les vrais.
Voici la décomposition de ce que les chercheurs ont fait, en utilisant des analogies simples :
1. Le Problème : Le piège de la « Fausse Expression »
Les grands modèles de langage (LLM) sont excellents pour écrire des phrases qui semblent correctes. Mais lorsqu'il s'agit d'Expressions Figées Figuratives (EFF) — comme les idiotismes (« break a leg » / brise une jambe) ou les proverbes (« a stitch in time » / un point de couture à temps) — ils s'embrouillent souvent.
Les chercheurs définissent un type spécifique d'erreur appelé Hallucination Figurative.
- L'analogie : Imaginez un robot essayant de raconter une blague. Il dit : « Pourquoi l'épouvantail a-t-il gagné un prix ? Parce qu'il était exceptionnel dans son domaine ! » C'est une vraie blague.
- L'hallucination : Le robot dit ensuite : « Pourquoi le grille-pain a-t-il gagné un prix ? Parce qu'il était croustillant dans son domaine ! »
- Cela ressemble à une blague. Cela respecte les règles de grammaire. Mais c'est faux. Cela n'existe pas dans la culture humaine.
- Le danger est que si un locuteur non natif entend cela, il pourrait se dire : « Oh, c'est un vrai dicton persan ! » et l'utiliser, passant pour un idiot ou propageant de la désinformation.
2. La Solution : L'examen « FFE-HALLU »
Les auteurs ont créé un test appelé FFE-HALLU spécifiquement pour la langue persane. Ils ont construit une « salle de sport » avec 600 exercices pour tester le muscle culturel de l'IA. Le test comporte trois stations principales :
Station 1 : Le défi « De la Signification à l'Expression »
- La tâche : L'IA reçoit une définition (ex : « Regretter une erreur et promettre de ne plus la recommencer ») et on lui demande de dire l'idiotisme persan réel correspondant.
- Le piège : Au lieu de dire le véritable idiotisme, l'IA pourrait inventer un faux qui semble plausible mais qui n'a jamais été utilisé par un humain.
- Le résultat : Certains modèles de pointe (comme GPT-4.1) ont réussi environ 60 % de réussite. D'autres (comme Qwen) étaient terribles, inventant des idiotismes de toutes pièces dans près de 70 % des cas.
Station 2 : Le jeu de détective « Vrai ou Faux ? »
- La tâche : On montre une expression à l'IA et on lui demande : « Est-ce un véritable idiotisme persan ? »
- Le piège : Les chercheurs ont créé 200 idiotismes « faux » qui ressemblent et sonnent exactement comme les vrais (par exemple, en changeant un mot dans une expression réelle ou en détournant le sens).
- Le résultat : C'était la partie la plus difficile. Même les modèles intelligents se sont emmêlés les pinceaux. Lorsqu'on leur demandait « Est-ce faux ? », beaucoup répondaient « Non » (pensant que c'était vrai) alors qu'il s'agissait d'un mensonge. C'est comme un agent de sécurité qui pense qu'une fausse carte d'identité parfaite est réelle parce qu'elle est très bien faite.
Station 3 : Le test du « Traducteur »
- La tâche : L'IA reçoit un idiotisme anglais (ex : « It's raining cats and dogs ») et doit trouver l'équivalent en persan, et non une traduction mot à mot.
- Le piège : Si l'IA traduit littéralement (« Il pleut des félins et des canidés »), c'est une hallucination car ce n'est pas ainsi que les locuteurs persans parlent.
- Le résultat : La plupart des modèles ont eu du mal à trouver l'équivalent culturel, inventant souvent de nouvelles phrases ou traduisant trop littéralement.
3. Les Résultats : Qui a réussi et qui a échoué ?
Les chercheurs ont testé six modèles d'IA différents :
- Les meilleurs performeurs : GPT-4.1 et Claude 3.7 étaient les meilleurs. Ils pouvaient généralement trouver les vrais idiotismes et rejeter les faux, bien qu'ils fassent encore quelques erreurs.
- Ceux qui ont eu du mal : Des modèles comme DeepSeek, Gemma et Qwen ont souvent échoué. Ils avaient tendance à « sur-générer », ce qui signifie qu'ils inventaient avec assurance des idiotismes factices qui semblaient très réels mais qui étaient totalement inventés.
- Le problème du « Monsieur Complaisant » : Certains modèles étaient tellement désireux de plaire que lorsqu'on leur demandait « Est-ce faux ? », ils répondaient « Non » (signifiant « Oui, c'est vrai ») même quand il s'agissait d'une pure fabrication.
4. Le Problème du « Juge »
L'article a également posé la question : Une IA peut-elle juger le travail d'une autre IA ?
Ils ont essayé d'utiliser une IA pour noter les réponses des autres.
- L'analogie : C'est comme demander à un élève de noter la dissertation d'un autre élève.
- Le résultat : Cela fonctionnait assez bien pour les questions faciles, mais lorsqu'il s'agissait de repérer des « faux idiotismes » subtils, les juges IA passaient souvent à côté. Ils ne parvenaient pas à faire la distinction entre une « mauvaise réponse » et une « réponse inventée ». Les chercheurs ont constaté que les experts humains (locuteurs natifs du persan) étaient les seuls capables de détecter de manière fiable ces mensonges subtils.
Résumé
Cet article est une étiquette d'avertissement pour l'IA. Il montre que si l'IA peut écrire des phrases fluides, elle manque souvent d'ancrage culturel. Elle peut donner l'impression de connaître les idiotismes d'une culture, mais elle est en fait en train de les inventer sur le moment.
Les chercheurs ont construit un test pour le prouver, montrant que même les modèles d'IA les plus intelligents sont sujets aux « hallucinations figuratives » — le fait de raconter des mensonges culturels qui ressemblent à la vérité. Tant que l'IA n'apprendra pas à distinguer un véritable dicton culturel d'un faux très convaincant, nous ne pourrons pas pleinement lui faire confiance pour des tâches qui exigent une compréhension culturelle profonde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.