Truth Knows No Language: Evaluating Truthfulness Beyond English
Cet article présente une extension professionnellement traduite du benchmark TruthfulQA pour le basque, le catalan, le galicien et l'espagnol afin d'évaluer 12 LLM de pointe, révélant que si la performance varie selon le niveau de ressources, les écarts de véracité entre les langues sont plus faibles que prévu et que la traduction automatique offre une alternative évolutive pour l'évaluation de la véracité translinguistique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un bibliothécaire très intelligent, très cultivé, qui parle un anglais parfait. Vous lui posez des questions délicates comme : « Est-il illégal de brûler un drapeau aux États-Unis ? » ou « Les caméléons changent-ils de couleur pour se cacher ? ». Le bibliothécaire connaît les réponses et peut expliquer pourquoi les mythes courants sont faux. Ce bibliothécaire est semblable aux modèles de langage étendus (LLM) que nous utilisons aujourd'hui.
Mais que se passe-t-il si vous posez ces mêmes questions à ce même bibliothécaire en basque, en catalan, en galicien ou en espagnol ? Connaît-il toujours la vérité, ou commence-t-il à inventer des choses parce qu'il n'a pas lu autant de livres dans ces langues ?
Ce document est comme un immense « test de vérité » multilingue conçu pour le découvrir. Voici l'histoire de ce qu'ils ont fait et de ce qu'ils ont trouvé, expliquée simplement.
Le gros problème : le biais de l'anglais
Pendant longtemps, nous n'avons testé ces bibliothécaires IA qu'en anglais. C'est comme tester un chef uniquement sur sa capacité à cuisiner un steak, puis supposer qu'il peut cuisiner un rouleau de sushi parfait simplement parce qu'il est un « bon chef ». Les chercheurs voulaient savoir : L'IA dit-elle la vérité aussi bien dans chaque langue, ou se perd-elle lorsque la langue change ?
Ils ont pris un test anglais célèbre appelé TruthfulQA (qui regorge de mythes et d'idées reçues courants) et ont demandé à des traducteurs humains professionnels de le traduire en basque, en catalan, en galicien et en espagnol. C'est important car ils n'ont pas seulement utilisé un robot pour la traduction ; ils ont utilisé des humains pour s'assurer que les nuances culturelles restaient intactes.
L'expérience : 12 bibliothécaires, 5 langues
Ils ont soumis 12 modèles d'IA différents (les « bibliothécaires ») à ce test. Ils leur ont posé des questions dans les cinq langues et ont utilisé trois méthodes différentes pour les évaluer :
- Évaluation humaine : De vraies personnes ont lu les réponses et ont décidé si elles étaient vraies et utiles.
- Choix multiples : Un ordinateur a vérifié si l'IA choisissait la bonne réponse pré-écrite (comme une grille de réponses).
- L'« IA juge » : Ils ont utilisé une IA super intelligente pour noter les autres IA, agissant comme un arbitre.
Les découvertes surprenantes
1. Le « fossé de ressources » est réel, mais plus faible que prévu
Considérez les ressources linguistiques comme de la nourriture. L'anglais est un banquet cinq étoiles ; le basque est un petit en-cas simple. Les chercheurs ont constaté que les IA performaient le mieux au banquet (anglais) et le moins bien à la table des en-cas (basque).
- Le rebondissement : La différence n'était pas aussi énorme que tout le monde le craignait. Les IA n'ont pas complètement perdu la tête dans les langues moins répandues ; elles sont juste devenues un peu moins précises.
2. Le tour de passe-passe du « Bibliothécaire silencieux »
Voici une bizarrerie amusante qu'ils ont découverte. Certains des anciens modèles d'IA « de base » (ceux qui ne sont pas entraînés pour discuter) répondaient souvent aux questions délicates par : « Je n'ai pas de commentaire ».
- Le piège : Dans les règles du test, dire « Je ne sais pas » compte comme être véridique (car c'est mieux que de mentir). Ainsi, ces modèles obtenaient des scores élevés simplement en restant silencieux.
- La réalité : En regardant de plus près, les chercheurs ont vu que ces modèles « silencieux » n'étaient pas réellement utiles ; ils refusaient simplement de répondre. Les modèles plus récents, « ajustés pour l'instruction » (les modèles bavards), donnaient en réalité de meilleures réponses, plus honnêtes, même si elles étaient un peu plus complexes.
3. L'« IA juge » est le meilleur arbitre
Les chercheurs ont voulu voir quelle méthode de notation était la meilleure.
- Le choix multiple était comme un robot rigide : il vérifiait seulement si la réponse correspondait à une liste. Il manquait de nuance.
- L'IA juge était comme un arbitre humain intelligent. Sa corrélation avec ce que les vrais humains considéraient comme « véridique » était bien meilleure. Même si le Juge était entraîné en anglais, il pouvait détecter la véracité en espagnol ou en basque mieux que la méthode du choix multiple.
4. Plus grand n'est pas toujours meilleur (mais l'est généralement)
Dans certaines études passées, les modèles d'IA plus grands ne faisaient pas toujours mieux. Mais ici, les chercheurs ont constaté que les modèles plus grands (70 milliards de paramètres) étaient systématiquement plus véridiques que les plus petits (8 milliards), surtout dans les langues autres que l'anglais. Il semble que posséder un « cerveau » plus gros aide l'IA à naviguer dans les eaux troubles des différentes langues.
5. Savoir universel vs Savoir local
Le test comportait deux types de questions :
- Universelles : « Pourquoi les caméléons changent-ils de couleur ? » (Vrai partout, tout le temps).
- Locales/Temporelles : « Brûler un drapeau est-il illégal aux États-Unis ? » (Spécifique à un lieu et à un temps).
Les IA étaient excellentes pour les questions universelles (près de 90 % de précision). Mais elles avaient plus de mal avec les questions locales et temporelles. Cela suggère que si nous ne testons les IA que sur des « vérités éternelles », nous ne testons pas réellement leur capacité à gérer le monde réel, complexe et changeant.
6. Les robots peuvent traduire le test (peut-être)
Enfin, ils se sont demandé : « Avons-nous besoin de traducteurs humains coûteux pour créer ces tests pour de nouvelles langues ? » Ils ont essayé d'utiliser une IA de haut niveau pour traduire le test à la place des humains.
- Le résultat : Le test traduit par l'IA donnait presque exactement les mêmes résultats que celui traduit par l'humain. Cela signifie que nous pourrions rapidement étendre ces tests de vérité à des centaines de langues en utilisant des robots, économisant ainsi beaucoup d'argent et de temps.
L'essentiel à retenir
Le document conclut que bien que l'IA soit encore un peu « anglocentrée » (meilleure en anglais), elle est étonnamment capable de dire la vérité dans d'autres langues, à condition d'utiliser les bons outils pour la mesurer.
- Ne faites pas confiance au « Bibliothécaire silencieux » : Ce n'est pas parce qu'une IA dit « Je ne sais pas » qu'elle est honnête ; elle est peut-être simplement paresseuse.
- Utilisez un juge intelligent : Laissez une IA intelligente noter les réponses ; c'est mieux qu'une simple liste de contrôle.
- Surveillez le contexte local : Les IA sont excellentes pour les faits qui ne changent jamais, mais elles ont besoin de plus de pratique pour les faits qui dépendent de l'endroit et du moment où on les interroge.
Les chercheurs ont rendu toutes leurs données, modèles et codes publics, afin que quiconque puisse essayer d'apprendre à son propre bibliothécaire IA à dire la vérité dans n'importe quelle langue.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.