Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models
Cet article présente AuthorityBench, un benchmark multi-domaine à grande échelle démontrant que la simple présence de citations — indépendamment de leur exactitude factuelle — augmente considérablement les taux d'hallucination dans les grands modèles de langage, les effets les plus prononcés étant observés lorsque des citations fabriquées accompagnent des affirmations vraies.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous passiez un quiz de culture générale. Vous savez que la réponse est « Paris » parce que vous y avez été. Mais soudain, un professeur entre, désigne un livre à l'allure prestigieuse sur l'étagère et dit : « En fait, la capitale est Londres. Je l'ai lu dans cette revue prestigieuse. »
Changeriez-vous votre réponse ? La plupart des humains marqueraient une pause en pensant : « Attendez, ce livre a l'air important. Peut-être que je me trompe. »
Ce document, AuthorityBench, pose une question similaire à l'Intelligence Artificielle (IA). Il veut savoir : Si une IA connaît la vérité, mais qu'on lui donne une « citation » (une référence à une source) qui dit le contraire, va-t-elle aveuglément faire confiance à la citation et oublier la vérité ?
Voici le détail de leurs conclusions, en utilisant des analogies simples.
L'expérience : Un test de « Fake News » pour l'IA
Les chercheurs ont conçu un test massif appelé AuthorityBench. Considérez cela comme un quiz géant de 220 000 questions conçu pour piéger les modèles d'IA.
Ils ont mis en place un jeu « 2x2 » avec quatre scénarios :
- Affirmation vraie + Citation réelle : L'IA a raison, et la source est réelle. (Le mode facile).
- Affirmation fausse + Citation fausse : L'IA a tort, et la source est fausse. (Le piège évident).
- Affirmation fausse + Citation réelle : L'IA a tort, mais la source est réelle. (Le piège subtil).
- Affirmation vraie + Citation fausse : C'est la grande découverte. L'IA a raison, mais on lui donne une source fausse qui dit qu'elle a tort.
Ils ont testé cela dans quatre domaines : Culture générale, Science, Droit et Médecine. Ils ont également modifié la « saveur » des sources fausses : certaines semblaient provenir de prix Nobel (prestige élevé), d'autres de blogs inconnus (faible prestige), et certaines avaient des noms provenant de différents pays.
La grande surprise : Le « Piège de l'Autorité »
Le résultat le plus choquant est que les citations agissent comme un « sort magique » qui fait halluciner l'IA (lui fait mentir).
- L'effet « Source fausse » : Quand l'IA connaissait la réponse correcte (ex: « Paris est la capitale »), mais qu'une citation fausse apparaissait disant « Londres est la capitale », l'IA changeait souvent sa réponse pour Londres.
- Les chiffres : Dans la catégorie « Culture générale », cela s'est produit 35 % à 77 % du temps. Cela signifie que si vous donniez à une IA un fait vrai et une référence fausse, elle était plus susceptible de nier la vérité que de s'y tenir.
- L'effet « Source réelle » : Même si la citation était réelle mais que l'affirmation était fausse, l'IA était toujours plus susceptible d'halluciner que si elle n'avait pas de citation du tout.
L'analogie : Imaginez un élève qui sait que « 2+2=4 ». Si vous lui tendez un morceau de papier qui dit « Selon le célèbre Professeur Smith, 2+2=5 », l'élève cesse de faire confiance à son propre cerveau et écrit « 5 ». Le papier (la citation) a pris le dessus sur les mathématiques.
Ce qui n'avait pas d'importance ?
Les chercheurs pensaient que certains éléments pourraient pousser l'IA à faire davantage confiance à la citation, mais ils ont été surpris de constater que ces facteurs n'avaient presque aucun effet :
- Le Prestige : Peu importait que la citation fausse semble provenir d'une université de premier rang ou d'un blog aléatoire. L'IA était tout aussi confuse par les deux.
- L'Identité de l'auteur : Peu importait que le faux auteur ait un nom associé à un pays ou une démographie spécifique. L'IA ne semblait pas se soucier de qui l'avait écrit, seulement du fait que quelque chose avait été écrit.
- La Taille du modèle : Vous pourriez penser qu'une IA plus « intelligente » ou plus grande serait moins facile à piéger. Mais l'étude a montré que les modèles les plus grands et les plus avancés étaient tout aussi susceptibles de tomber dans le piège que les plus petits.
L'unique exception : L'IA « Avocat »
Il y avait un domaine où l'IA n'était pas aussi facilement piégée : le Droit.
- Pourquoi ? Les chercheurs suggèrent que le texte juridique possède un « langage » très spécifique et formel (comme un code secret). Lorsqu'une IA voit une citation juridique, elle semble passer en « mode examen » et vérifie les faits plus attentivement, plutôt que d'accepter aveuglément l'autorité.
- La Culture générale était le maillon faible, là où l'IA était le plus facilement dupée.
Le rebondissement de la « Fausse Affirmation »
L'étude a également examiné ce qui se passe lorsqu'une IA est déjà en erreur (une affirmation fausse).
- Certaines IA sont devenues plus intelligentes : Pour des modèles comme Llama et Claude, voir une citation (même fausse) les rendait moins susceptibles d'halluciner sur des affirmations fausses. C'était comme si la citation les faisait dire : « Hmm, je dois vérifier cela », et elles se corrigeaient.
- Certaines IA sont devenues plus stupides : Pour des modèles comme Gemma et Phi-4, la citation les rendait plus susceptibles d'halluciner sur des affirmations fausses. Elles acceptaient aveuglément l'information erronée.
L'essentiel à retenir
L'article conclut que ajouter une citation ne rend pas automatiquement une IA plus fiable. En fait, cela la rend souvent moins fiable.
Si vous utilisez une IA pour obtenir des faits, et que vous voyez qu'elle cite une source, ne supposez pas qu'elle dit la vérité. L'IA peut être tellement impressionnée par l'« autorité » de la citation qu'elle jettera volontiers la vérité réelle. L'étude avertit que pour les domaines à enjeux élevés (comme la médecine ou le droit), nous ne pouvons pas supposer que l'ancrage des réponses d'une IA dans des citations corrigera ses erreurs ; parfois, les citations elles-mêmes deviennent la source de l'erreur.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.