LLM hallucinations in the wild: Large-scale evidence from non-existent citations
Cette étude fournit des preuves à grande échelle que l'adoption généralisée des grands modèles de langage a entraîné une augmentation brutale des citations inexistantes dans des millions de documents scientifiques, menaçant la fiabilité et l'équité de la production de connaissances tout en dépassant les garanties éditoriales actuelles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La Grande Idée : Le Problème du « Faux Livre »
Imaginez que vous rédigez un devoir scolaire. Vous devez lister les livres que vous avez lus dans votre bibliographie. Si vous inventez un titre de livre qui n'existe pas, votre enseignant peut facilement vérifier et dire : « Ce livre n'est pas réel. »
Cet article est une vaste enquête sur ce qui se passe lorsque l'IA (les grands modèles de langage) commence à rédiger ces bibliographies pour les scientifiques. Les chercheurs ont découvert que l'IA invente de plus en plus de titres de livres factices (citations) et les glisse dans de vrais articles scientifiques. Bien que les scientifiques aient toujours fait de petites erreurs, l'étude montre que depuis que l'IA est devenue populaire, le nombre de ces « faux livres » a explosé.
Comment Ils Ont Attrapé l'IA
Les chercheurs ont traité le monde scientifique comme une immense bibliothèque. Ils ont examiné 111 millions de références (citations) à travers quatre grandes bibliothèques numériques (arXiv, bioRxiv, SSRN et PubMed Central).
- La Méthode : Ils ont construit un « moteur de recherche » numérique pour vérifier chaque citation individuellement. Si le moteur de recherche ne trouvait pas le livre ou l'article dans le monde réel, ils le signalaient comme « non correspondant ».
- Le Filtre : Ils savaient que certaines citations étaient simplement maladroites (mauvais formatage ou livres obscurs). Ainsi, ils ont utilisé une IA intelligente pour nettoyer celles qui étaient maladroites. Si une citation ne pouvait toujours pas être trouvée après tout le nettoyage, ils la comptaient comme une hallucination (une référence factice).
- La Référence de Base : Ils ont comparé le nombre de fausses citations avant que l'IA ne devienne populaire (2022) à après. Ils ont constaté une augmentation brutale et inquiétante à partir de 2024.
Le Résultat : En 2025 seulement, ils estiment qu'il y a 146 932 fausses citations rien que dans ces quatre bibliothèques. Et ce n'est probablement que la partie émergée de l'iceberg.
Qui Fait Cela ?
L'article a révélé que le problème du « faux livre » ne vient pas de quelques pommes pourries ; il est répandu partout, mais il est concentré dans des groupes spécifiques :
- Les « Nouveaux venus » : Les scientifiques les plus susceptibles d'inclure des fausses citations sont les chercheurs en début de carrière (étudiants et nouveaux professeurs) qui n'ont pas encore publié beaucoup d'articles.
- Analogie : Pensez-y comme à un nouveau conducteur qui n'a pas encore appris les règles de la route. Ils utilisent l'IA pour les aider à conduire (rédiger des articles), mais ils roulent accidentellement dans de faux quartiers parce qu'ils ne connaissent pas assez bien la carte pour repérer les erreurs.
- Les « Conducteurs Solo » : Les articles rédigés par des auteurs uniques ou de petites équipes ont des taux de fausses citations beaucoup plus élevés que les grandes équipes.
- Analogie : Si vous écrivez une histoire seul, vous pouvez manquer une faute de frappe. Si vous l'écrivez avec une équipe d'éditeurs, quelqu'un d'autre la repérera. Les grandes équipes agissent comme un filet de sécurité ; les petites équipes n'ont souvent pas ce filet.
- Les Domaines « Lourds en IA » : Les domaines où les gens utilisent le plus l'IA (comme l'informatique et les sciences sociales) ont les taux les plus élevés de fausses citations.
Qui Reçoit le Crédit ?
Voici la partie injuste. Lorsque l'IA invente un faux article, elle ne se contente pas d'inventer un nom au hasard. Elle a tendance à inventer des articles écrits par des scientifiques célèbres, prospères et masculins.
- Analogie : Imaginez un étudiant inventant une fausse citation pour un devoir d'histoire. Au lieu d'inventer un nom au hasard, l'étudiant invente (accidentellement ou subconsciemment) une citation du président le plus célèbre de l'histoire.
- La Conséquence : Cela signifie que l'IA renforce accidentellement les inégalités. Elle accorde un « crédit » supplémentaire aux personnes qui sont déjà célèbres et masculines, tout en ignorant les chercheurs moins connus ou féminins. Même si l'article est faux, le nom de la personne célèbre est ajouté à la liste des « personnes qui ont écrit à ce sujet ».
Pourquoi les Éditeurs Ne le Repèrent-ils Pas ?
Vous pourriez penser : « Les revues ne vérifient-elles pas ces articles avant de les publier ? » L'étude dit non, pas vraiment.
- Le Problème des Prépublications : De nombreux scientifiques publient leur travail en ligne avant sa publication officielle (comme un brouillon sur un blog). L'étude a révélé que 78,8 % des fausses citations passent à travers les modérateurs en ligne initiaux.
- Le Vide de l'Évaluation par les Pairs : Même lorsque ces articles sont soumis à des revues formelles pour examen, 85 % des fausses citations survivent au processus et sont publiées.
- Analogie : C'est comme un agent de sécurité à un concert qui vérifie les billets. L'agent attrape les personnes avec de vraiment faux billets évidents, mais les personnes avec de faux billets « bien présentés » (que l'IA rend très convaincants) passent directement.
L'Effet « Boule de Neige »
La partie la plus dangereuse de ceci est la façon dont les fausses citations se propagent.
- La Bibliothèque est Contaminée : Une fois qu'un faux article est publié, il est ajouté à Google Scholar et à d'autres bases de données.
- La Boucle : Les futurs chercheurs (et les futures IA) chercheront dans ces bases de données, verront le faux article et penseront : « Oh, c'est une vraie source ! » Ils le citeront ensuite dans leur propre travail.
- Le Résultat : Le faux article devient « réel » parce que tout le monde le traite comme tel. L'IA apprend de ses propres erreurs, créant un cycle où la bibliothèque se remplit de plus en plus de fiction.
La Conclusion
Cet article soutient que nous sommes dans une crise de confiance. La science repose sur l'idée que si vous citez un article, cet article existe réellement et dit ce que vous prétendez qu'il dit.
L'étude montre que l'IA brise cette confiance. Même en science – le domaine aux règles les plus strictes et aux meilleurs outils pour vérifier les faits – l'IA réussit à faire passer clandestinement des milliers de fausses références chaque année. Si cela se produit en science (où il est le plus facile de les attraper), l'article suggère que cela se produit probablement encore pire dans d'autres domaines comme le droit, la médecine et les rapports gouvernementaux, où il y a moins d'outils pour vérifier les faits.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.