When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models
Cette étude démontre que divers modèles de langage présentent une « monoculture de la citation » en sélectionnant de manière disproportionnée le même sous-ensemble restreint de publications réelles en raison de filtres de préférence partagés au niveau du contenu, un biais systémique qui persiste même lorsque les hallucinations sont éliminées et ne peut être résolu simplement par l'égalisation de la récupération ou le mélange des fournisseurs.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Pendant des décennies, la manière dont la science progresse a reposé sur une habitude humaine simple : les chercheurs lisent le travail des autres et décident quels articles mentionner dans leurs propres écrits. Cet acte de citation est bien plus qu'une simple formalité ; c'est la monnaie d'échange du crédit scientifique. Lorsqu'un article est souvent cité, il gagne en visibilité, ce qui entraîne davantage de citations dans un cycle connu sous le nom d'effet Matthieu, où les riches deviennent plus riches. Cette dynamique a toujours dépendu de lecteurs humains, capables de percevoir la réputation d'un auteur, le prestige d'une revue ou le succès passé d'un article, et de laisser ces signaux guider leurs choix. Mais une nouvelle force entre en scène. L'intelligence artificielle dépasse désormais le simple stade de la correction grammaticale pour rédiger des revues de littérature entières et sélectionner les références qui façonnent ce que la communauté scientifique perçoit. La question n'est plus seulement de savoir si ces machines peuvent écrire, mais ce qu'elles choisissent de lire. Si l'on demande à une IA de trouver les travaux les plus importants sur un sujet, imite-t-elle simplement le biais humain, ou crée-t-elle un nouveau type de biais tout à son propre compte ?
Une équipe de chercheurs s'est donné pour mission de répondre à cette question en construisant une expérience contrôlée qui éliminait tout ce qui influence habituellement une citation. Ils ont rassemblé 120 articles scientifiques réels sur un sujet spécifique, mais avant de les présenter à l'IA, ils avaient caché tous les signaux de statut habituels. Les noms des auteurs ont été remplacés par des noms fictifs, les années de publication ont été mélangées, et le nombre de fois où chaque article avait été cité a été totalement supprimé. Les modèles d'IA ont ensuite été invités à rédiger de courtes critiques ou des documents de positionnement, mais avec une règle stricte : ils ne pouvaient mentionner que jusqu'à dix des trente articles qui leur étaient présentés à chaque tour. Cette rareté a forcé les modèles à faire de vrais choix plutôt que de lister tout ce qu'ils voyaient. Pour s'assurer que les résultats n'étaient pas un simple coup de chance, les chercheurs ont comparé les choix de l'IA à une base de référence où un ordinateur choisissait des articles au hasard dans la même liste, et ils ont également demandé à huit experts humains de faire les mêmes choix dans les mêmes conditions exactes.
Les résultats ont révélé un schéma frappant et uniforme. Tandis que les experts humains distribuaient leurs citations de manière assez équilibrée, traitant les articles de la même manière qu'un sélecteur aléatoire, chaque modèle d'IA testé a concentré son attention sur un sous-ensemble de papiers minuscule et étroit. Dans le groupe humain, les dix pour cent d'articles les plus cités ont reçu environ 19 pour cent des citations, ce qui est proche de ce que l'on attendrait par le simple hasard. En revanche, les modèles d'IA ont attribué entre 23 et 30 pour cent de leurs citations à seulement les dix pour cent d'articles supérieurs. Plus important encore, les modèles ont systématiquement ignoré un nombre significatif d'articles qui leur avaient été présentés, laissant certains complètement non cités même après avoir été affichés des dizaines de fois. Il ne s'agissait pas de cas d'hallucinations de références fictives ; chaque article cité était réel, et chaque article ignoré était réel. L'échec ne résidait pas dans l'hallucination, mais dans un filtre commun et invisible qui décidait quels articles réels valaient la peine d'être lus.
La découverte la plus troublante fut peut-être que ce filtre était le même pour tous les modèles, quelle que soit l'entreprise qui les avait conçus. Que l'IA ait été fabriquée par OpenAI, Google ou Anthropic, elles favorisaient toutes exactement les mêmes articles et en ignoraient les mêmes. Les chercheurs ont constaté que les préférences de ces onze modèles différents étaient si similaires qu'elles pouvaient être décrites comme une carte unique et partagée de ce qu'est un article « citable ». Cette carte n'était pas basée sur les noms des auteurs ou la revue dans laquelle ils apparaissaient, puisque ceux-ci étaient cachés. Au lieu de cela, elle était entièrement dictée par le texte des résumés. Les modèles semblaient s'accorder sur un style ou un type de contenu spécifique qui méritait l'attention, privilégiant les articles qui ressemblaient à des travaux théoriques fondamentaux, tout en négligeant systématiquement la recherche appliquée, même lorsque les articles appliqués étaient tout aussi réels et pertinents.
Pour comprendre s'il s'agissait d'une mémoire apprise des citations passées ou d'un véritable jugement de qualité, les chercheurs ont testé les modèles à nouveau après avoir réécrit les titres et les résumés des articles. Ils ont changé les mots complètement, s'assurant que les modèles ne puissent pas reconnaître les articles par leur texte de surface, tout en préservant le sens sous-jacent. Les choix des modèles n'ont pas changé. Ils ont toujours choisi les mêmes articles en fonction de la nouvelle formulation, prouvant que leur préférence était ancrée dans le sens du contenu, et non dans une liste mémorisée de titres célèbres. Cela suggère que les modèles ont développé une intuition convergente et partagée sur ce qui constitue un bon article, une intuition qui se distingue de la manière dont les experts humains évaluent réellement ce même travail.
L'étude a également exploré ce qui se passe lorsque ces modèles sont utilisés de manière répétée au fil du temps. À mesure que les modèles d'IA rédigeaient de nouveaux articles et que ces nouveaux articles étaient réintégrés dans le vivier pour des sélections futures, les articles réels originaux devenaient plus rares. Les chercheurs ont découvert qu'à mesure que les articles réels se raréfiaient, les modèles les citaient encore plus intensément, comme s'ils étaient en compétition pour les quelques options « bonnes » restantes. Cependant, cela ne signifiait pas que les modèles prêtaient plus d'attention à la littérature réelle dans son ensemble ; en fait, la part totale des citations allant aux articles réels a chuté de manière significative. Les modèles concentraient simplement leur attention limitée sur un groupe de survivants en réduction, créant une boucle de rétroaction où une préférence fixe rencontre un catalogue qui se dilue.
Cette recherche démontre que le danger de l'intelligence artificielle dans la science n'est pas seulement qu'elle puisse inventer de faux faits, mais qu'elle puisse silencieusement s'accorder sur un ensemble étroit de réponses « correctes » tout en ignorant le reste du domaine. Même lorsque toutes les options sont réelles et que chaque article est également visible, ces systèmes imposent un filtre commun sur l'attention scientifique. Mélanger différents modèles ne résout pas le problème, car ils partagent tous le même biais sous-jacent. La solution, suggèrent les auteurs, nécessite de changer la carte de préférence partagée elle-même, plutôt que de simplement essayer de diversifier les sources d'information. Les machines ne font pas que lire la littérature ; elles commencent à décider de ce qu'est la littérature, et elles décident toutes de la même chose.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.