What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions
Cette analyse méta-données de 9 161 rétractations révèle que le motif « contenu généré par ordinateur » dans Retraction Watch est fortement concentré chez un seul éditeur et étroitement associé aux usines à articles (paper mills), mais ces schémas reflètent des pratiques de co-codage plutôt qu'ils ne fournissent une preuve définitive de la présence réelle d'IA générative dans les articles rétractés.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans la vaste bibliothèque du savoir humain, chaque étude publiée est censée être un bloc de construction de la vérité. Mais parfois, des blocs sont retirés. Lorsqu'une revue décide qu'un article est défectueux, frauduleux ou simplement erroné, elle publie une rétractation, retirant ainsi l'article des étagères de la science. Depuis des décennies, des chercheurs suivent ces rétractations pour comprendre comment le système échoue. Récemment, une nouvelle raison est apparue sur les avis de rétractation : « contenu généré par ordinateur ». Cette étiquette est appliquée lorsqu'une enquête conclut qu'un article a été écrit, en tout ou en partie, par une machine plutôt que par un humain. À mesure que les outils d'intelligence artificielle sont devenus plus puissants et accessibles, cette raison a progressé rapidement, menant beaucoup à croire qu'elle signale une nouvelle vague de mauvaise conduite pilotée par l'IA générative. La question est de savoir si cette étiquette pointe réellement vers une augmentation des articles écrits par l'IA, ou si elle capture tout autre chose.
Un chercheur nommé Jonas Mandalunes s'est donné pour mission d'étudier précisément ce que cette étiquette capture. En utilisant une base de données massive de plus de 66 000 dossiers de rétractation, l'étude s'est concentrée sur les 9 161 articles portant la mention « contenu assisté ou généré par ordinateur ». L'objectif était de voir si ces articles se comportaient différemment des autres articles rétractés en termes de durée de présence dans la presse avant d'être retirés, d'autres problèmes rencontrés et de fréquence de citation après leur rétractation. Les résultats révèlent que l'histoire derrière cette étiquette est bien plus complexe et spécifique qu'une simple poussée de l'usage abusif de l'IA.
La première chose que les données ont montrée est une augmentation massive des chiffres, mais il ne s'agissait pas d'une montée régulière à travers tout le monde de la science. Avant 2020, cette raison était presque inexistante, apparaissant sur seulement 28 articles. En 2023, cependant, elle représentait près de 42 % de toutes les rétractations enregistrées cette année-là. Cette explosion soudaine ressemblait à une vague de fraude générée par l'IA. Pourtant, lorsque le chercheur a regardé de plus près, la vague ne venait pas de partout. Elle était concentrée presque entièrement en un seul endroit : un éditeur spécifique connu sous le nom de Hindawi. En fait, 70 % de tous les articles portant cette étiquette provenaient de cet éditeur. Ce dernier avait récemment fait l'objet d'une enquête interne massive sur ses programmes de numéros spéciaux, révélant une manipulation généralisée du processus de révision par les pairs. L'étude suggère que l'étiquette capture largement les suites de ce nettoyage spécifique et à grande échelle plutôt qu'une épidémie générale de rédaction par l'IA dans tous les domaines scientifiques.
Une autre hypothèse commune était que ces articles générés par ordinateur étaient détectés beaucoup plus rapidement que d'autres travaux frauduleux. Comme les machines peuvent produire du texte rapidement, il semblait logique que leurs erreurs soient également repérées rapidement. Les chiffres bruts semblaient soutenir cela, montrant que les articles « générés par ordinateur » avaient une plage de temps plus serrée avant la rétractation par rapport aux chronologies désordonnées et variées des autres articles rétractés. Cependant, ce timing serré était une illusion créée par la concentration des données. Lorsque le chercheur a comparé ces articles uniquement à d'autres articles du même éditeur et de la même année, la différence de délai a disparu. Les articles « générés par ordinateur » n'étaient pas détectés plus rapidement ; ils faisaient simplement partie d'un lot d'articles qui ont tous été examinés et rétractés en même temps lors de cette enquête spécifique de l'éditeur. Une fois l'éditeur dominant retiré de la comparaison, l'idée que ces articles possèdent un calendrier unique et accéléré a totalement disparu.
L'étude a également examiné le lien entre cette étiquette et les « usines à articles » (paper mills), qui sont des organisations vendant de fausses paternités et des manuscrits fabriqués. Initialement, les données montraient un lien fort : 71 % des articles « générés par ordinateur » portaient également un drapeau d'usine à articles, contre seulement 9 % des autres articles rétractés. Cela suggéait que l'étiquette était un marqueur fiable de ces opérations criminelles. Mais encore une fois, l'image a changé lorsque les données ont été triées par éditeur et par année. Avant 2023, le lien était inexistant. En 2023 et 2024, le lien est devenu très fort, mais uniquement au sein d'éditeurs spécifiques. Dans d'autres grands éditeurs, la relation s'est en fait inversée, les articles « générés par ordinateur » étant moins susceptibles d'être liés aux usines à articles que les autres articles rétractés. Cette variation extrême signifie qu'il n'existe pas de règle unique et universelle reliant l'étiquette aux usines à articles ; l'association dépend entièrement de qui mène l'enquête et de quand.
Enfin, le chercheur a examiné si ces articles étaient cités moins souvent après leur rétractation, ce qui indiquerait que la communauté scientifique prêtait attention à l'avertissement. À première vue, il semblait que les articles « générés par ordinateur » étaient cités significativement moins souvent que les articles rétractés similaires. Mais cette différence était largement due au fait que le groupe de contrôle avait été cité plus lourdement avant même sa rétractation. Lorsque le chercheur a parfaitement apparié les articles en fonction du nombre de citations déjà reçues, la différence de citations post-rétractation a presque disparu. Le faible écart restant n'était pas statistiquement significatif, suggérant que la communauté scientifique traite ces articles de la même manière que les autres travaux rétractés une fois leur réputation antérieure prise en compte.
La conclusion la plus révélatrice est venue d'une recherche de mots spécifiques dans les notes de rétractation. Le chercheur a cherché des mentions d'outils d'IA spécifiques, comme « ChatGPT » ou « grands modèles de langage », dans les métadonnées des articles. Sur des milliers d'enregistrements, seuls 21 contenaient de tels termes spécifiques. Plus surprenant encore, aucun des articles portant l'étiquette « contenu généré par ordinateur » et mentionnant un outil d'IA spécifique n'était réellement sur cet outil ; ils étaient des études sur l'IA, et non des articles écrits par l'IA. Le seul article qui mentionnait des figures générées par l'IA ne portait même pas l'étiquette « contenu généré par ordinateur ». Cela indique que l'étiquette n'est pas appliquée parce que les avis de rétractation disent explicitement « ceci a été écrit par une machine ». Au contraire, l'étiquette est appliquée sur la base d'enquêtes plus larges sur l'intégrité de l'article, souvent parallèlement à des conclusions de révision par les pairs compromise.
L'étude conclut que l'étiquette « contenu généré par ordinateur » dans la base de données des rétractations n'est pas un indicateur fiable de l'usage abusif de l'IA générative. C'est l'enregistrement d'une enquête spécifique et massive sur les programmes de numéros spéciaux d'un seul éditeur, où l'étiquette a été appliquée à un large éventail de problèmes incluant les usines à articles et les défaillances de la révision par les pairs. Les données montrent que l'étiquette ne désigne pas un type unique d'article qui est détecté plus rapidement ou traité différemment par la communauté scientifique. Tant que les chercheurs ne pourront pas lire les avis de rétractation réels et vérifier le contenu des articles, utiliser cette étiquette comme mesure de la fraude par l'IA générative conduira à une vision déformée du problème. La véritable histoire n'est pas une invasion soudaine de la science écrite par l'IA, mais un nettoyage concentré d'un flux de travail éditorial spécifique qui s'est avéré utiliser une étiquette large pour décrire ses conclusions.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.