Improving machine learning-based paper mill detection in cancer research using full text, image and citation data
Cette étude démontre que l'amélioration de la détection des usines à articles basée sur l'apprentissage automatique dans la recherche sur le cancer, en intégrant les données de texte intégral, de citations et d'images aux informations du titre et du résumé, améliore considérablement la précision du modèle, atteignant jusqu'à 98,2 % lors de la validation interne et 96,4 % lors de la validation externe.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans la vaste bibliothèque du savoir scientifique, où les chercheurs bâtissent de nouvelles découvertes sur les épaules de ceux qui les ont précédés, existe une ombre dangereuse : la manufacture de papiers (paper mill). Il ne s'agit pas de petits ateliers d'erreurs honnêtes, mais d'opérations organisées qui fabriquent de faux articles de recherche et vendent le droit d'être listé comme auteur à quiconque est prêt à payer. Les dommages qu'elles causent sont profonds, particulièrement dans le domaine de la recherche sur le cancer. Lorsqu'un scientifique tente de guérir une maladie, il s'appuie sur les données des études publiées pour guider ses prochaines étapes. Si ces données sont fabriquées par une manufacture de papiers, le scientifique gaspille des années de temps et des millions de dollars à poursuivre un fantôme, tandis que les patients restent en danger. Depuis des années, la communauté scientifique lutte pour débusquer ces faux avant leur publication, s'appuyant souvent sur le titre et le court résumé d'un article pour repérer la fraude. Mais à mesure que les faussaires deviennent plus habiles, les résumés qu'ils rédigent deviennent de plus en plus difficiles à distinguer de la réalité.
Une étude récente s'est donné pour mission de voir si un examen plus approfondi d'un article permettrait de démasquer ces faussaires. Les chercheurs ont posé une question simple : si nous examinons l'intégralité d'un article de recherche, y compris ses méthodes détaillées, ses résultats, les images de ses expériences et la liste des autres articles qu'il cite, pouvons-nous mieux repérer la fraude qu'en lisant simplement le titre et le résumé ? Pour répondre à cela, ils ont conçu un système informatique entraîné à reconnaître les empreintes subtiles d'une manufacture de papiers. Ils ont rassemblé une vaste collection de faux articles, identifiés par des experts qui les avaient déjà signalés, et les ont associés à un grand groupe d'études authentiques et de haute qualité sur le cancer. L'équipe a ensuite injecté ces données dans un système d'apprentissage automatique, un type d'intelligence artificielle qui apprend les modèles par l'exemple. Ils ont testé le système de trois manières différentes : premièrement, en ne lui donnant que le titre et le résumé ; deuxièmement, en lui donnant le texte intégral des sections méthodes et résultats ; et troisièmement, en lui montrant les images réelles utilisées dans les expériences. Enfin, ils ont combiné tous ces indices en un détecteur puissant.
Les résultats ont montré que regarder l'ensemble du tableau fait une différence significative. Lorsque l'ordinateur était limité au titre et au résumé, il performait bien, identifiant correctement environ 91,5 % des faux articles dans un nouveau groupe de test inédit. Cela correspondait aux performances des outils précédents qui ne reposaient que sur de courts résumés. Cependant, lorsque les chercheurs ont ajouté le texte intégral de l'article, spécifiquement les sections décrivant comment les expériences ont été menées et quels en étaient les résultats, la précision du système s'est améliorée. Il a commencé à débusquer davantage de faux, atteignant une précision de 92,1 % sur le nouveau groupe de test. Le texte intégral a révélé des schémas que le court résumé avait manqués, tels que des protocoles expérimentaux recyclés ou des séquences d'ingrédients qui n'avaient aucun sens, qui sont des ruses courantes utilisées par les manufactures de papiers.
L'étude a également testé si les images présentes dans les articles pouvaient aider. L'ordinateur a été entraîné à examiner les figures et les graphiques pour voir s'ils paraissaient manipulés ou suspects. Bien que cette méthode ait fonctionné mieux qu'un simple hasard, elle n'était pas aussi fiable que la lecture du texte. Le détecteur d'images a correctement identifié environ 76 % des faux articles dans le nouveau groupe de test, mais il était moins performant que les outils basés sur le texte. Il était particulièrement efficace pour repérer les articles réels, mais il manquait beaucoup de faux. Cela suggère que, si les images truquées sont un signe d'alerte, les mots de l'article racontent une histoire plus claire. Les chercheurs ont également examiné la liste des références, vérifiant si un article citait d'autres faux articles connus. Cet indice était utile, mais c'était le signal le moins puissant de tous, probablement parce que la liste des faux articles connus n'est pas encore assez complète pour saisir toutes les connexions.
L'outil le plus puissant est apparu lorsque les chercheurs ont combiné toutes les informations disponibles. Ils ont pris les scores du lecteur de texte, du spectateur d'images et du vérificateur de citations et les ont fusionnés en une seule décision. Ce modèle fusionné, qui considérait simultanément le texte intégral, les images et les citations, a atteint la précision la plus élevée de tous les systèmes testés. Sur le nouveau groupe de test inédit, il a identifié correctement 96,4 % des faux articles. Il s'agissait d'une amélioration claire par rapport aux anciennes méthodes qui reposaient sur un seul type d'indice. L'étude suggère qu'à mesure que les manufactures de papiers deviennent plus sophistiquées, la seule façon de les arrêter est d'utiliser un système qui examine chaque partie du document. Tout comme un éditeur humain pourrait lire un article, vérifier les photos et vérifier les sources pour garantir la qualité, l'ordinateur fait désormais la même chose, mais avec une vitesse et une échelle qu'aucun humain ne pourrait égaler. Les conclusions indiquent que l'avenir de la protection de l'intégrité scientifique réside dans ces contrôles complets et multicouches, garantissant que le fondement de la recherche sur le cancer reste solide et digne de confiance.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.