The Invisible Infrastructure of Biomedical Research: An Exploratory Analysis of Software Mentions and Sentence-Level Citation Marking
Cette analyse exploratoire de près de 800 000 mentions de logiciels dans des articles biomédicaux révèle que le marquage de citation au niveau de la phrase est généralement faible (10,7 %) et varie considérablement selon le type d'outil, les packages statistiques étant les moins fréquemment cités, ce qui souligne la nécessité d'interventions politiques ciblées et de méthodes de validation améliorées.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
La science moderne repose largement sur des outils invisibles. Lorsqu'un biologiste séquence un brin d'ADN ou qu'un statisticien analyse un ensemble massif de données, il n'utilise pas seulement un stylo et du papier ; il exécute des programmes informatiques complexes. Ces programmes sont les moteurs de la découverte, façonnant ce que les chercheurs peuvent conclure et la vitesse à laquelle ils peuvent travailler. Pourtant, le système utilisé par les scientifiques pour attribuer le mérite de leur travail — la citation académique — a été conçu pour les livres et les articles, et non pour les logiciels. Lorsqu'un chercheur mentionne un programme dans son article, celui-ci apparaît souvent comme un simple nom dans une phrase, tel un outil posé sur un établi. Parce que ces noms sont rarement liés à une référence formelle, les personnes qui ont conçu les logiciels ne reçoivent souvent aucun crédit pour leur travail. Ce manque de reconnaissance rend difficile la justification du temps et de l'argent nécessaires pour maintenir ces outils en fonctionnement, et cela laisse une lacune dans le registre qui rend difficile la répétition des expériences par d'autres.
Une nouvelle étude de Md Motasim Billa, de l'Université way de l'Arkansas à Little Rock, examine précisément la fréquence à laquelle cela se produit et si le problème est le même pour tous les types de logiciels. Le chercheur a examiné près de 800 000 mentions de noms de logiciels à l'intérieur de près de 140 000 articles de recherche biomédicale publiés entre 1980 et 2022. Il ne s'est pas contenté de compter le nombre de fois où un logiciel était mentionné ; il a examiné attentivement les phrases pour voir si la mention était accompagnée d'un marqueur de citation formel, tel qu'un numéro entre crochets ou un exposant pointant vers une liste de références. Cette distinction est cruciale car un nom flottant dans une phrase est visible pour un lecteur humain mais invisible pour les systèmes automatisés qui suivent l'impact scientifique.
Le cherchenaire a découvert que la citation formelle est étonnamment rare. À travers toute la collection d'articles, seulement environ 11 % des mentions de logiciels comportaient un marqueur de citation dans la même phrase. La grande majorité, près de 70 %, n'était que des noms bruts écrits dans le texte. Cependant, l'étude a révélé que ce faible taux n'est pas uniforme pour tous les types d'outils. La probabilité qu'un outil logiciel soit cité dépend fortement de sa nature. Les frameworks d'apprentissage automatique (machine learning), utilisés pour entraîner des modèles d'intelligence artificielle, ont été cités dans environ 18 % de leurs mentions. Les langages de programmation ont été cités dans environ 16 % des cas. En revanche, les packages statistiques à usage général, les piliers de l'analyse de données, n'ont été cités que dans 2 % des mentions. Les gestionnaires de références, outils utilisés pour organiser les bibliographies, n'ont été cités que dans 1 % des cas.
Ce schéma suggère que la façon dont les scientifiques parlent des logiciels n'est pas une habitude unique et défaillante, mais un ensemble de conventions différentes selon l'outil. Le logiciel statistique est souvent traité comme un équipement standard, comme un microscope ou un tube à essai, plutôt que comme une œuvre d'auteur unique qui mérite un crédit spécifique. Lorsqu'un scientifique dit qu'il a utilisé un package statistique, il suit souvent une convention méthodologique qui ne nécessite pas de citation. Inversement, les frameworks d'apprentissage automatique ont souvent des articles de recherche associés qui sont considérés comme le moyen principal de citer l'outil, ce qui conduit à des taux de citation plus élevés. L'étude a également trouvé que la façon dont un outil est nommé dans le texte modifie les chances d'être cité. Si une phrase inclut un lien web vers le logiciel, elle est plus susceptible d'avoir une citation formelle. Si la phrase nomme l'entreprise ou le développateur qui a réalisé le logiciel, elle est beaucoup moins susceptible d'avoir une citation, ce qui suggère que nommer le créateur remplace souvent la nécessité d'une référence formelle aux yeux de l'auteur.
Le chercheur a également testé la capacité des méthodes actuelles à distinguer un nom de logiciel d'un mot ordinaire qui ressemble à l'un d'eux. De nombreux outils logiciels ont des noms qui sont des mots anglais courants, tels que « star », « cluster » ou « string ». L'étude a constaté que les listes standards d'outils logiciels connus ne contenaient aucun de ces noms ambigus. Lorsque le chercheur a tenté d'utiliser des règles simples basées sur les mots environnants pour déterminer si un mot comme « cluster » faisait référence à un logiciel ou simplement à un groupe de choses, les règles ont fonctionné de manière modérée mais ont échoué souvent lorsque le contexte était technique. Cela souligne un défi important : les outils utilisés pour suivre automatiquement les mentions de logiciels ne sont pas encore assez performants pour gérer les noms ambigus les plus courants sans l'aide humaine ou une technologie plus avancée.
L'étude conclut que bien que le problème de la sous-citation des logiciels soit réel, il ne s'agit pas simplement d'un cas où les scientifiques oublient de donner du crédit. Il s'agit plutôt d'un problème complexe où différents types d'outils sont traités avec des règles différentes. L'écart est le plus large pour les packages statistiques qui pilotent une grande partie de la recherche moderne. Comme les données utilisées dans cette étude n'étaient pas un échantillon aléatoire parfait et que les méthodes d'identification des logiciels n'ont pas été pleinement validées par des experts humains, les conclusions sont à considérer comme une carte de l'endroit où le problème est le plus grave, plutôt que comme un recensement définitif. Les résultats suggèrent qu'une règle unique demandant à tous les scientifiques de « citer votre logiciel » pourrait ne pas fonctionner. Au lieu de cela, les politiques pourraient être adaptées à des types spécifiques d'outils, particulièrement ceux qui sont actuellement traités comme des équipements invisibles, afin de garantir que les bâtisseurs de l'infrastructure numérique de la science reçoivent enfin le crédit qu'ils méritent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.