A Multi-Surface Consistency Audit of Software Citation Metadata

Dans le monde de la science moderne, le logiciel est devenu aussi essentiel qu'un microscope ou un télescope. C'est l'outil que les chercheurs utilisent pour traiter des chiffres, simuler le changement climatique et modéliser le comportement des atomes. Parce que ce logiciel est le produit du travail humain et de l'effort intellectuel, la communauté scientifique a convenu qu'il mérite d'être cité, tout comme un article de recherche. Lorsqu'un scientifique utilise un programme spécifique pour faire une découverte, il doit rendre crédit aux personnes qui l'ont écrit, à la version qu'il a utilisée et à l'endroit où l'on peut le trouver. Pour rendre cela possible, un système a été construit où les projets de logiciels peuvent laisser derrière eux des « étiquettes de nom » numériques. Ces étiquettes sont des fichiers lisibles par machine qui contiennent le titre du projet, les noms de ses auteurs, le numéro de version et un identifiant unique qui indique où le logiciel vit en ligne. L'idée est que si un chercheur, un bibliothécaire ou un programme informatique regarde n'importe laquelle de ces étiquettes, elles raconteront toutes la même histoire sur le même logiciel.

Cependant, une étude récente a posé une question simple mais inquiétante : ces étiquettes de nom concordent-elles réellement entre elles ? Les chercheurs, dirigés par Pengyin Shan de l'Université de l'Illinois, ont décidé d'auditer les auto-descriptions numériques de 117 projets de logiciels de recherche en open-source. Ils ont examiné sept endroits différents où un projet pourrait se décrire : un fichier spécifique destiné aux citations, un fichier de données pour les archives, un enregistrement dans un registre public où le logiciel est téléchargé, et le texte sur la page web principale du projet. Ils ont traité le logiciel comme l'objet unique et ces divers fichiers comme différentes « surfaces » ou faces de cet objet. Si le système fonctionne parfaitement, chaque surface devrait dire la même chose. S'ils ne sont pas d'accord, cela crée de la confusion sur qui a fait le travail, quelle version a été utilisée et où trouver le code. L'étude a révélé que le système est loin d'être parfait. En fait, la majorité des projets examinés racontent des histoires différentes à différentes parties d'Internet.

Les chercheurs ont élaboré un processus rigoureux pour vérifier ces projets. Ils ont rassemblé un groupe de 117 outils logiciels, comprenant des outils de calcul haute performance utilisés pour le calcul intensif et le calcul quantique, ainsi qu'un groupe plus restreint d'outils ayant été acceptés par des revues communautaires. Pour chaque projet, ils ont téléchargé des instantanés des sept surfaces différentes à une date donnée. Ils ont ensuite utilisé un programme informatique pour normaliser l'information, traduisant les différents formats de fichiers en une liste commune de six faits clés : le titre, l'auteur, la version, l'année, la licence et l'identifiant unique. Ils ont comparé chaque paire de surfaces existantes pour un projet afin de voir si les faits concordaient. Pour s'assurer de l'exactitude de leur méthode, ils ont vérifié manuellement un large échantillon des jugements de l'ordinateur, confirmant que leur outil était correct près de 99 pour cent du temps.

Les résultats ont révélé un manque significatif de cohérence. Sur les 117 projets, seuls 62 possédaient au moins deux surfaces pouvant être comparées. Parmi ces 62 projets, 52 d'entre eux, soit environ 84 pour cent, contenaient au moins un conflit majeur entre leurs surfaces. Cela signifie que pour la plupart de ces projets, une personne lisant le fichier de citation obtiendrait des informations différentes de quelqu'un lisant l'enregistrement d'archive ou la page de téléchargement. Les désaccords étaient les plus fréquents dans les listes d'auteurs et les titres des logiciels. Bien que l'année et la licence soient généralement cohérentes, les détails fondamentaux qui identifient l'œuvre ne correspondaient souvent pas. L'étude a constaté que le problème n'était pas limité à un type de logiciel ; il apparaissait dans les projets de calcul haute performance, dans les outils examinés par le Journal of Open Source Software, ainsi que dans les packages acceptés par la communauté pyOpenSci.

L'une des raisons les plus courantes de ces conflits était une confusion spécifique entre le logiciel et l'article de recherche qui le décrit. Dans de nombreux cas, les fichiers destinés à décrire le logiciel décrivaient en réalité l'article académique sur le logiciel. Par exemple, un fichier pouvait lister le titre d'une présentation de conférence ou l'auteur d'un article de revue, tandis qu'un autre fichier listait le nom du code lui-même. Cela s'est produit dans la moitié des conflits vérifiés. Les chercheurs ont noté que ce n'est pas nécessairement une erreur dans la rédaction des fichiers, mais plutôt le reflet d'une confusion plus profonde sur ce qu'est réellement l'« objet citable ». Est-ce le code, ou est-ce l'article sur le code ? Lorsque les fichiers tentent de pointer vers l'article, ils cessent souvent de pointer vers le logiciel, ce qui provoque la dérive des métadonnées.

Une autre source de désaccord provenait des registres publics où le logiciel est téléchargé, tels que PyPI pour Python ou npm pour JavaScript. Ces registres utilisent souvent des noms de packages courts et techniques, comme « mpi4py », tandis que les propres fichiers du logiciel utilisent un titre descriptif comme « MPI for Python ». Lorsqu'un ordinateur tente de faire correspondre ces deux surfaces, il voit une discordance de titre. L'étude a trouvé qu'une grande partie des désaccords sur les titres et les auteurs était causée par ces enregistrements de registres. De plus, les chercheurs ont découvert que les informations les plus récentes étaient souvent absentes des endroits où les outils automatisés les cherchent. Les fichiers lus par les outils de packaging, tels que les enregistrements de registres, étaient les moins susceptibles de contenir des identifiants persistants comme les ORCID pour les auteurs, qui sont cruciaux pour suivre qui a réalisé le travail.

L'étude a également examiné une fonctionnalité spécifique appelée « citation préférée », qui permet à un projet de logiciel d'indiquer aux utilisateurs de citer un autre objet, généralement un article, plutôt que le logiciel lui-même. Les chercheurs ont constaté que dans 28 des 32 projets utilisant cette fonctionnalité, le fait de suivre l'instruction menait à un enregistrement qui ne concordait pas avec les propres métadonnées du logiciel. Cela signifie que même lorsqu'un projet tente de guider les utilisateurs vers une citation spécifique, les indications mènent souvent à un enregistrement qui entre en conflit avec les autres informations que le projet a publiées sur lui-même. Cela crée une situation où un utilisateur suivant les règles pourrait finir par citer un article qui ne correspond pas à la version du logiciel qu'il a réellement utilisé.

Les chercheurs ont conclu que l'infrastructure actuelle pour la citation de logiciels est incomplète. Bien que les outils pour déclarer les métadonnées existent et soient largement utilisés, il n'existe aucun système en place pour vérifier si les différentes déclarations concordent entre elles. L'étude a montré que pour la majorité des projets vérifiables, le logiciel est en désaccord avec lui-même sur au moins une information critique. Cette fragmentation signifie que le crédit est souvent divisé, la provenance est peu claire et les systèmes automatisés ne peuvent pas suivre de manière fiable l'utilisation des logiciels de recherche. Les chercheurs ont rendu publiques leurs données, leur code et leur liste de projets afin que d'autres puissent répéter l'audit, vérifier si les choses se sont améliorées avec le temps, ou utiliser les données pour construire des outils capables de corriger automatiquement ces incohérences. Ce travail souligne qu'avant de pouvoir pleinement faire confiance au système de crédit numérique pour les logiciels, nous devons d'abord nous assurer que le logiciel raconte une histoire unique et cohérente dans tous les lieux où il s'exprime.