A Multi-Surface Consistency Audit of Software Citation Metadata

En el mundo de la ciencia moderna, el software se ha vuelto tan esencial como un microscopio o un telescopio. Es la herramienta que los investigadores utilizan para procesar números, simular el cambio climático y modelar el comportamiento de los átomos. Debido a que este software es producto del trabajo humano y del esfuerzo intelectual, la comunidad científica ha acordado que merece ser citado, tal como un artículo de investigación. Cuando un científico utiliza un programa específico para realizar un descubrimiento, debe dar crédito a las personas que lo escribieron, a la versión que utilizó y al lugar donde se puede encontrar. Para hacer esto posible, se ha construido un sistema donde los proyectos de software pueden dejar atrás "etiquetas de nombre" digitales. Estas etiquetas son archivos legibles por máquinas que contienen el título del proyecto, los nombres de sus autores, el número de versión y un identificador único que apunta a donde vive el software en línea. La idea es que si un investigador, un bibliotecario o un programa informático observa cualquiera de estas etiquetas, todas contarán la misma historia sobre la misma pieza de software.

Sin embargo, un estudio reciente planteó una pregunta simple pero inquietante: ¿coinciden realmente estas etiquetas de nombre entre sí? Los investigadores, liderados por Pengyin Shan de la Universidad de Illinois, decidieron auditar las autodescripciones digitales de 117 proyectos de software de investigación de código abierto. Examinaron siete lugares diferentes donde un proyecto podría describirse a sí mismo: un archivo específico destinado a citas, un archivo de datos para archivos, un registro en un registro público donde se descarga el software y el texto en la página web principal del proyecto. Trataron al software como un objeto único y a estos diversos archivos como diferentes "superficies" o caras de ese objeto. Si el sistema funciona perfectamente, cada superficie debería decir lo mismo. Si no coinciden, se crea confusión sobre quién realizó el trabajo, qué versión se utilizó y dónde encontrar el código. El estudio encontró que el sistema está lejos de ser perfecto. De hecho, la mayoría de los proyectos examinados contaban historias diferentes a distintas partes de Internet.

Los investigadores construyeron un proceso cuidadoso para verificar estos proyectos. Reunieron un grupo de 117 herramientas de software, incluyendo herramientas de computación de alto rendimiento utilizadas para la supercomputación y la computación cuántica, así como un grupo más pequeño de herramientas que habían sido aceptadas por revistas comunitarias. Para cada proyecto, descargaron instantáneas de las siete superficies diferentes en un solo día. Luego utilizaron un programa informático para normalizar la información, traduciendo los diferentes formatos de archivo en una lista común de seis hechos clave: el título, el autor, la versión, el año, la licencia y el identificador único. Compararon cada par de superficies que existían para un proyecto para ver si los hechos coincidían. Para asegurar que su método fuera preciso, verificaron manualmente una gran muestra de los juicios de la computadora, confirmando que su herramienta era correcta casi el 99 por ciento de las veces.

Los resultados revelaron una falta significativa de consistencia. De los 117 proyectos, solo 62 tenían al menos dos superficies que pudieran compararse. Entre esos 62 proyectos, 52 de ellos, o aproximadamente el 84 por ciento, contenían al menos un conflicto importante entre sus superficies. Esto significa que, para la mayoría de estos proyectos, una persona que lee el archivo de citación obtendría información diferente de alguien que lee el registro de archivo o la página de descarga. Los desacuerdos fueron más comunes en las listas de autores y los títulos del software. Mientras que el año y la licencia solían ser consistentes, los detalles centrales que identifican la obra a menudo no coincidían. El estudio encontró que el problema no se limitaba a un tipo de software; aparecía en proyectos de computación de alto rendimiento, en herramientas revisadas por el Journal of Open Source Software y en paquetes aceptados por la comunidad pyOpenSci.

Una de las razones más comunes para estos conflictos fue una confusión específica entre el software y el artículo de investigación que lo describe. En muchos casos, los archivos destinados a describir el software estaban en realidad describiendo el artículo académico sobre el software. Por ejemplo, un archivo podría listar el título de una presentación de conferencia o el autor de un artículo de revista, mientras que otro archivo listaba el nombre del código en sí. Esto ocurrió en la mitad de los conflictos verificados. Los investigadores señalaron que esto no es necesariamente un error en cómo se escribieron los archivos, sino más bien un reflejo de una confusión más profunda sobre qué es realmente el "objeto citable". ¿Es el código, o es el artículo sobre el código? Cuando los archivos intentan apuntar al artículo, a menudo dejan de apuntar al software, causando que los metadatos se distancien.

Otra fuente de desacuerdo provino de los registros públicos donde se descarga el software, tales como PyPI para Python o npm para JavaScript. Estos registros a menudo utilizan nombres cortos y técnicos para los paquetes, como "mpi4py", mientras que los propios archivos del software usan un título descriptivo como "MPI for Python". Cuando una computadora intenta emparejar estas dos superficies, ve una discrepancia en el título. El estudio encontró que una gran parte de los desacuerdos en títulos y autores fue impulsada por estos registros de los registros. Además, los investigadores encontraron que la información más actualizada a menudo faltaba en los lugares donde las herramientas automatizadas la buscan. Los archivos que las herramientas de empaquetado leen, como los registros de los registros, eran los menos propensos a contener identificadores persistentes como los ORCID para los autores, los cuales son cruciales para rastrear quién realizó el trabajo.

El estudio también analizó una característica específica llamada "citación preferida", que permite que un proyecto de software le diga a los usuarios que citen un objeto diferente, generalmente un artículo, en lugar del software mismo. Los investigadores encontraron que en 28 de los 32 proyectos que utilizaban esta función, seguir la instrucción conducía a un registro que discrepaba con los propios metadatos del software. Esto significa que incluso cuando un proyecto intenta guiar a los usuarios hacia una citación específica, la guía apunta a un registro que entra en conflicto con la otra información que el proyecto ha publicado sobre sí mismo. Esto crea una situación en la que un usuario que sigue las reglas podría terminar citando un artículo que no coincide con la versión del software que realmente utilizó.

Los investigadores concluyeron que la infraestructura actual para la citación de software es incompleta. Si bien las herramientas para declarar metadatos existen y se utilizan ampliamente, no hay un sistema implementado para verificar si las diferentes declaraciones coinciden entre sí. El estudio mostró que, para la mayoría de los proyectos que pueden ser verificados, el software discrepa consigo mismo en al menos una pieza crítica de información. Esta fragmentación significa que el crédito a menudo se divide, la procedencia no está clara y los sistemas automatizados no pueden rastrear de manera confiable el uso del software de investigación. Los investigadores publicaron sus datos, su código y su lista de proyectos para que otros puedan repetir la auditoría, verificar si las cosas han mejorado con el tiempo o usar los datos para construir herramientas que puedan corregir automáticamente estas inconsistencias de forma automática. El trabajo destaca que, antes de que podamos confiar plenamente en el sistema de crédito digital para el software, primero debemos asegurar que el software cuente una historia única y consistente en todos los lugares donde habla.