The Invisible Infrastructure of Biomedical Research: An Exploratory Analysis of Software Mentions and Sentence-Level Citation Marking
Este análisis exploratorio de casi 800.000 menciones de software en artículos biomédicos revela que el marcado de citas a nivel de oración es generalmente bajo (10,7%) y varía significativamente según el tipo de herramienta, siendo los paquetes estadísticos los menos citados con frecuencia, lo que resalta la necesidad de intervenciones de políticas dirigidas y métodos de validación mejorados.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo
La ciencia moderna depende en gran medida de herramientas invisibles. Cuando un biólogo secuencia una hebra de ADN o un estadístico analiza un conjunto masivo de datos, no solo están usando una pluma y papel; están ejecutando programas informáticos complejos. Estos programas son los motores del descubrimiento, que moldean lo que los investigadores pueden concluir y qué tan rápido pueden trabajar. Sin embargo, el sistema que los científicos utilizan para dar crédito por su trabajo —la cita académica— fue construido para libros y artículos, no para el software. Cuando un investigador menciona un programa en su artículo, este suele aparecer como un simple nombre en una oración, como una herramienta situada sobre un banco de trabajo. Debido a que estos nombres rara vez están vinculados a una referencia formal, las personas que construyeron el software a menudo no reciben crédito por su labor. Esta falta de reconocimiento hace que sea difícil justificar el tiempo y el dinero necesarios para mantener estas herramientas en funcionamiento, y deja un vacío en el registro que dificulta que otros repitan los experimentos.
Un nuevo estudio de Md Motasim Billa, de la Universidad de Arkansas en Little Rock, investiga precisamente con qué frecuencia sucede esto y si el problema es el mismo para todo tipo de software. El investigador analizó casi 800,000 menciones de nombres de software dentro de casi 140,000 artículos de investigación biomédica publicados entre 1980 y 2022. No se limitó a contar cuántas veces se mencionaba el software; examinó de cerca las oraciones para ver si la mención estaba acompañada de un marcador de cita formal, como un número entre corchetes o un superíndice que apunte a una lista de referencias. Esta distinción es crucial porque un nombre flotando en una oración es visible para un lector humano, pero invisible para los sistemas automatizados que rastrean el impacto científico.
El investigador encontró que la cita formal es sorprendentemente rara. A lo largo de toda la colección de artículos, solo alrededor del 11 por ciento de las menciones de software incluían un marcador de cita en la misma oración. La gran mayoría, casi el 70 por ciento, eran solo nombres desnudos escritos en el texto. Sin embargo, el estudio reveló que esta baja tasa no es uniforme en todos los tipos de herramientas. La probabilidad de que una herramienta de software sea citada depende en gran medida de qué tipo de herramienta sea. Los marcos de trabajo de aprendizaje automático (machine-learning), que se utilizan para entrenar modelos de inteligencia artificial, fueron citados en aproximadamente el 18 por ciento de sus menciones. Los lenguajes de programación fueron citados en alrededor del 16 por ciento de los casos. En marcado contraste, los paquetes estadísticos de propósito general, los caballos de batalla del análisis de datos, fueron citados en solo el 2 por ciento de las menciones. Los gestores de referencias, herramientas utilizadas para organizar bibliografías, fueron citados en apenas el 1 por ciento de los casos.
Este patrón sugiere que la forma en que los científicos hablan del software no es un hábito roto único, sino un conjunto de diferentes convenciones dependiendo de la herramienta. El software estadístico suele tratarse como equipo estándar, como un microscopio o un tubo de ensayo, en lugar de como una obra de autoría única que merece un crédito específico. Cuando un científico dice que utilizó un paquete estadístico, a menudo está siguiendo una convención metodológica que no requiere una cita. Por el contrario, los marcos de aprendizaje automático suelen tener artículos de investigación asociados que se consideran la forma principal de citar la herramienta, lo que conduce a tasas de citación más altas. El estudio también encontró que la forma en que se nombra una herramienta en el texto cambia las probabilidades de que sea citada. Si una oración incluye un enlace web al software, es más probable que tenga una cita formal. Si la oración nombra a la empresa o al desarrollador que hizo el software, es mucho menos probable que tenga una cita, lo que sugiere que nombrar al creador a menudo reemplaza la necesidad de una referencia formal a los ojos del autor.
El investigador también probó qué tan bien los métodos actuales pueden distinguir entre un nombre de software y una palabra regular que casualmente se parece a uno. Muchas herramientas de software tienen nombres que son palabras comunes del inglés, como "star" (estrella), "cluster" (conglomerado) o "string" (cadena). El estudio encontró que las listas estándar de herramientas de software conocidas no contenían ninguno de estos nombres ambiguos. Cuando el investigador intentó usar reglas simples basadas en las palabras circundantes para determinar si una palabra como "cluster" se refería a software o solo a un grupo de cosas, las reglas funcionaron moderadamente bien, pero fallaron a menudo cuando el contexto era técnico. Esto resalta un desafío significativo: las herramientas utilizadas para rastrear automáticamente las menciones de software aún no son lo suficientemente buenas como para manejar los nombres más comunes y ambiguos sin ayuda humana o tecnología más avanzada.
El estudio concluye que, si bien el problema de la subcitación del software es real, no es simplemente un caso de científicos que olvidan dar crédito. En cambio, es un problema complejo donde diferentes tipos de herramientas son tratadas con diferentes reglas. El vacío es más amplio para los paquetes estadísticos que impulsan gran parte de la investigación moderna. Debido a que los datos utilizados en este estudio no fueron una muestra aleatoria perfecta y los métodos para identificar el software no fueron totalmente validados contra expertos humanos, los hallazgos se ven mejor como un mapa de dónde es más severo el problema, en lugar de un censo final. Los resultados sugieren que una regla única que diga a todos los científicos "cite su software" puede no funcionar. En su lugar, las políticas podrían adaptarse a tipos específicos de herramientas, particularmente aquellas que actualmente son tratadas como equipo invisible, para asegurar que los constructores de la infraestructura digital de la ciencia finalmente reciban el crédito que merecen.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.