The Invisible Infrastructure of Biomedical Research: An Exploratory Analysis of Software Mentions and Sentence-Level Citation Marking
Esta análise exploratória de quase 800.000 menções de software em artigos biomédicos revela que a marcação de citação ao nível da sentença é geralmente baixa (10,7%) e varia significamente por tipo de ferramenta, sendo os pacotes estatísticos os menos citados, o que destaca a necessidade de intervenções políticas direcionadas e métodos de validação aprimorados.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
A ciência moderna depende fortemente de ferramentas invisíveis. Quando um biólogo sequencia uma fita de DNA ou um estatístico analisa um conjunto massivo de dados, eles não estão apenas usando caneta e papel; eles estão executando programas de computador complexos. Esses programas são os motores da descoberta, moldando o que os pesquisadores podem concluir e a rapidez com que podem trabalhar. No entanto, o sistema que os cientistas usam para dar crédito ao seu trabalho — a citação acadêmica — foi construído para livros e artigos, não para software. Quando um pesquisador menciona um programa em seu artigo, ele frequentemente aparece como um simples nome em uma frase, como uma ferramenta sobre uma bancada de trabalho. Como esses nomes raramente são vinculados a uma referência formal, as pessoas que criaram o software muitas vezes não recebem o devido crédito por seu trabalho. Essa falta de reconhecimento torna difícil justificar o tempo e o dinheiro necessários para manter essas ferramentas funcionando e deixa uma lacuna no registro que torna difícil para outros repetirem os experimentos.
Um novo estudo de Md Motasim Billa, da University of Arkansas at Little Rock, investiga exatamente com que frequência isso acontece e se o problema é o mesmo para todos os tipos de software. O pesquisador analisou quase 800.000 menções de nomes de software dentro de quase 140.000 artigos de pesquisa biomédica publicados entre 1980 e 2022. Ele não apenas contou quantas vezes o software foi mencionado; ele examinou de perto as frases para ver se a menção era acompanhada por um marcador de citação formal, como um número entre colchetes ou um sobrescrito que aponta para uma lista de referências. Essa distinção é crucial porque um nome flutuando em uma frase é visível para um leitor humano, mas invisível para os sistemas automatizados que rastreiam o impacto científico.
O pesquisador descobriu que a citação formal é surpreendentemente rara. Em toda a coleção de artigos, apenas cerca de 11% das menções de software carregavam um marcador de citação na mesma frase. A grande maioria, quase 70%, eram apenas nomes nus escritos no texto. No entanto, o estudo revelou que essa baixa taxa não é uniforme para todos os tipos de ferramentas. A probabilidade de uma ferramenta de software ser citada depende fortemente do tipo de ferramenta que ela é. Frameworks de aprendizado de máquina, que são usados para treinar modelos de inteligência artificial, foram citados em cerca de 18% de suas menções. Linguagens de programação foram citadas em aproximadamente 16% dos casos. Em forte contraste, pacotes estatísticos de uso geral, os cavalos de carga da análise de dados, foram citados em apenas 2% das menções. Gerenciadores de referências, ferramentas usadas para organizar bibliografias, foram citados em apenas 1% dos casos.
Esse padrão sugere que a maneira como os cientistas falam sobre software não é um único hábito quebrado, mas um conjunto de diferentes convenções dependendo da ferramenta. O software estatístico é frequentemente tratado como equipamento padrão, como um microscópio ou um tubo de ensaio, em vez de uma obra de autoria única que merece um crédito específico. Quando um cientista diz que usou um pacote estatístico, ele está frequentemente seguindo uma convenção metodológica que não exige uma citação. Por outro lado, os frameworks de aprendizado de máquina frequentemente possuem artigos de pesquisa associados que são considerados a forma primária de citar a ferramenta, levando a taxas de citação mais altas. O estudo também descobriu que a maneira como uma ferramenta é nomeada no texto altera as chances de ela ser citada. Se uma frase inclui um link web para o software, é mais provável que tenha uma citação formal. Se a frase nomeia a empresa ou o desenvolvedor que fez o software, é muito menos provável que haja uma citação, sugerindo que nomear o criador muitas vezes substitui a necessidade de uma referência formal aos olhos do autor.
O pesquisador também testou quão bem os métodos atuais conseguem distinguir entre um nome de software e uma palavra comum que por acaso se parece com um. Muitos softwares têm nomes que são palavras comuns da língua inglesa, como "star", "cluster" ou "string". O estudo descobriu que as listas padrão de ferramentas de software conhecidas não continham esses nomes ambíguos. Quando o pesquisador tentou usar regras simples baseadas nas palavras ao redor para descobrir se uma palavra como "cluster" se referia a software ou apenas a um grupo de coisas, as regras funcionaram moderadamente bem, mas falharam frequentemente quando o contexto era técnico. Isso destaca um desafio significativo: as ferramentas usadas para rastrear automaticamente as menções de software ainda não são boas o suficiente para lidar com os nomes mais comuns e ambíguos sem ajuda humana ou tecnologia mais avançada.
O estudo conclui que, embora o problema de subestimar a citação de software seja real, não é um caso simples de cientistas esquecendo de dar crédito. Em vez disso, é uma questão complexa onde diferentes tipos de ferramentas são tratadas com regras diferentes. A lacuna é mais ampla para os pacotes estatísticos que impulsionam grande parte da pesquisa moderna. Como os dados usados neste estudo não foram uma amostra aleatória perfeita e os métodos para identificar o software não foram totalmente validados contra especialistas humanos, as descobertas são melhores vistas como um mapa de onde o problema é mais severo, em vez de um censo final. Os resultados sugerem que uma regra única dizendo a todos os cientistas para "cite seu software" pode não funcionar. Em vez disso, as políticas podem precisar ser adaptadas a tipos específicos de ferramentas, particularmente aquelas que são atualmente tratadas como equipamento invisível, para garantir que os construtores da infraestrutura digital da ciência finalmente recebam o crédito que merecem.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.