The Invisible Infrastructure of Biomedical Research: An Exploratory Analysis of Software Mentions and Sentence-Level Citation Marking
Questa analisi esplorativa di quasi 800.000 menzioni di software in articoli biomedici rivela che la marcatura della citazione a livello di frase è generalmente bassa (10,7%) e varia significamente per tipo di strumento, con i pacchetti statistici che vengono citati meno frequentemente, evidenziando la necessità di interventi politici mirati e di metodi di validazione migliorati.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
La scienza moderna si affida pesantemente ad strumenti invisibili. Quando un biologo sequenzia un filamento di DNA o un statistico analizza un enorme insieme di dati, non sta usando solo penna e carta; sta eseguendo complessi programmi informatici. Questi programmi sono i motori della scoperta, che determinano ciò che i ricercatori possono concludere e la velocità con cui possono lavorare. Eppure, il sistema che gli scienziati usano per dare credito al proprio lavoro — la citazione accademica — è stato costruito per libri e articoli, non per il software. Quando un ricercatore menziona un programma nel suo articolo, spesso appare come un semplice nome in una frase, come uno strumento appoggiato su un banco da lavoro. Poiché questi nomi sono raramente collegati a un riferimento formale, le persone che hanno costruito il software spesso non ricevono alcun credito per il loro lavoro. Questa mancanza di riconoscimento rende difficile giustificare il tempo e il denaro necessari per mantenere in funzione questi strumenti e lascia una lacuna nella documentazione che rende difficile per altri ripetere gli esperimenti.
Un nuovo studio di Md Motasim Billa, dell'Università dell'Arkansas ad Little Rock, indaga esattamente quanto spesso accada questo fenomeno e se il problema sia lo stesso per ogni tipo di software. Il ricercatore ha esaminato quasi 800.000 menzioni di nomi di software all'interno di quasi 140.000 articoli di ricerca biomedica pubblicati tra il 1980 e il 2022. Non si è limitato a contare quante volte il software veniva menzionato; ha esaminato attentamente le frasi per vedere se la menzione fosse accompagnata da un segno di citazione formale, come un numero tra parentesi quadre o un apice che rimanda a una lista di riferimenti. Questa distinzione è cruciale perché un nome che fluttua in una frase è visibile a un lettore umano ma invisibile ai sistemi automatizzati che tracciano l'impatto scientifico.
Il ricercatore ha scoperto che la citazione formale è sorprendentemente rara. Nell'intera collezione di articoli, solo circa l'11 percento delle menzioni di software presentava un segno di citazione nella stessa frase. La stragrande maggioranza, quasi il 70 percento, consisteva in semplici nomi scritti nel testo. Tuttavia, lo studio ha rivelato che questo basso tasso non è uniforme tra tutti i tipi di strumenti. La probabilità che un software venga citato dipende fortemente dal tipo di strumento. I framework di machine learning, utilizzati per addestrare modelli di intelligenza artificiale, sono stati citati in circa il 18 percento delle loro menzioni. I linguaggi di programmazione sono stati citati in circa il 16 percento dei casi. In netto contrasto, i pacchetti statistici general-purpose, i cavalli di battaglia dell'analisi dei dati, sono stati citati solo nel 2 percento delle menzioni. I gestori di bibliografia, strumenti usati per organizzare le bibliografie, sono stati citati solo nell'1 percento dei casi.
Questo schema suggerisce che il modo in cui gli scienziati parlano del software non è un'unica abitudine errata, ma un insieme di diverse convenzioni a seconda dello strumento. Il software statistico è spesso trattato come attrezzatura standard, come un microscopio o una provetta, piuttosto che come un'opera di autoria unica che merita un credito specifico. Quando uno scienziato afferma di aver utilizzato un pacchetto statistico, sta spesso seguendo una convenzione metodologica che non richiede una citazione. Al contrario, i framework di machine learning hanno spesso articoli di ricerca associati che sono considerati il modo primario per citare lo strumento, portando a tassi di citazione più elevati. Lo studio ha anche scoperto che il modo in cui uno strumento viene nominato nel testo cambia le probabilità di essere citato. Se una frase include un link web al software, è più probabile che abbia una citazione formale. Se la frase nomina l'azienda o lo sviluppatore che ha realizzato il software, è molto meno probabile che ci sia una citazione, suggerendo che nominare il creatore spesso sostituisce la necessità di un riferimento formale agli occhi dell'autore.
Il ricercatore ha anche testato quanto bene gli attuali metodi possano distinguere tra un nome di software e una parola comune che ne assomiglia. Molti strumenti software hanno nomi che sono parole inglesi comuni, come "star", "cluster" o "string". Lo studio ha scoperto che gli elenchi standard di software noti non contenevano nessuno di questi nomi ambigui. Quando il ricercatore ha cercato di usare regole semplici basate sulle parole circostanti per capire se una parola come "cluster" si riferisse a un software o solo a un gruppo di cose, le regole hanno funzionato moderatamente bene ma hanno fallito spesso quando il contesto era tecnico. Ciò evidenzia una sfida significativa: gli strumenti utilizzati per tracciare automaticamente le menzioni del software non sono ancora abbastanza capaci di gestire i nomi ambigui più comuni senza l'aiuto umano o tecnologie più avanzate.
Lo studio conclude che, sebbene il problema della sotto-citazione del software sia reale, non si tratta di un semplice caso di scienziati che dimenticano di dare credito. Si tratta, invece, di una questione complessa in cui diversi tipi di strumenti vengono trattati con regole differenti. Il divario è più ampio per i pacchetti statistici che guidano gran parte della ricerca moderna. Poiché i dati utilizzati in questo studio non erano un campione casuale perfetto e i metodi per identificare il software non sono stati pienamente validati rispetto ad esperti umani, i risultati sono da considerarsi al meglio come una mappa di dove il problema è più grave, piuttosto che come un censimento definitivo. I risultati suggeriscono che una singola regola che dica a tutti gli scienziati di "citare il proprio software" potrebbe non funzionare. Invece, le politiche potrebbero dover essere adattate a tipi specifici di strumenti, in particolare quelli che sono attualmente trattati come attrezzatura invisibile, per garantire che i costruttori dell'infrastruttura digitale della scienza ricevano finalmente il credito che meritano.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.