Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control

Nelle fabbriche che producono medicinali moderni, le macchine ora fanno molto di più che limitarsi a miscelare e imbottigliare. Esse osservano, misurano e prevedono. Utilizzando un tipo di intelligenza computazionale chiamata apprendimento automatico (machine learning), questi sistemi possono individuare una compressa difettosa da una fotografia, prevedere come un farmaco si dissolverà o monitorare le delicate condizioni all'interno di un enorme serbatoio dove crescono cellule viventi. Questa tecnologia è diventata uno strumento standard per garantire che ogni pillola e ogni iniezione sia sicura ed efficace. Ma affinché questi sistemi intelligenti possano essere ritenuti affidabili dalle persone che li regolamentano e dai medici che li prescrivono, gli scienziati che li costruiscono devono essere in grado di dimostrare il proprio lavoro. Proprio come uno chef non può affermare che un piatto sia delizioso senza mostrarne la ricetta e gli ingredienti, uno scienziato non può affermare che un modello computazionale funzioni a meno che non mostri i dati da cui ha imparato, il codice che lo fa girare e la prova che funzioni su nuovi esempi mai visti prima.

Un nuovo studio pone una domanda semplice ma critica: quando gli scienziati pubblicano questi studi di machine learning sulla produzione di medicinali, può qualcuno esterno al laboratorio verificare effettivamente il loro lavoro? Il ricercatore, uno studioso indipendente di nome Phani Kumar Balagam, ha analizzato il record pubblicato di questo campo dal 2019 al 2025. Voleva sapere due cose. Primo, se una persona comune, senza un abbonamento speciale a una biblioteca, potesse effettivamente leggere l'intero articolo. Secondo, se, una volta letto, l'articolo contenesse i dettagli specifici necessari per ripetere l'esperimento e verificare i risultati. La risposta, ha scoperto lo studio, è che per la maggior parte di questi articoli, la risposta a entrambe le domande è no.

Per scoprirlo, il ricercatore ha cercato in cinque grandi database scientifici migliaia di articoli che descrivevano l'uso del machine learning per produrre o testare farmaci umani. Dopo aver filtrato recensioni, pre-print e studi che non rientravano nei criteri, sono rimasti 553 articoli idonei per lo studio. Il primo ostacolo era l'accesso. Lo studio ha verificato se ogni articolo fosse disponibile gratuitamente per il pubblico. Solo 186 dei 553 articoli, ovvero circa un terzo, potevano essere letti senza un abbonamento. Il resto era bloccato dietro paywall o non era recuperabile affatto, anche se alcuni erano contrassegnati come open access, spesso a causa di barriere tecniche come controlli di sicurezza automatizzati che bloccavano il download. Ciò significa che per due studi ogni tre in questo campo, un lettore curioso non può nemmeno vedere il testo completo.

Il ricercatore si è poi concentrato sui 186 articoli leggibili. Ha esaminato attentamente se questi articoli riportassero i quattro ingredienti essenziali necessari per verificare un risultato: i dati grezzi, il codice informatico, una descrizione chiara di come i dati siano stati suddivisi in gruppi di addestramento e di test, e un punteggio di prestazione finale basato su dati che il modello non aveva mai visto prima. Quest'ultima parte è cruciale; senza di essa, un modello potrebbe semplicemente memorizzare le risposte invece di apprendere le regole. Lo studio ha rilevato che, sebbene quasi tutti gli articoli menzionassero come avessero suddiviso i dati, pochissimi condividevano i dati effettivi o il codice. Solo circa un articolo su quattro rendeva pubblici i dati, e solo circa uno su dieci rendeva pubblico il codice.

La situazione era ancora peggiore guardando al pacchetto completo. Lo studio definiva un articolo "verificabile" come uno che condivideva contemporaneamente i dati, il codice, la suddivisione e il risultato del test finale. Dei 186 articoli leggibili, solo due soddisfacevano questo standard. Si tratta di poco più dell'uno percento. In altre parole, quasi nessuno degli studi pubblicati in questo campo fornisce informazioni sufficienti affinché una persona indipendente possa rieseguire l'analisi e confermare il numero principale. Il ricercatore ha osservato che questa mancanza di trasparenza non era dovuta alla natura stessa dei dati. Anche quando i dati provenivano da piccoli esperimenti di laboratorio piuttosto che da massicce fabbriche industriali, venivano raramente condivisi. Allo stesso modo, la mancanza di condivisione del codice non era dovuta al fatto che il codice fosse segreto; era semplicemente non fornito.

Lo studio ha anche esaminato se questi problemi stessero migliorando nel tempo o se variassero a seconda del tipo di rivista in cui l'articolo veniva pubblicato. I risultati hanno mostrato che non vi era un miglioramento significativo nel tasso di condivisione di dati o codice nel corso degli anni, e la qualità della segnalazione era la stessa tra i diversi tipi di riviste scientifiche. Il ricercatore ha utilizzato un modello linguistico di grandi dimensioni, un tipo di intelligenza artificiale, per leggere e valutare gli articoli, un metodo che ha verificato facendo controllare al modello gli stessi articoli due volte. Il modello è stato in grado di trovare le frasi specifiche negli articoli che supportavano i suoi giudizi, dimostrando che la mancanza di informazioni era un reale vuoto nella segnalazione, non un malinteso da parte del lettore.

La conclusione è netta. Sebbene il machine learning stia diventando una routine nella produzione farmaceutica, il record pubblicato di questo lavoro è ampiamente opaco. Un terzo degli articoli non può essere letto dal pubblico e, di quelli che possono essere letti, quasi nessuno contiene l'insieme completo di dettagli necessari per verificare i risultati. Il ricercatore suggerisce che la soluzione non richieda agli autori di fare qualcosa di nuovo o difficile. Devono semplicemente condividere i dati e il codice che già possiedono e dichiarare chiaramente quali dati hanno prodotto il loro risultato principale. Chiedendo ciò che gli autori già possiedono, la comunità scientifica potrebbe colmare il divario tra ciò che viene pubblicato e ciò che può essere verificato, garantendo che le macchine intelligenti che producono i nostri medicinali siano affidabili quanto dichiarano di essere.