Failing FDA drug inspections are recorded later and less often than passing ones, biasing models trained and monitored on them
Questo articolo dimostra che le classificazioni delle ispezioni dei farmaci della FDA soffrono di un grave bias di segnalazione, in cui le ispezioni fallite vengono registrate con meno frequenza e con ritardi significativi rispetto a quelle superate, portando a un sostanziale degrado delle prestazioni dei modelli di apprendimento automatico e delle metriche di monitoraggio che può essere solo parzialmente mitigato da specifici aggiustamenti statistici o risolto pubblicando la data di pubblicazione.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Ogni anno, la Food and Drug Administration degli Stati Uniti invia squadre di ispettori presso le fabbriche farmaceutiche per garantire che la produzione di medicinali avvenga in modo sicuro. Queste ispezioni sono una parte critica della salute pubblica e l'agenzia ne pubblica i risultati. Quando un ispettore non riscontra problemi, l'impianto riceve un voto positivo. Quando vengono riscontrati problemi gravi, l'impianto riceve un voto negativo, che può portare a sanzioni, sequestri di prodotti o altre azioni legali. Per chiunque voglia capire quanto stiano andando bene queste fabbriche, questi registri pubblici sono una miniera d'oro di informazioni. Sono datati, coprono centinaia di migliaia di strutture e sono gratuiti per chiunque. Ciò li rende perfetti per l'addestramento di programmi informatici, noti come modelli di machine learning, per prevedere quali fabbriche potrebbero essere a rischio in futuro. La speranza è che, studiando i record passati, questi programmi possano individuare i problemi prima che accadano, aiutando i regolatori a concentrare le loro limitate risorse dove sono più necessarie.
Tuttavia, esiste un difetto nascosto nel modo in cui questi record vengono conservati, un difetto che è passato inosservato fino ad ora. Il difetto non risiede nell'ispezione stessa, ma nel modo in cui il risultato finale viene scritto e reso pubblico. Quando una fabbrica supera un'ispezione, l'agenzia registra il risultato rapidamente e in modo affidabile. Ma quando una fabbrica fallisce, il processo è molto più lento e spesso il risultato non viene affatto registrato nel database pubblico. Questo crea una visione distorta della realtà per chiunque utilizzi i dati. Un programma informatico che esamina questi record vede un mondo in cui quasi tutto va bene, perché le cattive notizie sono o mancanti o arrivano così tardi che il programma si è già spostato oltre. Questo non è un errore piccolo; è un pregiudizio fondamentale che cambia ciò che i dati dicono realmente.
Un ricercatore di nome Phani Kumar Balagam ha indagato su questo problema esaminando oltre diecimila ispezioni farmaceutiche avvenute tra il 2018 e il 2023. Lo studio si è concentrato su un gruppo specifico di ispezioni che avevano ricevuto tempo a sufficienza per essere completamente elaborate. I risultati sono stati netti. Per le ispezioni che si sono concluse con un esito positivo, circa il settantaquattro per cento aveva una decisione finale registrata nel database. Per le ispezioni che si sono concluse con un esito negativo, solo il ventisei per cento presentava un record. Ciò significa che un'ispezione riuscita è quasi tre volte più probabile che appaia nel registro pubblico rispetto a una fallita. Inoltre, quando un'ispezione fallita viene registrata, richiede molto tempo. In media, un'ispezione riuscita viene registrata in circa ottantasei giorni, mentre una fallita richiede oltre trecento giorni. In molti casi, il risultato negativo non appare affatto.
Questo ritardo e questa assenza creano un serio problema per i modelli informatici che si affidano a questi dati. Questi modelli sono spesso addestrati per esaminare la storia di una fabbrica al fine di prevederne il futuro. Se una fabbrica ha fallito un'ispezione cinque anni fa, un modello dovrebbe idealmente saperlo. Ma poiché il record di quel fallimento potrebbe non esistere ancora, o potrebbe non esistere affatto, il modello non può vederlo. Il ricercatore ha ricostruito un modello di previsione per testare cosa accade quando il computer è costretto ad aspettare che il record appaia effettivamente prima di utilizzarlo. Il risultato è stato un calo significativo della capacità del modello di distinguere tra buone e cattive fabbriche. L'accuratezza del modello è scesa in modo misurabile, provando che gli alti punteggi precedenti erano in parte un'illusione creata da dati che il modello non avrebbe potuto effettivamente vedere al momento. Il modello aveva utilizzato informazioni che non erano ancora disponibili nel mondo reale.
Il problema è ancora peggiore quando si tenta di monitorare questi modelli dopo che sono stati messi in funzione. I regolatori spesso controllano se un modello sta ancora funzionando correttamente confrontando ciò che il modello prevede con ciò che accade realmente. Esaminano il rapporto tra i fallimenti che il modello ha previsto rispetto ai fallimenti che si sono effettivamente verificati. Poiché i registri pubblici mancano di molti fallimenti, questo controllo fornisce una risposta totalmente errata. Il ricercatore ha scoperto che il controllo standard vede solo circa il sei per cento dei fallimenti effettivi che il modello avrebbe dovuto rilevare. È come cercare di misurare la profondità di un fiume guardando solo le increspature sulla superficie, ignorando le correnti profonde sottostanti.
Lo studio ha anche testato i classici trucchi matematici che i statistici usano per correggere i dati mancanti. Un metodo comune cerca di indovinare quanti fallimenti manchino in base alle informazioni disponibili. Il ricercatore ha scoperto che questo metodo fallisce completamente in questo caso. I fallimenti mancanti non sono solo in ritardo; sono spesso spariti per sempre. Poiché i dati non ci dicono perché un record sia mancante, il computer non può indovinare la verità. Un altro metodo, che consiste nell'aspettare più a lungo per vedere se i dati arrivano, aiuta un po', ma non abbastanza. Anche dopo aver aspettato due anni, il controllo manca ancora la stragrande maggioranza dei fallimenti. Lo studio conclude che non c'è modo di risolvere questo problema di monitoraggio utilizzando gli attuali dati pubblici. L'informazione mancante semplicemente non è lì per essere trovata.
Il ricercatore suggerisce che la soluzione è sorprendentemente semplice. La FDA possiede già le informazioni di cui ha bisogno; deve solo pubblicare un dato supplementare: la data esatta in cui una decisione di classificazione è stata resa visibile al pubblico. Se l'agenzia aggiungesse un semplice campo che mostri quando un record è stato pubblicato, ciò permetterebbe ai programmi informatici di sapere esattamente cosa potevano e non potevano vedere in un dato momento. Questo impedirebbe ai modelli di usare informazioni future per fare previsioni passate e permetterebbe ai monitor di capire esattamente quanta parte dell'immagine stanno perdendo. Senza questo cambiamento, i registri pubblici continueranno a mostrare un mondo in cui le fabbriche farmaceutiche sono più sicure di quanto non siano in realtà, e gli strumenti progettati per proteggerci rimarranno ciechi proprio di fronte ai pericoli che sono destinati a trovare.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.