Population representativeness cannot be assessed for most FDA-authorized AI medical devices targeting high-disparity conditions
Questo studio rivela che per il 76,6% dei dispositivi medici basati su IA autorizzati dalla FDA che mirano a condizioni ad alta disparità, la rappresentatività della popolazione non può essere valutata dai registri pubblici a causa di dati sull'etnia non riportati, una lacuna che persiste anche esaminando la letteratura peer-reviewed sottostante e sottolineando il fallimento delle attuali linee guida sulla divulgazione nel garantire la valutabilità dell'equità.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
L'intelligenza artificiale è diventata silenziosamente uno strumento standard nella medicina moderna, aiutando i medici a leggere radiografie, individuare tumori e prevedere i rischi cardiaci. Questi strumenti non sono magici; sono programmi informatici addestrati su enormi quantità di dati dei pazienti per riconoscere modelli. Affinché un programma funzioni bene per tutti, deve essere addestrato su un mix di persone che somiglino ai pazienti che andrà a curare in seguito. Se uno strumento impara solo da un certo tipo di persona, potrebbe fallire quando utilizzato su qualcuno di diverso, portando potenzialmente a diagnosi errate o trattamenti scorretti. Questa è una questione di equità e sicurezza. Quando un dispositivo medico viene approvato per l'uso, l'agenzia governativa che lo regola, la Food and Drug Administration, pubblica un riepilogo delle prove. Questi documenti sono destinati ad essere l'archivio pubblico, mostrando chi è stato testato e come il dispositivo ha performato. La domanda critica è se questi riepiloghi raccontino la storia completa su chi sia stato testato con il dispositivo, specialmente per malattie che colpiscono alcuni gruppi razziali ed etnici in modo più severo rispetto ad altri.
Un team di ricercatori si è posto l'obiettivo di rispondere a questa domanda esaminando quasi tutti i dispositivi medici basati sull'intelligenza artificiale approvati negli Stati Uniti fino alla fine del 2025. Hanno esaminato 1.428 dispositivi, che vanno da strumenti che scansionano immagini cerebrali a quelli che analizzano i ritmi cardiaci. Il loro obiettivo era vedere se i documenti pubblici permettessero a chiunque di giudicare se le persone testate sui dispositivi corrispondessero alle persone che effettivamente soffrono delle malattie che i dispositivi sono destinati a trattare. I ricercatori hanno riscontrato una significativa lacuna nelle informazioni disponibili. Per circa tre dispositivi su quattro progettati per trattare condizioni in cui esistono disparità razziali note, i documenti pubblici non riportavano la razza o l'etnia delle persone nei dati di test. Senza questa informazione fondamentale, è impossibile dire se il dispositivo sia stato testato su un mix equo di pazienti o se sia stato testato solo su un gruppo che non rappresenta la popolazione più ampia.
I ricercatori hanno sviluppato una checklist specifica per valutare questi documenti, cercando dettagli come la razza, l'età e la posizione dei pazienti coinvolti nei test. Hanno scoperto che, sebbene alcune informazioni fossero presenti, i dati più cruciali riguardanti razza ed etnia mancavano nella stragrande maggioranza dei casi. Questa mancanza di informazioni non era solo una questione di riepiloghi troppo brevi; i ricercatori sono andati più a fondo e hanno esaminato gli studi scientifici originali alla base dei dispositivi. Anche quando hanno trovato i documenti di ricerca completi, i dati erano ancora mancanti nella maggior parte dei casi. Ciò suggerisce che il problema non risieda solo nel modo in cui il governo riassume le informazioni, ma nella ricerca stessa. Gli studi utilizzati per dimostrare che questi dispositivi funzionano spesso non includono abbastanza dettagli sulla demografia dei pazienti coinvolti.
Lo studio ha anche rivelato che, quando i dati erano presenti, spesso mostravano che i gruppi di test non corrispondevano ai gruppi più colpiti dalla malattia. Ad esempio, alcuni dispositivi progettati per rilevare il tumore della pelle, una condizione che può essere più difficile da diagnosticare nelle persone con la pelle scura, sono stati testati quasi interamente su persone con la pelle chiara. In altri casi, dispositivi per condizioni cardiache sono stati testati su popolazioni che non riflettevano i tassi più elevati di malattie cardiache presenti in certe comunità minoritarie. I ricercatori hanno osservato che, mentre alcuni dispositivi fornivano informazioni eccellenti e dettagliate sui loro gruppi di test, questi erano l'eccezione piuttosto che la regola. La maggior parte delle volte, l'archivio pubblico non conteneva semplicemente i numeri necessari per fare un giudizio equo.
Uno dei risultati più sorprendenti è stato che i ricercatori non riuscivano a valutare in modo affidabile l'equità dei dispositivi basandosi solo sul testo. Hanno scoperto che, quando venivano interrogati per interpretare descrizioni vaghe o giudicare quanto un gruppo di pazienti corrisponesse a una malattia, diversi esperti spesso non erano d'accordo. Tuttavia, potevano concordare in modo affidabile su fatti semplici e binari: se un numero veniva riportato o meno. Ciò ha portato il team a concludere che l'attuale sistema di reporting sia insufficiente per garantire l'equità. I documenti sono troppo spesso silenti proprio sui dettagli che contano di più per l'equità. I ricercatori propongono un nuovo, semplice standard per questi rapporti, che richieda ai produttori di elencare numeri specifici relativi alla razza, l'età e il background delle persone testate, piuttosto che limitarsi a scrivere dichiarazioni generiche.
Le implicazioni di questo lavoro sono chiare per pazienti, medici e ospedali. Se un ospedale vuole acquistare un nuovo strumento di intelligenza artificiale per aiutare a diagnosticare una malattia, attualmente non può consultare i documenti di approvazione pubblici per vedere se quello strumento è stato testato su persone simili ai propri pazienti. Sono lasciati a indovinare. Lo studio dimostra che, per le malattie più comuni e mortali, gli strumenti che vengono impiegati sono spesso costruiti su dati che non riflettono la realtà delle persone che ne hanno più bisogno. I ricercatori sottolineano che questo non è un problema che può essere risolto semplicemente chiedendo più testo; l'industria deve iniziare a riportare dati strutturati e specifici. Finché non accadrà, l'archivio pubblico rimarrà incompleto, lasciando un punto cieco critico nella sicurezza e nell'equità della tecnologia medica che sta modellando sempre più la sanità americana.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.