Benchmarking machine learning for cardiovascular disease classification across 46 countries with geographic and temporal transportability assessment
Questo studio confronta modelli di apprendimento automatico per la classificazione delle malattie cardiovascolari in 46 paesi utilizzando i dati WHO STEPS, rivelando che gli algoritmi complessi offrono solo guadagni marginali di prestazioni rispetto alla regressione logistica, evidenziando al contempo una sostanziale eterogeneità geografica e temporale che rende necessario dare priorità alla trasportabilità, alla calibrazione e alle prestazioni delle classi minoritarie rispetto all'AUC ROC aggregata nell'IA per la salute pubblica.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Le malattie cardiache rimangono la principale causa di morte in tutto il mondo, causando milioni di decessi ogni anno. In molte parti del mondo, l'onere è ancora più pesante, con più di tre quarti di questi decessi che si verificano nei paesi a basso e medio reddito. Per combattere questo fenomeno, i funzionari sanitari si affidano a grandi sondaggi che interrogano le persone sulla loro salute, sulle loro abitudini e sul loro accesso alle cure mediche. Questi sondaggi raccolgono dati su elementi come la pressione sanguigna, il fumo e la dieta, che sono noti per influenzare la salute del cuore. La speranza è che, analizzando queste informazioni, i computer possano imparare a individuare schemi che prevedono chi è a rischio, permettendo ai medici di intervenire prima.
Negli ultimi anni, c'è stata una corsa all'uso di programmi informatici avanzati, noti come apprendimento automatico (machine learning), per trovare questi schemi. Questi programmi vengono spesso descritti come capaci di risolvere problemi che i metodi più semplici non possono affrontare, trovando connessioni nascoste in enormi quantità di dati. Tuttavia, rimane una grande domanda: questi programmi complessi funzionano davvero meglio quando applicati a situazioni del mondo reale in diversi paesi e nel tempo? Spesso, questi strumenti vengono testati in modi che li fanno apparire più efficaci di quanto siano realmente, come ad esempio dividendo i dati di un singolo paese in gruppi di addestramento e di test. Questo approccio può nascondere il fatto che un modello potrebbe fallire completamente di fronte a un nuovo paese, a un anno diverso o a una popolazione con un diverso accesso all'assistenza sanitaria.
Un nuovo studio si è posto l'obiettivo di testare questi modelli informatici contro una sfida molto più difficile. I ricercatori hanno raccolto dati da sondaggi sanitari provenienti da 46 paesi diversi, coprendo quasi 188.000 adulti. Hanno posto una domanda diretta: un programma informatico può identificare con precisione le persone che hanno già una malattia cardiaca in base alle risposte ai sondaggi, e quel programma funzionerà ancora se inviato in un paese che non ha mai visto prima? Per trovare la risposta, hanno confrontato le prestazioni di diversi tipi di modelli informatici, che spaziavano da semplici metodi statistici trasparenti a sistemi di intelligenza artificiale moderni e complessi.
I ricercatori non si sono limitati a cercare il punteggio complessivo più alto. Al contrario, hanno progettato un test rigoroso che simulasse l'implementazione nel mondo reale. Hanno addestrato i modelli sui dati di la maggior parte dei paesi e poi li hanno testati su interi paesi che erano stati completamente esclusi dal processo di addestramento. Hanno anche controllato quanto i modelli resistessero nel tempo, addestrandoli su dati di sondaggi più vecchi e testandoli su dati più recenti degli stessi paesi. Hanno prestato molta attenzione al modo in cui i modelli gestivano il fatto che le malattie cardiache siano relativamente rare in questi sondaggi, il che significa che un modello potrebbe sbagliare la maggior parte delle volte e apparire comunque efficace in base a un punteggio standard. Hanno anche esaminato se i modelli stessero semplicemente imparando a riconoscere le persone che avevano già visitato un medico per altre condizioni, piuttosto che identificare il rischio sottostante di malattia cardiaca.
I risultati hanno offerto una realtà sconcertante per il campo dell'intelligenza artificiale medica. I modelli informatici più complessi non sono stati significativamente migliori di un semplice metodo statistico ben compreso. Infatti, la differenza nella loro capacità di identificare correttamente i casi di malattia cardiaca è stata così piccola da essere quasi impercettibile. Sebbene i modelli complessi abbiano ottenuto un minuscolo vantaggio in alcune misurazioni specifiche, non hanno offerto il miglioramento drammatico che molti speravano. Ancora più importante, lo studio ha scoperto che le prestazioni di questi modelli variavano enormemente a seconda di dove venivano utilizzati. Un modello che funzionava ragionevolmente bene in una regione poteva fallire quasi completamente in un'altra. Ad esempio, in alcune parti dell'Asia Centrale, i modelli erano piuttosto accurati, ma in diverse nazioni delle isole del Pacifico e in parti dell'Africa, la loro capacità di distinguere tra chi aveva e chi non aveva una malattia cardiaca è scesa a livelli quasi casuali.
Lo studio ha anche rivelato che questi modelli non sono stabili nel tempo. Quando i ricercatori hanno addestrato un modello su dati di qualche anno fa e lo hanno testato su dati di un anno successivo, i risultati sono stati spesso scarsi. I modelli hanno faticato ad adattarsi ai cambiamenti della popolazione, ai cambiamenti nelle diagnosi delle malattie o ai miglioramenti nell'accesso all'assistenza sanitaria avvenuti tra le ondate di sondaggi. Ciò suggerisce che un modello costruito oggi potrebbe non essere affidabile domani senza aggiustamenti significativi. Inoltre, i ricercatori hanno scoperto che i modelli facevano affidamento pesantemente sul fatto che una persona fosse stata diagnosticata con pressione alta o diabete. Quando hanno rimosso queste specifiche informazioni dai dati, le prestazioni dei modelli sono diminuite sensibilmente. Ciò indica che i computer stavano in parte imparando a identificare le persone che avevano già interagito con il sistema sanitario, piuttosto che identificare puramente il rischio biologico di malattia cardiaca. Nei paesi in cui molte persone non hanno un accesso regolare ai medici, questa dipendenza potrebbe portare i modelli a mancare proprio le persone che hanno più bisogno di aiuto.
I ricercatori hanno concluso che la scelta di un algoritmo complesso è meno importante del contesto in cui viene utilizzato. Le differenze tra i paesi e nel tempo sono state molto più grandi delle differenze tra i modelli informatici stessi. Hanno sostenuto che, prima che qualsiasi tale strumento venga utilizzato per guidare le decisioni di sanità pubblica, deve essere testato non solo per il suo punteggio complessivo, ma per la sua capacità di funzionare in contesti locali specifici, la sua affidabilità nel tempo e la sua equità tra i diversi gruppi di persone. Lo studio suggerisce che, per la sorveglianza sanitaria globale, la trasparenza e la robustezza sono più preziose della complessità. Un modello semplice, ben compreso e facilmente adattabile alle condizioni locali, può essere uno strumento molto migliore per salvare vite rispetto a una "scatola nera" sofisticata che fallisce quando l'ambiente cambia. La strada da seguire, suggeriscono gli autori, non è inseguire il programma informatico più potente, ma costruire sistemi che siano onesti riguardo ai propri limiti e adattabili alle diverse realtà del mondo che sono destinati a servire.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.