A Reproducible Framework for Auditing the Trustworthiness of Clinical Machine Learning Models

Negli ospedali moderni, una rivoluzione silenziosa è in corso. I computer stanno imparando a leggere le cartelle cliniche, individuando schemi nella pressione sanguigna, nell'età e nello stile di vita che i medici umani potrebbero ignorare, e utilizzando tali schemi per prevedere chi è a rischio di un attacco cardiaco o di altre malattie gravi. Questo campo, noto come apprendimento automatico clinico, promette di salvare vite grazie alla capacità di intercettare il pericolo precocemente. Ma c'è un ostacolo. Un programma informatico che impara a prevedere le malattie cardiache in una città potrebbe fallire completamente quando viene spostato in una città diversa con una popolazione differente. Ciò accade perché le persone nella seconda città potrebbero essere più anziane, mangiare cibi diversi o avere le proprie cartelle cliniche scritte in modo leggermente diverso. Quando il computer incontra queste differenze, le sue previsioni possono diventare inaffidabili, non solo in termini di correttezza o errore, ma anche nella fiducia che esprime. Se un modello afferma che un paziente ha una probabilità del settantacinque percento di un evento, ma la vera probabilità è solo del trentacinque percento, un medico potrebbe ordinare test invasivi non necessari o, peggio ancora, ignorare un pericolo reale. Affinché questi strumenti siano sicuri, devono essere affidabili, il che significa che non devono solo essere accurati, ma anche onesti riguardo alla propria incertezza e coerenti nel modo in cui spiegano il proprio ragionamento.

Una ricercatrice di nome Tanya Deep ha costruito un nuovo sistema per testare esattamente questo tipo di affidabilità. Ha creato un framework chiamato AETHEL, un insieme di strumenti automatizzati progettati per sottoporre ad audit i modelli di apprendimento automatico clinico prima che vengano mai utilizzati su pazienti reali. Invece di controllare solo se un modello fornisce la risposta corretta, AETHEL agisce come un rigoroso ispettore della sicurezza, controllando tre cose specifiche: quanto bene le stime di probabilità del modello corrispondano alla realtà, quanto rimanga stabile il suo ragionamento al variare dei dati e se i suoi consigli aiutino effettivamente i medici a prendere decisioni migliori. Per testare questo sistema, Deep ha addestrato diversi modelli informatici su una coorte sintetica di 1.000 pazienti e poi ha cercato di utilizzare quegli stessi modelli su dati reali provenienti dal famoso Framingham Heart Study (la coorte target) e dalla National Health and Nutrition Examination Survey (il riferimento per lo spostamento di dominio). L'obiettivo era vedere cosa succede quando un modello addestrato in un ambiente è costretto a operare in un altro, una situazione nota come spostamento di dominio (domain shift).

I risultati di questo audit hanno rivelato un problema significativo nel modo in cui questi modelli vengono attualmente validati. Quando i modelli venivano spostati dai dati di addestramento ai nuovi dati del mondo reale, la loro capacità di prevedere correttamente diminuiva, ma, cosa più importante, la loro fiducia diventava pericolosamente disallineata. Un modello poteva ancora identificare i pazienti giusti, ma assegnava loro le percentuali di rischio errate. Ad esempio, un modello ben calibrato nella sua fase di addestramento diventava non calibrato quando trasferito, il che significa che i suoi punteggi di rischio non corrispondevano più alla reale probabilità di un evento. Deep ha scoperto che, sebbene i modelli potessero essere corretti utilizzando regolazioni matematiche standard per riallineare la loro fiducia, rimaneva un problema più sottile. Anche dopo aver corretto i numeri, la forza del ragionamento del modello iniziava a cambiare. Sebbene i modelli identificassero costantemente gli stessi tre fattori principali — età, BMI e stato di fumatore — come i più importanti, il peso specifico e la correlazione di questi fattori cambiavano tra un contesto e l'altro. Nei dati di addestramento, il modello poteva fare affidamento pesantemente sull'età e sullo stato di fumatore per prendere una decisione, ma nei nuovi dati, la relazione tra questi fattori e l'esito subiva una deriva. Questa deriva nel ragionamento è pericolosa perché i medici si affidano a queste spiegazioni per capire perché il computer sta segnalando un paziente. Se la logica cambia senza preavviso, il medico non può fidarsi del consiglio.

Per misurare questa instabilità nascosta, Deep ha introdotto nuovi modi per contare quanto cambia il ragionamento di un modello. Ha sviluppato metriche che confrontano l'elenco dei fattori più importanti utilizzati da un modello in un contesto rispetto all'elenco che utilizza in un altro. I test hanno dimostrato che, mentre alcuni modelli, come le semplici equazioni lineari, mantenevano un ragionamento abbastanza coerente, modelli più complessi spesso cambiavano la forza della loro dipendenza da fattori chiave quando i dati cambiavano. Questa scoperta mette in discussione la pratica comune di assumere che se un modello funziona bene in un luogo, funzionerà allo stesso modo in un altro. Lo studio ha dimostato che controllare solo l'accuratezza non è sufficiente; bisogna anche controllare se la logica interna del modello regge quando l'ambiente cambia.

Il framework ha inoltre esaminato il valore pratico di queste previsioni per un medico al fianco di un paziente. Utilizzando un metodo chiamato analisi della curva decisionale, lo studio ha tradotto benefici statistici astratti in numeri concreti comprensibili da un clinico. Invece di dire semplicemente che un modello migliora i risultati, il sistema ha generato grafici visivi mostrando esattamente quanti pazienti, su mille, verrebbero identificati correttamente per il trattamento rispetto a quanti verrebbero trattati inutilmente. I risultati hanno mostato che, quando i modelli erano correttamente calibrati, fornivano un chiaro beneficio rispetto al semplice trattare tutti o non trattare nessuno. Tuttavia, questo beneficio scompariva se il modello non veniva ricalibrato per la nuova popolazione. Lo studio ha concluso che, affinché l'apprendimento automatico sia sicuro in un ospedale, non può essere uno strumento del tipo "impostalo e dimenticalo". Richiede un audit continuo e automatizzato che controlli non solo il punteggio finale, ma anche la calibrazione della sua fiducia, la stabilità del suo ragionamento e l'impatto reale dei suoi consigli. Rilasciando questo framework come software open-source, la ricercatrice ha fornito un modo affinché altri possano verificare autonomamente questi controlli di sicurezza, garantendo che la promessa dell'intelligenza artificiale in medicina non superi la sua stessa sicurezza.