Subgroup AUROC-gap tests are not evidence of unfairness in clinical prediction models: case-mix differences make the equal-discrimination null false
Questo articolo dimostra che i test standard del gap AUROC tra sottogruppi sono invalidi per valutare l'equità nei modelli di predizione clinica perché le differenze nelle distribuzioni del mix di casi producono naturalmente disparità di AUROC anche in modelli perfettamente equi, mentre i test di calibrazione rimangono robusti per distinguere la vera iniquità dagli artefatti geometrici.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Negli ospedali moderni, gli algoritmi vengono sempre più utilizzati per prevedere chi rischia di ammalarsi gravemente, aiutando i medici a decidere chi necessita di cure urgenti. Questi strumenti vengono addestrati su enormi quantità di dati dei pazienti, imparando a individuare schemi che gli esseri umani potrebbero non cogliere. Ma poiché questi modelli sono costruiti su dati del mondo reale, possono talvolta ereditare le disuguaglianze presenti nella società, funzionando bene per alcuni gruppi di persone e fallendo per altri. Per rilevare questo fenomeno, gli ospedali e i regolatori eseguono ora regolarmente "audit di equità". Questi audit suddividono la popolazione dei pazienti in gruppi — per età, razza o genere — e controllano se il modello funziona allo stesso modo per tutti. Il modo standard per misurare le prestazioni è un punteggio chiamato area sotto la curva, che essenzialmente chiede: se scegli un malato e una persona sana a caso, quanto spesso il modello classifica correttamente il malato con un valore più alto? Se il modello è equo, questo punteggio dovrebbe essere lo stesso per ogni gruppo.
Per anni, l'assunto è stato che se questi punteggi differiscono tra i gruppi, il modello è ingiusto. I ricercatori e i regolatori hanno sviluppato vari test statistici per vedere se la differenza sia abbastanza grande da rappresentare un problema, spesso segnalando un modello come distorto se i punteggi scendono al di sotto di una certa soglia o se il punteggio di un gruppo è inferiore all'80 percento di quello di un altro. La logica sembrava solida: un modello perfetto dovrebbe trattare tutti allo stesso modo, quindi dovrebbe prevedere gli esiti con la stessa precisione per tutti. Tuttavia, un nuovo studio mette in discussione l'intera base, sostenendo che i test stessi usati per trovare l'ingiustizia sono spesso ingannati da qualcosa di molto più innocente: le naturali differenze nei tipi di pazienti che i diversi gruppi contengono.
I ricercatori dietro questo studio, lavorando con dati provenienti da cinque diversi coorti cliniche e conducendo migliaia di simulazioni al computer, hanno voluto vedere cosa succede quando un modello perfettamente equo viene testato su gruppi che appaiono diversi tra loro. Hanno costruito un modello matematicamente perfetto, il che significa che conosceva l'esatta probabilità di malattia per ogni singolo paziente e non trattava nessuno diversamente in base alla sua identità. Hanno poi inserito questo modello perfetto in diversi gruppi demografici, ma hanno permesso ai gruppi di avere diversi "mix di casi". In termini semplici, questo significa che i pazienti in un gruppo potrebbero avere una gamma più ampia di fattori di rischio rispetto ai pazienti di un altro gruppo, anche se il modello stesso era identico ed equo.
Ciò che hanno scoperto è stato sorprendente. Quando hanno eseguito i normali test di equità su questo modello perfetto, i test segnalavano frequentemente che il modello era ingiusto. Nelle simulazioni in cui i gruppi presentavano differenze moderate nei profili dei pazienti, i test segnalavano il modello perfetto come distorto quasi il 92 percento delle volte. Quando le differenze erano maggiori, i test lo segnalavano con un AUC di 1. I ricercatori hanno scoperto che i test statistici non stavano rilevando l'ingiustizia; stavano rilevando la naturale dispersione dei dati. Un gruppo con una varietà più ampia di rischi tra i pazienti è in realtà più facile da separare in categorie "malati" e "sani", portando a un punteggio di prestazione più alto. Un gruppo con un intervallo di rischi più ristretto è più difficile da separare, portando a un punteggio più basso. I test interpretavano questa naturale differenza di difficoltà come un segno di pregiudizio, quando in realtà il modello stava lavorando esattamente come avrebbe dovuto.
Lo studio è andato oltre per misurare quanto di questa differenza di "mix di casi" esista effettivamente nei dati ospedalieri reali. Hanno esaminato 21 diverse suddivisioni demografiche in cinque dataset del mondo reale. Hanno scoperto che in molti di questi gruppi, le differenze naturali nei profili dei pazienti erano tali che un modello perfettamente equo mostrerebbe comunque un divario di prestazioni che appare come una violazione delle regole di equità. Ad esempio, in alcuni gruppi basati sull'età, un modello equo mostrerebbe naturalmente una differenza di prestazioni tale da far scattare un allarme di equità, anche se il modello non stava facendo nulla di sbagliato. I ricercatori hanno cercato di scomporre i divari osservati nei dati reali per vedere quanto fosse dovuto a queste differenze naturali e quanto a una reale ingiustizia, ma hanno trovato la matematica troppo instabile per fornire una risposta precisa. Il divario era un misto di entrambi, e gli strumenti disponibili non potevano separarli.
Questo porta a una conclusione difficile per chiunque cerchi di garantire che l'IA medica sia equa. L'articolo sostiene che semplicemente confrontare i punteggi di prestazione tra i gruppi ed eseguire un test statistico non è un modo valido per dimostrare che un modello è ingiusto. I test sono troppo facilmente ingannati dalla naturale diversità delle popolazioni di pazienti. I ricercatori suggeriscono che, invece di cercare di costringere tutti i gruppi ad avere lo stesso identico punteggio di prestazione — un obiettivo che potrebbe essere matematicamente impossibile se i gruppi sono diversi — si dovrebbe guardare ad altro. Raccomandano di riportare i punteggi di prestazione insieme a una descrizione dei gruppi di pazienti stessi, in modo che i medici possano vedere se un punteggio più basso è solo dovuto al fatto che quel gruppo è più difficile da prevedere. Suggeriscono anche di controllare se le previsioni del modello sono ben calibrate, ovvero, se il modello prevede un AUC di 0,2, accade davvero il 0,2 delle volte? A differenza dei test sui punteggi di prestazione, le loro simulazioni hanno mostrato che i controlli di calibrazione non venivano ingannati da queste differenze naturali nei gruppi di pazienti.
Lo studio non afferma che i modelli medici siano sempre equi, né dice che il pregiudizio non esista. Dimostra semplicemente che il modo più comune in cui cerchiamo di trovarlo è rotto. I ricercatori sottolineano che le loro scoperte derivano da simulazioni e dataset specifici, e non offrono un nuovo test magico per sostituire quelli vecchi. Invece, esortano a un cambiamento nel modo in cui pensiamo all'equità. Piuttosto che pretendere che un modello si comporti in modo identico per un gruppo di giovani e per un gruppo di anziani, il che potrebbe essere impossibile a causa della diversa natura dei loro rischi per la salute, dovremmo pretendere che il modello sia accurato e calibrato per ciascun gruppo secondo i propri termini. L'articolo funge da avvertimento: senza comprendere le differenze sottostanti nelle popolazioni di pazienti, rischiamo di accusare strumenti perfetti di essere guasti o, peggio ancora, di mancare problemi reali perché stiamo guardando i numeri sbagliati.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.