The fundamental problem of risk prediction for individuals: health AI, uncertainty, and personalized medicine

Sintesi Tecnica: Il Problema Fondamentale della Predizione del Rischio per i Singoli Individui

Enunciato del Problema
I modelli di predizione clinica, sempre più guidati dall'intelligenza artificiale (IA), vengono regolarmente valutati in base alle loro prestazioni a livello di popolazione (ad esempio, discriminazione, calibrazione e utilità clinica). Tuttavia, le decisioni cliniche vengono prese per singoli individui. Esiste una lacuna critica nella quantificazione e nella comprensione dell'incertezza riguardante le stime di rischio per singoli pazienti. Mentre gli approcci statistici tradizionali si concentrano sull'incertezza di stima (variabilità dovuta alla dimensione del campione), essi spesso trascurano l'incertezza del modello (variabilità derivante dalle scelte di modellazione) e l'incertezza di applicabilità (variabilità dovuta a differenze nelle procedure di misurazione e nelle caratteristiche della popolazione). L'articolo sostiene che le stime di rischio individuale siano molto più incerte di quanto comunemente assunto, e che fare affidamento su un singolo modello da uno studio singolo crei un falso senso di precisione.

Metodologia
Per illustrare empiricamente l'entità di queste incertezze, gli autori hanno condotto uno studio di caso sulla predizione del rischio di carcinoma ovarico maligno in pazienti che presentano un tumore ovarico.

• Fonti dei Dati: Lo studio ha utilizzato dati retrospettivi reali dell'University Hospitals Leuven (1.122 pazienti, 1999–2015) e dati sintetici generati per esplorare gli effetti della dimensione del campione. Un set di test fisso di 100 pazienti reali di Leuven è stato utilizzato per valutare la variabilità delle stime di rischio.
• Framework di Modellazione: Gli autori hanno scomposto l'incertezza epistemica in tre categorie:
  1. Incertezza di Stima: Variabilità nelle stime dei parametri dovuta a diversi campioni di addestramento.
  2. Incertezza del Modello: Variabilità dovuta alle scelte nella classe di modello (regressione logistica, foreste casuali, XGBoost), nel trattamento delle variabili continue (spline o altri), nella selezione delle variabili, nella penalizzazione e nella sintonizzazione degli iperparametri.
  3. Incertezza di Applicabilità: Variabilità dovuta alle definizioni dei dati (ad esempio, misurazione della dimensione del tumore), alla gestione dei dati mancanti e alle differenze di popolazione (dati da Leuven, Roma e Malmö).
• Disegno Sperimentale: Gli autori hanno addestrato un enorme ensemble di 59.400 modelli. Ciò è stato ottenuto:
  • Creando 594 scenari di modellazione distinti (variazioni nelle tre categorie di incertezza).
  • Ripetendo ogni scenario con 100 campioni di addestramento estratti casualmente (bootstrapping) per catturare l'incertezza di stima.
  • Testando dimensioni campionarie di $N=400$, $N=2.000$ e $N=10.000$.
• Metriche:
  • Livello di Popolazione: Area Sotto la Curva Caratteristica Operativa del Ricevitore (AUROC), Indice di Calibrazione Stimato (ECI) e Utilità Relativa (RU).
  • Livello Individuale: L'intervallo al 95% delle stime di rischio (differenza tra il 97,5° e il 2,5° percentile) e l'Incertezza Decisionale (DU). La DU misura la proporzione di modelli che porterebbero a una decisione clinica diversa (ad esempio, raccomandazione chirurgica) basandosi su una soglia di rischio di 0,1.

Risultati Chiave

• Dominanza dell'Incertezza non legata alla Stima: Sebbene l'incertezza di stima sia diminuita significativamente all'aumentare della dimensione del campione di addestramento (la media dell'intervallo al 95% è scesa da 0,22 a $N=400$ a 0,04 a $N=10.000$), l'incertezza del modello e di applicabilità è rimasta elevata e ampiamente non influenzata dalla dimensione del campione.
• Variabilità del Rischio Individuale: Anche con un ampio set di addestramento di 10.000 pazienti, l'intervallo medio al 95% delle stime di rischio per un singolo paziente attraverso tutti i 59.400 modelli era 0,39 (variando da 0,05 a 0,99). Per alcuni pazienti, l'intervallo copriva quasi l'intero spettro di probabilità (da 0 a 1).
• Incertezza Decisionale: Considerando solo l'incertezza di stima, l'aumento della dimensione del campione a 10.000 ha ridotto l'incertezza decisionale (modelli che suggeriscono un'azione diversa dalla maggioranza) all'1%. Tuttavia, includendo le incertezze del modello e di applicabilità, l'incertezza decisionale è rimasta alta all'11%, anche con $N=10.000$.
• Performance di Popolazione vs. Individuale: I modelli hanno mantenuto alte prestazioni a livello di popolazione (AUROC 0,92–0,93, buona calibrazione, utilità relativa positiva) in tutti gli scenari. Ciò dimostra che un modello può essere altamente utile per guidare le strategie a livello di popolazione pur fornendo stime di rischio altamente incerte e potenzialmente contrastanti per il singolo individuo.

Contributi Chiave

1. Framework per l'Incertezza: L'articolo introduce un framework strutturato che distingue tra incertezza di stima, del modello e di applicabilità, evidenziando come le valutazioni tradizionali spesso nascondano queste ultime due.
2. Evidenza Empirica: Fornisce prove empiriche del fatto che semplicemente aumentare la dimensione del dataset non risolve l'incertezza nelle predizioni del rischio individuale, poiché la specificazione del modello e le differenze nei dati/popolazione dominano la varianza dell'errore.
3. Quantificazione dell'Incertezza Decisionale: Lo studio quantifica quanto spesso diverse scelte di modellazione valide portino a decisioni cliniche contraddittorie per lo stesso paziente, sfidando la nozione di un singolo rischio "vero".

Significato e Rivendicazioni
Gli autori concludono che le stime di rischio individuale sono intrinsecamente incerte, spesso a un grado che eccede quanto suggerito dai classici intervalli di confidenza o dalle metriche della dimensione effettiva del campione. Essi sostengono che questa incertezza non invalida l'utilità clinica dei modelli di predizione a livello di popolazione, ma richiede un cambiamento nel modo in cui questi strumenti vengono applicati nella pratica:

• L'IA come Informante, non come Dettatore: Gli algoritmi predittivi dovrebbero informare, non dettare, la cura. L'incertezza implica che i risultati dell'IA non debbano essere seguiti ciecamente come risposte definitive per i singoli pazienti.
• Processo Decisionale Condiviso: La vera medicina personalizzata richiede l'interazione umana. I clinici devono riconoscere l'incertezza nei risultati dei modelli e integrare queste stime in un processo di decisione condivisa con il paziente, piuttosto che affidarsi a un singolo output algoritmico.
• Modestia nella Personalizzazione: L'articolo esorta all'umiltà riguardo alle promesse della medicina personalizzata. Sebbene l'IA possa fornire stime di gruppo basate sui dati di addestramento, la natura "personalizzata" della stima del rischio è limitata dall'incertezza epistemica. Il valore risiede nel processo decisionale condiviso supportato da queste stime, non nel fatto che le stime stesse siano perfettamente precise.