A Statistical Framework for Data-Driven Discovery of Differential Performance in Clinical Risk Prediction Models

Sintesi Tecnica: Un Quadro Statistico per la Scoperta Guidata dai Dati della Performance Differenziale nei Modelli di Predizione del Rischio Clinico

Definizione del Problema
Il documento affronta la sfida di rilevare e caratterizzare la performance differenziale negli strumenti di valutazione del rischio (RAI) clinico tra sottogruppi di popolazione. Sebbene i modelli predittivi basati su IA e machine learning siano sempre più utilizzati per il supporto alle decisioni cliniche, essi possono esibire disparità di performance tra gruppi definiti da razza, età, sesso o altre caratteristiche intersecanti. Gli esistenti metodi di valutazione dell'equità richiedono tipicamente all'utente finale di pre-specificare i gruppi demografici da valutare. Questo approccio rischia di trascurare le disparità in sottogruppi meno ovvi o più complessi, definiti da interazioni di ordine superiore tra covariate (ad esempio, combinazioni specifiche di età, sesso e storia clinica). I criteri di equità standard (ad esempio, equalized odds, sufficiency) sono spesso mutuamente incompatibili, e un modello che appare equo sotto un determinato parametro o raggruppamento può comunque esibire disparità sotto altri. Gli autori definiscono l' "equità" in questo contesto come l'assenza di evidenza statistica di una performance differenziale del modello, concentrandosi specificamente sulla calibrazione (discrepanze tra rischio predetto ed esiti osservati).

Metodologia: L'Unfairness Tree (utree)
Gli autori propongono l'unfairness tree (utree), un framework di partizionamento ricorsivo guidato dai dati, progettato per identificare sottogruppi con discrepanze predittive eterogenee senza pre-specificare le definizioni di gruppo.

• Algoritmo Core: La utree adatta il framework della conditional inference tree (ctree). A differenza degli algoritmi CART standard, le ctree separano la selezione delle variabili dalla selezione del punto di split per evitare il bias verso le variabili continue.
• Statistica di Discrepanza: In ogni nodo, l'algoritmo testa la performance differenziale utilizzando una statistica derivata dal test di Kolmogorov–Smirnov (KS). Questa statistica confronta due funzioni di distribuzione cumulativa (CDF) empiriche pesate di una covariata candidata $Z_j$: una pesata dagli esiti osservati (o potenziali esiti) e l'altra dai rischi predetti.
  • La statistica del test è $T_j = \sup_z | \hat{F}_j(z; w_Y) - \hat{F}_j(z; w_{\hat{s}}) |$, dove $w_Y$ e $w_{\hat{s}}$ sono pesi definiti rispettivamente dagli esiti e dalle predizioni.
  • Sotto l'ipotesi nulla di calibrazione condizionale, le distribuzioni pesate sono identiche. Il rifiuto indica che la distribuzione degli esiti differisce dalle predizioni attraverso i valori di $Z_j$.
• Framework Controfattuale: Per affrontare il bias indotto dal trattamento (dove le predizioni del modello influenzano le decisioni terapeutiche, alterando di conseguenza gli esiti osservati), il metodo impiega un framework di valutazione controfattuale. Esso stima gli esiti potenziali sotto una condizione di riferimento ($Y^0$) utilizzando stimatori a doppia robustezza (combinando la regressione dell'esito e la modellazione del propensity score). La discrepanza viene quindi calcolata tra i rischi predetti e questi esiti controfattuali.
• Partizionamento Ricorsivo: L'algoritmo procede in due fasi per ogni nodo:
  1. Selezione della Variabile: Calcola le statistiche del test per tutte le covariate candidate e seleziona quella con il p-value empirico più piccolo (aggiustato per molteplicità).
  2. Selezione del Punto di Split: Identifica il punto di split per la variabile selezionata che massimizza l'entità della statistica del test.
• Flessibilità: Il framework può essere esteso ad altre metriche di performance (ad esempio, tasso di veri positivi, precisione) modificando le funzioni di ponderazione $w(a)$ e $w(b)$ nella formulazione della statistica KS.

Contributi Chiave

1. Scoperta di Sottogruppi Guidata dai Dati: La utree elimina la necessità di sottogruppi pre-specificati, permettendo la scoperta di disparità in popolazioni complesse e intersecanti definite da molteplici covariate.
2. Calibrazione Controfattuale: Integra metodi di inferenza causale per distinguere tra reale miscalibrazione del modello e bias indotto dal trattamento, una distinzione critica in contesti clinici in cui i modelli informano il trattamento.
3. Validità Statistica: Il metodo utilizza alberi di inferenza condizionale e p-value basati su permutazioni per controllare i tassi di errore di Tipo I nonostante la natura adattiva del partizionamento ricorsivo.
4. Interpretabilità: La struttura dell'albero risultante fornisce una mappa interpretabile di come le combinazioni di caratteristiche cliniche si relazionino alla performance differenziale.

Risultati

• Studi di Simulazione:

  • Controllo dell'Errore di Tipo I: Nello scenario nullo (assenza di performance differenziale), la probabilità di selezionare uno split è rimasta vicina al livello nominale (ad esempio, 0,048 con $N=10^3$), dimostrando un efficace controllo dell'errore.
  • Potenza e Recupero: Il metodo ha mostrato una potenza crescente nel rilevare le discrepanze all'aumentare della dimensione del campione e della severità. Ha recuperato con successo le vere variabili e le interazioni che guidano l'unfairness, con tassi di recupero che salivano da 0,06 a 0,92 in scenari di forte miscalibrazione a $N=10^3$.
  • Accuratezza della Stima: Le stime per foglia della discrepanza hanno mostrato un bias ridotto che diminuiva con la dimensione del campione, indicando un'approssimativa assenza di bias.
  • Efficienza Computazionale: I tempi di fitting sono scalati in modo prevedibile con la dimensione del campione, rimanendo fattibili anche per $N=10^5$ (sotto i 4 minuti).

• Applicazione su Dati Reali (Trial GUSTO-I):

  • Il framework è stato applicato a sei modelli di rischio di mortalità (inclusi regressione logistica, GAM e random forest) utilizzando dati di 30.510 pazienti con infarto miocardico acuto.
  • Driver Coerenti: Attraverso modelli e metriche diverse (calibrazione, tasso di veri positivi, precisione), età, sesso, pressione arteriosa sistolica e classe Killip sono stati identificati costantemente come variabili chiave che definiscono i sottogruppi con performance differenziale.
  • Dipendenza dalla Metrica: Le specifiche strutture di sottogruppo identificate variavano a seconda della metrica di performance scelta. Ad esempio, gli alberi basati sulla calibrazione hanno identificato sottogruppi con significativa sottostima (ad esempio, pazienti non statunitensi con tempo prolungato al sollievo dal trattamento), mentre gli alberi di TPR e precisione hanno evidenziato pattern strutturali differenti.
  • Validazione: La validazione out-of-sample su un set di test tenuto separato ha confermato che molti pattern di performance dei sottogruppi erano riproducibili, in particolare quando veniva imposto un requisito di dimensione minima della foglia terminale di $n \ge 50$.

Significatività e Rivendicazioni
Il documento afferma che la utree fornisce un approccio fondato, statisticamente valido e interpretabile per rilevare la miscalibrazione specifica per sottogruppo nei modelli di rischio clinico. Superando le categorie demografiche predefinite, affronta un limite fondamentale nelle attuali valutazioni di equità dell'IA, che possono mancare disparità in popolazioni complesse e intersecanti. Gli autori sottolineano che il metodo identifica la performance differenziale del modello piuttosto che una definitiva unfairness algoritmica, notando che quest'ultima dipende da più ampie considerazioni etiche e cliniche. Il framework è presentato come uno strumento di scoperta esplorativa e caratterizzazione delle disparità di performance, con la cautela che le stime controfattuali dipendono da standard assunzioni causali (positività, consistenza, assenza di confondimento non misurato) e sono più convincenti in contesti randomizzati o dove tali assunzioni sono plausibili. Gli autori riconoscono che, sebbene il metodo controlli i tassi di errore in ogni nodo, le garanzie teoriche formali per la stabilità della struttura finale dell'albero e l'inferenza selettiva per i sottogruppi scoperti rimangono questioni aperte per la ricerca futura.