RISED: A Pre-Deployment Safety Evaluation Framework for Clinical AI Decision-Support Systems

Sintesi Tecnica: RISED – Un Framework di Valutazione della Sicurezza Pre-Implementazione per Sistemi di Supporto alle Decisioni Cliniche basati su IA

Enunciato del Problema
I paradigmi di valutazione attuali per i sistemi di supporto alle decisioni cliniche basati sull'intelligenza artificiale (IA) si basano pesantemente su metriche di accuratezza aggregate (ad esempio, AUROC, punteggio di Brier) derivate da set di test statici e tenuti da parte. Gli autori sostengono che queste metriche non riescono a rilevare fallimenti critici nella fase di implementazione, tra cui l'instabilità dell'affidabilità degli input dovuta a cambiamenti di codifica, il degrado dell'equità nei sottogruppi, la sensibilità alla soglia e l'inattuabilità operativa. Citando fallimenti documentati come il Modello di Sepsi di Epic, che ha superato i benchmark interni ma ha fallito nella validazione esterna a causa di una scarsa discriminazione e affaticamento da allerta, il documento sostiene che gli strumenti esistenti (ad esempio, AI Fairness 360, Fairlearn, TRIPOD+AI) sono progettati per la selezione statica dei modelli o per la rendicontazione ex post, piuttosto che per determinare la prontezza operativa per ambienti clinici dal vivo.

Metodologia: Il Framework RISED
Il documento propone il Framework RISED, un approccio di valutazione pre-implementazione a cinque dimensioni. Ogni dimensione è operazionalizzata attraverso sottocriteri formali, soglie pre-specifiche di superamento/non superamento e intervalli di confidenza (IC) al 95% corretti per il bias e accelerati (BCa) tramite bootstrap. Viene applicata una correzione di Holm-Bonferroni per controllare il tasso di errore familiare attraverso i molteplici test di ipotesi. Il framework produce tre possibili verdetto per dimensione: PASS (SUPERATO), FAIL (NON SUPERATO) o INCONCLUSIVE (quando l'IC racchiude la soglia).

Le cinque dimensioni sono:

1. Affidabilità: Misura la stabilità dell'output sotto input semanticamente equivalenti ma diversamente codificati (ad esempio, cambiamenti di unità, cambiamenti di granularità ICD).
   • Metrica: Punteggio di Sensibilità del Giudice (JSS), definito come la media del Tasso di Inversione per Perturbazione (PFR) su una serie di perturbazioni.
   • Soglia: JSS < 0,05.
2. Inclusività: Valuta la coerenza delle prestazioni tra le sottopopolazioni demografiche.
   • Metriche: Divario di Parità AUC ($\Delta$AUC) e Errore di Calibrazione Atteso (ECE) per i sottogruppi.
   • Soglia: $\Delta$AUC $\le$ 0,05; ECE $\le$ 0,10 per tutti i sottogruppi.
3. Sensibilità: Valuta la stabilità comportamentale sotto cambiamenti di soglia decisionale, cruciale poiché le soglie sono spesso ricalibrate post-implementazione.
   • Metrica: Tasso di Inversione della Soglia (TFR), che misura la frazione di pazienti riclassificati quando la soglia si sposta da un riferimento $\tau_0$.
   • Soglia: TFR Massimo $\le$ 0,10 su una scansione di soglie.
4. Equità: Verifica l'allineamento delle previsioni con una misura indipendente del bisogno clinico, piuttosto che con proxy di utilizzo che potrebbero codificare disparità storiche.
   • Metrica: Correlazione Bisogno-Previsione ($\rho_{need}$) e divari di bisogno a livello di gruppo.
   • Stato: Inquadrato come DIAGNOSTICO piuttosto che come verdetto di sbarramento. Se il verdetto cambia in base alla scelta del proxy del bisogno (ad esempio, etichetta di esito vs Indice di Comorbilità di Charlson), ciò attiva l'esigenza di una misura del bisogno indipendente dall'esito prima dell'implementazione.
5. Implementabilità: Valuta l'attuabilità operativa, inclusa la latenza di inferenza e la fedeltà delle spiegazioni.
   • Metriche: Latenza media di inferenza ($\Lambda$) e Fedeltà della Spiegazione ($F_{expl}$), che misura se le caratteristiche localmente importanti si allineano con quelle globalmente importanti.
   • Soglia: $\Lambda \le$ 500 ms per coorte; $F_{expl} \ge$ 0,50.

Risultati Sperimentali
Il framework è stato applicato a una coorte sintetica di 10.000 pazienti e a tre coorti reali che coprono 35 anni di vintage dei dati: la coorte UCI Heart Disease (1989), la coorte UCI Diabetes 130-US Hospitals (1999–2008) e l'Indagine Nazionale sulla Salute e l'Intervista (NHIS) 2024 del NCHS.

• Coorte Sintetica (XGBoost, AUROC 0,961): Nonostante un'alta discriminazione aggregata, il modello ha NON SUPERATO le dimensioni di Affidabilità (JSS = 0,064) e Sensibilità (TFR Massimo = 19,9%). La dimensione Inclusività è risultata INCONCLUSIVE ($\Delta$AUC = 0,059, IC [0,042, 0,066]). L'Equità è stata DIAGNOSTICA, mostrando un'inversione di verdetto tra il proxy etichetta-di-esito (PASS) e il proxy Indice di Comorbilità di Charlson (FAIL). Implementabilità SUPERATO.
• Coorti Reali:
  • UCI Heart Disease (n=303): Affidabilità e Inclusività sono state INCONCLUSIVE a causa di dimensioni campionarie ridotte; Sensibilità NON SUPERATO.
  • UCI Diabetes 130 (n=99.492): Affidabilità SUPERATO (JSS = 0,0004), ma Inclusività ($\Delta$AUC = 0,262) e Sensibilità (TFR Massimo = 49,1%) NON SUPERATO in modo decisivo. L'Equità è rimasta DIAGNOSTICA con disaccordo tra i proxy.
  • NHIS 2024 (n=9.747): Affidabilità SUPERATO (JSS = 0,011), mentre Inclusività ($\Delta$AUC = 0,328) e Sensibilità (TFR Massimo = 22,5%) NON SUPERATO.
• Robustezza Multi-Modello: Quando testato con Regressione Logistica e Random Forest sulla coorte sintetica, i fallimenti di Inclusività e Sensibilità sono persistiti (guidati dai dati), mentre i fallimenti di Affidabilità sono stati dipendenti dal modello (XGBoost ha fallito; gli altri hanno superato).
• Confronto con Fairlearn: Fairlearn ha identificato disparità nei sottogruppi ma non è riuscito a rilevare instabilità da perturbazione degli input, sensibilità alla soglia o disallineamento dell'equità basato sul bisogno, evidenziando il portata più ampia di RISED.

Contributi Chiave

1. Definizione del Framework: Organizza la letteratura esistente in un framework pre-implementazione a cinque dimensioni specifico per il supporto alle decisioni cliniche, andando oltre la selezione statica dei modelli.
2. Soglie Quantitative: Sostituisce le liste di controllo qualitative con sottocriteri formali, IC al 95% tramite bootstrap e regole decisionali esplicite di PASS/FAIL/INCONCLUSIVE.
3. Validazione Empirica: Dimostra che un modello con alto AUROC può fallire simultaneamente i controlli di stabilità della codifica degli input e di sensibilità allo spostamento della soglia, un pattern validato attraverso coorti sintetiche e tre distinte coorti reali.
4. Riformulazione dell'Equità: Riformula la dimensione Equità come una "diagnostica di dipendenza dal proxy", portando alla luce esplicitamente problemi di validità costruttiva quando i proxy del bisogno sono derivati da dati di utilizzo, imponendo di conseguenza l'acquisizione di misure del bisogno indipendenti dall'esito.
5. Implementazione Open-Source: Rilascia il pacchetto Python rised, fornendo i verdetto quantitativi richiesti dagli standard di rendicontazione esistenti (TRIPOD+AI, MI-CLAIM, FUTURE-AI).

Significato e Affermazioni
Il documento afferma che RISED fornisce un "passaggio di sicurezza principiato" tra la validazione del modello in silico e la valutazione clinica in trial silenziosi. Sostiene che le metriche aggregate da sole sono insufficienti per rilevare rischi di implementazione come l'instabilità di codifica e la sensibilità alla soglia. Il framework è posizionato non come un mandato normativo, ma come un generatore strutturato di prove numeriche in grado di popolare le sottomissioni del Piano di Controllo dei Cambiamenti Predeterminato (PCCP) della FDA, le divulgazioni di gestione del rischio ONC HTI-1 e i file tecnici dell'AI Act dell'UE. Gli autori affermano che il framework è inteso a "provocare lavoro empirico" sulla calibrazione delle soglie e che, sebbene un PASS di RISED sia necessario per l'implementazione, non è sufficiente, poiché non affronta la governance dell'implementazione o la fiducia del clinico. I risultati forniscono prove preliminari di validità costruttiva, mostrando che diverse dimensioni falliscono in modo differenziale tra coorti e classi di modelli, suggerendo che la prontezza all'implementazione è una proprietà multifacciale non catturata da benchmark a metrica singola.