How Best to Explain Machine Learning Models to Clinicians: A User Study of Explanation Types

Problema
I modelli di machine learning (ML) sono sempre più impiegati in contesti clinici per assistere il processo decisionale, tuttavia molti modelli ad alte prestazioni (ad esempio, reti neurali, alberi potenziati dal gradiente) operano come "scatole nere" (black box), rendendo difficile per i clinici interpretarne la logica interna. Sebbene siano stati sviluppati metodi di Intelligenza Artificiale Spiegabile (XAI) per caratterizzare la relazione tra gli input del modello e le previsioni, rimane poco chiaro quali tipi specifici di spiegazioni siano più apprezzati dai clinici. Esiste una lacuna nella comprensione di come diverse modalità di spiegazione — specificamente l'attribuzione, il controfattuale e le spiegazioni basate su regole — influenzino dimensioni critiche dell'interazione clinica, tra cui la fiducia nel modello, la comprensione della logica del modello, la comprensione della spiegazione stessa e l'influenza della spiegazione sul ragionamento clinico riguardante lo stato del paziente.

Metodologia
Gli autori hanno condotto uno studio utente coinvolgendo 39 clinici (infermieri, tirocinanti medici e medici strutturati) provenienti dai dipartimenti di cure critiche e medicina ospedaliera dell'Università del Wisconsin-Madison e dell'Università di Chicago. Lo studio ha utilizzato un modello di deep learning basato su un'architettura LSTM, addestrato su dati longitudinali dei pazienti (dati demografici, esami di laboratorio, parametri vitali) per prevedere il rischio di deterioramento clinico (decesso o trasferimento in terapia intensiva) entro 24 ore.

Il design dello studio prevedeva la presentazione ai partecipanti di cinque casi sintetici di pazienti ad alto rischio. Per ogni caso, ai partecipanti è stato chiesto di:

1. Esaminare i dati delle caratteristiche del paziente e classificare le cinque caratteristiche principali che ritenevano indicassero un alto rischio.
2. Visualizzare le spiegazioni della previsione del modello generate da tre distinti metodi XAI:
   • Attribuzione: Utilizzando Integrated Gradients per assegnare punteggi di importanza alle caratteristiche nel tempo.
   • Controfattuale: Utilizzando CoMTE per mostrare come la modifica di specifici valori delle caratteristiche cambierebbe la previsione.
   • Basata su regole: Utilizzando Anchors per identificare le condizioni sufficienti (regole IF-THEN) per la previsione.
3. Riclassificare le proprie selezioni di importanza delle caratteristiche dopo aver visualizzato ogni spiegazione.
4. Valutare il proprio accordo con affermazioni che misurano la fiducia nel modello, la comprensione del modello, la comprensione della spiegazione e l'influenza della spiegazione sul proprio pensiero.

Lo studio ha impiegato Modelli Lineari a Effetti Misti (LMM) per analizzare i dati, trattando l'ID del partecipante come effetto casuale e controllando variabili quali ruolo, sito di reclutamento, genere, età e fiducia di base. La significatività statistica è stata determinata tramite test Z con una soglia di confidenza del 95%.

Contributi Chiave

1. Valutazione Comprensiva: L'articolo fornisce una valutazione approfondita delle spiegazioni di attribuzione, controfattuali e basate su regole generate da metodi XAI per un reale modello clinico di deep learning, valutandole attraverso quattro dimensioni essenziali: fiducia nel modello, comprensione del modello, comprensione della spiegazione e influenza.
2. Analisi Comparativa: Offre un confronto diretto di questi tre tipi di spiegazione per identificare quali specifiche modalità influenzino più efficacemente la fiducia, la comprensione e i processi decisionali dei clinici.
3. Guida all'Implementazione: Lo studio deriva indicazioni specifiche per l'implementazione della XAI in contesti clinici basate sul feedback dei clinici, inclusi i feedback sulle rappresentazioni delle spiegazioni e il potenziale di utilità specifica per ruolo.

Risultati

• Importanza della Spiegazione: I clinici considerano generalmente importanti le spiegazioni. I medici hanno riportato un aumento statisticamente significativo della percezione dell'importanza delle spiegazioni dopo l'interazione con esse, mentre la percezione dell'importanza per gli infermieri è rimasta stabile.
• Fiducia e Comprensione del Modello: Tutti e tre i tipi di spiegazione hanno aumentato la fiducia dei clinici nel modello e la loro comprensione di come il modello esegua le previsioni. Tuttavia, le spiegazioni di attribuzione hanno costantemente dimostrato gli effetti positivi più significativi in tutte le dimensioni misurate rispetto alle spiegazioni controfattuali e basate su regole.
• Comprensione della Spiegazione: I partecipanti hanno trovato le spiegazioni di attribuzione le più facili da comprendere. Sebbene tutti i tipi siano stati generalmente compresi, i punteggi di attribuzione erano significativamente più alti rispetto agli altri due tipi nell'analisi caso per caso.
• Influenza: Le spiegazioni di attribuzione sono state le più influenti, causando il maggior numero di cambiamenti nelle classifiche dei partecipanti riguardo alle caratteristiche importanti (misurato tramite il Conteggio dei Cambiamenti di Classifica) e ricevendo i punteggi di influenza auto-riferiti più elevati.
• Preferenze: Quasi la metà dei partecipanti (46,2%) ha espresso la preferenza per la visualizzazione simultanea di più tipi di spiegazione. Nella selezione delle combinazioni, le spiegazioni di attribuzione e controfattuali sono state accoppiate più frequentemente. Inoltre, i clinici hanno fortemente preferito rappresentazioni concise (ad esempio, le caratteristiche principali o brevi liste di condizioni) rispetto a liste dettagliate ed esaustive.

Significatività
L'articolo sostiene che fornire spiegazioni per le previsioni di ML in contesti clinici sia cruciale per migliorare l'utilità di questi sistemi. I risultati suggeriscono che, quando si implementa la XAI nei flussi di lavoro clinici, gli sviluppatori dovrebbero dare priorità alle spiegazioni di attribuzione come modalità primaria, data la loro performance superiore nel costruire fiducia, favorire la comprensione e influenzare il ragionamento clinico. Tuttavia, gli autori raccomandano anche di consentire la visualizzazione di più tipi di spiegazione per adattarsi alle diverse preferenze e ai flussi di lavoro dei clinici. Inoltre, lo studio evidenzia che lo sviluppo delle spiegazioni dovrebbe essere adattato a specifici ruoli clinici, poiché infermieri e medici possono utilizzare e valorizzare le spiegazioni in modo differente per supportare i rispettivi compiti. Gli autori concludono che queste intuizioni possono portare a cambiamenti nella pratica clinica assistita da ML e potenzialmente migliorare i risultati dei pazienti, garantendo che i clinici possano interpretare ed agire efficacemente sulle previsioni del modello.