Conditional outlier detection for clinical alerting

Enunciato del Problema
Gli errori medici rimangono un problema persistente e grave nella pratica sanitaria. Sebbene esistano attuali strumenti informatici per il monitoraggio dei pazienti, questi sono principalmente basati sulla conoscenza, facendo affidamento su regole estratte a priori da esperti clinici. Tali sistemi richiedono molto tempo per essere costruiti e spesso soffrono di una copertura clinica incompleta. Gli autori propongono un'alternativa basata sui dati: un framework di monitoraggio e allerta che utilizza informazioni cliniche archiviate da casi di pazienti passati per identificare valori statistici anomali (anomalie) nelle azioni di gestione del paziente. L'ipotesi di base è che le azioni di gestione del paziente che sono insolite rispetto ai pazienti passati e alle loro condizioni specifiche possano indicare potenziali errori medici, giustificando un allerta clinica.

Metodologia
Il documento presenta un framework per la rilevazione di anomalie condizionali, che identifica azioni di gestione del paziente altamente insolite data la condizione specifica di un paziente e i dati storici. La metodologia procede attraverso tre fasi principali:

1. Segmentazione e Trasformazione:

   • I complessi dati di serie temporali multivariati dalle Cartelle Cliniche Elettroniche (EHR) — inclusi esami di laboratorio, farmaci, procedure e diagnosi — vengono segmentati in punti temporali discreti (ad esempio, ogni 24 ore).
   • I dati osservati fino a un punto di segmentazione vengono trasformati in una rappresentazione nello spazio vettoriale dello stato del paziente ($x$). Questa rappresentazione utilizza un insieme fisso di caratteristiche per riassumere le informazioni temporali, inclusi:
     • Caratteristiche di Laboratorio: Per risultati categorici, le caratteristiche includono i valori ultimo e penultimo e il tempo trascorso dall'ultimo valore. Per valori continui/ordinali, le caratteristiche includono pendenze, variazioni percentuali, valori di minimo (nadir) e massimo (apice).
     • Caratteristiche dei Farmaci: Indicatori dell'uso corrente, tempo trascorso dalla prima somministrazione, tempo trascorso dall'ultima somministrazione e tempo trascorso dall'ultima modifica dell'ordine.
     • Caratteristiche delle Procedure: Indicatori se una procedura è stata eseguita, tempo trascorso dalla prima esecuzione e tempo trascorso dall'ultima esecuzione.
   • Le azioni di gestione del paziente ($y$) che si verificano tra i punti di segmentazione sono collegate allo stato del paziente precedente. Le azioni sono binarie (vero/falso), rappresentando se è stato ordinato un esame di laboratorio specifico o se è stato somministrato un farmaco.

2. Apprendimento di Modelli Predittivi:

   • Il sistema apprende un modello predittivo per la distribuzione condizionale $P(y | x)$ per specifiche azioni di gestione (ordini di laboratorio e ordini/continuazioni di farmaci).
   • Le Macchine a Vettori di Supporto (SVM) sono utilizzate come modello di apprendimento discriminativo per separare le classi di azioni.
   • Per gestire l'alta dimensionalità delle caratteristiche (migliaia di potenziali variabili), viene impiegato un processo di selezione delle caratteristiche greedy. Le caratteristiche sono raggruppate per categoria (ad esempio, tutte le caratteristiche dell'emoglobina). I gruppi sono valutati mediante validazione incrociata interna (utilizzando l'AUC) e aggiunti incrementally al modello se migliorano le prestazioni predittive.
   • Le uscite probabilistiche sono derivate dal confine decisionale della SVM utilizzando il metodo di scalatura di Platt per stimare $P(y=1 | x)$.

3. Rilevazione delle Anomalie e Allerta:

   • Punteggio di Anomalia: Il grado di anomalia per un'azione $y$ dato lo stato $x$ è calcolato come $Anom(x, y) = 1 - P(y | x)$. Una bassa probabilità dell'azione osservata implica un alto punteggio di anomalia.
   • Punteggio di Allerta: Per affrontare il problema che gli stati dei pazienti cambiano nel tempo, il sistema valuta l'anomalia di un'azione $y_{t-1}$ sia rispetto allo stato del paziente al momento dell'azione ($x_{t-1}$) sia rispetto allo stato successivo ($x_t$). Il punteggio di allerta è definito come il minimo di questi due punteggi di anomalia: $Alert(x_t, y_{t-1}) = \min(Anom(x_{t-1}, y_{t-1}), Anom(x_t, y_{t-1}))$. Viene sollevato un allerta se questo punteggio supera una soglia, assicurando che la deviazione sia persistente attraverso i passaggi temporali consecutivi.

Valutazione e Risultati
Il framework è stato valutato utilizzando dati retrospettivi da 4.486 pazienti post-chirurgia cardiaca in un grande ospedale universitario di Pittsburgh.

• Divisione dei Dati: I dati sono stati divisi in un set di addestramento (pre-2005) e un set di test (2005 e successivi). Il processo di segmentazione ha prodotto 51.492 istanze di stato del paziente (30.828 per l'addestramento, 20.664 per il test).
• Selezione del Modello: Sono stati utilizzati solo modelli con un'Area Under the Curve (AUC) di 0,68 o superiore.
• Revisione Esperta: Dal set di test, sono stati selezionati 222 allerta per la valutazione da parte di un panel di 15 esperti di cure intensive (specializzandi e docenti). I criteri di selezione includevano un punteggio di anomalia minimo di 0,15 e un focus sulle anomalie più forti.
• Risultati:
  • Utilizzando una regola di maggioranza (2 su 3 revisori), 121 dei 222 allerta (54,5%) sono stati considerati clinicamente utili.
  • Esiste una correlazione positiva tra il punteggio di allerta e il tasso reale di allerta. Gli allerta con punteggi bassi avevano un tasso reale di utilità del 19%, mentre quelli con punteggi alti raggiungevano il 72%.
  • L'analisi ROC ha prodotto un AUC di 0,64, statisticamente significativamente diverso da 0,5 (caso casuale), confermando che punteggi di allerta più alti sono indicativi di tassi reali di allerta più elevati.

Contributi Chiave e Significato
Il documento afferma di presentare la valutazione più completa della loro metodologia di outlier condizionale a oggi. I suoi principali contributi includono:

• Approccio Basato sui Dati: Dimostrare che l'allerta basata su anomalie può servire come complemento o sistema autonomo per l'allerta basata sulla conoscenza, in particolare in sottoregioni cliniche dove le regole degli esperti non sono ancora disponibili.
• Framework Condizionale: Andare oltre la semplice rilevazione di outlier verso un approccio condizionale in cui le azioni sono valutate rispetto a stati specifici del paziente e dati storici.
• Validazione Clinica: Fornire prove empiriche che le anomalie statistiche nella gestione del paziente sono positivamente correlate con allerta clinicamente significative, supportando l'ipotesi che questo approccio possa aiutare a identificare errori medici.
• Scalabilità: Costruire e testare con successo modelli su migliaia di caratteristiche del paziente e centinaia di azioni estratte da EHR del mondo reale.

Gli autori concludono che, sebbene non tutti gli outlier statistici corrispondano a errori, il metodo è "utile" per sollevare allerta grazie alla sua capacità di segnalare errori spesso abbastanza da essere clinicamente utile, con tassi di falsi allerta ragionevolmente bassi. Sono previsti lavori futuri per affinare le caratteristiche temporali, esplorare diverse discretizzazioni temporali e valutare il sistema in ulteriori domini clinici.