STREAM-SMR: Sequential Bayesian state-space monitoring of standardized mortality ratios - a simulation comparison with risk-adjusted CUSUM and EWMA

Nel mondo ad alta posta in gioco delle terapie intensive, gli ospedali misurano costantemente le proprie prestazioni contando quanti pazienti sopravvivono rispetto a quanti ci si aspettava sopravvivessero in base alla gravità con cui sono arrivati. Questo rapporto, noto come rapporto di mortalità standardizzato, funge da segno vitale per la qualità delle cure fornite da una struttura. Per decenni, il modo standard per monitorare questo numero è stato quello di attendere la fine di un periodo di rendicontazione, calcolare la media e poi osservare un grafico per vedere se l'ospedale sta andando peggio di quanto dovrebbe. Questo approccio, tuttavia, soffre di un ritardo frustrante; nel momento in cui viene individuato un problema, potrebbero essere già stati compromessi mesi di assistenza. Per risolvere questo problema, i statistici hanno sviluppato strumenti che monitorano i dati man mano che arrivano, mese per mese, facendo scattare un allarme nel momento in cui un trend diventa pericoloso. Questi strumenti sono eccellenti nel gridare "qualcosa non va", ma sono pessimi nello spiegare "quanto sia sbagliato" o "quanto siamo sicuri". Offrono un segnale di avvertimento senza il contesto necessario per comprendere la gravità della situazione.

Un nuovo approccio, testato in uno studio di simulazione recente, tenta di colmare questo divario combinando il sistema di allerta precoce con una stima continua e in tempo reale delle prestazioni dell'ospedale. I ricercatori, guidati da Kunihisa Ohno, hanno sviluppato un metodo chiamato STREAM-SMR. Invece di limitarsi ad attendere il superamento di una soglia, questo metodo tratta la prestazione dell'ospedale come uno stato vivo e pulsante che cambia nel tempo. Utilizza un quadro matematico che aggiorna la propria comprensione ogni singolo mese, incorporando i nuovi dati dei pazienti pur ricordando il passato, ma non troppo. L'idea centrale è quella di produrre un quadro costantemente aggiornato del rapporto di mortalità, completo di una misura di certezza, monitorando contemporaneamente eventuali cambiamenti pericolosi. Lo studio non ha sostenuto che questo nuovo metodo sia una soluzione magica che risolve ogni problema, quanto piuttosto che offre un compromesso pratico: un ritardo molto piccolo nel far scattare un allarme in cambio di una visione chiara e interpretabile di ciò che sta effettivamente accadendo.

I ricercatori hanno messo alla prova questo nuovo metodo contro i due strumenti più comuni attualmente utilizzati negli ospedali: il CUSUM corretto per il rischio e l'EWMA corretto per il rischio. Questi strumenti consolidati sono come sensibili trappole; sono progettati per rilevare il più rapidamente possibile un peggioramento improvviso e sostenuto degli esiti dei pazienti. Lo studio ha simulato migliaia di scenari attraverso ospedali di diverse dimensioni, spaziando da piccole unità con 50 ricoveri annuali a grandi strutture con 800. Hanno creato varie situazioni, inclusi salti improvvisi nei tassi di mortalità, derive lente nel tempo e picchi temporanei che alla fine si sono risolti. Per garantire una competizione equa, tutti i metodi sono stati calibrati per avere la stessa probabilità di generare un falso allarme, circa il cinque per cento in un periodo di cinque anni. Ciò significava che qualsiasi differenza nelle prestazioni era dovuta al funzionamento dei metodi, non perché uno fosse impostato per essere più sensibile degli altri.

I risultati hanno mostrato che il nuovo metodo, STREAM-SMR, si è comportato in modo eccezionale nel suo obiettivo primario: fornire una stima chiara e continua delle prestazioni dell'ospedale. Quando i ricercatori hanno osservato quanto bene il metodo dei relativi intervalli di confidenza corrispondesse alla realtà effettiva nella simulazione, hanno scoperto che le stime erano altamente affidabili. In ogni scenario testato, l'intervallo di incertezza dichiarato conteneva il valore reale almeno il 91 percento delle volte. Questa è una caratteristica cruciale per gli amministratori ospedalieri e i clinici, che hanno bisogno di sapere non solo che esiste un problema, ma quanto sia grande e di quanta sicurezza possano essere nel compiere tale valutazione. A differenza degli strumenti tradizionali, che semplicemente fanno lampeggiare una luce rossa quando una soglia viene superata, STREAM-SMR fornisce una traiettoria fluida e filtrata del rapporto di mortalità, mostrando la direzione e l'entità del cambiamento ad ogni passaggio.

Per quanto riguarda la velocità di rilevamento, lo studio ha scoperto che il nuovo metodo era quasi veloce quanto i migliori strumenti esistenti per rilevare problemi sostenuti. Negli ospedali di grandi dimensioni, quando il tasso di mortalità è salito a un livello pericoloso, lo strumento CUSUM tradizionale ha rilevato il cambiamento in una mediana di cinque mesi. Il nuovo metodo STREAM-SMR lo ha rilevato in sei mesi. Negli ospedali di medie dimensioni, entrambi i metodi hanno impiegato circa 14 mesi per far scattare l'allarme. Negli ospedali piccoli, dove i dati sono scarsi e i trend sono più difficili da individuare, il nuovo metodo ha rilevato il cambiamento leggermente più velocemente, in 20 mesi rispetto ai 22 mesi del CUSUM. I ricercatori hanno osservato che questa differenza di uno o due mesi nel tempo di rilevamento per le grandi strutture è un piccolo prezzo da pagare per la capacità di vedere i numeri effettivi delle prestazioni e la loro incertezza in tempo reale. Lo studio ha sottolineato che questo lieve ritardo non è un difetto, ma una caratteristica del design del metodo, che privilegia una stima stabile e accurata rispetto al trigger più veloce in assoluto.

Lo studio ha anche esplorato come il metodo gestisce i problemi temporanei, come un picco di decessi di tre mesi che poi ritorna alla normalità. In questo caso, il comportamento dei metodi diverge significativamente. Lo strumento CUSUM tradizionale, che accumula prove nel tempo, manteneva l'allarme attivo anche dopo che il problema si era risolto, ricordando efficacementamente lo spike passato. Il nuovo metodo STREAM-SMR, che utilizza un "fattore di sconto" per dare più peso ai dati recenti rispetto a quelli passati, ha permesso alla stima di tornare alla normalità rapidamente una volta terminato lo spike. Per un episodio temporaneo, il nuovo metodo è stato più veloce nel rilevare il deterioramento, qualora esso si fosse verificato, sebbene abbia rilevato meno di questi episodi complessivamente nelle grandi strutture rispetto al CUSUM. I ricercatori hanno sostenuto che questo è spesso il comportamento desiderato in un contesto di registro, dove l'obiettivo è comprendere lo stato attuale delle cure piuttosto che segnalare permanentemente un ospedale per un incidente passato e risolto. Tuttavia, hanno riconosciuto che se l'obiettivo specifico di un programma è catturare e revisionare ogni singolo episodio di deterioramento, indipendentemente dalla sua brevità, gli strumenti di accumulo tradizionali potrebbero ancora essere preferibili.

Una scoperta chiave dello studio è stata il ruolo di un singolo parametro di sintonizzazione, che i ricercatori chiamano fattore di sconto. Questa impostazione agisce come una manopola che controlla quanto peso il metodo dà ai dati recenti rispetto ai dati storici. Girando la manopola per essere più sensibili ai cambiamenti recenti, il metodo diventa più veloce nel rilevare nuovi problemi, ma può rendere le stime più instabili. Rendendo il metodo più stabile, le stime diventano più fluide e affidabili, ma rallenta il rilevamento di nuovi cambiamenti. I ricercatori hanno dimostato che, regolando questa singola impostazione, gli amministratori ospedalieri possono scegliere l'equilibrio che meglio si adatta alle loro esigenze. Per coloro che hanno bisogno di sapere immediatamente se qualcosa non va, un'impostazione più sensibile funziona bene. Per coloro che necessitano di una visione stabile e a lungo termine delle prestazioni per la rendicontazione, un'impostazione più conservativa fornisce un quadro più chiaro.

Lo studio ha concluso che il nuovo metodo riesce a unificare l'atto di monitorare il pericolo con l'atto di stimare le prestazioni. Trasforma il processo da un semplice sistema di allarme in uno strumento di stima sequenziale calibrato. Il costo di questa maggiore chiarezza è minimo, ammontando a un ritardo di al massimo uno o due mesi nel rilevare un peggioramento sostenuto nelle grandi strutture, e nessun ritardo affatto nelle piccole strutture. I ricercatori hanno sottolineato che si tratta di uno studio di simulazione, il che significa che i risultati si basano su modelli informatici di come gli ospedali potrebbero comportarsi, non su un nuovo studio clinico in un vero ospedale. Tuttavia, il metodo è già in uso da circa sette anni in un registro nazionale di terapia intensiva, suggerendo che i vantaggi teorici reggono anche nella pratica. Lo studio non sostiene di aver risolto il problema del monitoraggio della qualità ospedaliera, ma offre un'alternativa convincente per coloro che hanno bisogno di sapere non solo quando preoccuparsi, ma esattamente di cosa si stanno preoccupando.