STREAM-SMR: Sequential Bayesian state-space monitoring of standardized mortality ratios - a simulation comparison with risk-adjusted CUSUM and EWMA

In de hooggespannen wereld van de intensive care meten ziekenhuizen voortdurend hun prestaties door te tellen hoeveel patiënten overleven in vergelijking met hoeveel er naar verwachting zouden overleven op basis van hoe ziek ze waren bij aankomst. Deze ratio, bekend als de gestandaardiseerde mortaliteitsratio (SMR), fungeert als een vitale indicator voor de kwaliteit van de zorg die een instelling biedt. Decennialang was de standaardmanier om dit getal in de gaten te houden het wachten tot een rapportageperiode eindigt, het gemiddelde berekenen en vervolgens naar een grafiek kijken om te zien of het ziekenhuis slechter presteert dan het zou moeten. Deze aanpak lijdt echter onder een frustrerende vertraging; tegen de tijd dat een probleem wordt opgemerkt, kan er al maanden aan de zorg zijn verloren gegaan. Om dit op te lossen, hebben statistici instrumenten ontwikkeld die de gegevens monitoren zodra ze binnenkomen, maand per maand, waarbij een alarm afgaat op het moment dat een trend gevaarlijk wordt. Deze instrumenten zijn uitstekend in het schreeuwen "er is iets mis", maar ze zijn slecht in het uitleggen van "hoe erg het is" of "hoe zeker we zijn". Ze bieden een waarschuwingssignaal zonder de context die nodig is om de ernst van de situatie te begrijpen.

Een nieuwe benadering, getest in een recente simulatiestudie, probeert deze kloof te overbruggen door het vroege waarschuwingssysteem te combineren met een continue, realtime schatting van de prestaties van het ziekenhuis. De onderzoekers, onder leiding van Kunihisa Ohno, ontwikkelden een methode genaamd STREAM-SMR. In plaats van alleen te wachten tot een drempelwaarde wordt overschreden, behandelt deze methode de prestaties van het ziekenhuis als een levende, ademende staat die in de loop van de tijd verandert. Het gebruikt een wiskundig kader dat zijn begrip elke maand bijwerkt, waarbij nieuwe patiëntgegevens worden opgenomen terwijl het het verleden onthoudt, maar niet te veel. Het kernidee is om een continu bijgewerkt beeld van de mortaliteitsratio te produceren, compleet met een maatstaf voor onzekerheid, terwijl tegelijkertijd de wacht wordt gehouden op gevaarlijke verschuivingen. De studie beweerde niet dat deze nieuwe methode een wondermiddel is dat elk probleem oplost, maar eerder dat het een praktische afweging biedt: een zeer kleine vertraging in het afgaan van een alarm in ruil voor een duidelijk, interpreteerbaar beeld van wat er feitelijk aan de hand is.

De onderzoekers testten deze nieuwe methode tegen de twee meest gebruikte instrumenten die momenteel in ziekenhuizen worden gebruikt: de risico-gecorrigeerde CUSUM en de risico-gecorrigeerde EWMA. Deze gevestigde instrumenten zijn als gevoelige valstrikken; ze zijn ontworpen om een plotselinge, aanhoudende verslechtering in de patiëntuitkomsten zo snel mogelijk te detecteren. De studie simuleerde duizenden scenario's in ziekenhuizen van verschillende groottes, variërend van kleine afdelingen met 50 jaarlijkse opnames tot grote faciliteiten met 800. Ze creëerden diverse situaties, waaronder plotselinge sprongen in de mortaliteitscijfers, langzame driften in de loop van de tijd en tijdelijke pieken die uiteindelijk weer verdwenen. Om een eerlijk gevecht te garanderen, werden alle methoden gekalibreerd om dezelfde kans op een vals alarm te hebben, ongeveer vijf procent over een periode van vijf jaar. Dit betekende dat eventuele verschillen in prestaties voortkwamen uit de werking van de methoden zelf, en niet omdat de ene gevoeliger was ingesteld dan de andere.

De resultaten toonden aan dat de nieuwe methode, STREAM-SMR, opmerkelijk goed presteerde in haar primaire doel: het bieden van een heldere, voortdurende schatting van de prestaties van het ziekenhuis. Wanneer de onderzoekers keken naar hoe goed de betrouwbaarheidsintervallen van de methode overeenkwamen met de werkelijke realiteit in de simulatie, vonden zij dat de schattingen zeer betrouwbaar waren. In elk geteste scenario bevatte het opgegeven onzekerheidsbereik de werkelijke waarde ten minste 91 procent van de tijd. Dit is een cruciaal kenmerk voor ziekenhuisbeheerders en clinici, die niet alleen moeten weten dat er een probleem bestaat, maar ook hoe groot het is en hoe zeker ze kunnen zijn van die beoordeling. In tegen tegenstelling tot de traditionele instrumenten, die simpelweg een rood licht laten knipperen wanneer een drempelwaarde wordt overschreden, biedt STREAM-SMR een vloeiend, gefilterd traject van de mortaliteitsratio, waarbij de richting en de omvang van de verandering in elke stap wordt getoond.

Wat betrede de snelheid van detectie betreft, vond de studie dat de nieuwe methode bijna net zo snel was als de beste bestaande instrumenten voor het detecteren van aanhoudende problemen. In grote ziekenhuizen, wanneer het mortaliteitscijfer naar een gevaarlijk niveau sprong, detecteerde de traditionele CUSUM-tool de verschuiving in een mediaan van vijf maanden. De nieuwe STREAM-SMR-methode detecteerde het in zes maanden. In middelgrote ziekenhuizen duurde het beide methoden ongeveer 14 maanden voordat het alarm afging. In kleine ziekenhuizen, waar gegevens schaars zijn en trends moeilijker te spotten zijn, detecteerde de nieuwe methode de verschuiving zelfs iets sneller, in 20 maanden vergeleken met 22 maanden voor de CUSUM. De onderzoekers merkten op dat dit verschil in detectietijd van één tot twee maanden voor grote faciliteiten een kleine prijs is voor de mogelijkheid om de werkelijke prestatiecijfers en hun onzekerheid in realtime te zien. De studie benadrukte dat deze lichte vertraging geen gebrek is, maar een kenmerk van het ontwerp van de methode, dat prioriteit geeft aan een stabiele, nauwkeurige schatting boven de absoluut snelst mogbare trigger.

De studie onderzocht ook hoe de methode omgaat met tijdelijke problemen, zoals een piek in sterfgevallen van drie maanden die daarna weer normaliseert. Hier week het gedrag van de methoden significant af. De traditionele CUSUM-tool, die bewijs over de tijd accumuleert, hield het alarm actief nadat het probleem was opgelost, waardoor de eerdere piek effectief werd onthouden. De nieuwe STREAM-SMR-methode, die een "discontofactor" gebruikt om recente gegevens zwaarder te laten wegen dan oude gegevens, zorgde ervoor dat de schatting snel terugkeerde naar normaal zodra de piek eindigde. Voor een tijdelijke uitschieter was de nieuwe methode sneller in het detecteren van de verslechtering als deze optrad, hoewel zij in grote faciliteiten minder van deze episodes detecteerde vergeleken met de CUSUM. De onderzoekers voerden aan dat dit vaak het gewenste gedrag is in een registersetting, waarbij het doel is om de huidige staat van de zorg te begrijpen, in plaats van een ziekenhuis permanent te markeren voor een incident uit het verleden dat reeds is opgelost. Zij erkenden echter ook dat als het specifieke doel van een programma is om elk enkel episode van verslechtering te vangen en te beoordelen, ongeacht hoe kort, de traditionele accumulerende instrumenten nog steeds de voorkeur kunnen genieten.

Een belangrijke bevinding van de studie was de rol van een enkele afstemparameter, die de onderzoekers de discontofactor noemen. Deze instelling werkt als een draaiknop die controleert hoeveel gewicht de methode geeft aan recente gegevens versus historische gegevens. Door de knop meer te draaien naar gevoeligheid voor recente veranderingen, wordt de methode sneller in het detecteren van nieuwe problemen, maar kunnen de schattingen ook meer gaan springen. Door de knop meer te richten op stabiliteit, worden de schattingen vloeiender en betrouwbaarder, maar vertraagt dit de detectie van nieuwe verschuivingen. De onderzoekers toonden aan dat door deze enkele instelling aan te passen, ziekenhuisbeheerders de balans kunnen kiezen die het beste bij hun behoeften past. Voor hen die onmiddellijk willen weten of er iets mis is, werkt een gevoeligere instelling goed. Voor hen die een stabiel, langetermijnoverzicht van de prestaties voor rapportage nodig hebben, biedt een conservatievere instelling een duidelijker beeld.

De studie concludeerde dat de nieuwe methode succesvol de handeling van het monitoren op gevaar verenigt met de handeling van het schatten van prestaties. Het transformeert het proces van een eenvoudig alarmsysteem naar een gekalibreerd, sequentieel schattingsinstrument. De prijs voor deze toegevoegde helderheid is minimaal, namelijk een vertraging van maximaal één of twee maanden in het detecteren van een aanhoudende verslechtering in grote faciliteiten, en helemaal geen vertraging in kleine faciliteiten. De onderzoekers benadrukten dat dit een simulatiestudie is, wat betekent dat de resultaten gebaseerd zijn op computermodellen van hoe ziekenhuizen zich zouden kunnen gedragen, en niet op een nieuwe klinische studie in een echt ziekenhuis. Echter, de methode is al ongeveer zeven jaar in gebruik in een nationale intensive care-registratie, wat suggereert dat de theoretische voordelen in de praktijk standhouden. De studie beweert niet dat het probleem van de monitoring van ziekenhuiskwaliteit is opgelost, maar biedt een overtuigend alternatief voor hen die niet alleen willen weten wanneer ze zich zorgen moeten maken, maar precies waarover ze zich zorgen maken.