STREAM-SMR: Sequential Bayesian state-space monitoring of standardized mortality ratios - a simulation comparison with risk-adjusted CUSUM and EWMA

En el mundo de alto riesgo de los cuidados intensivos, los hospitales miden constantemente su desempeño contando cuántos pacientes sobreviven en comparación con cuántos se esperaba que sobrevivieran basándose en qué tan graves estaban cuando llegaron. Esta relación, conocida como la razón de mortalidad estandarizada, actúa como un signo vital de la calidad de la atención que brinda un centro. Durante décadas, la forma estándar de vigilar este número ha sido esperar hasta que termine un periodo de reporte, calcular el promedio y luego observar un gráfico para ver si el hospital está rindiendo peor de lo que debería. Este enfoque, sin embargo, sufre de un retraso frustrante; para cuando se detecta un problema, es posible que meses de atención ya se hayan visto comprometidos. Para solucionar esto, los estadísticos desarrollaron herramientas que vigilan los datos a medida que llegan, mes a mes, haciendo sonar una alarma en el momento en que una tendencia se vuelve peligrosa. Estas herramientas son excelentes para gritar "algo anda mal", pero son pésimas para explicar "qué tan mal" o "qué tan seguros estamos". Ofrecen una señal de advertencia sin el contexto necesario para comprender la gravedad de la situación.

Un nuevo enfoque, probado en un estudio de simulación reciente, intenta cerrar esta brebre combinando el sistema de alerta temprana con una estimación continua y en tiempo real del desempeño del hospital. Los investigadores, liderados por Kunihisa Ohno, desarrollaron un método llamado STREAM-SMR. En lugar de simplemente esperar a que se cruce un umbral, este método trata el desempeño del hospital como un estado vivo y respirante que cambia con el tiempo. Utiliza un marco matemático que actualiza su comprensión cada mes, incorporando nuevos datos de pacientes mientras recuerda el pasado, pero no demasiado. La idea central es producir una imagen constantemente actualizada de la razón de mortalidad, completa con una medida de certeza, mientras mantiene simultáneamente la vigilancia de cambios peligrosos. El estudio no pretendió que este nuevo método fuera una solución mágica que resuelva todos los problemas, sino que ofrece un compromiso práctico: un retraso muy pequeño en el sonido de una alarma a cambio de una visión clara e interpretable de lo que realmente está sucediendo.

Los investigadores pusieron a prueba este nuevo método contra las dos herramientas más comunes utilizadas actualmente en los hospitales: el CUSUM ajustado por riesgo y el EWMA ajustado por riesgo. Estas herramientas establecidas son como cables trampa sensibles; están diseñadas para detectar un empeoramiento repentino y sostenido en los resultados de los pacientes lo más rápido posible. El estudio simuló miles de escenarios a través de hospitales de diferentes tamaños, que iban desde unidades pequeñas con 50 admisiones anuales hasta grandes instalaciones con 800. Crearon diversas situaciones, incluyendo saltos repentinos en las tasas de mortalidad, derivas lentas a lo largo del tiempo y picos temporales que eventualmente se resolvían. Para asegurar una pelea justa, todos los métodos fueron calibrados para tener la misma probabilidad de dar una falsa alarma, aproximadamente un cinco por ciento durante un periodo de cinco años. Esto significó que cualquier diferencia en el desempeño se debió a cómo funcionaban los métodos, no porque uno estuviera configurado para ser más sensible que los otros.

Los resultados mostraron que el nuevo método, STREAM-SMR, funcionó notablemente bien en su objetivo principal: proporcionar una estimación clara y continua del desempeño del hospital. Cuando los investigadores observaron qué tan bien coincidían los intervalos de confianza del método con la realidad verdadera en la simulación, encontraron que las estimaciones eran altamente confiables. En cada escenario probado, el rango de incertidumbre declarado por el método contenía el valor real al menos el 91 por ciento de las veces. Esta es una característica crucial para los administradores de hospitales y clínicos, quienes necesitan saber no solo que existe un problema, sino qué tan grande es y qué tan seguros pueden estar de esa evaluación. A diferencia de las herramientas tradicionales, que simplemente parpadean una luz roja cuando se infringe un umbral, STREAM-SMR proporciona una trayectoria suave y filtrada de la razón de mortalidad, mostrando la dirección y la magnitud del cambio en cada paso.

En cuanto a la velocidad de detección, el estudio encontró que el nuevo método era casi tan rápido como las mejores herramientas existentes para detectar problemas sostenidos. En hospitales grandes, cuando la tasa de mortalidad saltó a un nivel peligroso, la herramienta CUSUM tradicional detectó el cambio en una mediana de cinco meses. El nuevo método STREAM-SMR lo detectó en seis meses. En hospitales medianos, ambos métodos tardaron unos 14 meses en hacer sonar la alarma. En hospitales pequeños, donde los datos escasean y las tendencias son más difíciles de detectar, el nuevo método detectó el cambio ligeramente más rápido, en 20 meses en comparación con los 22 meses del CUSUM. Los investigadores señalaron que esta diferencia de uno a dos meses en el tiempo de detección para las grandes instalaciones es un precio pequeño a pagar por la capacidad de ver las cifras reales de desempeño y su incertidumbre en tiempo real. El estudio enfatizó que este ligero retraso no es un defecto, sino una característica del diseño del método, que prioriza una estimación estable y precisa sobre el disparador más rápido posible.

El estudio también exploró cómo el método maneja los problemas temporales, como un pico de tres meses en las muertes que luego regresa a la normalidad. Aquí, el comportamiento de los métodos divergió significamente. La herramienta CUSUM tradicional, que acumula evidencia a lo largo del tiempo, mantenía la alarma activa incluso después de que el problema se había resuelto, recordando efectivamente el pico pasado. El nuevo método STREAM-SMR, que utiliza un "factor de descuento" para dar más peso a los datos recientes que a los antiguos, permitió que la estimación regresara a la normalidad rápidamente una vez que el pico terminó. Para un bache temporal, el nuevo método fue más rápido para detectar el deterioro si este ocurría, aunque detectó menos de estos episodios en total en las grandes instalaciones en comparación con el CUSUM. Los investigadores argumentaron que este es a menudo el comportamiento deseado en un entorno de registro, donde el objetivo es comprender el estado actual de la atención, en lugar de marcar permanentemente a un hospital por un incidente pasado y resuelto. Sin embargo, reconocieron que si el objetivo específico de un programa es captar y revisar cada episodio de deterioro, por corto que sea, las herramientas de acumulación tradicionales podrían seguir siendo preferibles.

Un hallazgo clave del estudio fue el papel de un único parámetro de ajuste, que los investigadores llaman factor de descuento. Esta configuración actúa como un dial que controla cuánto peso le da el método a los datos recientes frente a los datos históricos. Girar el dial para ser más sensible a los cambios recientes hace que el método sea más rápido para detectar nuevos problemas, pero puede hacer que las estimaciones salten más. Girar el dial para ser más estable hace que las estimaciones sean más suaves y confiables, pero ralentiza la detección de nuevos cambios. Los investigadores demostraron que, al ajustar este único parámetro, los administradores de hospitales pueden elegir el equilibrio que mejor se adapte a sus necesidades. Para aquellos que necesitan saber inmediatamente si algo anda mal, una configuración más sensible funciona bien. Para aquellos que necesitan una visión estable y a largo plazo del desempeño para reportes, una configuración más conservadora proporciona una imagen más clara.

El estudio concluyó que el nuevo método unifica con éxito el acto de monitorear el peligro con el acto de estimar el desempeño. Transforma el proceso de un simple sistema de alarma en una herramienta de estimación secuencial y calibrada. El costo de esta claridad añadida es mínimo, ascendiendo a un retraso de máximo uno o dos meses en la detección de un empeoramiento sostenido en grandes instalaciones, y ningún retraso en las pequeñas. Los investigadores enfatizaron que esto es un estudio de simulación, lo que significa que los resultados se basan en modelos computacionales de cómo podrían comportarse los hospitales, no en un nuevo ensayo clínico en un hospital real. Sin embargo, el método ya ha estado en uso durante unos siete años en un registro nacional de cuidados intensivos, lo que sugiere que las ventajas teóricas se mantienen en la práctica. El estudio no pretende haber resuelto el problema del monitoreo de la calidad hospitalaria, sino que ofrece una alternativa convincente para aquellos que necesitan saber no solo cuándo preocuparse, sino exactamente qué es lo que les preocupa.