STREAM-SMR: Sequential Bayesian state-space monitoring of standardized mortality ratios - a simulation comparison with risk-adjusted CUSUM and EWMA

No mundo de alto risco dos cuidados intensivos, os hospitais medem constantemente o seu desempenho contando quantos pacientes sobreviveram em comparação com quantos era esperado que sobrevivessem com base no quão doentes estavam quando chegaram. Esta razão, conhecida como razão de mortalidade padronizada, atua como um sinal vital para a qualidade do cuidado que uma instalação presta. Durante décadas, a forma padrão de monitorar este número tem sido esperar até que um período de relatório termine, calcular a média e, então, observar um gráfico para ver se o hospital está a ter um desempenho pior do que deveria. Esta abordagem, no entanto, sofre de um atraso frustrante; quando um problema é detectado, meses de cuidados já podem ter sido comprometidos. Para corrigir isso, estatísticos desenvolveram ferramentas que monitoram os dados à medida que chegam, mês a mês, disparando um alarme no momento em que uma tendência se torna perigosa. Estas ferramentas são excelentes em gritar "algo está errado", mas são péssimas em explicar "o quão errado" ou "o quão certas estamos". Elas oferecem um sinal de aviso sem o contexto necessário para compreender a gravidade da situação.

Uma nova abordagem, testada num estudo de simulação recente, tenta preencher esta lacuna combinando o sistema de alerta precoce com uma estimativa contínua e em tempo real do desempenho do hospital. Os investigadores, liderados por Kunihisa Ohno, desenvolveram um método chamado STREAM-SMR. Em vez de apenas esperar que um limite seja ultrapassado, este método trata o desempenho do hospital como um estado vivo e pulsante que muda ao longo do tempo. Utiliza uma estrutura matemática que atualiza a sua compreensão a cada mês, incorporando novos dados de pacientes enquanto recorda o passado, mas não excessivamente. A ideia central é produzir uma imagem constantemente atualizada da razão de mortalidade, completa com uma medida de certeza, enquanto simultaneamente vigia mudanças perigosas. O estudo não afirmou que este novo método é uma solução mágica que resolve todos os problemas, mas sim que oferece um compromisso prático: um atraso muito pequeno em soar um alarme em troca de uma visão clara e interpretável do que realmente está a acontecer.

Os investigadores testaram este novo método contra as duas ferramentas mais comuns atualmente utilizadas nos hospitais: o CUSUM ajustado ao risco e o EWMA ajustado ao risco. Estas ferramentas estabelecidas são como gatilhos sensíveis; são desenhadas para detetar um agravamento súbito e sustentado nos resultados dos pacientes o mais rapidamente possível. O estudo simulou milhares de cenários em hospitais de diferentes tamanhos, variando de pequenas unidades com 50 admissões anuais a grandes instalações com 800. Criaram várias situações, incluindo saltos súbitos nas taxas de mortalidade, derivações lentas ao longo do tempo e picos temporários que eventualmente se resolveram. Para garantir uma competição justa, todos os métodos foram calibrados para terem a mesma chance de levantar um alarme falso, aproximadamente cinco por cento num período de cinco anos. Isto significou que quaisquer diferenças de desempenho se deveram à forma como os métodos funcionavam, e não porque um estava configurado para ser mais sensível do que os outros.

Os resultados mostraram que o novo método, o STREAM-SMR, desempenhou-se de forma notável no seu objetivo principal: fornecer uma estimativa clara e contínua do desempenho do hospital. Quando os investigadores observaram quão bem os intervalos de confiança do método correspondiam à realidade verdadeira na simulação, descobriram que as estimativas eram altamente fiáveis. Em todos os cenários testados, o intervalo de incerteza declarado continha o valor verdadeiro pelo menos 91 por cento das vezes. Esta é uma característica crucial para administradores hospitalares e clínicos, que precisam saber não apenas que existe um problema, mas quão grande ele é e quão certos podem estar dessa avaliação. Ao contrário das ferramentas tradicionais, que simplesmente piscam uma luz vermelha quando um limite é ultrapassado, o STREAM-SMR fornece uma trajetória suave e filtrada da razão de mortalidade, mostrando a direção e a magnitude da mudança em cada etapa.

No que diz respeito à velocidade de deteção, o estudo descobriu que o novo método era quase tão rápido quanto as melhores ferramentas existentes para detetar problemas sustentados. Em hospitais grandes, quando a taxa de mortalidade saltou para um nível perigoso, a ferramenta tradicional CUSUM detetou a mudança numa mediana de cinco meses. O novo método STREAM-SMR detetou-a em seis meses. Em hospitais de médio porte, ambos os métodos levaram cerca de 14 meses para soar o alarme. Em hospitais pequenos, onde os dados são escassos e as tendências são mais difíceis de detetar, o novo método detetou a mudança ligeiramente mais rápido, em 20 meses comparativamente aos 22 meses do CUSUM. Os investigadores notaram que esta diferença de um a dois meses no tempo de deteção para grandes instalações é um preço pequeno a pagar pela capacidade de ver os números reais de desempenho e a sua incerteza em tempo real. O estudo enfatizou que este ligeiro atraso não é uma falha, mas sim uma característica do design do método, que prioriza uma estimativa estável e precisa sobre o gatilho absolutamente mais rápido.

O estudo também explorou como o método lida com problemas temporários, tais como um pico de três meses em mortes que depois regressa ao normal. Aqui, o comportamento dos métodos diverge significamente. A ferramenta tradicional CUSUM, que acumula evidências ao longo do tempo, manteve o alarme ativo mesmo após o problema ter sido resolvido, efetivamente recordando o pico passado. O novo método STREAM-SMR, que utiliza um "fator de desconto" para dar mais peso aos dados recentes do que aos dados antigos, permitiu que a estimativa regressasse ao normal rapidamente assim que o pico terminou. Para um breve surto, o novo método foi mais rápido a detetar a deterioração se esta ocorresse, embora tenha detetado menos episódios destes no total em instalações grandes comparativamente ao CUSUM. Os investigadores argumentaram que este é frequentemente o comportamento desejado num ambiente de registo, onde o objetivo é compreender o estado atual do cuidado, em vez de sinalizar permanentemente um hospital por um incidente passado e resolvido. No entanto, reconheceram que, se o objetivo específico de um programa for capturar e rever cada episódio de deterioração, por mais curto que seja, as ferramentas de acumulação tradicionais podem ainda ser preferíveis.

Uma descoberta fundamental do estudo foi o papel de um único parâmetro de ajuste, que os investigadores chamam de fator de desconto. Esta configuração atua como um botão que controla quanto peso o método dá aos dados recentes versus aos dados históricos. Girar o botão para ser mais sensível às mudanças recentes torna o método mais rápido a detetar novos problemas, mas pode fazer com que as estimativas oscilem mais. Girar para ser mais estável torna as estimativas mais suaves e fiáveis, mas abranda a deteção de novas mudanças. Os investigadores demonstraram que, ao ajustar este único parâmetro, os administradores hospitalares podem escolher o equilíbrio que melhor se adapta às suas necessidades. Para aqueles que precisam de saber imediatamente se algo está errado, uma configuração mais sensível funciona bem. Para aqueles que precisam de uma visão estável e de longo prazo do desempenho para fins de relatório, uma configuração mais conservadora proporciona uma imagem mais clara.

O estudo concluiu que o novo método unifica com sucesso o ato de monitorar o perigo com o ato de estimar o desempenho. Transforma o processo de um simples sistema de alarme num instrumento de estimativa sequencial calibrado. O custo desta clareza adicional é mínimo, consistindo num atraso de, no máximo, um ou dois meses na deteção de um agravamento sustentado em grandes instalações, e nenhum atraso em pequenas. Os investigadores sublinharam que este é um estudo de simulação, o que significa que os resultados se baseiam em modelos computacionais de como os hospitais podem se comportar, e não num novo ensaio clínico num hospital real. No entanto, o método já está em uso há cerca de sete anos num registo nacional de cuidados intensivos, sugerindo que as vantagens teóricas se mantêm na prática. O estudo não afirma ter resolvido o problema da monitorização da qualidade hospitalar, mas oferece uma alternativa convincente para aqueles que precisam saber não apenas quando se preocupar, mas exatamente com o que se estão a preocupar.