External validation reveals poor calibration despite preserved discrimination for a vasopressin treatment-signal prediction model across ICU databases

No ambiente de alta pressão de uma unidade de terapia intensiva, os pacientes frequentemente chegam com a pressão arterial tão baixa que seus corpos não conseguem bombear sangue suficiente para os órgãos vitais. Para mantê-los vivos, os médicos administram drogas poderosas chamadas vasopressores para contrair os vasos sanguíneos e elevar a pressão. Às vezes, o primeiro medicamento não é suficiente, e a equipe médica deve adicionar um segundo, como a vasopressina, para manter o paciente estável. Prever quando um paciente precisará desse segundo medicamento é um desafio complexo. Não se trata apenas da biologia do paciente; trata-se também de como diferentes hospitais registram suas ações, quais medicamentos eles têm à disposição e quando decidem escalar o cuidado. Pesquisadores há muito esperam construir modelos computacionais que possam observar os dados atuais de um paciente — como sua frequência cardíaca, química sanguínea e doses atuais de medicação — e prever com certeza quando um novo medicamento seria administrado. Se tal modelo funcionasse peramente, ele poderia alertar os médicos para revisarem o caso de um paciente mais cedo, potencialmente prevenindo uma crise antes que ela aconteça.

Uma equipe de pesquisadores partiu para testar um modelo de previsão específico projetado para detectar o sinal de que um paciente está prestes a receber vasopressina. Eles construíram seu modelo usando dados de um único e grande hospital acadêmico nos Estados Unidos, analisando milhares de registros de pacientes para encontrar padrões que precederam a administração da droga. O modelo foi treinado para observar quinze informações diferentes, como a dose atual do primeiro medicamento, frequência cardíaca e níveis de certas substâncias no sangue. O objetivo era criar uma ferramenta que pudesse dizer a um médico: "Este paciente tem alto risco de precisar de vasopressina nas próximas 24 horas". Para ver se essa ferramenta era verdadeiramente útil, os pesquisadores não a testaram apenas nos dados do mesmo hospital onde foi construída. Eles pegaram exatamente o mesmo modelo, sem mudar um único número, e o aplicaram a um conjunto de dados completamente diferente de uma rede de dezenas de hospitais por todo o país. Este é o teste definitivo para qualquer ferramenta de previsão médica: ela consegue funcionar em um novo lugar, com diferentes pacientes e diferentes médicos, ou funciona apenas no ambiente específico onde foi criada?

Os resultados deste teste revelaram uma distinção crucial e um tanto surpreendente. Quando o modelo observou o novo grupo de pacientes, ele ainda era muito bom em classificá-los. Se você alinhasse todos os pacientes do menor risco para o maior risco, o modelo posicionava corretamente os pacientes que realmente receberam a droga no topo da lista. Em termos estatísticos, o modelo preservou sua capacidade de distinguir entre aqueles que receberiam a droga e aqueles que não receberiam. No entanto, o modelo falhou completamente em dizer a verdade sobre os números reais. No hospital original, o modelo previa que cerca de 14 por cento dos pacientes precisariam da droga, e isso correspondia à realidade. Mas, ao ser aplicado aos novos hospitais, o modelo previa que 16 por cento dos pacientes precisariam dela, enquanto na realidade, apenas 9 por cento de fato precisaram. O modelo estava consistentemente superestimando o risco. Era como uma previsão do tempo que previa corretamente que choveria nos dias em que de fato choveu, mas dizia que havia 90 por cento de chance de chuva em dias em que apenas 3ima chance de 30 por cento existia.

Essa incompatibilidade entre classificação e probabilidade real é um achado significativo porque altera a forma como a ferramenta pode ser usada. Os pesquisadores descobriram que as previsões do modelo não estavam apenas ligeiramente erradas; elas estavam distorcidas de uma forma que tornava os números não confiáveis para a tomada de decisões médicas diretas. Nos novos hospitais, as previsões do modelo estavam muito espalhadas, o que significa que o modelo era excessivamente confiante em relação aos extremos. Ele pensava que alguns pacientes certamente receberiam a droga e outros certamente não a receberiam, quando a realidade era muito mais moderada. Mesmo quando os pesquisadores tentaram ajustar o modelo simplesmente deslocando a média das previsões para cima ou para baixo para coincidir com a nova realidade, isso não resolveu o problema. A forma das previsões continuou errada. Isso sugere que a maneira como diferentes hospitais documentam seu cuidado, ou os limiares específicos que utilizam para decidir quando administrar uma droga, são tão diferentes que um único modelo não pode ser simplesmente copiado e colado de um lugar para outro.

O estudo também observou se o modelo poderia ser melhorado aprendendo com os novos dados. Eles testaram um método onde o modelo receberia uma pequena quantidade de novas informações dos hospitais locais para ajustar suas configurações internas. Eles descobriram que, mesmo com esse aprendizado local, o modelo tinha dificuldade em se adaptar perfeitamente, especialmente ao observar hospitais individuais em vez do grupo como um todo. Na verdade, muitos dos hospitais individuais na nova rede tinham muito poucos pacientes que receberam a droga, tornando estatisticamente impossível construir uma versão personalizada e confiável para cada um deles. Os pesquisadores concluíram que, embora o modelo possa servir como uma ferramenta de classificação útil para ajudar os médicos a priorizarem quais pacientes revisar primeiro, ele não pode ser usado para dar uma porcentagem específica de chance de um paciente precisar da droga. Ele não pode dizer a um médico, "Há uma chance de 40 por cento de este paciente precisar de vasopressina", porque esse número provavelmente estaria errado.

Em última análise, esta pesquisa destaca um limite fundamental no uso de prontuários eletrônicos para prever tratamentos médicos. O desfecho que o modelo tentava prever não era um evento biológico como um ataque cardíaco, mas uma decisão humana registrada em um sistema de computador. Como essa decisão depende de hábitos locais, medicamentos disponíveis e estilos de documentação, o "sinal" que o modelo detecta é uma mistura de fisiologia do paciente e cultura hospitalar. O modelo aprendeu a cultura do primeiro hospital tão bem que não conseguiu separar a cultura da biologia do paciente quando se mudou para um novo lugar. Os pesquisadores enfatizam que esta ferramenta não deve ser usada para iniciar automaticamente o tratamento ou para fazer afirmações definitivas sobre o futuro de um paciente. Em vez disso, ela pode ser útil em um "modo silencioso", onde sinaliza discretamente pacientes de alto risco para que um médico humano os revise, desde que a equipe local primeiro verifique e ajuste os números para se adequarem à realidade de seu próprio hospital. O estudo serve como um lembrete de que, na medicina, um modelo que funciona em um lugar não é garantido que funcionará em outro, e que entender a diferença entre classificar pacientes e prever seu risco exato é essencial para um cuidado seguro e eficaz.