Beyond AUROC: External Validation, Calibration, and Explainability of Machine Learning Models for 30-Day Hospital Readmission Using Electronic Health Records—A Rapid Systematic Review

Todos os anos, milhões de pacientes deixam um hospital apenas para retornar em um mês, muitas vezes porque sua recuperação estagnou ou seu plano de cuidados falhou. Esse ciclo de readmissão é um grande fardo para os sistemas de saúde, elevando os custos e sinalizando que algo deu errado na transição do hospital para o domicílio. Para interromper isso, os hospitais recorreram ao aprendizado de máquina, um ramo da ciência da computação onde o software aprende a encontrar padrões em vastas quantidades de dados. Ao alimentar esses programas com registros eletrônicos de saúde — arquivos digitais contendo resultados de exames laboratoriais, listas de medicamentos e notas médicas — pesquisadores esperam construir ferramentas que possam identificar os pacientes com maior probabilidade de retornar e enviar ajuda extra antes que eles saiam. Por anos, a comunidade científica julgou essas ferramentas por um único número: uma pontuação que mede o quão bem o modelo classifica os pacientes do menor risco para o maior risco. Se um modelo consegue dizer corretamente que "este paciente é mais arriscado que aquele", ele recebe uma pontuação alta, e isso foi o suficiente para declará-lo um sucesso.

No entanto, uma nova análise sugere que esse único número conta apenas metade da história. Uma revisão sistemática rápida conduzida por pesquisadores da Universidade de Engenharia e Tecnologia de Chittagong examinou 156 estudos publicados entre 2020 e 2026 que utilizaram aprendizado de máquina para prever readmissões hospitalares de 30 dias. A equipe descobriu que, embora esses modelos pareçam impressionantes no papel, eles frequentemente falham em provar que funcionarão no mundo real. Os pesquisadores descobriram que quase todos os estudos basearam-se em testes internos, onde o modelo é verificado contra dados do mesmo hospital que o criou. Muito poucos estudos testaram se o modelo funcionaria em um hospital diferente ou com dados de um período posterior. Além disso, os estudos raramente verificaram se as porcentagens de risco que os modelos produziam eram realmente precisas, ou se as razões pelas quais os modelos davam suas previsões faziam sentido para médicos humanos. A revisão conclui que o campo avançou rápido demais na adoção de recursos chamativos enquanto negligenciava as verificações básicas necessárias para garantir que essas ferramentas sejam seguras e confiáveis para os pacientes.

O problema central identificado é que um modelo pode ser bom em classificar pacientes sem ser bom em prever resultados reais. Imagine um aplicativo de clima que diz corretamente que a terça-feira tem mais probabilidade de chuva do que a segunda-feira, mas falha ao não dizer que a chance de chuva é zero por cento em ambos os dias. No contexto de readmissões hospitalares, essa distinção é crítica. Os hospitais precisam saber a probabilidade real de um paciente retornar para que possam decidir como alocar recursos. Se um modelo prevê uma chance de 90 por cento de readmissão para um paciente que tem apenas 10 por cento de chance, o hospital pode desperdiçar serviços de cuidados de transição escassos nesse paciente enquanto perde outros que realmente precisam deles. A revisão descobriu que, embora 85 por cento dos estudos tenham relatado a pontuação de classificação, apenas cerca de 15 por cento mencionaram verificar se suas previsões correspondiam à realidade, e apenas um estudo utilizou uma métrica específica projetada para medir essa precisão.

Além da precisão, os pesquisadores observaram se esses modelos poderiam viajar. Um modelo construído com dados de um grande hospital universitário urbano em uma cidade pode falhar completamente quando aplicado a uma clínica rural em outro estado, simplesmente porque as populações de pacientes e as práticas médicas são diferentes. Isso é conhecido como validação externa. A revisão descobriu que apenas 12 por cento dos estudos testaram seus modelos em um novo ambiente ou em um momento posterior. Quando os poucos estudos que realizaram esses testes compartilharam seus resultados, os modelos quase sempre tiveram um desempenho inferior no novo ambiente. Em cinco casos onde pesquisadores compararam o desempenho do modelo em seu hospital de origem versus um novo, a capacidade de classificar corretamente os pacientes caiu em todas as instâncias. Isso sugere que muitos modelos estão sobreajustados (overfitted) aos seus dados locais específicos, capturando peculiaridades de um hospital em vez de sinais universais de risco.

Outra grande lacuna na pesquisa é a explicabilidade. À medida que os modelos de aprendizado de máquina se tornaram mais complexos, os pesquisadores começaram a usar ferramentas para explicar por que um modelo fez uma previsão específica, frequentemente destacando quais fatores, como pressão alta ou um medicamento específico, contribuíram mais para a pontuação de risco. A revisão observou que o uso dessas ferramentas de explicação aumentou drasticamente, saltando de menos de 6 por cento dos estudos nos primeiros anos do período da revisão para quase 30 por cento nos anos mais recentes. No entanto, os pesquisadores descobriram que, embora os estudos fossem rápidos em mostrar essas explicações, eles quase nunca testavam se as explicações eram realmente corretas ou estáveis. Um modelo pode apontar um valor laboratorial específico como a razão para um alto risco, mas se essa razão mudar aleatoriamente quando os dados são levemente alterados, a explicação não é confiável. A revisão não encontrou resumos que avaliassem se as explicações fornecidas eram confiáveis ou se os médicos as consideravam úteis.

O estudo também examinou se esses modelos tratavam diferentes grupos de pessoas de forma justa. As taxas de readmissão podem ser influenciadas por fatores fora da pura biologia, como o acesso ao transporte ou a capacidade de pagar por medicamentos. Se um modelo aprende com dados históricos que refletem essas desigualdades, ele pode rotular injustamente certos grupos como de alto risco simplesmente porque têm menos acesso ao cuidado, e não porque estão medicamente mais doentes. A revisão descobriu que apenas uma pequena fração dos estudos, cerca de 4,5 por cento, verificou essas disparidades entre diferentes grupos de pessoas com base em raça, gênero ou idade. Essa falta de escrutínio significa que os hospitais poderiam, inadvertidamente, implementar ferramentas que reforçam as desigualdades existentes no sistema de saúde.

Os pesquisadores concluíram que o campo está priorizando as coisas erradas. O rápido aumento no uso de ferramentas de explicação complexas superou a adoção de verificações de segurança fundamentais, como testar modelos em novos locais ou verificar sua precisão. Os autores argumentam que, antes que esses modelos sejam usados para tomar decisões reais sobre o cuidado ao paciente, eles devem passar por um conjunto mínimo de padrões. Esses padrões incluem testar o modelo em dados de um hospital ou período diferente, verificar se os riscos previstos correspondem aos resultados reais e garantir que o modelo não discrimine grupos específicos. A revisão sugere que o próximo avanço neste campo não virá da invenção de algoritmos mais complexos, mas de fazer um trabalho melhor em provar que as ferramentas que já possuímos são seguras, precisas e justas para todos.