A Reproducible Framework for Auditing the Trustworthiness of Clinical Machine Learning Models

No hospital moderno, uma revolução silenciosa está em curso. Computadores estão aprendendo a ler prontuários de pacientes, detectando padrões em pressão arterial, idade e estilo de vida que médicos humanos poderiam perder, e usando esses padrões para prever quem está em risco de um ataque cardíaco ou outra doença grave. Este campo, conhecido como aprendizado de máquina clínico, carrega a promessa de salvar vidas ao detectar o perigo precocemente. Mas há um problema. Um programa de computador que aprende a prever doenças cardíacas em uma cidade pode falhar completamente quando é movido para uma cidade diferente com uma população diferente. Isso acontece porque as pessoas na segunda cidade podem ser mais velhas, comer alimentos diferentes ou ter seus registros médicos escritos de uma forma ligeiramente distinta. Quando o computador encontra essas diferenças, suas previsões podem se tornar pouco confiáveis, não apenas em termos de estar certo ou errado, mas na confiança que expressa. Se um modelo diz que um paciente tem uma chance de setenta e cinco por cento de um evento, mas a chance real é de apenas trinta e cinco por cento, um médico pode solicitar testes invasivos desnecessários ou, pior, perder um perigo real. Para que essas ferramentas sejam seguras, elas precisam ser dignas de confiança, o que significa que devem ser não apenas precisas, mas também honestas sobre sua própria incerteza e consistentes em como explicam seu raciocínio.

Uma pesquisadora chamada Tanya Deep construiu um novo sistema para testar exatamente esse tipo de confiabilidade. Ela criou um framework chamado AETHEL, um conjunto de ferramentas automatizadas projetadas para auditar modelos de aprendizado de máquina clínico antes que sejam sequer usados em pacientes reais. Em vez de apenas verificar se um modelo obtém a resposta correta, o AETHEL atua como um inspetor de segurança rigoroso, verificando três coisas específicas: quão bem as estimativas de probabilidade do modelo correspondem à realidade, quão estável permanece seu raciocínio quando os dados mudam e se seu conselho realmente ajuda os médicos a tomarem decisões melhores. Para testar este sistema, Deep treinou vários modelos de computador diferentes em uma coorte sintética de 1.000 pacientes e, em seguida, tentou usar esses mesmos modelos em dados reais do famoso Framingham Heart Study (a coorte alvo) e do National Health and Nutrition Examination Survey (a referência de mudança de domínio). O objetivo era ver o que acontece quando um modelo treinado em um ambiente é forçado a operar em outro, uma situação conhecida como mudança de domínio (domain shift).

Os resultados desta auditoria revelaram um problema significativo na forma como esses modelos são atualmente validados. Quando os modelos foram movidos dos dados de treinamento para os novos dados do mundo real, sua capacidade de prever corretamente caiu, mas, mais importante, sua confiança tornou-se perigosamente desalinhada. Um modelo pode ainda identificar os pacientes corretos, mas atribuiria a eles as porcentagens de risco erradas. Por exemplo, um modelo que estava bem calibrado em sua fase de treinamento tornou-se descalibrado ao ser transferido, o que significa que seus escores de risco não correspondiam mais à probabilidade real de um evento. Deep descobriu que, embora os modelos pudessem ser corrigidos usando ajustes matemáticos padrão para realinhar sua confiança, um problema mais sutil permanecia. Mesmo após corrigir os números, a força do raciocínio do modelo começou a mudar. Embora os modelos identificassem consistentemente os mesmos três fatores principais — idade, IMC e tabagismo — como os mais importantes, o peso específico e a correlação desses fatores mudavam entre os contextos. Nos dados de treinamento, o modelo poderia depender fortemente da idade e do tabagismo para tomar uma decisão, mas nos novos dados, a relação entre esses fatores e o desfecho sofreu um desvio. Esse desvio no raciocínio é perigoso porque os médicos dependem dessas explicações para entender por que o computador está sinalizando um paciente. Se a lógica muda sem aviso, o médico não pode confiar no conselho.

Para medir essa instabilidade oculta, Deep introduziu novas maneiras de contar o quanto o raciocínio de um modelo muda. Ela desenvolveu métricas que comparam a lista dos fatores mais importantes que um modelo utiliza em um cenário contra a lista que ele utiliza em outro. Os testes mostraram que, embora alguns modelos, como equações lineares simples, mantivessem seu raciocínio razoavelmente consistente, modelos mais complexos frequentemente alteravam a força de sua dependência de fatores-chave quando os dados mudavam. Essa descoberta desafia a prática comum de assumir que, se um modelo funciona bem em um lugar, ele funcionará da mesma forma em outro. O estudo demonstrou que verificar apenas a precisão não é suficiente; deve-se também verificar se a lógica interna do modelo se mantém quando o ambiente muda.

O framework também analisou o valor prático dessas previsões para um médico parado ao lado do leito de um paciente. Usando um método chamado análise de curva de decisão, o estudo traduziu benefícios estatísticos abstratos em números concretos que um clínico possa entender. Em vez de apenas dizer que um modelo melhora os resultados, o sistema gerou gráficos visuais mostrando exatamente quantos pacientes, de cada mil, seriam corretamente identificados para tratamento versus quantos seriam tratados desnecessariamente. Os resultados mostraram que, quando os modelos eram devidamente calibrados, eles forneciam um benefício claro sobre o simples ato de tratar todos ou não tratar ninguém. No entanto, esse benefício desaparecia se o modelo não fosse recalibrado para a nova população. O estudo concluiu que, para o aprendizado de máquina ser seguro em um hospital, ele não pode ser uma ferramenta de "configurar e esquecer". Ele requer uma auditoria contínua e automatizada que verifique não apenas a pontuação final, mas a calibração de sua confiança, a estabilidade de seu raciocínio e o impacto no mundo real de seus conselhos. Ao lançar este framework como software de código aberto, a pesquisadora forneceu uma maneira para que outros verifiquem essas verificações de segurança por conta própria, garantindo que a promessa da inteligência artificial na medicina não ultrapasse sua segurança.