Comparative Evaluation of Machine Learning Models for Heart Disease Prediction: Performance, Calibration, Threshold Selection, and Explainability

As doenças cardíacas continuam sendo a principal causa de morte no mundo, ceifando milhões de vidas anualmente, com um fardo desproporcional recaindo sobre as nações de baixa e média renda. Na era moderna, médicos e pesquisadores recorrem cada vez mais ao aprendizado de máquina para detectar os padrões sutis nos dados dos pacientes que sinalizam o aumento do risco antes que ocorra uma crise. Esses programas de computador atuam como ferramentas poderosas para filtrar históricos médicos complexos, buscando conexões entre fatores como idade, pressão arterial e níveis de colesterol para prever quem pode desenvolver doenças cardíacas. No entanto, embora essas ferramentas mostrem grande promessa, seu valor no mundo real depende inteiramente de como são testadas. Um modelo que apresenta bom desempenho em um grupo pequeno e específico de pacientes pode falhar completamente quando aplicado a uma população diferente. Para ser verdadeiramente útil, uma ferramenta de previsão deve não apenas acertar com frequência suficiente, mas também fornecer probabilidades confiáveis e funcionar de forma consistente entre diferentes tipos de pessoas.

Uma equipe de pesquisadores de universidades de Uganda e Victoria propôs-se a testar cinco abordagens diferentes de aprendizado de máquina usando uma coleção bem conhecida de registros de saúde cardíaca. O objetivo deles não era apenas encontrar o programa de computador individual mais preciso, mas entender como esses programas se comportam, como tomam suas decisões e se permanecem confiáveis quando os dados mudam ligeiramente. Eles trabalharam com um conjunto de dados contendo 303 registros de pacientes, cada um descrevendo a idade, pressão arterial, colesterol, frequência cardíaca e resultados de testes cardíacos específicos de uma pessoa. Os pesquisadores dividiram esses dados em dois grupos: um grupo maior para ensinar os programas de computador o que procurar, e um grupo menor e separado para testar o quão bem os programas performaram em pacientes que eles nunca haviam visto antes. Eles garantiram que a divisão fosse justa, mantendo a mesma proporção de pacientes doentes e saudáveis em ambos os grupos.

Após treinar os cinco modelos diferentes, os pesquisadores descobriram que um método chamado regressão logística emergiu como o desempenho mais equilibrado e confiável. Essa abordagem identificou corretamente a doença cardíaca em cerca de 85 de cada 100 pacientes no grupo de teste. Mais importante ainda, ela o fez com um alto grau de precisão, o que significa que raramente rotulava pessoas saudáveis como doentes, e também foi muito boa em capturar casos reais da doença. Enquanto outros modelos, como florestas aleatórias (random forests) e árvores de decisão, mostraram promessa, eles ou cometiam mais erros ao identificar pacientes doentes ou tinham dificuldade em distingui-los de pessoas saudáveis de forma tão eficaz. Um modelo, conhecido como Bayes, foi excelente em encontrar pacientes doentes, mas era ansioso demais para soar o alarme, rotulando incorretamente muitas pessoas saudáveis como tendo doença cardíaca. O modelo de regressão logística destacou-se porque ofereceu a melhor combinação geral de captura da doença e prevenção de alarmes falsos.

O estudo também observou de perto como esses modelos tomam suas decisões finais de sim ou não. Por padrão, muitos programas de computador decidem que um paciente está doente se sua pontuação de risco calculada for superior a 50 por cento. Os pesquisadores testaram se alterar esse ponto de corte para um número ligeiramente superior melhoraria os resultados. Eles descobriram que elevar o limite não tornou o modelo mais preciso no geral; apenas deslocou o equilíbrio. Tornou o modelo ligeiramente melhor em evitar alarmes falsos, mas ligeiramente pior em capturar casos reais. Isso sugere que, para este conjunto de dados específico, a configuração padrão já estava bastante bem ajustada, e simplesmente ajustar os números não resolveu as limitações subjacentes dos dados.

Além da precisão bruta, os pesquisadores examinaram em quais fatores os modelos se baseavam mais para fazer suas previsões. Ao embaralhar sistematicamente os dados para ver quais partes eram mais críticas, descobriram que o número de vasos sanguíneos principais visíveis em uma angiografia, o tipo específico de dor no peito relatada pelo paciente e os resultados de um teste de estresse de tálio foram os preditores mais poderosos. Essas descobertas alinham-se com o conhecimento médico estabelecido, confirmando que os modelos de computador estavam aprendendo com os sinais clinicamente mais relevantes em vez de ruído aleatório. O estudo também explorou como os modelos performaram através de diferentes grupos, observando que o sistema funcionou ligeiramente melhor para mulheres do que para homens e mostrou padrões diferentes entre grupos de idade, embora o pequeno número de pacientes em algumas categorias tenha tornado essas observações preliminares.

Uma parte crucial da pesquisa envolveu testar como os modelos se comportariam se fossem treinados com mais dados. Os pesquisadores simularam isso aumentando gradualmente a quantidade de informação que os modelos recebiam durante o treinamento. Eles observaram que, à medida que o conjunto de treinamento crescia, os modelos tornavam-se mais consistentes e confiáveis, sugerindo que o desempenho atual era limitado pelo tamanho pequeno dos dados disponíveis, e não por uma falha nos algoritmos em si. O estudo conclui que, embora a regressão logística seja a ferramenta mais forte entre as testadas para este conjunto de dados específico, os resultados não podem ser aplicados imediatamente a todas as populações. Os dados utilizados vieram de uma coleção histórica específica e não representam as diversas populações de pacientes encontradas na África subsaariana ou em outras regiões. Antes que essas ferramentas possam ser usadas para guiar decisões clínicas para novos grupos de pessoas, elas devem ser testadas em conjuntos de dados maiores e independentes que reflitam a diversidade do mundo real dos pacientes. Até lá, essas descobertas servem como um benchmark rigoroso, mostrando que a avaliação cuidadosa e a transparência são tão importantes quanto os números de precisão em si.