Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

No mundo da tecnologia médica, o aprendizado de máquina prometeu um futuro onde computadores poderiam identificar doenças como o diabetes apenas lendo uma lista de sintomas. A ideia é poderosa: um paciente descreve seus sentimentos — sede, fadiga, visão embaçada — e um algoritmo calcula instantaneamente seu risco, potencialmente detectando a doença antes que ela cause danos irreversíveis. Para construir esses médicos digitais, os cientistas dependem de coleções massivas de dados, onde milhares de registros passados de pacientes são usados para ensinar ao computador a aparência de uma pessoa doente versus uma pessoa saudável. O padrão para testar esses sistemas é um método chamado validação cruzada. Imagine um professor dando a um aluno um exame de prática e, depois, uma versão ligeiramente diferente do mesmo exame, para ver se o aluno realmente entende o material ou se apenas memorizou as respostas. Na comunidade científica, esse processo deve revelar o quão bem um modelo terá desempenho em novos pacientes não vistos anteriormente.

No entanto, um reexame recente de um dos conjuntos de dados mais famosos usados para esse fim revelou uma falha silenciosa na forma como esses testes foram conduzidos. O conjunto de dados em questão, coletado de um hospital em Bangladesh, contém registros dos sintomas das pessoas e se elas tinham diabetes. Durante anos, pesquisadores usaram esses dados para treinar modelos de computador, relatando taxas de sucesso que pareciam boas demais para serem verdade, frequentemente alegando níveis de precisão entre 97 e 99 por cento. Esses números sugeriam que os modelos eram quase perfeitos. Mas uma equipe de pesquisadores do Peru mostrou agora que essas pontuações altas não eram um sinal de genialidade, mas o resultado de um erro simples no processo de teste. Eles descobriram que o conjunto de dados continha muitas cópias idênticas do perfil de um mesmo paciente, e a maneira como os testes foram executados permitiu que o computador obtivesse as respostas antes mesmo do teste começar.

Os pesquisadores, liderados por William Marin-Rodriguez e seus colegas, fizeram um novo olhar sobre o conjunto de dados UCI Early-Stage Diabetes. Esta coleção detém 520 registros, cada um descrevendo a idade de uma pessoa e quinze sintomas diferentes, como micção frequente ou perda de peso repentina. Quando contaram as combinações únicas desses sintomas, encontraram algo surpreendente: de 520 registros, havia apenas 251 perfis verdadeiramente únicos. Isso significa que 269 dos registros eram duplicatas exatas de outros, e muitos outros compartilhavam os mesmos sintomas, mas diferiam apenas na idade. Nos estudos originais, quando os dados eram divididos em grupos de treinamento e teste, essas cópias idênticas eram frequentemente espalhadas aleatoriamente. Um registro poderia acabar no grupo de treinamento, ensinando a resposta ao computador, enquanto seu gêmeo exato acabava no grupo de teste. Quando o computador era testado nesse gêmeo, ele não precisava adivinhar ou diagnosticar; ele simplesmente reconhecia o padrão que já havia memorizado.

Para ver o quanto isso inflou os resultados, a equipe executou os mesmos modelos de computador novamente, mas desta vez mudaram as regras do jogo. Em vez de dividir os dados aleatoriamente, eles mantiveram todos os registros com o mesmo perfil de sintomas no mesmo grupo. Isso garantiu que, se um conjunto específico de sintomas aparecesse nos dados de treinamento, esse conjunto exato nunca apareceria nos dados de teste. O computador foi forçado a aprender os padrões de doença em vez de apenas memorizar listas específicas de pacientes. A diferença nos resultados foi dramática. Sob o antigo método aleatório, os modelos alcançavam pontuações de precisão entre 97 e 98 por cento, correspondendo aos relatórios entusiastas dos anos anteriores. Mas quando os pesquisadores impuseram as regras mais rigorosas e livres de vazamento de dados, essas pontuações de precisão caíram para uma faixa de 90 a 93 por cento. Embora ainda impressionantes, essa queda revelou que as reivindicações anteriores de desempenho quase perfeito eram, em grande parte, uma ilusão criada pela estrutura dos dados.

O estudo foi além para medir não apenas se os modelos estavam certos ou errados, mas o quão confiantes eles estavam em suas previsões. Eles observaram uma métrica específica chamada coeficiente de correlação de Matthews, que oferece um quadro mais honesto do desempenho quando o número de pessoas doentes e saudáveis é desigual. Sob o método de teste aleatório, essa pontuação era artificialmente alta, superestimada em até 0,16 pontos para alguns modelos. Quando as duplicatas foram removidas do conjunto de teste, as pontuações caíram significativamente. Mais importante ainda, a classificação dos modelos mudou. O modelo que havia sido coroado como o melhor sob as regras antigas, um sistema complexo chamado "stacking ensemble", caiu do primeiro para o oitavo lugar sob as novas regras. O modelo que realmente teve o melhor desempenho quando testado de forma justa foi um outro tipo de algoritmo baseado em árvores conhecido como Extra Trees. Essa mudança provou que a escolha do "melhor" modelo não era um fato sólido, mas um resultado do método de teste falho.

Os pesquisadores também investigaram o que acontece quando se leva em conta os "quase-duplicatas". No conjunto de dados, muitas pessoas compartilhavam exatamente os mesmos sintomas, mas tinham idades diferentes. A equipe testou um cenário onde mesmo esses perfis quase idênticos eram mantidos juntos, impedindo o computador de aprender com os sintomas de uma pessoa de 40 anos para prever o risco de uma pessoa de 45 anos com os mesmos sintomas. Este teste mais rigoroso reduziu o desempenho de todos os modelos ainda mais. Curiosamente, um modelo muito simples que funciona encontrando o caso passado mais semelhante teve um desempenho quase tão bom quanto os complexos sob o primeiro teste rigoroso, mas seu desempenho colapsou quando as quase-duplicatas foram removidas. Isso sugeriu que o modelo simples também estava dependendo da busca por cópias de si mesmo nos dados de treinamento, em vez de compreender verdadeiramente a doença.

As implicações deste trabalho estendem-se para além de apenas um conjunto de dados. Os pesquisadores argumentam que os altos números de precisão relatados para a previsão do diabetes no passado foram provavelmente inflados por este mesmo problema de registros duplicados. Eles descobriram que a diferença entre os resultados antigos e novos era grande o suficiente para engolir as pequenas melhorias que novos estudos frequentemente afirmam ter descovido. Se um novo algoritmo afirma ser um ou dois por cento melhor que os antigos, esse progresso pode ser apenas ruído causado pela forma como os dados foram divididos, em vez de um avanço real. A equipe também observou que muitos dos modelos eram mal calibrados, o que significa que, embora pudessem estar certos com frequência, suas pontuações de probabilidade não refletiam a real possibilidade da doença. Por exemplo, alguns modelos eram excessivamente confiantes, enquanto outros eram muito hesitantes, o que poderia ser perigoso se um médico dependesse desses números para tomar uma decisão.

Esta reavaliação não significa que o aprendizado de máquina não possa ajudar a diagnosticar o diabetes, nem sugere que os modelos sejam inúteis. Significa apenas que os parâmetros usados para julgá-los foram falhos. Os pesquisadores enfatizam que suas descobertas são estimativas internas baseadas em um conjunto de dados específico e não provam que esses modelos funcionem em clínicas do mundo real. Eles apontam que os dados vêm de um único hospital e carecem de detalhes sobre como o diabetes foi confirmado, portanto, os resultados não podem ser aplicados diretamente ao rastreamento geral sem testes adicionais. No entanto, o estudo oferece um caminho claro para os cientistas. Eles recomendam que estudos futuros devem verificar a existência de registros duplicados e agrupá-los durante os testes, relatar o quão incertos são seus resultados e evitar declarar um único "melhor" modelo, a menos que a diferença seja estatisticamente significativa. Ao limpar o processo de teste, a comunidade científica pode garantir que os médicos digitais do futuro sejam julgados por sua verdadeira capacidade de aprender, e não por sua habilidade de obter as respostas.