How Robust Are Machine-Learning Biomarkers of Depression? A Leakage-Controlled Benchmark

No mundo moderno da medicina, médicos e pesquisadores estão recorrendo cada vez mais aos computadores para ajudar a detectar condições de saúde mental antes que se tornem graves. A ideia é alimentar um computador com vastas quantidades de informações sobre uma pessoa — seus padrões de sono, sua atividade diária, seu humor e seu histórico médico — e deixar que a máquina aprenda a identificar os sinais sutis de depressão que um ser humano poderia perder. Este campo, frequentemente chamado de psiquiatria computacional, promete um futuro onde o diagnóstico seja mais rápido, mais preciso e disponível para todos. No entanto, para que esses modelos de computador sejam úteis na vida real, eles devem ser capazes de prever o futuro para pessoas que nunca conheceram, não apenas memorizar o passado de pessoas que já conhecem. O maior perigo neste trabalho é uma armadilha oculta chamada vazamento de dados (data leakage). Isso acontece quando um modelo de computador recebe acidentalmente uma informação que não deveria ter, como uma pista sobre o diagnóstico que foi registrada depois que o médico já sabia a resposta. Se um modelo utiliza essas pistas proibidas, ele parece incrivelmente inteligente no laboratório, mas falha completamente quando tenta ajudar um paciente real em uma clínica.

Um pesquisador da Queen Mary University of London decidiu testar exatamente o quão frágeis são esses modelos de computador. Em vez de usar registros reais de pacientes, que podem ser desordenados e difíceis de controlar, o pesquisador construiu um mundo completamente falso dentro de um computador. Este mundo sintético continha dados de 8.000 pessoas fictícias em 10 hospitais simulados diferentes. Cada pessoa tinha um perfil digital com detalhes sobre sua idade, renda, sono, frequência cardíaca e como se sentia. O pesquisador então criou uma regra específica para decidir quem tinha depressão neste mundo fictício: qualquer pessoa cuja pontuação total de sintomas atingisse um determinado nível era marcada como um caso. Com essa configuração perfeita e controlada, o pesquisador pôde realizar uma série de experimentos para ver o que acontece quando se mudam as regras do jogo. O objetivo era ver se os modelos de computador estavam realmente aprendendo a reconhecer a depressão ou se estavam apenas utilizando informações que não deveriam.

O primeiro experimento testou o poder de utilizar informações futuras. O pesquisador pegou duas informações específicas que foram criadas após o status de depressão já ter sido decidido: um registro de se o médico encaminhou o paciente para obter mais ajuda e um código para o plano de tratamento que ele recebeu. Em um cenário do mundo real, um computador tentando prever a depressão em uma nova pessoa nunca veria esses registros ainda, porque a previsão deve acontecer antes que o médico tome essas decisões. Mas, neste teste, o pesquisar permitiu que os modelos de computador vissem essas informações de qualquer maneira. O resultado foi dramático. Quando os modelos tiveram permissão para espiar essas pistas futuras, seu desempenho saltou para níveis quase perfeitos. Um modelo simples, que utiliza estatísticas básicas, de repente pareceu estar correto quase todas as vezes. Os números mostraram que a capacidade do modelo de distinguir entre indivíduos deprimidos e não deprimidos disparou para uma pontuação de quase 0,99 de 1,00. Isso provou que até um modelo modestamente inteligente pode parecer um gênio se lhe for dada uma folha de cola.

Em seguida, o pesquisador removeu essas pistas futuras e pediu aos modelos que tentassem novamente sem elas. Desta vez, os modelos tiveram que confiar apenas em informações que estariam genuinamente disponíveis antes de um diagnóstico, como hábitos de sono e pontuações de humor. O desempenho caiu, mas não colapsou. O modelo estatístico simples ainda teve um desempenho muito bom, identificando corretamente indivíduos deprimidos com uma pontuação de cerca de 0,95. Esta foi uma descoberta crucial. Mostrou que os modelos não estavam apenas memorizando a folha de cola; eles haviam realmente aprendido alguns padrões reais sobre a depressão através dos outros dados. No entanto, a queda da pontuação quase perfeita para a pontuação alta, mas não perfeita, revelou o quanto a utilização de informações futuras havia inflado os resultados. Os pesquisadores descobriram que a diferença não era apenas um pequeno desvio estatístico; era uma mudança massiva que poderia facilmente enganar um pesquisador, fazendo-o pensar que um modelo estava pronto para o mundo real quando não estava.

O estudo testou então se os modelos estavam realmente aprendendo ou apenas memorizando pessoas específicas. Em muitos estudos do mundo real, a mesma pessoa pode aparecer nos dados várias vezes, talvez com diferentes medições feitas em dias diferentes. Se um modelo de computador vê os dados de uma pessoa na fase de treinamento e depois vê essa mesma pessoa novamente na fase de teste, ele pode estar apenas memorizando aquela pessoa específica em vez de aprender as regras gerais da depressão. Para testar isso, o pesquisador dividiu os dados de modo que nenhuma pessoa aparecesse tanto no grupo de treinamento quanto no grupo de teste. Surpreendentemente, os modelos não pioraram. Suas pontuações permaneceram tão altas quanto antes. Isso sugere que, neste ambiente simulado específico, os modelos não estavam dependendo da memorização de indivíduos para obter suas pontuações altas. Eles estavam encontrando padrões que se aplicavam a todos.

O pesquisador também testou se os modelos conseguiriam lidar com diferentes hospitais. Na vida real, um modelo treinado em uma cidade pode falhar em outra porque as pessoas são diferentes ou os médicos fazem perguntas diferentes. O pesquisador simulou isso treinando os modelos em nove dos hospitais falsos e, em seguida, testando-os no décimo hospital, que eles nunca haviam visto. Novamente, os modelos resistiram. Seu desempenho não desmoronou. Eles continuaram a prever a depressão com a mesma alta precisidade. Esta foi outra surpresa, já que muitos especialistas esperam que os modelos tenham dificuldades ao serem movidos para um novo ambiente. Sugeriu que os padrões que os modelos aprenderam eram fortes o suficiente para sobreviver às diferenças entre os hospitais simulados.

Finalmente, o pesquisador perguntou se algoritmos de computador mais complexos e sofisticados eram melhores que o simples. O estudo comparou o modelo estatístico simples contra cinco sistemas muito mais complicados, incluindo redes neurais avançadas e algoritmos baseados em árvores que são projetados para encontrar conexões não lineares ocultas nos dados. A expectativa no campo é frequentemente de que essas máquinas complexas devam ser superiores. No entanto, os resultados mostraram quase nenhuma diferença. O modelo simples teve um desempenho tão bom quanto os mais complexos. Em alguns casos, o modelo simples foi, de fato, ligeiramente melhor. Os algoritmos sofisticados não encontraram nenhum segredo oculto que o simples tenha perdido. Todos alcançaram o mesmo nível de precisão, pairando em torno da marca de 0,95. Isso sugere que, para este tipo de problema, adicionar mais complexidade não traz melhores resultados.

O estudo conclui que o fator mais importante para construir um bom preditor de depressão não é a sofisticação do código de computador, mas a honestidade dos dados. A maior ameaça à precisão não é a falta de poder computacional, mas a inclusão acidental de informações que vazam a resposta. Quando os pesquisadores removem esses vazamentos, os modelos tornam-se menos impressionantes no papel, mas tornam-se mais confiáveis. O fato de o modelo simples ter tido o mesmo desempenho que os complexos significa que não precisamos construir caixas pretas complicadas para resolver este problema. As descobertas servem como um aviso: uma pontuação alta em um teste não é suficiente. Devemos verificar como essa pontuação foi alcançada. Se um modelo parece perfeito, devemos perguntar se ele estava utilizando informações que não deveria. Se ele parecer bom após removermos a utilização de informações futuras, então poderemos finalmente ter uma ferramenta que funcione. Esta pesquisa não prova que podemos prever perfeitamente a depressão em pessoas reais ainda, porque os dados eram inteiramente sintéticos. Ela demonstra os mecanismos de como os métodos de teste funcionam, em vez de estabelecer a precisão real ou o tamanho dos erros em populações clínicas reais. Mas prova que a maneira como testamos essas ferramentas importa mais do que as próprias ferramentas.