Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression
Este estudo demonstra que a escolha de rótulos de depressão em registros eletrônicos de saúde — sejam eles codificados pelo profissional, relatados pelo paciente ou concordantes — altera significativamente o desempenho e a importância das características dos modelos de aprendizado de máquina, revelando que os rótulos derivados de profissionais podem inadvertidamente amplificar vieses demográficos, apesar de produzirem escores de AUC ligeiramente superiores.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você esteja tentando ensinar um robô a reconhecer um tipo específico de pássaro. Você mostra a ele milhares de fotos, mas há um detalhe: às vezes as fotos são rotuladas por um especialista em observação de aves, e às vezes são rotuladas pela pessoa que realmente viu o pássaro na natureza. O especialista pode não ver um pássaro porque ele estava escondido, ou pode identificar erroneamente uma espécie semelhante. A pessoa na natureza pode estar entusiasmada e achar que viu um pássaro raro quando era apenas um comum. Se você ensinar o robô usando apenas os rótulos do especialista, ele aprenderá a ver o que o especialista vê, não necessariamente o que realmente está lá. Isso é o cerne de um campo crescente chamado Aprendizado de Máquina (Machine Learning), onde computadores aprendem a encontrar padrões em quantidades massivas de dados para fazer previsões. Na saúde, cientistas estão tentando construir esses "robôs médicos" para detectar problemas de saúde mental, como a depressão, antes que eles piorem. Mas aqui está a parte complicada: ao contrário de um osso quebrado que aparece claramente em um raio-X, a depressão é invisível. Ela depende de como um paciente se sente e de como um médico interpreta esses sentimentos. Este artigo faz uma pergunta grande e importante: se ensinarmos nosso robô médico usando as notas do médico como a "verdade", ele aprenderá a mesma coisa do que se o ensinássemos usando o próprio relato do paciente sobre como ele se sente?
Os pesquisadores por trás deste estudo, Natasha Tonge e Leah Adams, da George Mason University, decidiram colocar essa questão à prova. Eles analisaram um enorme volume de registros médicos de mais de 644.000 adultos que visitaram centros de saúde comunitária entre 2012 e 2019. Eles queriam ver se a "verdade fundamental" (ground truth) — o rótulo usado para dizer ao computador o que conta como depressão — mudava a forma como o computador aprendia. Eles construíram três versões diferentes de um modelo de aprendizado de máquina, cada uma treinada em uma definição diferente de depressão:
- A Visão do Médico: O modelo aprendeu apenas com casos em que um médico havia registrado oficialmente um diagnóstico de depressão no prontuário do paciente.
- A Visão do Paciente: O modelo aprendeu apenas com pacientes que relataram sintomas graves em um questionário (o PHQ-9), mesmo que o médico não tivesse registrado um diagnóstico.
- A Visão do Acordo: O modelo aprendeu apenas com casos em que tanto o paciente relatou sintomas graves quanto o médico registrou um diagnóstico.
Eles usaram um tipo de algoritmo de computador chamado "árvore" (pense nisso como um fluxograma que faz perguntas de sim ou não para tomar uma decisão) para prever quem tinha depressão. Eles alimentaram o computador com dados como idade, raça, gênero, pressão arterial e se o paciente tinha ansiedade ou outros problemas de saúde.
Aqui está o que eles descobriram, e é um pouco surpreendente. Primeiro, os modelos de computador não foram perfeitos em detectar a depressão, independentemente de qual rótulo usassem. Sua precisão, medida por uma pontuação chamada AUC, ficou entre 0,62 e 0,64. Para colocar isso em perspectiva, uma pontuação perfeita é 1,0, e um palpite aleatório é 0,5. Portanto, os modelos eram melhores do que o acaso, mas ainda perdiam muitos casos. O modelo treinado com os rótulos dos médicos foi o melhor em encontrar os casos que os médicos já haviam identificado (com uma sensibilidade de 0,33), mas ainda perdia cerca de dois terços deles.
A descoberta mais interessante não foi sobre o quão bem os modelos funcionavam, mas sobre o que eles achavam que era importante. O "cérebro" do computador mudava de ideia dependendo de quem estava ouvindo.
- Quando o modelo ouvia os rótulos dos médicos, ele decidia que coisas como ser Branco, ser mulher e ser não casado eram as maiores pistas de que alguém tinha depressão.
- Quando o modelo ouvia os sintomas graves do paciente, essas pistas demográficas tornavam-se menos importantes. Em vez disso, o modelo focava pesadamente em se o paciente tinha ansiedade, sua idade e sua pressão arterial.
- A única coisa que permaneceu importante em todos os três modelos foi a ansiedade. Se um paciente tivesse ansiedade, o computador era mais propenso a sinalizá-lo para depressão, não importa qual rótulo estivesse usando.
Os autores sugerem que essa mudança é um sinal de alerta. Se construirmos ferramentas de IA que aprendem apenas com o que os médicos escrevem, a IA pode começar a pensar que a depressão é principalmente sobre uma determinada raça ou gênero, simplesmente porque é o que os médicos no passado tenderam a diagnosticar. Ela pode perder os pacientes que estão sofrendo, mas que ainda não foram diagnosticados. O estudo sugந்தere que, para que essas ferramentas de IA sejam justas e confiáveis, elas precisam incluir a própria voz do paciente, não apenas as notas do médico. Se não o fizermos, corremos o risco de construir um sistema digital que repete os mesmos pontos cegos e preconceitos que existem no mundo real, potencialmente perdendo as pessoas que mais precisam de ajuda. Os pesquisadores não provaram que um método é perfeito, mas mostraram claramente que a escolha de quem define a "verdade" muda toda a compreensão do problema pelo robô.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.