Subject Identity Is a Major Source of Variance in EEG Spectral Features and Can Inflate Machine Learning Evaluation
Este estudo demonstra que a identidade do sujeito é uma fonte dominante de variância nas características espectrais de EEG que pode inflar artificialmente o desempenho de aprendizado de máquina quando as avaliações utilizam divisões de dados padrão, tornando necessários protocolos de avaliação por sujeito para garantir a descoberta válida de biomarcadores.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
O cérebro humano é um complexo motor de atividade elétrica, e os cientistas há muito utilizam uma técnica chamada eletroencefalografia, ou EEG, para ouvir o seu zumbido. Ao colocar sensores no couro cabeludo, os investigadores podem capturar os sinais rítmicos do cérebro enquanto este pensa, descansa ou se move. Nos últimos anos, o aprendizado de máquina juntou-se a este esforço, oferecendo ferramentas poderosas para encontrar padrões nestes sinais que possam revelar o estado mental de uma pessoa, detetar uma doença como a depressão ou prever como ela irá comportar-se. A esperança é que estes modelos computacionais consigam aprender as assinaturas biológicas específicas de uma condição, separando o sinal de uma doença do ruído de um cérebro saudável. No entanto, para que estes modelos sejam confiáveis, devem ser testados de forma justa. Se um programa de computador aprender a reconhecer uma pessoa específica em vez da doença que ela possui, parecerá funcionar perfeitamente num teste, mas falhará completamente no mundo real. Este risco de confundir a identidade de uma pessoa com a sua condição médica é o enigma central que esta nova investigação aborda.
Uma equipa de investigadores propôs-se medir quanto da informação nas gravações padrão de ondas cerebrais pertence à pessoa individual em vez da tarefa que está a realizar ou do momento em que foi registada. Analisaram dados de quatro grupos diferentes de pessoas, variando desde pacientes com transtorno depressivo maior até voluntários a realizar tarefas motoras simples. Os dados provinham de várias fontes, incluindo equipamentos de investigação de alto nível com dezenas de sensores e dispositivos mais simples, de nível de consumo, com apenas alguns sensores. Os cientistas decomporam os dados das ondas cerebrais em bandas de frequência específicas, observando a potência de diferentes ritmos, e depois fizeram uma pergunta fundamental: se olharmos para estes padrões, quanto do que vemos é único para essa pessoa específica e quanto é apenas uma mudança na sessão de gravação ou na tarefa?
A resposta que encontraram foi impressionante. Na forma padrão como estes sinais cerebrais são habitualmente analisados, a identidade da pessoa que está a gravar os dados era, de longe, a maior fonte de variação. Através dos diferentes estudos, os investigadores calcularam que a "impressão digital" única da atividade cerebral de uma pessoa representava aproximadamente setenta a oitenta por cento do total das diferenças observadas nos dados. Em contraste, as mudanças que ocorriam simplesmente porque a gravação foi feita num dia diferente, ou porque a pessoa estava a realizar uma tarefa ligeiramente diferente, representavam apenas uma fração minúscula da variação. Para colocar isto em perspetiva, a diferença entre duas pessoas diferentes sentadas na mesma sala era quase trinta vezes maior do que a diferença entre a mesma pessoa sentada na mesma sala em dois dias diferentes. Isto significa que as ondas cerebrais de qualquer indivíduo isolado são tão distintas que formam uma assinatura estável e mensurável que persiste ao longo do tempo, durando meses mesmo enquanto a vida quotidiana da pessoa muda.
Como esta assinatura pessoal é tão forte, os investigadores testaram se um computador poderia usá-la para identificar pessoas, tal como um scanner de impressões digitais. Treinaram modelos para reconhecer indivíduos utilizando dados de um conjunto de gravações cerebrais e depois testaram-nos em novas gravações das mesmas pessoas, feitas num momento posterior. Os resultados foram quase perfeitos. Os modelos conseguiam distinguir uma pessoa de outra com extrema precisão, mesmo quando as gravações foram feitas com meses de intervalo. Em alguns testes, o computador identificou corretamente a pessoa certa quase todas as vezes, provando que os padrões de ondas cerebrais contêm um código robusto e duradouro para a identidade individual. Esta capacidade de reconhecer uma pessoa não se limitou a equipamentos de investigação de alta qualidade; estava também presente em dados de dispositivos mais simples, de nível de consumo, embora o efeito fosse mais fraco quando a tarefa mudava drasticamente.
A parte mais crítica do estudo, no entanto, foi observar o que acontece quando esta poderosa capacidade de reconhecer pessoas interfere no diagnóstico médico. Os investigadores simularam um erro comum na forma como estes estudos são frequentemente realizados: dividir os dados por segmentos de ondas cerebrais em vez de por pessoa. Nesta configuração defeituosa, alguns clipes de ondas cerebrais de um paciente poderiam acabar no grupo de treino, enquanto outros do mesmo paciente acabariam no grupo de teste. Quando executaram um modelo de aprendizagem de máquina para detetar o transtorno depressivo maior utilizando este método, o computador obteve pontuações quase perfeitas. Parecia ter aprendido a doença perfeitamente. Mas quando os investigadores forçaram o modelo a ser testado corretamente — mantendo todos os dados de uma única pessoa inteiramente separados dos dados de treino — o desempenho caiu significativamente.
A investigação revelou por que razão o primeiro teste era tão enganador. O computador não tinha realmente aprendido a reconhecer os sinais de depressão. Em vez disso, tinha aprendido a reconhecer os próprios pacientes. Como o diagnóstico era fixo para cada pessoa no estudo, o modelo simplesmente memorizou quem estava doente e quem estava saudável ao identificar a sua assinatura de ondas cerebrais única. Quando os investigadores treinaram um modelo para reconhecer apenas as pessoas, sem nunca lhe mostrar os rótulos médicos, ele ainda conseguia prever o diagnóstico perfeitamente. Isto provou que as pontuações elevadas do teste defeituoso eram uma ilusão criada pelo modelo ao utilizar a identidade como um atalho. O estudo conclui que, para a aprendizagem de máquina na ciência cerebral ser digna de confiança, os investigadores devem tratar a identidade da pessoa como um fator importante a ser controlado. Devem garantir que o computador nunca veja a mesma pessoa tanto na fase de treino como na fase de teste, caso contrário, poderá parecer que descobriu um avanço médico quando apenas aprendeu o nome de uma pessoa.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.