Can we trust AI to detect healthy multilingual English speakers among the cognitively impaired cohort in the UK? An investigation using real-world conversational speech

Título: Podemos confiar na IA para detectar falantes de inglês multilíngues saudáveis entre a coorte com comprometimento cognitivo no Reino Unido? Uma investigação usando fala conversacional do mundo real.

1. Problema e Motivação

A detecção precoce de declínio cognitivo (como demência e Comprometimento Cognitivo Leve - MCI) é crucial, e a fala conversacional oferece marcadores não invasivos para essa identificação. Embora modelos de IA tenham mostrado alto desempenho na detecção de Alzheimer em falantes monolíngues nativos, existe uma lacuna crítica na sua aplicação em populações multilíngues e minorias étnicas no Reino Unido (UK).

• Contexto: Uma em cada quatro pessoas no UK pertence a uma minoria étnica, e a prevalência de demência deve crescer mais rapidamente nessas comunidades.
• Desafio: Os indivíduos dessas grupos, especialmente falantes de inglês como segunda língua (L2), enfrentam barreiras no diagnóstico. Os sistemas atuais podem conter viés (bias) contra sotaques não nativos e falantes multilíngues, levando a falsos positivos (classificar saudáveis como doentes) ou subdiagnóstico.
• Objetivo: Investigar a confiabilidade e a presença de viés em modelos de IA ao detectar falantes multilíngues saudáveis em comparação com falantes monolíngues, utilizando o sistema de triagem CognoMemory.

2. Metodologia

O estudo utilizou uma abordagem mista, combinando processamento de fala, aprendizado de máquina e análise qualitativa.

• Coleta de Dados:

  • Participantes: 1.395 participantes no total, contribuindo com mais de 263 horas de áudio.
  • Grupos:
    • Monolíngues: Recrutados nacionalmente no UK (falantes nativos de inglês).
    • Multilíngues: Recrutados em quatro centros comunitários em Sheffield e Bradford. Incluíam falantes de Somali, Chinês e línguas do Sul da Ásia (Hindi, Urdu, Punjabi, Mirpuri, Árabe).
    • Acentos: Os falantes do Sul da Ásia foram divididos em dois grupos de acento: Yorkshire do Sul (Sheffield) e Yorkshire do Oeste (Bradford).
  • Limitação Importante: Devido à falta de habilidades em inglês suficiente para a avaliação, apenas participantes saudáveis (Controles Saudáveis - HC) foram recrutados no grupo multilíngue. Não havia participantes multilíngues com demência ou MCI no conjunto de dados.
  • Protocolo: Os participantes responderam a 14 prompts de perguntas validadas clinicamente (memória, fluência, descrição de imagem, leitura) através de um agente virtual.

• Processamento e Modelos:

  • ASR (Reconhecimento Automático de Fala): Três sistemas foram testados sem ajuste fino (off-the-shelf): Whisper, Wav2Vec 2.0 e NVIDIA NeMo.
  • Extração de Recursos:
    • Acústicos: eGeMAPS e ComParE.
    • Linguísticos: TF-IDF e Bag-of-Words (BoW) derivados das transcrições do NeMo.
  • Modelos de Classificação/Regressão:
    • SVM (Support Vector Machine) e SVR (Support Vector Regression) usando fusão de recursos acústicos e linguísticos.
    • LLMs (BART, RoBERTa, DistilBERT) ajustados finamente (fine-tuned) nas transcrições.
  • Validação: Devido à ausência de casos positivos (doentes) no grupo multilíngue, utilizou-se validação cruzada de 5 dobras, treinando com dados monolíngues (incluindo casos de demência/MCI) e testando nos grupos multilíngues saudáveis para medir a taxa de falsos positivos (viés).

3. Resultados Principais

• Desempenho do ASR (Taxa de Erro de Palavra - WER):

  • Não houve viés estatisticamente significativo entre monolíngues e multilíngues nos sistemas ASR (p > 0.05).
  • O NeMo apresentou o melhor desempenho geral (WER médio de 0.40), seguido pelo Whisper. O Wav2Vec 2.0 teve desempenho significativamente pior.
  • A performance caiu em tarefas de fluência (onde a fala é menos espontânea), mas isso afetou ambos os grupos.

• Classificação (Detecção de Declínio Cognitivo):

  • Viés Linguístico: Modelos que utilizaram recursos linguísticos (texto) exibiram um viés significativo contra falantes multilíngues, especialmente nas tarefas de memória, fluência e leitura.
  • Falsos Positivos: Falantes multilíngues saudáveis foram muito mais propensos a serem classificados erroneamente como tendo declínio cognitivo em comparação com monolíngues.
  • Gravidade do Viés: Falantes do Sul da Ásia com acento de Yorkshire do Sul foram os mais propensos a serem classificados erroneamente como tendo demência (a forma mais grave), em vez de apenas MCI.
  • Comparação de Conjuntos de Dados: O viés foi mais pronunciado quando os modelos foram treinados no conjunto de dados público DementiaBank (que contém apenas rótulos binários) em comparação com o CognoMemory (que tem rótulos de 3 classes e maior diversidade).

• Regressão (Previsão de Pontuação MMSE):

  • Os modelos de regressão (SVR) apresentaram erros quadráticos médios (RMSE) significativamente maiores para o grupo multilíngue, indicando que as pontuações de MMSE preditas eram menos precisas para esses falantes.

• Análise Qualitativa (TF-IDF):

  • A análise de palavras-chave revelou padrões distintos:
    • Demência: Menção frequente de locais.
    • Saudáveis (Monolíngues): Menção de figuras públicas (ex: primeiros-ministros britânicos).
    • Multilíngues: Menção frequente de seus países de origem e cidades (ex: Paquistão, Lahore).
  • Isso sugere que o modelo pode estar interpretando referências culturais/locais específicas de imigrantes como sinais de confusão ou declínio cognitivo.

4. Contribuições Chave

1. Primeiro Estudo do Tipo: É o primeiro estudo a identificar explicitamente viés em modelos de IA para detecção de declínio cognitivo em populações multilíngues de minorias étnicas no Reino Unido.
2. Conjunto de Dados Diverso: Criação e uso do conjunto de dados CognoMemory, que é seis vezes maior que o DementiaBank e inclui uma diversidade linguística e de acentos (Somali, Chinês, Sul da Ásia com acentos regionais do UK) anteriormente não explorada.
3. Evidência de Viés Sistêmico: Demonstrou que, embora os sistemas ASR sejam robustos, os modelos de classificação baseados em linguagem são altamente tendenciosos, penalizando falantes com sotaques regionais e backgrounds multilíngues.
4. Alerta Clínico: Evidencia que o uso atual dessas ferramentas para diagnóstico em populações diversas pode levar a diagnósticos errôneos graves (falsos positivos de demência).

5. Significado e Conclusão

O estudo conclui que, apesar do forte desempenho geral dos modelos de IA em falantes nativos, as ferramentas atuais não são confiáveis para uso diagnóstico em populações multilíngues e minorias étnicas no UK. O viés observado pode exacerbar as disparidades de saúde, levando a um subdiagnóstico ou superdiagnóstico nessas comunidades.

• Implicações Futuras: A pesquisa aponta para a necessidade urgente de desenvolver modelos mais generalizáveis e mitigar o viés. Isso inclui:
  • Recrutamento de participantes multilíngues com comprometimento cognitivo (atualmente ausentes nos dados).
  • Ajuste fino (fine-tuning) de sistemas ASR para sotaques específicos.
  • Incorporação de ferramentas de triagem culturalmente sensíveis (como RUDAS, MCE, ACE).
  • Análise mais profunda de recursos explicáveis para entender e corrigir os padrões linguísticos que causam o viés.

Em resumo, a tecnologia de IA baseada em fala tem potencial, mas, sem correções específicas para diversidade linguística e cultural, ela representa um risco de injustiça diagnóstica para uma parcela significativa da população do Reino Unido.