Can we trust AI to detect healthy multilingual English speakers among the cognitively impaired cohort in the UK? An investigation using real-world conversational speech

Titolo dello Studio

Possiamo fidarci dell'IA per rilevare parlanti inglesi multilingue sani tra la coorte con deficit cognitivi nel Regno Unito? Un'indagine basata su conversazioni reali.

1. Il Problema

Il declino cognitivo, come la demenza e il deterioramento cognitivo lieve (MCI), presenta spesso segni precoci nel linguaggio e nel discorso. Sebbene i modelli di Intelligenza Artificiale (IA) abbiano dimostrato alte prestazioni nel rilevare l'Alzheimer tra parlanti monolingue nella loro lingua madre, esiste un grave vuoto nella loro applicabilità alle popolazioni multilingue ed etniche minoritarie.
Nel Regno Unito, una persona su quattro appartiene a una minoranza etnica, e la prevalenza della demenza è prevista in crescita più rapida proprio in queste comunità (Neri e Asiatici). Tuttavia, i sistemi automatici attuali mostrano limiti significativi:

• Bias Demografico: I modelli sono spesso addestrati su dati monolingue e non sono robusti per parlanti che usano l'inglese come seconda lingua (L2) o con accenti regionali specifici.
• Barriere Diagnostiche: Le persone di minoranza etnica affrontano ostacoli aggiuntivi nella diagnosi della demenza, portando a una sottorappresentazione nei servizi sanitari.
• Mancanza di Dati: Non esistono sufficienti dataset che includano parlanti multilingue con deficit cognitivi, rendendo difficile valutare l'affidabilità diagnostica in questi gruppi.

2. Metodologia

Lo studio ha utilizzato il sistema CognoMemory (precedentemente CognoSpeak), uno strumento di screening online basato sul linguaggio, per raccogliere e analizzare dati da 1.395 partecipanti (oltre 263 ore di audio).

• Cohort di Partecipanti:

  • Monolingue: Parlanti nativi inglesi reclutati a livello nazionale (UK).
  • Multilingue: Parlanti reclutati da quattro centri comunitari a Sheffield e Bradford. Includevano parlanti di Somali, Cinese e lingue del Sud Asia (Hindi, Urdu, Punjabi, Mirpuri, Arabo).
  • Accenti: I parlanti del Sud Asia sono stati ulteriormente suddivisi in base all'accento regionale: Yorkshire del Sud (Sheffield) e Yorkshire dell'Ovest (Bradford).
  • Nota Critica: A causa della mancanza di competenze inglesi sufficienti nei pazienti con deficit cognitivi multilingue, il gruppo multilingue reclutato era composto esclusivamente da partecipanti sani (HC). I gruppi di addestramento includevano invece pazienti con demenza, MCI e HC (principalmente monolingue).

• Pipeline Tecnica:

  1. Raccolta Dati: I partecipanti hanno risposto a 14 prompt clinici validati (memoria, fluenza, descrizione di immagini, lettura) tramite un agente virtuale.
  2. Trascrizione (ASR): L'audio è stato trascritto automaticamente utilizzando tre sistemi ASR: Whisper, Wav2Vec 2.0 e NVIDIA NeMo.
  3. Estrazione delle Caratteristiche:
     • Acustiche: eGeMAPS e ComParE.
     • Linguistiche: TF-IDF e Bag-of-Words (BoW) dalle trascrizioni.
  4. Modelli di Classificazione e Regressione:
     • Classificatori (SVM) e Regressori (SVR) addestrati su feature acustiche e linguistiche.
     • Modelli di Linguaggio (LLM) come BART, RoBERTa e DistilBERT.
     • Confronto tra due dataset: CognoMemory (dataset proprietario, 3 classi: Demenza, MCI, HC) e DementiaBank (dataset pubblico, 2 classi: Demenza, HC).
  5. Valutazione: Analisi della Word Error Rate (WER), accuratezza di classificazione, errore quadratico medio (RMSE) per i punteggi MMSE predetti, e analisi qualitativa (TF-IDF).

3. Contributi Chiave

• Primo Studio di questo Tipo: È la prima ricerca a esaminare esplicitamente il bias dei modelli IA nel rilevare il declino cognitivo in una popolazione multilingue ed etnicamente diversificata nel contesto UK.
• Dataset Diversificato: Creazione di un dataset unico che include accenti regionali specifici (Yorkshire) e lingue multiple, superando la limitazione dei dataset monolingue.
• Analisi Comparativa: Confronto diretto tra le prestazioni di sistemi ASR "off-the-shelf" e modelli di classificazione avanzati su gruppi monolingue vs. multilingue.
• Identificazione del Bias: Dimostrazione empirica che, sebbene l'ASR sia robusto, i modelli di classificazione basati su feature linguistiche introducono un bias sistematico contro i parlanti multilingue.

4. Risultati

• Prestazioni ASR (Word Error Rate - WER):

  • I sistemi ASR (Whisper, Wav2Vec 2.0, NeMo) non hanno mostrato un bias statisticamente significativo tra parlanti monolingue e multilingue.
  • NeMo ha ottenuto le prestazioni migliori (WER medio 0.40), seguito da Whisper. Wav2Vec 2.0 ha mostrato prestazioni inferiori, specialmente per i parlanti somali.
  • Le prestazioni sono calate significativamente nei compiti di fluenza (dove il discorso è meno spontaneo), ma non c'è stata differenza significativa nel WER complessivo tra i gruppi linguistici.

• Classificazione e Bias:

  • I modelli basati su feature acustiche hanno mostrato un'accuratezza inferiore ma nessun bias significativo tra i gruppi.
  • I modelli basati su feature linguistiche (SVM e LLM) hanno ottenuto un'accuratezza più alta ma hanno mostrato un bias significativo contro i parlanti multilingue.
  • Task Critici: Il bias è stato più marcato nei compiti di memoria, fluenza e lettura.
  • Conseguenza Diagnostica: I parlanti multilingue, in particolare quelli con accento dello Yorkshire del Sud (Sheffield), sono stati più frequentemente classificati erroneamente come affetti da demenza (una condizione più grave) rispetto ai monolingue.
    • Esempio: Solo il 16% dei monolingue sani è stato erroneamente classificato come affetto da declino cognitivo, mentre questa percentuale sale al 35% per i parlanti asiatici multilingue con accento dello Yorkshire del Sud.
  • Dataset Pubblici: L'addestramento su DementiaBank ha amplificato il bias rispetto a CognoMemory, suggerendo che i dataset pubblici attuali sono meno generalizzabili per le minoranze etniche UK.

• Regressione (Punteggi MMSE):

  • L'errore quadratico medio (RMSE) nella previsione dei punteggi MMSE è stato significativamente più alto per il gruppo multilingue, indicando una minore accuratezza nella stima della gravità del declino cognitivo per questi pazienti.

• Analisi Qualitativa (TF-IDF):

  • L'analisi delle parole chiave ha rivelato che i partecipanti multilingue tendono a menzionare più frequentemente i loro paesi o luoghi di origine (es. Pakistan, Lahore) rispetto ai monolingue.
  • I partecipanti sani monolingue menzionavano spesso figure pubbliche britanniche (es. primi ministri).
  • Questi pattern linguistici specifici, legati all'origine culturale, vengono interpretati erroneamente dai modelli come indicatori di declino cognitivo.

5. Significato e Conclusioni

Lo studio conclude che, nonostante le prestazioni complessive elevate, gli attuali strumenti basati sull'IA non sono ancora affidabili per l'uso diagnostico nelle popolazioni multilingue ed etnicamente minoritarie nel Regno Unito.

• Impatto Clinico: L'uso di questi strumenti senza mitigazione del bias porterebbe a un sovradiagnosi della demenza nei gruppi minoritari, aggravando le disuguaglianze sanitarie.
• Raccomandazioni: È necessario sviluppare modelli più generalizzabili e privi di bias. Le future ricerche dovranno:
  • Reclutare partecipanti multilingue con deficit cognitivi (attualmente assenti nei dataset).
  • Affinare i sistemi ASR e analizzare le feature a livello di dettaglio.
  • Integrare strumenti di screening culturalmente sensibili (es. RUDAS, MCE).
  • Utilizzare feature spiegabili (come TF-IDF) per comprendere e correggere le fonti di bias.

In sintesi, la ricerca evidenzia un divario critico tra la tecnologia AI attuale e le esigenze di un sistema sanitario inclusivo, sottolineando la necessità urgente di adattare gli algoritmi alla diversità linguistica e culturale reale.