Unifying Acoustic Features and Text with Multimodal LLMs for Neurodegenerative Screening

Sintesi Tecnica: NeurMLLM per lo Screening Neurodegenerativo

Problematica
Le malattie neurodegenerative, nello specifico l'Alzheimer (AD) e la malattia di Parkinson (PD), rappresentano un carico significativo per i sistemi sanitari globali, rimanendo spesso sotto diagnosticata finché non si verificano danni irreversibili. Sebbene la neuroimaging e i test clinici siano definitivi, il loro elevato costo, l'invasività e la limitata accessibilità ne ostacolano lo screening su larga scala. Lo screening basato sulla voce offre un'alternativa scalabile e non invasiva, poiché la neurodegenerazione interrompe il controllo motorio del parlato e la pianificazione linguistica cognitiva, manifestandosi in cambiamenti acustici e linguistici misurabili (ad es., rallentamento dell'articolazione, riduzione della variazione del pitch).

Tuttavia, gli approcci attuali affrontano due sfide primarie:

1. Integrazione dei Dati: Molti studi esistenti sui Large Language Model (LLM) sono incentrati sulle trascrizioni, fallendo nell'integrare rappresentazioni acustiche eterogenee (spettrogrammi, MFCC) con contesti linguistici e demografici all'interno di un unico modello unificato.
2. Rigidità Decisionale: Molti sistemi basati su LLM si affidano a una testa di classificazione che mappa le rappresentazioni aggregate verso uno spazio di etichette fisse. Questo strato decisionale rigido è difficile da generalizzare su diversi compiti ed è meno allineato con le interazioni multimodali a livello di token, particolarmente in contesti con risorse limitate o coorti ridotte.

Metodologia: NeurMLLM
Gli autori propongono NeurMLLM, un framework generativo multimodale efficiente progettato per la stadiazione neurodegenerativa fine. L'architettura opera come segue:

• Modalità di Input: Il modello elabora tre input distinti:
  • Caratteristiche Acustiche: Spettrogrammi e coefficienti cepstrali sulle frequenze Mel (MFCC) derivati dai dati vocali del paziente.
  • Contesto Linguistico: Trascrizioni del parlato allineate.
  • Contesto Demografico: Attributi quali età e genere.
• Architettura:
  • Codifica Acustica: Due Vision Transformer (ViT) specifici per modalità codificano le mappe degli spettrogrammi e dei MFCC.
  • Proiezione: Strati lineari leggeri proiettano questi embedding acustici nello spazio di embedding di un LLM di base (backbone).
  • Sequenza Unificata: Gli embedding acustici proiettati vengono concatenati con gli embedding testuali (derivati da trascrizioni e istruzioni demografiche) e tag di modalità speciali (ad es., [SPEC], [MFCC], [TEXT]) per formare una singola sequenza di token.
  • Fusione: L'LLM di base utilizza meccanismi di self-attention per abilitare l'interazione cross-modale tra tutti i token all'interno della sequenza unificata.
• Strategia di Addestramento:
  • Fine-tuning: Il modello viene sottoposto a fine-tuning utilizzando la Low-Rank Adaptation (LoRA) sulle matrici di proiezione query e value dei blocchi transformer, mantenendo congelata la maggior parte dei pesi del backbone per garantire l'efficienza dei parametri.
  • Obiettivo Generativo: Invece di utilizzare una testa di classificazione, il compito di stadiazione è formulato come generazione di token di etichetta vincolata. Il modello è sottoposto a instruction-tuning per prevedere in modo autoregressivo un token di etichetta specifico (ad es., "MCI", "AD", "CN") da un set predefinito, guidato da prompt specifici per il compito.

Contributi Chiave

1. Architettura Multimodale: Introduzione di un framework che modella congiuntamente fattori paralinguistici (acustici), linguistici (trascrizione) e di popolazione (demografici) all'interno di un'unica architettura, colmando il divario negli studi LLM centrati sulla sola trascrizione.
2. Paradigma di Stadiazione Generativa: Dimostrazione che gli LLM sottoposti a instruction-tuning che eseguono la generazione di etichette vincolate superano sia i metodi classici di machine learning che gli approcci basati su LLM che utilizzano teste di classificazione.
3. Validazione Estesa: Valutazione completa sul dataset Bridge2AI-Voice (v3.0.0) per la stadiazione multiclasse di AD e PD, mostrando una superiorità costante rispetto ai baseline.

Risultati Sperimentali
Il framework è stato valutato sul dataset Bridge2AI-Voice, che coinvolge 156 partecipanti per l'AD (stratificati in CN, MCI, AD) e 167 per il PD (stratificati in Healthy Control, Early Stage, Advanced Stage).

• Performance: NeurMLLM ha ottenuto i risultati più forti in entrambe le malattie. Per la stadiazione dell'AD, ha migliorato la macro-AUROC da 0.852 (baseline ClsHead) a 0.917 e l'accuratezza da 0.740 a 0.823. Per la stadiazione del PD, ha raggiunto una macro-AUROC di 0.872 e un'accuratezza di 0.735.
• Analisi delle Modalità: Sebbene gli input puramente acustici abbiano fornito prestazioni elevate, la fusione multimodale di dati acustici, testuali e demografici ha prodotto i risultati migliori, indicando che l'informazione linguistica fornisce un contesto complementare che migliora il richiamo (recall), specialmente nei casi limite.
• Sensibilità del Backbone: Gli esperimenti con diversi backbone LLM (Llama-3.2-3B, Qowel2.5-3B) hanno indicato che i modelli sottoposti a instruction-tuning (ad es., Llama-3.2-3B-Instruct) si allineano generalmente meglio all'obiettivo di stadiazione rispetto ai modelli base, particolarmente per l'AD.

Significato e Rivendicazioni
L'articolo sostiene che riformulare la stadiazione neurodegenerativa come un compito di generazione di token di etichetta vincolata, combinato con un fine-tuning di istruzioni a parametri efficienti, offre un'alternativa semplice ed efficace alle tradizionali teste di classificazione. Gli autori sostengono che la decodifica generativa riutilizza le proiezioni di output pre-addestrate, preservando la coerenza con l'obiettivo di pre-addestramento dell'LLM ed evitando le sfide legate all'apprendimento di una nuova testa di classificazione da zero su coorti piccole.

I risultati suggeriscono che gli LLM multimodali hanno un alto potenziale per lo screening neurodegenerativo accessibile e scalabile. Integrando dati acustici, linguistici e demografici, NeurMLLM supporta una stadiazione fine con una migliore accuratezza e sensibilità verso le classi minoritarie. Gli autori osservano che, sebbene la dimensione ridotta della coorte introduca varianza, i risultati fungono da segnali incoraggianti per la fattibilità di questo approccio, con lavori futuri che potrebbero estendersi ad altre modalità (ad es., neuroimaging) ed output generativi più complessi (ad es., riassunti clinici).