Speech-Based Cognitive Screening: A Systematic Evaluation of LLM Adaptation Strategies

1. Enunciato del Problema

La malattia di Alzheimer e le demenze correlate (ADRD) colpiscono circa l'11% degli adulti negli Stati Uniti, ma oltre la metà rimane non diagnosticata. I metodi di screening attuali spesso mancano di scalabilità o richiedono un'ingegneria delle caratteristiche estensiva. Sebbene l'elaborazione del linguaggio naturale (NLP) basata sul parlato spontaneo (ad esempio, il compito di descrizione dell'immagine "Furto di biscotti") mostri potenziale, le pipeline esistenti si affidano a caratteristiche create manualmente o a encoder transformer standard (BERT, Wav2Vec) che richiedono grandi corpora etichettati e un'ampia sintonizzazione.

Il divario che questo studio affronta è la mancanza di una valutazione sistematica su come i Modelli Linguistici di Grandi Dimensioni (LLM) debbano essere adattati per questo specifico compito clinico. Non è chiaro se strategie come l'apprendimento in contesto (ICL), il prompting potenziato dal ragionamento, il fine-tuning efficiente dei parametri o l'integrazione multimodale producano le migliori prestazioni per rilevare lo stato di compromissione cognitiva (CI) rispetto allo stato cognitivo normale (CN).

2. Metodologia

Dataset:

• Fonte: DementiaBank Pitt Corpus (Compito di descrizione dell'immagine).
• Partecipanti: 237 totali (122 CI, 115 CN).
• Divisione: 166 per lo sviluppo (addestramento/convalida) e 71 per un set di test tenuto da parte.
• Preprocessing: L'audio è stato trascritto utilizzando AWS General Transcribe. Le demografie (età, genere, punteggi MMSE) e le caratteristiche linguistiche sono state bilanciate tra le divisioni.

Modelli Valutati:

• LLM solo testo: 9 modelli che variano da 3B a 405B parametri, inclusi modelli a peso aperto (LLaMA 3.2/3.1, Ministral, MedAlpaca, DeepSeek-R1) e commerciali (GPT-4o, Gemini 2.0 Flash).
• LLM multimodali: 3 modelli che integrano audio e testo (GPT-4o mini, Qwen 2.5 Omni, Phi-4 Multimodal).

Strategie di Adattamento Valutate:
Lo studio ha testato sistematicamente quattro componenti distinti di adattamento:

1. Apprendimento in Contesto (ICL) con Selezione delle Demostrazioni:

   • Sono state testate quattro politiche di selezione per gli esempi few-shot: Più Simili (all'input di test), Meno Simili, Centroide/Prototipo di Classe (somiglianza media alla classe) e Casuale.
   • Valutati conteggi di shot da $N=2$ a $12$.

2. Prompting Potenziato dal Ragionamento:

   • Reasoning-ICL: Le dimostrazioni sono state potenziate con razionali generati dallo stesso modello (self) o da modelli "insegnanti" più grandi (GPT-4o, LLaMA 405B).
   • Coerenza Self: Le previsioni sono state aggregate da più esecuzioni di inferenza (5 campioni) tramite votazione a maggioranza per ridurre la stocasticità.
   • Albero del Pensiero (ToT): I modelli sono stati invitati ad agire come tre esperti distinti (non specificati o specifici del dominio: Specialista Linguistico, Ricercatore Neurocognitivo, Logopedista) per generare catene di ragionamento multi-step prima della classificazione.

3. Fine-Tuning Efficiente dei Parametri (PEFT):

   • Supervisione a Livello di Token: La classificazione è stata inquadrata come previsione del token successivo (generando "AD" o "Healthy") utilizzando LoRA.
   • Testa di Classificazione: È stata aggiunta una leggera testa di classificazione agli stati nascosti finali del modello, disaccoppiando la classificazione dalla generazione del linguaggio.

4. Integrazione Multimodale:

   • Valutate le prestazioni zero-shot e fine-tuned dei modelli che elaborano l'audio grezzo insieme alle trascrizioni.

Metriche di Valutazione:

• Primaria: F1-score per la classe Compromissione Cognitiva (CI).
• Secondaria: AUC-ROC (dove le probabilità erano disponibili).

3. Contributi Chiave

• Primo Benchmark Completo: Fornisce il primo confronto sistematico di diverse strategie di adattamento dei LLM (ICL, ragionamento, fine-tuning, multimodale) specificamente per il rilevamento ADRD sul corpus DementiaBank.
• Ottimizzazione della Strategia: Identifica che la selezione delle dimostrazioni basata sul Centroide di Classe è superiore per l'ICL e che il Fine-Tuning a Livello di Token è generalmente il metodo di adattamento più efficace.
• Approfondimenti Specifici per Modello: Dimostra che, sebbene il fine-tuning a livello di token funzioni meglio per la maggior parte dei modelli, una Testa di Classificazione è critica per i modelli che faticano con la generazione di token (ad esempio, MedAlpaca 7B).
• Realtà Multimodale: Mostra che i modelli multimodali attuali non superano ancora i modelli solo testo ottimizzati, evidenziando la necessità di un migliore allineamento audio-testo.

4. Risultati Chiave

Apprendimento in Contesto (ICL):

• Migliore Strategia: La selezione Centroide di Classe (Prototipo) ha costantemente ottenuto i punteggi F1 più alti tra le dimensioni dei modelli (fino a F1 = 0.81 per GPT-4o).
• Osservazione: I modelli più grandi hanno raggiunto un plateau dopo circa 6 dimostrazioni, mentre i modelli più piccoli sono rimasti sensibili alla qualità della selezione. Le strategie Meno Simili e Casuale hanno generalmente ottenuto prestazioni inferiori.

Metodi Potenziati dal Ragionamento:

• Razionali dell'Insegnante: L'uso di razionali da un modello insegnante più grande (LLaMA 405B) ha aumentato significativamente i modelli più piccoli (ad esempio, l'F1 di LLaMA 8B è passato da 0.72 a 0.76).
• Coerenza Self: Ha migliorato la stabilità per i modelli più piccoli (F1 di LLaMA 3B: 0.66 $\to$ 0.72) ma ha offerto rendimenti decrescenti per i modelli più grandi e più stabili.
• Albero del Pensiero (ToT): Il prompting di esperti specifici del dominio ha migliorato le prestazioni per i modelli di dimensioni medie (LLaMA 8B +0.16 F1) ma ha degradato le prestazioni per il modello più piccolo (LLaMA 3B), suggerendo limiti di capacità per catene di ragionamento complesse.

Fine-Tuning (Il Migliore Eseguente):

• Supervisione a Livello di Token: Ha prodotto i punteggi complessivi più alti.
  • LLaMA 3B: F1 = 0.83, AUC = 0.91.
  • LLaMA 70B: F1 = 0.83, AUC = 0.86.
  • GPT-4o: F1 = 0.80, AUC = 0.87.
• Testa di Classificazione: Cruciale per architetture specifiche.
  • MedAlpaca 7B: L'F1 a livello di token era vicino allo zero (0.06) a causa di problemi di tokenizzazione; il passaggio a una testa di classificazione ha fatto schizzare le prestazioni a F1 = 0.82.
  • Nota: I modelli già forti con il fine-tuning a livello di token (ad esempio, LLaMA 3B) hanno visto un calo delle prestazioni passando a una testa di classificazione.

Modelli Multimodali:

• Phi-4 Multimodal è stato l'unico modello multimodale a mostrare un miglioramento significativo dopo il fine-tuning (F1 = 0.80 per CI), ma non ha comunque superato i migliori sistemi solo testo.
• GPT-4o mini e Qwen 2.5 Omni hanno mostrato forti bias di classe in impostazioni zero-shot e non sono riusciti a migliorare con il fine-tuning, probabilmente a causa di dati di addestramento limitati e di un scarso allineamento audio-testo.

Analisi degli Errori:

• Le classificazioni errate erano spesso legate a campioni in cui il profilo linguistico (ricchezza lessicale, complessità sintattica, disfluenza) assomigliava alla classe opposta.
• Problemi tecnici (audio rumoroso, errori di trascrizione) hanno contribuito ai Falsi Positivi.

5. Significato e Conclusione

• Scalabilità: I modelli a peso aperto opportunamente adattati (in particolare LLaMA 3B e 70B) possono eguagliare o superare i modelli commerciali (GPT-4o) nel rilevamento della compromissione cognitiva. Ciò suggerisce una strada verso strumenti di screening clinico economici e scalabili che non dipendono da API proprietarie costose.
• L'Adattamento Conta: La scelta della strategia di adattamento è più critica della dimensione grezza del modello. Ad esempio, un modello da 3B parametri con fine-tuning a livello di token ha superato un modello da 405B parametri utilizzando il prompting zero-shot.
• Utilità Clinica: Questi risultati supportano l'integrazione dell'analisi del parlato basata su LLM nei flussi di lavoro clinici come complemento non invasivo e scalabile ai biomarcatori biologici.
• Direzioni Future: Lo studio evidenzia la necessità di un migliore allineamento audio-testo nei modelli multimodali e l'importanza di dataset diversificati per garantire la generalizzabilità tra dialetti e demografie.

In sintesi, il paper stabilisce che il fine-tuning a livello di token di LLM a peso aperto è l'approccio state-of-the-art attuale per lo screening ADRD basato sul parlato, superando strategie di prompting complesse e le attuali capacità multimodali.