Speech-Based Cognitive Screening: A Systematic Evaluation of LLM Adaptation Strategies

1. Probleemstelling

De ziekte van Alzheimer en aanverwante dementies (ADRD) treffen ongeveer 11% van de ouderen in de VS, maar meer dan de helft blijft ongediagnosticeerd. Huidige screeningsmethoden missen vaak schaalbaarheid of vereisen uitgebreide feature-engineering. Hoewel natuurlijke taalverwerking (NLP) met spontane spraak (bijvoorbeeld de "Cookie Theft" taak voor het beschrijven van een afbeelding) veelbelovend is, vertrouwen bestaande pijplijnen op handmatig ontworpen kenmerken of standaard transformer-encoders (BERT, Wav2Vec) die grote gelabelde corpora en uitgebreide afstelling vereisen.

De kloof die deze studie aanpakt, is het gebrek aan systematische evaluatie van hoe Grote Taalmodellen (LLM's) moeten worden aangepast voor deze specifieke klinische taak. Het is onduidelijk of strategieën zoals in-context learning (ICL), redenering-verrijkte prompting, parameter-efficiënte fine-tuning of multimodale integratie de beste prestaties opleveren voor het detecteren van cognitieve stoornissen (CI) versus cognitief normale (CN) status.

2. Methodologie

Dataset:

• Bron: DementiaBank Pitt Corpus (Picture Description Task).
• Deelnemers: 237 in totaal (122 CI, 115 CN).
• Verdeling: 166 voor ontwikkeling (training/validatie) en 71 voor een vastgehouden testset.
• Preprocessing: Audio werd getranscribeerd met AWS General Transcribe. Demografie (leeftijd, geslacht, MMSE-scores) en linguïstische kenmerken waren gebalanceerd over de verdelingen.

Geëvalueerde Modellen:

• Alleen-tekst LLM's: 9 modellen variërend van 3B tot 405B parameters, inclusief open-weight (LLaMA 3.2/3.1, Ministral, MedAlpaca, DeepSeek-R1) en commerciële (GPT-4o, Gemini 2.0 Flash).
• Multimodale LLM's: 3 modellen die audio en tekst integreren (GPT-4o mini, Qwen 2.5 Omni, Phi-4 Multimodal).

Geëvalueerde Aanpassingsstrategieën:
De studie testte systematisch vier verschillende aanpassingscomponenten:

1. In-Context Learning (ICL) met Demonstratie-selectie:

   • Vier selectiebeleidstesten voor few-shot voorbeelden: Meest Similar (aan testinput), Minst Similar, Class-Centroid/Prototype (gemiddelde gelijkenis met klasse), en Willekeurig.
   • Geëvalueerde shot-aantallen van $N=2$ tot $12$.

2. Redenering-Verrijkte Prompting:

   • Reasoning-ICL: Demonstraties verrijkt met rationales gegenereerd door het model zelf (self) of grotere "leraar"-modellen (GPT-4o, LLaMA 405B).
   • Self-Consistency: Geaggregeerde voorspellingen uit meerdere inferentieruns (5 samples) via meerderheidsstemming om stochasticiteit te verminderen.
   • Tree-of-Thought (ToT): Modellen geprompt om te fungeren als drie verschillende experts (niet gespecificeerd of domeinspecifiek: Taalspecialist, Neurocognitief Onderzoeker, Logopedist) om multi-stap redeneerketens te genereren voordat er werd geclassificeerd.

3. Parameter-Efficiënte Fine-Tuning (PEFT):

   • Token-Level Supervisie: Classificatie vormgegeven als next-token predictie (genereren van "AD" of "Healthy") met behulp van LoRA.
   • Classificatiekop: Een lichtgewicht classificatiekop toegevoegd aan de laatste verborgen staten van het model, waarbij classificatie wordt ontkoppeld van taalgeneratie.

4. Multimodale Integratie:

   • Geëvalueerde zero-shot en gefinetunteerde prestaties van modellen die ruwe audio verwerken naast transcripties.

Evaluatiemetrics:

• Primair: F1-score voor de Cognitief Gestoorde (CI) klasse.
• Secundair: AUC-ROC (waar waarschijnlijkheden beschikbaar waren).

3. Belangrijkste Bijdragen

• Eerste Omvattende Benchmark: Biedt de eerste systematische vergelijking van diverse LLM-aanpassingsstrategieën (ICL, redenering, fine-tuning, multimodaal) specifiek voor ADRD-detectie op het DementiaBank-corpus.
• Strategie-Optimalisatie: Identificeert dat Class-Centroid demonstratie-selectie superieur is voor ICL en dat Token-Level Fine-Tuning over het algemeen de meest effectieve aanpassingsmethode is.
• Model-specifieke Inzichten: Toont aan dat hoewel token-level fine-tuning het beste werkt voor de meeste modellen, een Classificatiekop cruciaal is voor modellen die worstelen met token-generatie (bijv. MedAlpaca 7B).
• Multimodale Realiteitscheck: Laat zien dat huidige multimodale modellen nog niet beter presteren dan geoptimaliseerde alleen-tekst modellen, wat wijst op de noodzaak van betere audio-tekst uitlijning.

4. Belangrijkste Resultaten

In-Context Learning (ICL):

• Beste Strategie: Class-Centroid (Prototype) selectie behaalde consistent de hoogste F1-scores over modelgroottes heen (tot F1 = 0,81 voor GPT-4o).
• Observatie: Grotere modellen plateauerden na ongeveer 6 demonstraties, terwijl kleinere modellen gevoelig bleven voor de kwaliteit van de selectie. Least Similar en Random strategieën presteerden over het algemeen minder goed.

Redenering-Verrijkte Methoden:

• Leraar Rationales: Het gebruik van rationales van een groter leraar-model (LLaMA 405B) verbeterde kleinere modellen aanzienlijk (bijv. LLaMA 8B F1 steeg van 0,72 naar 0,76).
• Self-Consistency: Verbeterde stabiliteit voor kleinere modellen (LLaMA 3B F1: 0,66 $\to$ 0,72) maar bood afnemende meerwaarde voor grotere, stabielere modellen.
• Tree-of-Thought (ToT): Domeinspecifieke expert prompting verbeterde de prestaties voor modellen van gemiddelde grootte (LLaMA 8B +0,16 F1) maar verslechterde de prestaties voor het kleinste model (LLaMA 3B), wat wijst op capaciteitsgrenzen voor complexe redeneerketens.

Fine-Tuning (De Beste Performer):

• Token-Level Supervisie: Produceerde de hoogste totale scores.
  • LLaMA 3B: F1 = 0,83, AUC = 0,91.
  • LLaMA 70B: F1 = 0,83, AUC = 0,86.
  • GPT-4o: F1 = 0,80, AUC = 0,87.
• Classificatiekop: Cruciaal voor specifieke architecturen.
  • MedAlpaca 7B: Token-level F1 was bijna nul (0,06) vanwege tokenisatieproblemen; overschakelen naar een classificatiekop liet de prestaties exploderen naar F1 = 0,82.
  • Opmerking: Modellen die al sterk waren met token-level tuning (bijv. LLaMA 3B) zagen een daling in prestaties bij overschakelen naar een classificatiekop.

Multimodale Modellen:

• Phi-4 Multimodal was het enige multimodale model dat na fine-tuning een significante verbetering liet zien (F1 = 0,80 voor CI), maar het overtrof nog steeds niet de top alleen-tekst systemen.
• GPT-4o mini en Qwen 2.5 Omni vertoonden sterke klassen-bias in zero-shot settings en verbeterden niet met fine-tuning, waarschijnlijk vanwege beperkte trainingsdata en slechte audio-tekst uitlijning.

Foutenanalyse:

• Foutclassificaties waren vaak gekoppeld aan samples waarbij het linguïstische profiel (lexicale rijkdom, syntactische complexiteit, disfluency) leek op de tegenovergestelde klasse.
• Technische problemen (ruis in audio, transcriptiefouten) droegen bij aan False Positives.

5. Betekenis en Conclusie

• Schaalbaarheid: Behoorlijk aangepaste open-weight modellen (specifiek LLaMA 3B en 70B) kunnen commerciële modellen (GPT-4o) evenaren of overtreffen bij het detecteren van cognitieve stoornissen. Dit suggereert een weg naar kosteneffectieve, schaalbare klinische screeningstools die niet afhankelijk zijn van dure propriëtaire API's.
• Aanpassing is Belangrijk: De keuze van de aanpassingsstrategie is kritischer dan de ruwe modelgrootte. Bijvoorbeeld, een 3B parameter model met token-level fine-tuning presteerde beter dan een 405B parameter model met zero-shot prompting.
• Klinische Bruikbaarheid: Deze bevindingen ondersteunen de integratie van op LLM gebaseerde spraakanalyse in klinische workflows als een niet-invasieve, schaalbare aanvulling op biologische biomerkers.
• Toekomstrichtingen: De studie benadrukt de noodzaak van verbeterde audio-tekst uitlijning in multimodale modellen en het belang van diverse datasets om generaliseerbaarheid over dialecten en demografieën te waarborgen.

Kortom, het artikel stelt vast dat token-level fine-tuning van open-weight LLM's de huidige state-of-the-art aanpak is voor spraakgebaseerde ADRD-screening, die complexere prompting-strategieën en huidige multimodale capaciteiten overtreft.