Wearable and Interview-based Assessment of Psychological Risk in Alzheimers Caregivers: Machine Learning vs. Large Language Models

Deze studie vergelijkt traditioneel machine learning en grote taalmodellen voor het beoordelen van psychologische risico's bij verzorgers van mensen met Alzheimer, waarbij wordt geconstateerd dat multimodale data-integratie traditionele modellen bevoordeelt, terwijl alleen interviewtekst superieure resultaten oplevert met grote taalmodellen, met prestaties die sterk worden beïnvloed door promptstrategieën en het specifieke psychologische construct dat wordt voorspeld.

De kern

Stel je voor dat je probeert te achterhalen of een persoon die zorgt voor een echtgenoot met Alzheimer, in het geheim worstelt met stress, zich overweldigd voelt of eenzaam is. Meestal vragen we hen om lange, saaie vragenlijsten in te vullen. Maar mensen raken moe van het invullen daarvan, en ze antwoorden op dat moment misschien niet eerlijk of nauwkeurig.

Dit artikel is als een detectiveverhaal waarin de onderzoekers twee verschillende "super-detectives" probeerden om het mysterie van het welzijn van mantelzorgers op te lossen, zonder uitsluitend te vertrouwen op de vragenlijsten.

De Twee Super-Detectives

1. Het Traditionele Machine Learning-model (De "Data-kraker"): Denk hierbij aan een zeer georganiseerde boekhouder. Het kijkt naar harde cijfers: hoeveel stappen heeft de persoon gezet? Hoe was hun hartslag? Sliepen ze goed? Het is uitstekend in het opsporen van patronen in cijfers, maar kan een verhaal niet echt "begrijpen".
2. Het Groot Taalmodel (De "Empathische Luisteraar"): Dit is als een wijze, goed gelezen counselor (met AI zoals GPT-4o of Gemini). Het leest de transcripties van interviews waarin de mantelzorger praat over hun dag. Het is verbazingwekkend in het begrijpen van toon, emotie en de "sfeer" van wat iemand zegt, maar het raakt soms in de war door ruwe cijfers.

De Drie aanwijzingen (Datatypes)

De onderzoekers gaven deze detectives drie verschillende soorten aanwijzingen om mee te werken:

• De Fitnesstracker-aanwijzingen (Draagbare apparaten): Gegevens van een Fitbit, zoals hartslag, stappen en slaappatronen.
• De Interview-aanwijzingen (Tekst): Transcripties van een 30-minuten gesprek waarin de mantelzorger praat over hun leven.
• De Gemengde Zak (Multimodaal): Een combinatie van zowel de fitnesstracker-gegevens als de interviewtekst.

De Drie Mysterieën op te lossen

Ze probeerden drie specifieke problemen op te lossen:

1. Waargenomen Stress (PSS): Hoe overweldigd voelt de mantelzorger zich op dit moment?
2. Mantelzorglast (ZBI): Hoe zwaar voelt de verantwoordelijkheid?
3. Eenzaamheid (UCLALS): Hoe geïsoleerd voelen ze zich?

Wat Vonden Ze?

1. Het "Stress"-mysterie was het makkelijkst
De onderzoekers ontdekten dat "Waargenomen Stress" het makkelijkst te voorspellen was. Het is als een luid alarm; het komt duidelijk naar voren in zowel de cijfers (hartslag, slaap) als de woorden (mensen die zeggen dat ze "stress" hebben of "haastig" zijn). Zowel de Data-kraker als de Empathische Luisteraar deden het hier goed.

2. De "Last"- en "Eenzaamheid"-mysterieën waren moeilijker
Uitzoeken of iemand zich "belast" of "eenzaam" voelt, was veel lastiger.

• De Data-kraker werkte het beste wanneer het zowel de fitnesstracker-gegevens als de interviewtekst had. Het was alsof je probeerde een puzzel op te lossen met twee verschillende sets stukken; als je ze samenvoegt, wordt het plaatje duidelijk.
• De Empathische Luisteraar (de AI-chatbot) werkte het beste wanneer het alleen de interviewtekst had. Het had de cijfers niet nodig; het moest gewoon het verhaal horen. Toen je het dwong om naar de cijfers te kijken, raakte het eigenlijk een beetje in de war, als een dichter die probeert een spreadsheet te lezen.

3. "Hoe je het vraagt" maakt uit (Prompt Engineering)
De onderzoekers ontdekten dat hoe je de AI vraagt het probleem op te lossen, het antwoord verandert.

• Als je de AI vertelt: "Doe alsof jij de mantelzorger bent en vertel me hoe je je voelt", geeft het soms een ander antwoord dan als je zegt: "Doe alsof je een arts bent die naar het dossier van deze patiënt kijkt."
• Het blijkt dat de manier waarop je de instructies formuleert (de "prompt"), als het afstemmen van een radio is; als je het iets verkeerd afstemt, wordt het signaal ruisend.

4. De Winnaar hangt af van de Taak

• Gemini 2.0 was de meest stabiele en betrouwbare AI in het algemeen.
• GPT-4o was geweldig in het lezen van de interviewtekst, maar had moeite toen het de fitnesstracker-cijfers kreeg.
• Llama 4 was oké, maar presteerde over het algemeen niet zo goed als de anderen.

De Grote Conclusie

Het artikel concludeert dat er geen enkele "wonderkugel" AI is.

• Als je cijfers wilt gebruiken (zoals hartslag), heb je een traditioneel computermodel nodig.
• Als je woorden wilt gebruiken (zoals interviewtranscripties), is een moderne AI-chatbot je beste optie.
• Als je de best mogelijke nauwkeurigheid wilt, moet je de cijfers en de woorden combineren, maar dan moet je het traditionele computermodel gebruiken om de combinatie te doen, niet de chatbot.

Kortom, de onderzoekers ontdekten dat je om de verborgen strijd van een mantelzorger te begrijpen, het juiste gereedschap voor het juiste werk nodig hebt: een rekenmachine voor de cijfers en een luisteraar voor de verhalen. Ze mengen vereist een specifiek soort "vertaler" (het traditionele model) om beide begrijpelijk te maken.

Technische samenvatting

Technische Samenvatting: Draagbare en op interviews gebaseerde beoordeling van psychologisch risico bij verzorgers van Alzheimer-patiënten

Probleemstelling
Echtgenoten die zorg verlenen aan personen met de ziekte van Alzheimer en aanverwante dementies (AD/ADRD) ervaren vaak verhoogde waargenomen stress, zorglast en eenzaamheid, die gekoppeld zijn aan ongunstige fysiologische en psychologische gezondheidsuitkomsten. Huidige beoordelingsmethoden vertrouwen sterk op infrequente zelfrapportage-instrumenten (bijv. Perceived Stress Scale, Zarit Burden Interview, UCLA Loneliness Scale), die betekenisvolle dagelijkse fluctuaties kunnen missen. Hoewel digitale gezondheidstechnologieën continue monitoring bieden via draagbare apparaten en linguïstische analyse van interviews, ontbreekt er een systematische vergelijking tussen traditionele machine learning (ML)-benaderingen en Large Language Models (LLM's) in deze specifieke multimodale context. Bovendien is het nog onduidelijk hoe verschillende datamodaliteiten (fysiologische/gedragsdata afgeleid van draagbare apparaten versus interviewtranscripten) en prompting-strategieën de detectie van deze onderscheiden psychologische constructen beïnvloeden.

Methodologie
De studie gebruikte een dataset van 32 echtgenoten die als verzorgers gedurende zeven dagen Fitbit-apparaten droegen en een semi-gestructureerd interview van 30 minuten voltooiden.

• Datamodaliteiten:
  • Draagbare data: Hartslag en stapgetallen per minuut werden verwerkt om 104 kenmerken te extraheren, waaronder slaapparameters (duur, regelmaat), dagelijkse activiteitsstatistieken (stappen, tijd actief/sedentair) en ritmische kenmerken (ultradiaan, circadiaan en infradiaan patronen via M10/L5, Relatieve Amplitude en Cosinor-modellering).
  • Interviewdata: Audio-interviews werden getranscribeerd, schoongemaakt en opgedeeld in 28 gestructureerde vraag-antwoord-eenheden.
• Ground Truth: Deelnemers vulden de PSS-10, ZBI-13 en UCLALS-3 schalen in, die op basis van vastgestelde cut-off waarden werden binaireerd in een groep met hoog risico en een groep met laag risico.
• Geëvalueerde modellen:
  • Traditionele ML: Support Vector Machines (SVM), XGBoost, Random Forests en K-Nearest Neighbors (KNN) werden getraind met Leave-One-Out Cross-Validation (LOOCV) vanwege de kleine steekproefomvang ($N=32$). Kenmerkselectie werd binnen elke fold uitgevoerd.
  • Large Language Models (LLM's): Gemini 2.0, Llama 4 en GPT-4o werden geëvalueerd met zero-shot inferentie.
• Prompt Engineering: Twee primaire perspectieven werden getest: (1) Verzorger-gericht (het model neemt het perspectief van de verzorger aan) en (2) Psychometrist-gericht (het model treedt op als expert beoordelaar). Deze werden gecombineerd met twee taakformuleringen: (A) Directe classificatie (binaire output) en (B) Scorevoorspelling (voorspellen van schaalpunten en vervolgens drempelen). "Informatieve" prompts bevatten volledige vragenlijstdetails, terwijl "oninformatieve" prompts alleen drempelwaarden verstrekte.
• Experimentele configuraties: Modellen werden getest onder drie modaliteitsinstellingen: Alleen draagbaar, Alleen interview en Multimodaal (gecombineerde draagbare kenmerken en interviewtekst).

Belangrijkste resultaten

• Modelprestaties per modaliteit:
  • Traditionele ML: Bereikte de beste prestaties in de multimodale instelling. Voor de Perceived Stress Scale (PSS) bereikte de multimodale TF-IDF + XGBoost-configuratie een nauwkeurigheid van 0,81 en een recall van 0,96. Dit suggereert dat gestructureerde fysiologische kenmerken linguïstische informatie aanvullen voor traditionele classifiers.
  • LLM's: Bereikten hun sterkste prestaties met alleen interview-inputs. Voor PSS behaalde GPT-4o een nauwkeurigheid van 0,79 in de instelling Alleen interview. LLM's presteerden over het algemeen minder goed in de instelling Alleen draagbaar, met name GPT-4o en Llama 4, wat wijst op moeilijkheden bij het interpreteren van ruwe numerieke kenmerkbeschrijvingen zonder narratieve context.
• Voorspelbaarheid van constructen:
  • PSS (Waargenomen stress) was het meest voorspelbare construct voor alle modellen en modaliteiten.
  • ZBI (Zorglast) en UCLALS (Eenzaamheid) waren uitdagender. LLM's vertoonden in bepaalde configuraties relatief sterkere prestaties op ZBI vergeleken met traditionele modellen, maar beide constructen bleven moeilijker te detecteren dan stress.
• Kenmerkbelang (SHAP-analyse):
  • PSS: Gedreven door linguïstische kenmerken gerelateerd aan tijd ("tijd", "lang") en activiteitsmetrieken (lagere maximale stapgetallen, verminderde activiteit tijdens de minst actieve uren).
  • ZBI: Voornamelijk geassocieerd met hartslagvariabiliteit (HRV) en ritmische kenmerken (HRV ochtend/middag, 16-uurs mesor), naast linguïstische markers van spanning ("gestrest", "denken").
  • UCLALS: Gedreven door slaapstoornissen (minuten wakker) en vertragingen in het circadiaanse ritme, naast linguïstische kenmerken gerelateerd aan communicatie ("dingen", "zeggen").
• Prompt Engineering: Prompting-strategieën hadden een significante invloed op de prestaties van LLM's. Voor ZBI leverde de Verzorger-gerichte Directe Classificatie-strategie (C C) de hoogste nauwkeurigheid op (0,81). Voor UCLALS onder inputs Alleen draagbaar, bracht alleen de Verzorger-gerichte Scorevoorspelling-strategie (C S) redelijke resultaten; andere strategieën faalden, wat suggereert dat redeneren met bewustzijn van onzekerheid (hedging) beter aansluit bij het subjectieve karakter van eenzaamheid.
• Modellenvergelijking: Gemini 2.0 toonde de meest stabiele en consistente algehele prestaties. GPT-4o excelleerde in PSS-voorspelling maar had moeite met inputs Alleen draagbaar. Llama 4 vertoonde iets lagere prestaties op PSS en ZBI maar vergelijkbare resultaten op UCLALS.

Betekenis en claims
Het artikel claimt een voorlopige systematische vergelijking te bieden van traditionele ML en LLM's voor het identificeren van psychologisch risico bij AD/ADRD-verzorgers, met de nadruk dat de keuze van het model moet worden afgestemd op de datamodaliteit.

• Complementariteit: Traditionele ML-modellen profiteren van de fusie van fysiologische en linguïstische data, terwijl LLM's het meest effectief zijn wanneer ze gebruikmaken van de rijke contextuele en emotionele aanwijzingen die voorkomen in narratieve interviewtekst.
• Prompt-gevoeligheid: De studie toont aan dat prompt engineering (perspectief en taakformulering) een kritieke variabele is die de prestaties van LLM's aanzienlijk kan veranderen, waarbij geen enkele strategie universeel superieur is voor alle schalen en modaliteiten.
• Constructspecificiteit: De bevindingen suggereren dat verschillende psychologische constructen zich verschillend manifesteren in gedrags- en linguïstische data; stress is globaler detecteerbaar over modaliteiten heen, terwijl last en eenzaamheid specifiekere kenmerksets of modelleringbenaderingen vereisen.
• Beperkingen: De auteurs erkennen dat de kleine steekproefomvang ($N=32$) de generaliseerbaarheid beperkt en merken op dat de multimodale fusiemethode bewust eenvoudig was gehouden om interpreteerbaarheid te behouden. Zij benadrukken ook dat de studie zich richtte op binaire classificatie, wat de genuanceerde ervaringen van verzorgers mogelijk te zeer vereenvoudigt.

De studie concludeert dat het ontwikkelen van digitale gezondheidstools voor risicoidentificatie bij verzorgers zorgvuldige overweging vereist van het samenspel tussen het computationele model, de datamodaliteit en de prompting-strategie, in plaats van ervan uit te gaan dat één enkele aanpak voor alle psychologische constructen geschikt is.