Technische Samenvatting: LENS (LLM-Enabled Narrative Synthesis for Mental Health)

Probleemstelling

Multimodale gezondheidsmonitoring biedt rijke gedragsignalen (bijvoorbeeld hartslag, slaappatronen, mobiliteit) voor het beoordelen van mentale gezondheidsaandoeningen zoals depressie en angst. Het vertalen van deze numerieke tijdreeksmetingen naar natuurlijke taal blijft echter een aanzienlijke uitdaging. Huidige Large Language Models (LLM's) kampen met twee primaire beperkingen:

1. Onvermogen om lange tijdreeksen in te nemen: LLM's hebben moeite met langdurige sensorstromen vanwege beperkingen in de contextlengte en tokenizerontwerpen die directe invoer van ruwe numerieke sequenties verhinderen.
2. Schaarste aan gekoppeld data: Er is een gebrek aan grootschalige datasets die ruwe sensorstromen koppelen aan klinisch onderbouwde tekstbeschrijvingen. Bestaande methoden vertrouwen vaak op synthetische data of zetten tijdreeksen om in afbeeldingen, wat bias en indirecte representaties introduceert.

Bijgevolg werken bestaande benaderingen zelden direct op ruwe sensorstromen om klinisch zinvolle verhalen te genereren, wat de schaalbaarheid van LLM's als interfaces voor gezondheidsmonitoring beperkt.

Methodologie

De auteurs introduceren LENS, een raamwerk dat is ontworpen om multimodale sensordata af te stemmen op taalmodellen om klinisch onderbouwde verhalen over mentale gezondheid te genereren. De aanpak bestaat uit twee hoofdcomponenten:

1. Dataconstruktiepijplijn

Om de dataschaarste aan te pakken, construeerden de auteurs een grootschalige dataset van meer dan 100.000 sensor-tekst QA-paren van 258 deelnemers met een diagnose van Major Depressive Disorder (MDD).

• Brondata: De studie gebruikte 90 dagen longitudinale data verzameld via Garmin-draagbare apparaten en Android-smartphones, waarbij passieve monitoring (GPS, stappen, hartslag, stress, telefoongebruik) en Ecological Momentary Assessments (EMA) werden vastgelegd.
• EMA-uitlijning: Deelnemers vulden drie keer per dag 14 EMA-items in (aangepast van PHQ-9 en GAD-4) en beoordeelden symptomen op een schaal van 0–100. Deze antwoorden werden temporair uitgelijnd met de vier uur aan sensordata die hieraan voorafgingen.
• Verhaalsynthese:
  • Sjabloongeneratie: Numerieke EMA-antwoorden werden omgezet in ruwe verhaalsjablonen met behulp van frequentiefraases (bijvoorbeeld "helemaal niet", "constant").
  • LLM-verfijning: Een lokaal ingezet LLM (Qwen2.5-14B) verfijnde deze sjablonen om vloeiendheid en lexicaal diversiteit te verbeteren, terwijl feitelijke nauwkeurigheid en taal zonder stigma werden gehandhaafd.
  • Kwaliteitscontrole: Een multi-agent "LLM-as-a-Judge"-systeem (met Mistral-7B, Llama-3.1-8B en Qwen2.5-7B) evalueerde de verhalen tegen de oorspronkelijke sjablonen op vijf dimensies (feitelijke uitlijning, dekking, fideliteit van ernst, vloeiendheid, risico op hallucinaties). Alleen verhalen die een kwaliteitsdrempel overschreden, werden geaccepteerd.
• Output: De pijplijn produceerde Item-level QA-paren (enkel symptoom) en Summary-level QA-paren (volledig overzicht van symptomen).

2. Modelarchitectuur en Training

LENS maakt gebruik van een op patches gebaseerde encoder om native integratie van tijdreeksen in een LLM mogelijk te maken.

• Tijdreeksencoder: Ruwe scalair sensorwaarden ondergaan reversibele waarde-normalisatie. De sequentie wordt verdeeld in niet-overlappende patches (breedte $w=8$). Elke patch wordt verrijkt met leerbare positionele embeddings en geprojecteerd in de verborgen ruimte van de LLM via een Multi-Layer Perceptron (MLP). Dit behoudt absolute numerieke semantiek terwijl gelokaliseerde temporele patronen worden vastgelegd.
• Architectuur: Het model wisselt tekst-embeddings (van instructies en metadata) af met patch-embeddings van de tijdreeksencoder. Speciale tokens (<ts>, </ts>) markeren de posities van sensorstromen binnen de prompt.
• Trainingsstrategie:
  • Fase 1 (Encoder-uitlijning): De encoder wordt uitgelijnd met tekstuele beschrijvingen met behulp van een ChatTS-dataset om trends en correlaties vast te leggen, afgewisseld met verhaalsamples om voor downstream-generatie voor te bereiden.
  • Fase 2 (Supervised Fine-Tuning): Het model wordt fijngeschaald op de geconstrueerde, van EMA afgeleide QA-datasets. De trainingsmix omvat Item-level QA, Summary-level QA, Instruction-Following (IF)-data en een willekeurige uitlijnsubgroep om variabele sequentielengtes te hanteren.

Belangrijkste Bijdragen

1. LENS Data Synthesis Pipeline: Een schaalbare pijplijn die EMA-antwoorden omzet in hoogwaardige, klinisch onderbouwde sensor-tekstparen, waarmee het tekort aan dergelijke bronnen wordt aangepakt met meer dan 100.000 gegenereerde samples.
2. Native Time-Series Integration: Een trainingsstrategie die gebruikmaakt van een op patch-niveau werkende encoder die ruwe sensorsignalen direct projecteert in de representatieruimte van de LLM, waardoor de noodzaak voor tekstserialisatie of afbeeldingconversie wordt vermeden.
3. Uitgebreide Evaluatie: Evaluatie op een klinische dataset van 258 deelnemers (50.957 samples) en een gebruikersstudie met 13 professionals in de geestelijke gezondheidszorg, waarbij prestaties worden aangetoond op zowel standaard NLP-metrics als klinische nauwkeurigheid van symptoomernst.

Resultaten

• Prestaties versus Baselines: LENS presteerde beter dan sterke baselines, waaronder een uitsluitend op tekst gebaseerde serialisatie-aanpak (TS-Text) en een visuele aanpak die signalen omzet in grafieken (TS-Image).
  • Summary-Level: LENS behaalde een ROUGE-L van 0,409 en een BERTScore van 0,775, waarmee het TS-Image (0,373 ROUGE-L) voorbijstreefde en TS-Text (0,151 ROUGE-L) aanzienlijk overtrof.
  • Item-Level QA: LENS behaalde een ROUGE-L van 0,603, meer dan vier keer zo hoog als de baselines, wat wijst op superieure precisie bij het terugvinden van specifieke symptoomintensiteiten.
  • Klinische Uitlijning: LENS toonde een hogere symptoomdekking (0,801) en aanwezigheidsuitlijning (0,601) in vergelijking met baselines, waardoor hallucinaties worden geminimaliseerd.
• Gebruikersstudie: In een studie met 13 experts op het gebied van geestelijke gezondheid werden LENS-verhalen significant hoger beoordeeld dan TS-Text op alle vier dimensies: volledigheid, nauwkeurigheid, klinische bruikbaarheid en taalkundige samenhang.
• Pariteit met Grotere Modellen: LENS (14B parameters) boekte dezelfde prestaties als het 32B-parameter TS-Image-model in expertbeoordelingen, ondanks de grotere omvang van het laatste en de afhankelijkheid van visuele grafiek-engineering.
• Efficiëntie: LENS vereiste ongeveer 930 tokens per sample, een reductie van 94% ten opzichte van uitsluitend op tekst gebaseerde serialisatie en een reductie van 4x ten opzichte van op visie gebaseerde modellen.
• Ablatie: Experimenten bevestigden dat expliciete tijdreekscodering essentieel is; een uitsluitend op tekst fijngeschaalde baseline presteerde aanzienlijk slechter. Experimenten met sensormismatch toonden een daling van 20,1% in aanwezigheidsuitlijning aan wanneer sensorstromen werden gewisseld, wat bewijst dat het model inhoud baseert op feitelijke signalen in plaats van stijlpatronen.

Betekenis

Het artikel positioneert LENS als een stap in de richting van ecologisch valide monitoring van de mentale gezondheid. Door ruwe sensordata om te zetten in interpreteerbare klinische inzichten, verbetert LENS het vermogen van LLM's om redenering te plegen over ruwe gedragsignalen. De auteurs presenteren het systeem niet als een diagnostisch hulpmiddel, maar als een monitoringstool voorafgaand aan consultatie die clinici voorziet van natuurlijke gedragsamenvattingen, waardoor meer geïnformeerde en tijds efficiënte consultaties mogelijk worden. Het werk demonstreert een schaalbare weg voor het integreren van passieve monitoring met taalmodellen, wat potentieel ondersteuning biedt bij downstream klinische besluitvorming zonder de overhead van handmatige datainterpretatie of complexe visuele engineering.

De auteurs erkennen beperkingen, waaronder de huidige focus op depressie en angst binnen een specifieke klinische cohort, de analyse van een venster van 4 uur (wat langetermijntrends kan missen) en de afhankelijkheid van specifieke modelfamilies. Zij benadrukken dat gegenereerde verhalen klinisch oordeel moeten aanvullen, niet vervangen.