Technische Samenvatting: Een Foundation Model voor Bewegingsgegevens van Wearables in Mentale Gezondheidsonderzoek

Probleemstelling

Bewegingsgegevens van wearables, specif으로 minuut-niveau actigrafie verzameld via smartwatches en fitness trackers, vormen een rijke, longitudinale bron voor onderzoek naar mentale gezondheid. Het legt fijnmazige gedragstrends vast, zoals circadiane fragmentatie en psychomotorische vertraging. De ontwikkeling van foundation models voor deze modaliteit loopt echter achter op de klinische beeld- en tekstanalyse. Bestaande analytische benaderingen kampen met aanzienlijke beperkingen:

• Klassieke methoden vertrouwen op handmatig ontworpen kenmerken (features) en regelgebaseerde detectoren, die taakspecifiek zijn en gevoelig voor variaties in cohort en apparaat.
• Deep learning-benaderingen (CNN's en RNN's) hebben vaak moeite met lange temporele vensters; CNN's hebben een beperkt receptief veld, terwijl recurrente modellen kampen met gradiëntdegradatie over lange sequenties.
• Huidige foundation models voor wearables zijn vaak propriëtair, getraind op korte temporele segmenten (seconden tot minuten) in plaats van meerdaagse patronen, of gericht op algemene activiteitsherkenning in plaats van psychiatrische en slaapuitkomsten.
• Er is een gebrek aan open-source, generaliseerbare modellen die in staat zijn om wekelijkse afhankelijkheden op minuut-niveau te modelleren om mentale gezondheidsuitkomsten te voorspellen.

Methodologie

Dataset en Preprocessing

De studie maakte gebruik van gegevens uit de National Health and Nutrition Examination Survey (NHANES), een nationaal representatieve Amerikaanse cohort.

• Pretraining: Gegevens van 21.538 deelnemers uit de surveycycli 2003–2004, 2005–2006 en 2011–2012. Dit omvatte een eenassige heupversnellingsmeter en een driewegs polsversnellometer. Om vergelijkbaarheid te garanderen, werden driewegs-gegevens opgeteld om overeen te komen met eenassige tellingen, en werden de gegevens gestandaardiseerd met z-scores per type apparaat om verschillen in amplitude te mitigeren.
• Fine-tuning: Gegevens van 7.769 deelnemers uit de cyclus 2013–2014 werden gebruikt voor downstream gesuperviseerde taken.
• Input: Minuut-niveau actigrafie-sequenties met een spanne van 7 dagen (10.080 tijdstappen).

Modelarchitectuur: Pretrained Actigraphy Transformer (PAT)

De auteurs ontwierpen een Transformer-gebaseerde architectuur die specifiek is ontworpen voor lange-sequentie actigrafie:

1. Patch Embeddings: Om de kwadratische complexiteit van het verwerken van 10.000+ tijdstappen aan te pakken, wordt de invoersequentie verdeeld in niet-overlappende patches (bijv. 10-minuten patches). Elke patch wordt naar een vaste dimensie gemapt via een trainbare lineaire projectie of 1D-convolutie.
2. Positional Embeddings: Vaste sine-cosine positionele embeddings worden toegevoegd om de temporele volgorde te coderen.
3. Transformer Encoder: Een stapel transformer blocks (multi-headed self-attention, layer normalization, feed-forward networks) verwerkt de patch embeddings.
4. Masked Autoencoder (MAE) Pretraining:
   • Strategie: Een asymmetrische autoencoder-aanpak waarbij een hoge ratio patches (90%) willekeurig wordt gemaskeerd en verwijderd vóór de encoder.
   • Encoder: Verwerkt alleen de niet-gemaskeerde patches.
   • Decoder: Een lichtgewicht decoder ontvangt de output van de encoder samen met mask tokens om het originele gestandaardiseerde actigrafiesignaal te reconstrueren.
   • Loss: Mean Squared Error (MSE) berekend tussen het gereconstrueerde en het originele signaal over alle patches.
5. Fine-tuning: De patch embedding layer en de getrainde encoder worden geëxtraheerd. Een taakspecifieke feed-forward classificatielaag met sigmoid-activatie wordt toegevoegd voor binaire classificatietaken.

Experimenteel Ontwerp

• Taken: Vijf binaire classificatietaken werden gedefinieerd: Benzodiazepinegebruik, SSRI-gebruik, Depressie (PHQ-9 ≥10), Geschiedenis van slaapstoornissen en Detectie van slaapabnormaliteiten.
• Baselines: Vergelijkingen met 1D CNN, LSTM, ConvLSTM, Wavelet-gebaseerde classifiers en een "ScratchTransformer" (identieke architectuur als PAT, maar getraind vanaf een willekeurige initialisatie zonder pretraining).
• Evaluatie: Prestaties werden gemeten met behulp van de Area Under the Receiver Operating Characteristic Curve (AUC), gemiddeld over trainingssetgroottes van 500, 1.000, 2.500 en de volledige beschikbare set om robuustheid in scenario's met weinig data te beoordelen.

Belangrijkste Bijdragen

1. Open-Source Foundation Model: PAT is het eerste open-source foundation model voor bewegingsgegevens van wearables dat wekelijkse, minuut-niveau temporele modellering combineert met expliciete evaluatie op mentale gezondheidsuitkomsten. Het geeft getrainde gewichten, code en trainingspipelines vrij.
2. Lange-afstands Temporele Modellering: In tegen tegenstelling tot bestaande modellen die werken op korte segmenten (seconden tot minuten), modelleert PAT 10.080-minuten (wekelijkse) sequenties, waardoor circadiane structuren en meerdaagse gedragspatronen worden gevangen.
3. Generaliseerbaarheid: Het model vertoont consistente prestaties over vijf diverse klinische taken (medicatiegebruik, depressie, slaap) en laat superieure prestaties zien in scenario's met weinig data (n ≤ 1.000).
4. Interpreteerbaarheid: Het model biedt ingebouwde attention maps, die specifieke temporele perioden (bijv. overgangen in ochtendactiviteit) highlighten die de voorspellingen sturen, wat transparantie biedt zonder post-hoc verklaringstools te vereisen.

Resultaten

Prestatie-metrieken

• Benzodiazepine Voorspelling: PAT-L (de grootste variant) bereikte een gemiddelde AUC van 0,767. Dit vertegenwoordigt een verbetering van 55,6% ten opzien van de LSTM-baseline (0,493), een verbetering van 21,4% ten opzien van de 1D CNN (0,632) en een verbetering van 14,8% ten opzien van de ConvLSTM (0,668).
• Robuustheid bij weinig data: PAT presteerde consequent beter dan alle baselines, inclusclusief de ScratchTransformer, over alle trainingssetgroottes. Dit geeft aan dat de zelfgesuperviseerde pretraining effectief generaliseerbare representaties heeft geleerd die goed overdraagbaar zijn, zelfs met beperkte gelabelde data.
• Multi-task Prestaties: PAT presteerde beter dan de baselines op SSRI-gebruik, detectie van slaapabnormaliteiten en depressieclassificatie. Voor geschiedenis van slaapstoornissen presteerde PAT vergelijkbaar met andere modellen, maar vertoonde het geen onafhankelijke associatie na correctie voor covariaten (zie hieronder).

Inzichten in Hyperparameters

• Masking Ratio: Een 9ing ratio van 90% leverde de beste downstream prestaties op (AUC 0,773), wat de encoder stimuleert om bredere contextuele afhankelijkheden te leren.
• Smoothing: Modellen getraind op ruwe actigrafische signalen presteerden beter dan modellen getraind op gesmoothde data (AUC 0,773 vs. 0,741), wat suggereert dat fijnmazige temporele informatie cruciaal is.
• Loss Functie: Het berekenen van de MSE over alle patches (zowel gereconstrueerd als origineel) presteerde significant beter dan het berekenen van de loss enkel op de gemaskeerde patches.

Bevindingen over Interpreteerbaarheid

Attention heatmaps toonden aan dat PAT zich richt op specifieke gedragsovergangen in plaats van op willekeurige ruis.

• Benzodiazepine Gebruikers: Hoge aandacht werd toegewezen aan uitgebreide inactiviteit in de vroege ochtend en vertraagde opstatijden.
• Niet-gebruikers: Hoge aandacht werd toegewezen aan scherpe, consistente fysieke activiteit in de vroege ochtend.
• Populatieniveau: De attention patronen vertoonden sterke 24-uurs periodiciteit, met pieken geconcentreerd rond wake-transities en ochtendactiviteit, wat bevestigt dat het model recurrente dagelijkse ritmes leert.

Analyse van Confounders

Multivariabele logistische regressie toonde aan dat PAT-voorspellingen onafhankelijk geassocieerd waren met benzodiazepinegebruik, SSRI-gebruik, depressie en slaapabnormaliteiten na correctie voor leeftijd, geslacht, BMI en depressie Ernst. Echter, voor geschiedenis van slaapstoornissen was de associatie niet significant na correctie, wat suggereert dat het model onderliggende risicofactoren (bijv. BMI, depressie) voorspelt in plaats van de gediagnosticeerde conditie zelf, of dat behandelde condities het actigrafische signaal afzwakken.

Betekenis en Claims

De auteurs positioneren PAT als een praktische, schaalbare oplossing om klinische inzichten uit draagbare sensordata te bevorderen.

• Toegankelijkheid: Door open-source te zijn en in staat te zijn om op consumentengestuurde GPU's (bijv. NVIDIA T4) te draaien, verlaagt PAT de drempel voor onderzoekers met beperkte computationele middelen.
• Schaalbaarheid: Het model is ontworpen om aanpasbaar te zijn aan variabele invoerlengtes en verschillende apparaten, waardoor het geschikt is voor diverse onderzoeksinstellingen.
• Klinische Bruikbaarheid: Het vermogen van het model om medicatiegebruik en psychiatrische aandoeningen te voorspellen vanuit passieve bewegingsdata biedt een niet-invasieve methode voor risicostratificatie en behandelsmonitoring.
• Bescheidenheid: De auteurs erkennen beperkingen, zoals het feit dat labels zijn afgeleid van zelfrapportage in plaats van gouden standaard klinische diagnoses, wat ruis kan introduceren. Ze waarschuwen ook dat actigrafie alleen slechts een gedeeltelijk signaal biedt voor complexe psychopathologie en moet worden beschouwd als een complementair hulpmiddel voor multimodale modellen in plaats van een op zichzelf staand diagnostisch instrument. Bovendien staat de cross-sectionele aard van de data causale inferentie in de weg.

Concluderend vertegenwoordigt PAT een stap richting generaliseerbare, data-efficiënte en interpreteerbare digitale fenotypering voor de mentale gezondheid, waarmee de kloof tussen grootschalige verzameling van wearable data en klinisch relevante mentale gezondheidsmodellering wordt overbrugd.