Evaluating Open-Source Wrist-Worn Accelerometer Models for Sedentary Time Detection Against Thigh-Worn Accelerometer Data

Technische Samenvatting: Evaluatie van Open-Source Pols-gedragen Versnellingsmetermodellen voor de Detectie van Zittend Gedrag

Probleemstelling
Pols-gedragen versnellingsmeters worden breed toegepast in grootschalige epidemiologische studies en consumentenomgevingen vanwege hun schaalbaarheid en kosteneffectiviteit. Echter, in tegen tegenstelling tot dij-gedragen apparaten, die direct houding (zittend/liggend versus staand) kunnen afleiden en als een "zilveren standaard" kunnen dienen voor sedentair gedrag, leiden pols-gedragen apparaten sedentaire tijd doorgaans af op basis van lage bewegingsintensiteit. Deze beperking roept onzekerheid op over de nauwkeurigheid van door de pols afgeleide sedentaire schattingen in vrije leefomgevingen. Hoewel eerdere studies hebben gesuggereerd dat er een brede equivalentie bestaat in de gemiddelde dagelijkse sedentaire tijd tussen pols- en dij-monitoren, berusten deze bevindingen vaak op kleine steekproeven. Bovendien blijft de constructvaliditeit van pols-gebaseerde modellen met betrekking tot gedetailleerde kenmerken van sedentair gedrag — zoals de frequentie van langdurige sedentaire perioden en het aandeel tijd besteed aan deze perioden — onvoldoende gekarakteriseerd. Daarnaast vereisen de prestaties van diverse open-source activiteitsherkenningsmodellen over verschillende demografische subgroepen en het specifieke probleem van het misclassificeren van slaap als sedentaire tijd verder onderzoek.

Methodologie
Deze studie maakte gebruik van baseline-data uit de SMART Work & Life (SWAL) studie, een cluster-gerandomiseerde gecontroleerde trial met 662 werkende volwassenen (gemiddelde leeftijd 45 jaar; 72% vrouw) in Engeland. Deelnemers droegen twee versnellingsmeters gelijktijdig gedurende maximaal acht dagen: een dij-gedragen activPAL3 micro (referentiestandaard) en een pols-gedragen Axivity AX3.

• Referentiestandaard: Dij-data werden verwerkt met de propriëtaire PALbatch software (CREA algoritme v1.3) om 1-seconde classificaties te genereren. Voor deze analyse werd sedentair gedrag gedefinieerd als epochs geclassificeerd als secundair liggen, sedentair (niet-voertuig zittend) of voertuig zittend.
• Geëvalueerde Polsmodellen: Zes open-source activiteitsherkenningsmodellen werden toegepast op de pols-data:
  • Machine Learning Modellen: OxWearables 'Accelerometer' (balanced random forest + HMM), OxWearables 'ActiNet' (HARNet deep learning model + HMM), en Actimetric 'Trost' (random forest).
  • Cutpoint-gebaseerde Modellen: Drie variaties geïmplementeerd via de 'GGIR' R-package: Default (ENMO drempelwaarde 40mg), Bakrania (ENMO drempelwaarde 32.8mg), en Fraysse (ENMOabs drempelwaarde 62.5mg).
• Data Harmonisatie: Alle modeloutputs werden geharmoniseerd naar 30-seconden epochs.
• Evaluatiemetrieken:
  • Epoch-niveau: Accuratesse, F1-score, Cohen's kappa, sensitiviteit en specificiteit ten opzichte van de dij-referentie.
  • Deelnemer-niveau: Overeenstemming in gemiddelde dagelijkse sedentaire tijd, gemiddeld dagelijks aantal langdurige sedentaire perioden (≥30 minuten met ≤90s onderbrekingen) en het aandeel van de sedentaire tijd in langdurige perioden. Equivalentie werd bepaald als het gemiddelde verschil en de 90% betrouwbaarheidsinterval binnen ±10% van de door de dij afgeleide gemiddelde waarde vielen.
• Analyses: Prestaties werden beoordeeld over subgroepen (leeftijd, geslacht, BMI, seizoen, wervingscentrum) en een sensitiviteitsanalyse werd uitgevoerd waarbij de analyse beperkt werd tot wakkere uren (08:00–22:00) om misclassificatie van slaap als sedentaire tijd te mitigeren.

Belangrijkste Resultaten

• Modelprestaties: Het ActiNet machine learning model vertoonde de hoogste algehele prestaties. Het behaalde een gemiddelde per-deelnemer accuratesse van 0,87 (±0,05), een F1-score van 0,85 (±0,06) en een Cohen's kappa van 0,73 (±0,09). In contrast hiermee vertoonden cutpoint-gebaseerde benaderingen een lagere accuratesse (ongeveer 0,80), en het Actimetric Trost model presteerde het slechtst (accuratesse 0,73).
• Overeenstemming bij Afgeleide Metrieken:
  • Dagelijkse Sedentaire Tijd: Alle polsmodellen overschatten de dagelijkse sedentaire tijd ten opzichte van de dij-referentie (8,8 uur/dag). Alleen het ActiNet model viel binnen de ±10% equivalentie-regio voor deze metriek.
  • Langdurige Perioden: Alle zes de modellen produceerden schattingen voor het dagelijkse aantal langdurige perioden binnen de equivalentie-regio, hoewel ActiNet de laagste fout (RMSE/MAE) en de hoogste correlatie vertoonde.
  • Aandeel in Langdurige Perioden: Alleen ActiNet produceerde schattingen en betrouwbaarheidsintervallen die volledig binnen de equivalentie-grenzen vielen voor het aandeel van de sedentaire tijd in langdurige perioden.
• Subgroep en Sensitiviteitsanalyse: De rangorde van de modellen bleef consistent over alle demografische subgroepen (leeftijd, geslacht, BMI, etc.). In de sensitiviteitsanalyse beperkt tot wakkere uren (08:00–22:00), verbeterde de F1-score van het ActiNet model licht naar 0,88. Het beperken tot wakkere uren verminderde de overschatting van sedentaire tijd voor de meeste modellen, aangezien dit de misclassificatie van slaap als sedentair gedrag wegnam.

Significantie en Claims
De auteurs stellen dat deze studie de grootste individuele evaluatie van pols-gedragen versnellingsmeters voor sedentair gedrag tot nu toe vertegenwoordigt en de eerste die de equivalentie beoordeelt in afgeleide metrieken buiten de totale dagelijkse tijd. De primaire significantie van het werk is het leveren van bewijs dat pols-gedragen versnellingsmeters nauwkeurige metingen van sedentair gedrag kunnen opleveren in vrije leefomgevingen, mits er geschikte machine learning modellen worden gebruikt. Specifiek wordt het ActiNet model geïdentificeerd als een levensvatbaar alternatief voor dij-gedragen apparaten voor het beoordelen van sedentaire patronen in vergelijkbare werkende populaties.

De studie benadrukt dat terwijl de totale sedentaire tijd met redelijke nauwkeurigheid door verschillende modellen kan worden geschat, complexere metrieken (zoals het aandeel tijd in langdurige perioden) gevoeliger zijn voor modelbeperkingen. De bevindingen suggeren dat modelselectie een cruciale determinant is van de meetnauwkeurigheid, waarbij deep learning-modellen die temporele smoothing incorporeren (zoals ActiNet) beter presteren dan traditionele cutpoint-gebaseerde of eenvoudigere random forest-benaderingen. Dit werk beoogt vertrouwen te bieden voor toekomstig epidemiologisch onderzoek om pols-gedragen data te gebruiken voor het onderzoeken van sedentaire gedragspatronen en hun associaties met gezondheidsuitkomsten.