Technische Samenvatting: OpenMHC: Het versnellen van de wetenschap van Wearable Foundation Models

Probleemstelling

Hoewel mobiele en draagbare apparaten ongekende mogelijkheden bieden voor continue, passieve gezondheidsmonitoring, wordt het veld van wearable health AI gehinderd door een gebrek aan open, grootschalige data. Toonaangevende wearable foundation models worden doorgaans getraind op propriëtaire datasets die niet publiekelijk beschikbaar zijn, en hun modelgewichten en trainingscode worden zelden open-source gemaakt. Bestaande publieke datasets zijn vaak kleinschalig, maken gebruik van gespecialiseerde sensoren van onderzoeksniveau, of missen de longitudinale diepgang en diversiteit die vereist zijn voor het trainen en evalueren van foundation models. Deze datasilo beperkt de reproduceerbaarheid, bredere gemeenschapsparticipatie en het vermogen om gestandaardiseerde benchmarks op te stellen voor het vergelijken van modellen over diverse gezondheidsdomeinen heen.

Methodologie

De auteurs pakken deze tekortkomingen aan door de curatie van OpenMHC (OpenMyHeartCounts), een uitgebreide open-access dataset en benchmark afgeleid van de My Heart Counts (MHC) studie, een grootschalige cardiovasculaire gezondheidsstudie uitgevoerd aan Stanford University.

1. De OpenMHC Dataset

• Schaal en Omvang: De dataset bevat longitudinale records van 11.894 instemmende deelnemers, verzameld over een periode van 13 jaar (2012–2025). Het omvat 67 miljoen uur aan minute-level wearable data.
• Data Modaliteiten:
  • Passieve Sensor Data: 19 sensorkanalen op minuutresolutie, inclusief stappen tellen, afstand, verdiepingen beklommen, hartslag, actieve energie, slaap (slapend/in bed) en 10 soorten workouts. De data is afkomstig van Apple HealthKit via iPhones en Apple Watches (en andere compatibele apparaten).
  • Gekoppelde Variabelen: 169 zelfgerapporteerde en schaarse HealthKit-variabelen die demografie, medische condities, vitale functies, biomarkers, mentale welzijn, slaap en levensstijl beslaan.
• Demografie: De deelnemers zijn voornamelijk uit de VS (~90%), met kleinere cohorten uit het VK en Hong Kong. Het cohort beslaat 92 verschillende device-modellen en bevat gebruikers met tot 10,7 jaar aan geschiedenis, hoewel de mediane deelname korter is vanwege typische mHealth-uitval.
• Preprocessing: De auteurs hebben een rigoureuze pipeline ontwikkeld om dagelijkse minute-level matrices ($19 \times 1440$) te construeren, waarbij rekening wordt gehouden met device-heterogeniteit, ontbrekende gegevens (niet-draagtijd) en fysiologische uitschieters. Ze definiëren specifieke heuristieken voor de detectie van niet-dragen en de imputatie van ontbrekende data.

2. De OpenMHC Benchmark

Om gestandaardiseerde evaluatie mogelijk te maken, hebben de auteurs een verenigde benchmark opgezet met drie tracks:

• Track 1: Predictieve Taken: 32 gesuperviseerde taken over vijf domeinen (Demografie, Medische Condities, Vitale Functies & Biomarkers, Mentaal Welzijn, Slaap & Levensstijl). Taken omvatten binaire classificatie, ordinale classificatie en regressie.
• Track 2A: Generatief (Imputatie): Evaluatie van methoden om ontbrekende sensordata te reconstrueren. Dit omvat Single-day Imputation (maskering binnen een 24-uurs venster) en Long-context Imputation (gebruikmakend van maximaal 7 dagen aan historie). Maskeringsstrategieën simuleren real-world defecten: structureel (willekeurige ruis, temporele segmenten, signaalverlies) en semantisch (slaapgaten, workoutgaten, intensiteitsdefecten).
• Track 2B: Generatief (Forecasting): Forecasting op uurlijkse resolutie van de volgende 24 uur aan wearable data op basis van historische trajecten.

3. Evaluatiekader

De benchmark maakt gebruik van Unified Evaluation Metrics om prestaties over heterogene taken heen te aggregeren:

• Skill Score ($S$): Meet de relatieve foutreductie ten opzichte van een vast referentiemodel (bijv. Lineair voor predictie, LOCF voor imputatie, Seasonal Naive voor forecasting).
• Gemiddelde Rangorde (Average Rank): Beoordeelt consistentie over verschillende taken.
• Fairness Skill Score: Evalueert prestatie-pariteit over gevoelige demografische subgroepen (geslacht en leeftijd).

Belangrijkste Bijdragen

1. Release van OpenMHC: De grootste en meest uitgebreide open-access wearable gezondheidsdataset tot nu toe, wat grootschalige pretraining en evaluatie van foundation models op real-world consumentendata mogelijk maakt.
2. Eerste Grootschalige Publieke Benchmark: Een gestandaardiseerde evaluatiesuite die predictieve, imputatie- en forecasting-taken dekt en de complexiteit van real-world wearable data weerspiegelt (ontbrekende gegevens, onregelmatige sampling, heterogeniteit).
3. Open-Source Implementaties: De auteurs leveren de eerste open-source implementaties van recente wearable foundation models, specifiek Apple's Wearable Health Behavior model (WBM) en Google's Large Sensor Model (LSM-2), naast klassieke baselines (XGBoost, MultiRocket, GRU-D) en tijdreeks foundation models (Chronos-2, Toto).

Resultaten

De auteurs hebben een reeks modellen geëvalueerd op de OpenMHC benchmark:

• Predictieve Taken (Track 1):

  • LSM-2 (Google's masked autoencoder) behaalde de beste algehele prestaties (Gemiddelde Rangorde $R=2.20$, Skill Score $S=+15.1\%$), waarbij het andere foundation models en klassieke methoden overtrof.
  • XGBoost was de dichtstbijzijnde concurrent ($R=3.52$, $S=+11.6\%$), met name sterk in Demografie, wat aantoont dat goed afgestemde eenvoudige modellen nog steeds zeer competitief blijven.
  • WBM (Apple's contrastieve model) presteerde ondermaats in deze setting, waarschijnlijk door de afhankelijkheid van aaneengesloten wekelijkse segmenten, wat de bruikbare data vermindert gezien de schaarse aard van real-world dragen.
  • GRU-D behaalde de hoogste fairness score, wat wijst op een betere prestatie-pariteit over demografische subgroepen.
  • LLM's: Gemini-familie LLM's geëvalueerd in zero-shot en few-shot settings presteerden over het algemeen slechter dan de Lineaire baseline, omdat ze er niet in slaagden voldoende signaal te extraheren uit tekst- of visuele representaties van de data.

• Imputatie (Track 2A):

  • LSM-2-Sparse (7-daagse context) behaalde de beste resultaten ($S=+64.7\%$), waarmee het statistische baselines en andere neurale modellen zoals BRITS en DLinear aanzienlijk overtrof.
  • De resultaten suggereren dat modellen die specifiek getraind zijn op realistische missingness-patronen (zoals LSM-2) beter generaliseren naar de gestructureerde gaten in wearable data dan modellen die getraind zijn op willekeurige maskering.

• Forecasting (Track 2B):

  • Chronos-2 (fine-tuned) behaalde de beste algehele prestaties ($R=3.56$, $S=+37.6\%$).
  • Echter, foundation models vertoonden lagere fairness scores vergeleken met DLinear, wat aangeeft dat winsten in nauwkeurigheid niet noodzakelijkerwijs vertaalden naar evenredige prestaties over demografische groepen.

Betekenis en Claims

Het artikel beweert dat OpenMHC de wearable health AI-onderzoek democratiseert door de noodzakelijke infrastructuur (data, code, benchmarks) te bieden voor reproduceerbare wetenschap. Belangrijke inzichten afgeleid van de studie zijn:

• Pretraining Objectives Doen Er Toe: De keuze van het pretraining objectief (bijv. masked reconstruction versus contrastive learning) heeft een significante impact op downstream prestaties, waarbij masked reconstruction beter lijkt te passen bij de schaarse en onregelmatige aard van wearable data.
• Eenvoud versus Complexiteit: Sterke, goed afgestemde eenvoudige modellen (zoals XGBoost) blijven zeer competitief met complexe deep learning architecturen, wat waarschuwt tegen onnodige complexiteit.
• Longitudinale Context: Het benutten van uitgebreide persoonlijke historie (bijv. 7-daagse vensters) biedt duidelijke voordelen voor imputatie en forecasting, wat wijst op een veelbelovende richting voor toekomstig onderzoek.
• Data-toegang is de Bottleneck: Het veld wordt niet beperkt door algoritmische beperkingen, maar door toegang tot data; OpenMHC beoogt deze barrière weg te nemen om brede gemeenschapsparticipatie te bevorderen en vooruitgang te versnellen.

De auteurs merken expliciet beperkingen op, waaronder demografische scheefheid (voornamelijk wit, mannelijk, gevestigd in de VS) en het feit dat uitkomsten zelfgerapporteerd zijn in plaats van klinisch gevalideerd, wat betekent dat de taken zijn geformuleerd als detectie/karakterisering in plaats van prospectieve klinische gebeurtenisvoorspelling.