FemWear: A Specialized Wearable Foundation Model for Women's Health

Technische Samenvatting van FemWear: Een Gespecialiseerd Wearable Foundation Model voor de Vrouwengezondheid

Probleemstelling
Algemene wearable foundation models, zoals OpenMHC, zijn voorgetraind op brede sensorstromen en diverse populaties om herbruikbare representaties te leren. Deze algemene representaties zijn echter niet inherent georganiseerd rond de specifieke dynamiek en uitkomsten van de vrouwengezondheid, die heterogene longitudinale patronen omvatten (bijv. menstruatiecycli, zwangerschapstrajecten, schaarse zelfgerapporteerde symptomen). Het trainen van afzonderlijke voorspellers voor elke taak verspilt gedeelde longitudinale structuren, terwijl onbeperkt multitask leren het risico op negatieve transfer met zich meebrengt wanneer doelstellingen met elkaar concurreren. De centrale vraag die wordt behandeld is of een algemene wearable foundation-representatie efficiënt kan worden hergebruikt tot een gespecialiseerd model voor de vrouwengezondheid met een minimaal budget aan trainbare parameters, en in welke mate deze specialisatie over diverse eindpunten heen overdraagt.

Methodologie
FemWear is een gespecialiseerd wearable foundation model dat de voorgetrainde OpenMHC-backbone hergebruikt door middel van parameter-efficiënte adaptatie in plaats van het vanaf nul trainen van een nieuw model.

• Architectuur: Het model behoudt de bevroren OpenMHC LSM2 patch-projectie en Transformer-encoder. Trainbare parameters worden geïntroduceerd via:
  • Low-Rank Residual Adapters: Rank-32 bottleneck-adapters ingevoegd in de laatste twee Transformer-blokken.
  • Physiological-Regime Expert Pathways: Een drie-expert adapterbank die een soft mixture van rank-32 residual updates berekent vanuit de gepoolde dagelijkse representatie.
  • Causal Task-Family Heads: Een gated recurrent unit (GRU) vat de causale geschiedenis van dagelijkse embeddings samen. Task-family heads mappen deze staat vervolgens naar specifieke uitkomsten (menstruatie, affectief, slaap, autonoom, activiteit, zwangerschap).
• Parameter-efficiëntie: Slechts 239.236 encoder-parameters (1,11% van de 21,54M-parameter encoder) zijn trainbaar. De totale trainbare downstream-capaciteit is ongeveer 1,98M parameters.
• Trainingsstrategie:
  • Partial-Label Multitask Learning: Het model wordt getraind op zes cohorten met disjuncte deelnemers. Labels die ontbreken in een specifiek cohort worden niet als negatief beschouwd; de verliesfunctie middelt over de geobserveerde taken binnen gezondheidsdomeinen om te voorkomen dat cohorten met meer labels domineren.
  • Continual Specialization: De vergrendelde adapter wordt verder getraind voor 1.000 stappen op een mix van vijf cohorten voor de vrouwengezondheid, waarbij masked-patch reconstructie en consistentie-doelstellingen worden geïntegreerd om de algemene representatie te behouden terwijl deze aan het domein wordt aangepast.
• Evaluatieprotocol: De studie maakt gebruik van een rigoureuze evaluatiesuite over zes cohorten (inclusief OpenMHC-XS voor retentie en mcPHASES voor de vrouwengezondheid). Protocollen omvatten vaste deelnemerssplits, een strikte geneste leave-one-participant-out audit, capaciteits-gematchte baselines, en kalibratie/missingness-audits.

Belangrijkste Bijdragen

1. FemWear Model: Introductie van een gespecialiseerd wearable foundation model dat een gedeelde longitudinale representatie en een task-family interface biedt voor heterogene cohorten binnen de vrouwengezondheid (menstruatie, stemming, slaap, zwangerschap, etc.).
2. Reproduceerbare Evaluatiesuite: Een uitgebreide benchmark bestaande uit 63 vergelijkbare primaire metrieken over zes databronnen, waarbij een 1,11%-trainbare specialisatie wordt geëvalueerd tegen statische, recurrente en mixture-of-experts baselines onder gematchte data, parameteraantallen en seeds.
3. Definitie van de Bewijsgrens: Een gedetailleerd rapport over de grenzen van specialisatie, gebruikmakend van geneste deelnemersvalidatie, kalibratieanalyse en label-efficiëntie-audits om onderscheid te maken tussen veelbelovende transfer en universele superioriteit.

Resultaten

• Fixed Split Performance: Op een vaste deelnemerssplit over drie seeds verbeterde FemWear de cycle-phase macro-F1 met 8,15% en verminderde het de mean absolute error (MAE) voor krampen (9,32%), stemmingssymptomen (5,80%) en slaapproblemen (9,43%). Echter, de 24-uurs onset AUPRC nam af met 3,40%.
• Nested Audit (Striktere Validatie): In een 42-deelnemer geneste leave-one-participant-out audit bleven positieve trends alleen behouden voor 24-uurs onset (+2,87%), 72-uurs onset (+6,35%) en krampen (+2,19%). Veranderingen voor fase, stemming en slaap waren neutraal of negatief. Geen enkel eindpunt vertoonde een strikt positief gecorrigeerd betrouwbaarheidsinterval.
• Capaciteits-gematchte Vergelijking: FemWear presteerde beter dan een laatst-dag multilayer perceptron (MLP), maar slaagde er niet in een systematisch voordeel te vestigen ten opzien van een gedeelde GRU of een multi-gate mixture-of-experts (MMoE) baseline wanneer de parameteraantallen gelijk waren.
• Kalibratie en Betrouwbaarheid: Train-only temperature scaling verminderde de expected calibration error (ECE) met 84,2–88,2% voor onset-voorspellingen. Het model produceerde coherente, geneste waarschijnlijkheidsoutputs (waarbij $P_{24} \le P_{72}$ wordt gegarandeerd) met nul schendingen.
• Ontbrekende Data: Het model verdraagt matige willekeurige missingness, maar is zeer gevoelig voor het verwijderen van recente historie (laatste 7 dagen), wat een prestatiedaling van 17,99% veroorzaakte.
• Label Efficiëntie: Experimenten met gereduceerde trainingslabels (1% tot 25%) toonden geen voordeel bij een klein aantal labels; de mediane relatieve veranderingen waren negatief of niet-monotoon.

Betekenis en Claims
Het artikel claimt dat FemWear een reproduceerbare gespecialiseerde wearable-modellaag vestigt voor onderzoek naar de vrouwengezondheid. De betekenis ligt in het aantonen dat het parameter-efficiënt hergebruiken van een algemene foundation-backbone gerichte transfer en coherente waarschijnlijkheidsoutputs voor specifieke taken binnen de vrouwengezondheid mogelijk maakt.

De auteurs zijn echter expliciet over de beperkingen van deze claims:

• FemWear vestigt geen universele prestatiedominantie over capaciteits-gematchte temporele baselines.
• Het biedt geen bewijs van klinische validiteit of superioriteit in diagnose of behandelkeuze.
• Het demonstreert geen voordeel bij een klein aantal labels (few-label advantage).
• De specialisatie is eindpunt-afhankelijk, waarbij duidelijke voordelen worden getoond voor bepaalde menstruatie- en symptoom-eindpunten, terwijl het op andere gebieden faalt (bijv. degradatie van zwangerschapstransfer).

Het werk wordt gepresenteerd als een methodologische bijdrage aan het veld van wearables voor de vrouwengezondheid, waarbij een nauwkeurige account wordt gegeven van waar parameter-efficiënte transfer veelbelovend is en waar verdere bewijsvoering (met name onafhankelijke externe validatie en negative-transfer-bewuste adapters) vereist is.