FemWear: A Specialized Wearable Foundation Model for Women's Health

FemWear의 기술 요약: 여성 건강을 위한 특화된 웨어러블 파운데이션 모델

문제 정의
OpenMHC와 같은 범용 웨어러블 파운데이션 모델은 재사용 가능한 표현을 학습하기 위해 광범위한 센서 스트림과 다양한 인구 집단에 대해 사전 학습됩니다. 그러나 이러한 일반적인 표현은 여성 건강의 특정 역동성(예: 생리 주기, 임신 궤적, 희소한 자기 보고 증상)을 중심으로 내재적으로 조직되어 있지 않습니다. 각 태스크를 위해 별도의 예측기를 학습시키는 것은 공유된 종단적 구조를 버리는 결과를 초낳으며, 제한 없는 멀티태스크 학습은 목적 함수들이 충돌할 때 부정적 전이(negative transfer)의 위험을 초래합니다. 본 연구가 다루는 핵심 질문은 일반적인 웨어러블 파운데이션 표현을 최소한의 학습 가능 파라미터 예산으로 여성 건강을 위한 특화된 모델로 얼마나 효율적으로 재목적화(repurpose)할 수 있는지, 그리고 이러한 특화가 다양한 엔드포인트 간에 어느 정도까지 전이되는가 하는 점입니다.

방법론
FemWear는 새로운 모델을 처음부터 학습시키는 대신 파라미터 효율적인 적응(parameter-efficient adaptation)을 통해 사전 학습된 OpenMHC 백본을 재목적화하는 특화된 웨어러블 파운데이션 모델입니다.

• 아키텍처: 모델은 동결된 OpenMHC LSM2 패치 프로젝션과 트랜스포머 인코더를 유지합니다. 학습 가능한 파라미터는 다음과 같이 도입됩니다:
  • 저차원 잔차 어댑터(Low-Rank Residual Adapters): 마지막 두 개의 트랜스포머 블록에 삽칸 Rank-32 보틀넥 어댑터.
  • 생리학적 체제 전문가 경로(Physiological-Regime Expert Pathways): 풀링된 일일 표현으로부터 Rank-32 잔차 업데이트를 계산하는 3개 전문가 어댑터 뱅크.
  • 인과적 태스크 패밀리 헤드(Causal Task-Family Heads): 일일 임베딩의 인과적 이력을 요약하는 GRU. 태스크 패밀리 헤드는 이 상태를 특정 결과(생리, 정동, 수면, 자율 신경, 활동, 임신)로 매핑합니다.
• 파라미터 효율성: 239,236개의 인코더 파라미터(21.54M 파라미터 인코더의 1.11%)만이 학습 가능합니다. 총 학습 가능한 다운스트림 용량은 약 1.98M 파라미터입니다.
• 학습 전략:
  • 부분 라벨 멀티태스크 학습(Partial-Label Multitask Learning): 모델은 참여자가 서로 겹치지 않는 6개의 코호트에서 학습됩니다. 특정 코호트에서 부재하는 라벨은 음성(negative)으로 변환되지 않으며, 손실 함수는 코호트가 더 많은 라벨을 가짐으로써 지배적인 영향을 미치는 것을 방지하기 위해 관찰된 태스크 내에서 평균을 냅니다.
  • 지속적 특화(Continual Specialization): 잠금 처리된 어댑터는 마스크드 패치 재구성 및 일관성 목적 함수를 포함하여 5개의 여성 건강 코호트 혼합 데이터셋에 대해 1,000 스텝 동안 추가 학습되어, 일반적인 표현을 보존하면서 도메인에 적응합니다.
• 평가 프로토콜: 본 연구는 6개의 코호트(유지력을 위한 OpenMHC-XS 및 여성 건강을 위한 mcPHASES 포함)에 걸쳐 엄격한 평가 스위트를 채택합니다. 프로토콜에는 고정된 참여자 분할, 엄격한 중첩된 1인 제외(leave-one-participant-out) 감사, 용량 매칭 베이스라인, 교정 및 결측치 감사가 포함됩니다.

주요 기여

1. FemWear 모델: 이질적인 여성 건강 코호트(생리, 기분, 수면, 임신 등)를 위한 공유된 종단적 표현과 태스크 패밀리 인터페이스를 제공하는 특화된 웨어러블 파운데이션 모델을 소개합니다.
2. 재현 가능한 평가 스위트: 데이터 소스 6개에 걸쳐 63개의 비교 가능한 주요 지표를 포함하는 포괄적인 벤치마크를 통해, 매칭된 데이터, 파라미터 수 및 시드(seed) 하에서 1.11% 학습 가능한 특화 성능을 정적, 순환 및 혼합 전문가(mixture-of-experts) 베이스라인과 비교 평가합니다.
3. 증거 경계 정의: 중첩된 참여자 검증, 교정 분석 및 라벨 효율성 감사를 활용하여, 유망한 전이와 보편적 우월성을 구분함으로써 특화의 한계를 상세히 보고합니다.

결과

• 고정 분할 성능: 세 가지 시드에 대한 고정 참여자 분할에서, FemWear는 주기 단계(cycle-phase) macro-F1을 8.15% 개선하고 경련(cramps) (9.32%), 기분 증상(mood symptoms) (5.80%), 수면 문제(sleep problems) (9.43%)에 대한 평균 절대 오차(MAE)를 감소시켰습니다. 그러나 24시간 발생(24-hour onset) AUPRC는 3.40% 감소했습니다.
• 중첩 감사 (더 엄격한 검증): 42명의 참여자를 대상으로 한 중첩된 1인 제외 감사에서, 24시간 발생(+2.87%), 72시간 발생(+6.35%), 경련(+2.19%)에서만 긍정적인 추세가 유지되었습니다. 단계, 기분 및 수면에 대한 변화는 중립적이거나 부정적이었습니다. 어떤 엔드포인트도 엄격하게 양수인 교정 신뢰 구간을 보여주지 못했습니다.
• 용량 매칭 비교: FemWear는 최신일 다층 퍼셉트론(MLP)보다는 우수했으나, 파라미터 수가 매칭되었을 때 공유 GRU 또는 다중 게이트 혼합 전문가(MMoE) 베이스라인에 비해 체계적인 우위를 입증하는 데 실패했습니다.
• 교정 및 신뢰성: 학습 전용 온도 스케일링(temperature scaling)은 발생 예측에 대한 기대 교정 오차(ECE)를 84.2~88.2% 감소시켰습니다. 모델은 일관된 중첩 확률 출력($P_{24} \le P_{72}$ 보장)을 생성하며 위반 사례가 없었습니다.
• 결측 데이터: 모델은 중간 정도의 무작위 결측에는 잘 견디지만, 최근 이력(최근 7일)이 제거될 경우 매우 민감하여 17.99%의 성능 저하를 보였습니다.
• 라벨 효율성: 줄어든 학습 라벨(1% ~ 25%) 실험에서 소수 라벨 이점은 나타나지 않았습니다. 중앙값 상대 변화는 음수이거나 비단조적이었습니다.

의의 및 주장
본 논문은 FemWear가 여성 건강 연구를 위한 재현 가능한 특화 웨어러블 모델 레이어를 구축한다고 주장합니다. 그 의의는 파라미터 효율적인 일반 파운데이션 백본의 재목적화가 특정 여성 건강 태스크를 위한 타겟팅된 전이와 일관된 확률 출력을 가능하게 함을 보여주는 데 있습니다.

그러나 저자들은 다음과 같은 제한 사항에 대해 명시적으로 밝히고 있습니다:

• FemWear는 용량이 매칭된 시간적 베이스라인에 대해 보편적인 성능 우위를 확립하지 못합니다.
• 진단 또는 치료 선택에서의 임상적 타당성이나 우월성에 대한 증거를 제공하지 않습니다.
• 소수 라벨 이점(few-label advantage)을 입증하지 못합니다.
• 특화는 엔드포인트에 따라 달라지며, 특정 생리 및 증상 엔드포인트에서는 명확한 이점을 보였으나 다른 것들(예: 임신 전이 저하)에서는 개선되지 못했습니다.

이 연구는 파라미터 효율적인 전이가 어디에서 유망한지, 그리고 어디에서 추가적인 증거(특히 독립적인 외부 검증 및 부정적 전이를 고려한 어댑터)가 필요한지를 정확하게 설명하는 여성 건강 웨어러블 분야의 방법론적 기여로 제시됩니다.