Learning Unified Representations from Heterogeneous Data for Robust Heart Rate Modeling

이 논문은 기기 간 및 사용자 간 데이터 이질성 문제를 해결하기 위해 무작위 특징 드롭아웃, 히스토리 인식 어텐션 모듈, 그리고 대비 학습을 결합한 통합 표현 학습 프레임워크를 제안하고, 새로 구축한 PARROTAO 벤치마크를 통해 기존 방법론보다 우수한 성능을 입증했습니다.

핵심

🏃‍♂️ 핵심 문제: "모두가 다른 세상" (데이터의 이질성)

심박수 예측 모델을 만들려고 할 때, 연구자들은 두 가지 큰 장벽에 부딪힙니다.

1. 장비 간의 차이 (Source Heterogeneity):

   • 비유: imagine you are trying to teach a chef to cook a dish using recipes from different countries.
   • 설명: 어떤 사람은 '가민 (Garmin)' 시계를 쓰고, 어떤 사람은 '화웨이 (Huawei)' 시계를 씁니다. 가민은 '계단 높이'와 '발걸음 속도'를 재지만, 화웨이는 '심박수'와 '온도'만 재고 '계단 높이'는 재지 못할 수도 있습니다.
   • 기존의 문제: 기존 모델들은 "모든 시계가 똑같은 정보를 줘야 한다"고 가정했습니다. 그래서 정보가 없는 시계 데이터를 아예 버리거나, 가장 부족한 정보만 남기게 되어 정확도가 떨어졌습니다.

2. 사람 간의 차이 (User Heterogeneity):

   • 비유: 같은 양의 커피를 마셔도, 어떤 사람은 잠이 안 오고 어떤 사람은 아무렇지도 않습니다.
   • 설명: 같은 속도로 달릴 때, A 씨는 심박수가 140 으로 올라가고 B 씨는 160 으로 오를 수 있습니다. 나이, 체력, 과거 운동 이력에 따라 반응이 천차만별입니다.
   • 기존의 문제: 기존 모델들은 "사람마다 반응이 비슷할 거야"라고 생각해서, 개인 맞춤형 예측을 잘 못 했습니다.

---

💡 이 논문의 해결책: "유연한 두뇌"와 "기억력"

저자들은 이 문제를 해결하기 위해 **"어떤 시계를 쓰든, 어떤 사람이든 잘 적응하는 AI"**를 만들었습니다.

1. "눈가리개 훈련" (Random Feature Dropout)

• 비유: 요리사가 어떤 재료가 빠진 상황에서도 요리를 할 수 있도록 훈련시키는 것과 같습니다.
• 설명: 모델을 훈련시킬 때, 일부러 시계의 센서 데이터 중 일부를 가려버립니다 (드롭아웃). 예를 들어, '속도' 데이터가 없어도 모델이 '계단 높이'와 '심박수'만으로 심박수를 예측할 수 있도록 훈련시킵니다.
• 효과: 이렇게 하면 모델은 특정 시계에 의존하지 않고, 어떤 센서 조합이 들어와도 유연하게 대처할 수 있게 됩니다.

2. "기억력 있는 코치" (History-Aware Attention)

• 비유: 새로운 운동 선수를 코칭할 때, 단순히 오늘 상태만 보지 않고 "지난 1 년 동안 이 선수가 어떻게 훈련해 왔는지"를 기억하는 코치입니다.
• 설명: 모델은 사용자의 과거 운동 기록 (히스토리) 을 분석합니다. 그리고 **가장 중요한 과거 기록에 집중 (Attention)**합니다.
  • 예를 들어, "이 사람은 3 주 전에 마라톤을 뛴 적이 있어서 지금 피곤할 거야"라고 판단하거나, "이 사람은 평소엔 달릴 때 심박수가 빨리 오르는 편이야"라는 패턴을 기억합니다.
• 효과: 이를 통해 사람마다, 그리고 운동 종류마다 다른 심박수 패턴을 정확히 파악할 수 있습니다.

3. "비교 학습" (Contrastive Learning)

• 비유: 서로 다른 사람을 구별하는 얼굴 인식 기술처럼, "이 심박수 패턴은 A 씨의 것이야, 저건 B 씨의 것이야"라고 명확하게 구분 짓는 훈련입니다.
• 설명: 모델이 만든 데이터 표현 (Embedding) 이 서로 다른 사람이나 운동 종목끼리는 멀리 떨어지고, 같은 사람/운동끼리는 가까이 모이도록 학습시킵니다.
• 효과: 이렇게 하면 모델이 사람과 상황을 더 정확하게 이해하게 되어 예측이 훨씬 정교해집니다.

---

📊 새로운 시험장: "파로타오 (PARROTAO)" 데이터셋

이 논문의 또 다른 큰 업적은 새로운 데이터셋을 만들었다는 점입니다.

• 이유: 기존에 공개된 데이터들은 대부분 같은 시계, 같은 환경에서 수집되어 현실을 제대로 반영하지 못했습니다.
• 해결: 저자들은 가민, 코로스, 화웨이 등 서로 다른 브랜드의 시계를 쓴 100 명 이상의 아마추어 운동선수들의 데이터를 모았습니다.
• 의미: 마치 "실전 연습"을 위한 새로운 훈련장을 만든 것과 같습니다. 이 데이터로 실험한 결과, 기존 모델들보다 정확도가 10~17% 나 향상되었습니다.

---

🚀 실제 활용: 이 기술로 무엇을 할 수 있나요?

1. 맞춤형 코스 추천:
   • "내일 평지 코스 A 와 산악 코스 B 중 어디를 달릴까?"라고 고민할 때, 이 모델은 "B 코스를 달리면 당신의 심박수가 위험 수준까지 오를 수 있으니 A 코스를 추천합니다"라고 알려줍니다.
2. 누락된 데이터 복구:
   • 손목 시계를 벗다가 심박수 데이터가 끊긴 적이 있나요? 이 모델은 주변 데이터를 바탕으로 끊어진 심박수 구간을 자연스럽게 채워줍니다.

🌟 한 줄 요약

이 논문은 **"서로 다른 시계와 서로 다른 사람"**이라는 복잡한 현실을 인정하고, 눈가리개 훈련과 기억력, 비교 학습을 통해 어떤 상황에서도 정확한 심박수 예측을 가능하게 하는 유연하고 똑똑한 AI를 개발했습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

심박수 예측은 개인화된 건강 모니터링과 피트니스 훈련에 필수적이지만, 실제 배포 환경에서는 데이터의 이질성 (Data Heterogeneity) 으로 인한 심각한 도전에 직면해 있습니다. 저자들은 이 이질성을 두 가지 주요 차원으로 분류합니다.

• 소스 이질성 (Source Heterogeneity): 다양한 제조사의 웨어러블 기기 (Garmin, Coros, Huawei 등) 가 서로 다른 센서 세트를 제공하고, 샘플링 주기가 다르며, 측정 가능한 기능 (Feature) 의 집합이 서로 다릅니다. 기존 방법들은 종종 공통 기능만 남기거나 특정 기기에 의존하여 성능이 저하됩니다.
• 사용자 이질성 (User Heterogeneity): 동일한 활동이라도 개인마다 생리학적 반응 (심박수 분포) 이 다르고, 활동 유형에 따라 감지되는 특징이 달라집니다. 또한, 사용자의 장기적인 훈련 이력이 심박수 반응에 영향을 미치지만, 기존 모델들은 이를 충분히 반영하지 못합니다.

현재의 대부분의 연구는 단일 데이터셋이나 동질적인 가정 하에 훈련되어, 실제 세계의 복잡한 이질적 환경에서 일반화 성능이 떨어지는 한계가 있습니다.

2. 제안 방법론 (Methodology)

저자들은 이질적인 심박수 시계열 데이터를 통합된 잠재 표현 공간 (Unified Latent Representation Space) 으로 매핑하여 강건한 예측 모델을 학습하는 프레임워크를 제안합니다. 주요 구성 요소는 다음과 같습니다.

A. 무작위 특징 드롭아웃 (Random Feature Dropout) - 소스 이질성 해결

• 목적: 특정 센서나 기능에 의존하지 않고 다양한 기능 집합 (Feature Sets) 에 대해 강건한 모델을 학습시키기 위함.
• 기법: 훈련 과정에서 입력 특징 (현재 세션 및 과거 세션) 의 특정 차원을 무작위로 드롭아웃합니다.
• 커리큘럼 전략: 초기에는 드롭아웃 확률을 낮게 유지하여 풍부한 데이터를 학습하게 하고, 점차 확률을 높여 희소한 입력에도 적응하도록 합니다.
• 제약 조건: 모든 센서에서 공통적으로 존재하는 필수 기능 (예: 속도, 고도) 은 드롭되지 않도록 보호하며, 각 샘플마다 최소 $K$개의 특징이 유지되도록 보장합니다.

B. 히스토리 인식 어텐션 모듈 (History-Aware Attention Module) - 사용자 이질성 해결

• 목적: 사용자의 장기적인 생리학적 특성과 훈련 이력을 반영하여 개인화된 컨텍스트를 생성.
• 구조:
  1. ** intra-Workout Encoding:** 각 과거 운동 세션 내부의 시간적 동역학을 BiLSTM 으로 인코딩합니다.
  2. Inter-Workout Modeling: 일련의 운동 요약 벡터를 GRU 를 통해 처리하여 시간적 진화를 포착합니다.
  3. Attention & Fusion: 최근의 운동 컨텍스트를 쿼리로, 전체 과거 세션을 키/밸류로 사용하여 멀티헤드 어텐션을 적용합니다. 이를 통해 가장 관련성 높은 과거 데이터를 선택적으로 가중치하여 최종 컨텍스트 임베딩 ($u_u$) 을 생성합니다.

C. 대조적 표현 학습 (Contrastive Representation Learning)

• 목적: 학습된 임베딩 공간이 사용자와 활동 유형을 명확히 구분하도록 유도.
• 기법: InfoNCE 손실 함수를 사용하여, 동일한 사용자/활동 그룹에 속한 샘플들의 임베딩은 가깝게, 다른 그룹은 멀게 배치되도록 정규화합니다. 이는 예측 모델이 개인별 생리학적 패턴을 더 잘 학습하도록 돕습니다.

D. 전체 아키텍처

현재 운동 계획 ($X^{(cur)}$) 과 히스토리에서 추출된 컨텍스트 임베딩 ($u_u$) 을 결합하여 최종 사용자 임베딩 ($z_u$) 을 생성한 후, 이를 통해 심박수 시퀀스를 예측합니다. 최종 목적 함수는 예측 오차 (MSE) 와 대조적 손실 (Contrastive Loss) 의 합으로 구성됩니다.

3. 주요 기여 (Key Contributions)

1. 강건한 표현 학습 프레임워크: 누락된 기능과 불균일한 특징 패턴을 처리할 수 있는 새로운 아키텍처를 제안했습니다. 무작위 드롭아웃, 히스토리 인식 어텐션, 대조적 학습을 결합하여 소스 및 사용자 이질성을 동시에 해결합니다.
2. PARROTAO 데이터셋 구축: 기존 공개 데이터셋 (FitRec) 의 한계를 보완하기 위해, 다양한 제조사 (Garmin, Coros, Huawei) 의 기기와 다양한 운동 종목에서 수집된 대규모 이질적 데이터셋인 PARROTAO를 구축하고 공개했습니다. 이 데이터셋은 기기별 고유 특징을 유지하도록 설계되어 실제 세계의 이질성을 더 잘 반영합니다.
3. 실용적 검증: 단순한 예측 성능 향상뿐만 아니라, 개인화된 경로 추천 및 심박수 결측치 보간 (Imputation) 과 같은 하위 작업에서의 유효성을 입증했습니다.

4. 실험 결과 (Results)

저자들은 공개 데이터셋 FitRec과 자체 구축 데이터셋 PARROTAO에서 실험을 수행했습니다.

• 예측 성능: 제안된 모델은 FitRec 에서 기존 최상위 베이스라인 대비 MSE 기준 17.5%, PARROTAO 에서 10.4% 만큼의 성능 향상을 달성했습니다.
• 스포츠별 분석: 달리기, 사이클링 등 주요 종목뿐만 아니라 데이터가 부족한 종목 (예: 엘립티컬) 에서도 최상위 성능을 보였습니다.
• Ablation Study:
  • 대조적 학습 제거: 성능이 가장 크게 저하됨 (FitRec MSE 20.3% 증가, PARROTAO 35.9% 증가) 으로, 표현의 구별력이 핵심임을 입증.
  • 히스토리 어텐션 제거: 특히 이질적인 PARROTAO 에서 성능이 크게 떨어짐 (MSE 17.0% 증가).
  • 드롭아웃 제거: 기기별 과적합을 완화하는 정규화 효과가 있음.
• 표현 학습 분석: t-SNE 시각화 및 kNN, NMI 등 정량적 지표를 통해 학습된 임베딩이 사용자와 스포츠 유형을 명확히 분리함을 확인했습니다.
• 하위 작업:
  • 경로 추천: 지형 데이터를 기반으로 예상 심박수 곡선을 생성하여 훈련 경로 선택 지원.
  • 심박수 보간: 손목형 센서의 결측 데이터를 보간할 때 기존 선형 보간이나 칼만 필터보다 훨씬 낮은 오차 (MSE) 를 기록했습니다.

5. 의의 및 결론 (Significance)

이 연구는 웨어러블 기기 생태계의 파편화와 사용자 간의 생리학적 차이를 극복하기 위한 체계적인 접근법을 제시했습니다.

• 기술적 의의: 특정 하드웨어나 사용자 집단에 의존하지 않는 범용적인 심박수 예측 모델을 가능하게 하여, 다양한 기기 간 호환성과 개인화 수준을 동시에 향상시켰습니다.
• 실용적 가치: 훈련 계획 수립, 실시간 강도 모니터링, 부상 예방, 그리고 결측 데이터가 있는 환경에서의 신뢰할 수 있는 건강 모니터링 시스템 구축에 기여합니다.
• 데이터 기여: PARROTAO 데이터셋은 향후 웨어러블 데이터의 이질성을 연구하는 데 중요한 벤치마크로 작용할 것입니다.

결론적으로, 본 논문은 데이터의 이질성을 단순한 장애물이 아닌 모델이 학습해야 할 핵심 요소로 인식하고, 이를 해결함으로써 실제 세계 (Real-world) 환경에서 강건하고 정확한 심박수 예측 시스템을 구현하는 데 성공했습니다.