A Comparative Study of Deep Learning Architectures for Multi-Horizon Behavioural Forecasting for Mobile Health

기술 요약: 모바일 헬스 분야의 다중 시계열(Multi-Horizon) 행동 예측을 위한 딥러닝 아키텍처 비교 연구

문제 정의
웨어러블 기기와 스마트폰은 예방적 건강 개입의 잠재력을 지닌 풍부한 행동 시계열 데이터(예: 걸음 수, 스크린 타임, 수면 시간)를 생성한다. 그러나 이러한 특정 유형의 데이터에 대해 현대적인 딥러닝 예측 아키텍처를 체계적으로 비교한 연구는 부족한 실정이다. 확인된 주요 공백은 다음과 같다: (1) 기존 연구가 분류(Classification)에 치중되어 있어, 연속적인 행동 예측을 위한 현대적 아키텍처(Transformer, State-Space Models)에 대한 평가가 부족함 (2) 모델이 새로운 사용자에게 전이될 때 실패하는 경우가 빈번한 교차 인구 집단 일반화(Cross-population generalisation)의 문제 (3) 단일 단계 예측이 아닌 장기적 기간(1~8일) 동안의 예측이 실제 응용 분야에서 요구됨에도 불구하고 다중 시계열(Multi-horizon) 분석이 부재하다는 점이다.

연구 방법론
본 연구는 800명 이상의 참가자를 포함하는 세 가지 공개 데이터셋(GLOBEM, CAPTURE-24, Continuous Wearables)을 대상으로 9가지 예측 접근 방식을 벤치마킹한다. 평가는 세 가지 뚜렷한 모델링 패러다임을 포괄한다:

1. 글로벌(Global): 모든 훈련 사용자로부터 풀링된 데이터를 사용하여 학습된 단일 모델.
2. 파운데이션 모델(Foundation Models, Zero-Shot): 작업별 학습 없이 직접 적용되는 사전 학습된 모델.
3. 개인화(Personalised): 개별 사용자 데이터로 미세 조정(Fine-tuning)된 글로벌 모델.

평가된 아키텍처:

• 학습된 딥러닝: MLP, LSTM, Temporal Convolutional Networks (TCN), Transformer, Mamba, PatchTST.
• 파운데이션 모델: TimesFM (100B 이상의 타임포인트로 사전 학습된 디코더 전용 모델) 및 Reverso (하이브리드 합성곱/순환 구조).
• 통계적 베이스라인: Naive (Last), Moving Average, ARIMA.

실험 설정:

• 특징(Features): 걸음 수, 스크린 타임, 수면 시간.
• 호라이즌(Horizons): 1일에서 8일까지의 예측을 평가.
• 지표: Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), symmetric MAPE (sMAPE), 그리고 Naive Last 베이스라인 대비 Skill Score.
• 개인화 전략: 글로벌 최적값을 먼저 확립한 후, 낮은 학습률을 사용하여 개별 사용자 기록으로 미세 조정하는 2단계 전이 학습 절차.

주요 결과

1. 지배적인 단일 아키텍처는 없음: 성능 순위는 데이터셋에 따라 달라진다. 학습된 모델 중에서는 PatchTST가 걸음 수와 스크린 타임에 대해 일간 데이터(GLOBEM)에서 일반적으로 우위를 점했다. 그러나 TCN, MLP, Transformer는 많은 시나리오에서 유의미한 성능 차이를 보이지 않았다. Mamba는 시간 단위 데이터(CAPTURE-24)에서 강건함을 보여주었다.
2. 파운데이션 모델의 효능: TimesFM은 제로샷 설정에서 특히 데이터가 적은 환경(예: N=10인 Wearables 데이터셋)에서 학습된 모델과 대등하거나 이를 능가한다. 이 모델은 수면 시간에 탁월한 성능을 보였으나, 시간 단위 데이터에서는 음(-)의 Skill을 보였는데, 이는 사전 학습 분포와 하위 일 단위(sub-daily) 건강 신호 간의 불일치를 나타낸다. Reverso는 일반적으로 기대 이하의 성능을 보였다.
3. 개인화의 영향: 참가자 수준의 미세 조정은 특성별 RMSE를 16–60% 감소시킨다. 이 이점은 특성에 따라 매우 상이하다:
   • 수면: 안정적인 개인 패턴 덕분에 가장 큰 혜택을 받음 (43–60% 감소).
   • 스크린 타임: 중간 정도의 혜택 (19–36%).
   • 걸음 수: 가장 적은 혜택 (16–46%).
   • 호라이즌 의존성: 개인화의 이점은 예측 호라이즌이 길어질수록 증가한다. 단기 호라이즌(h=1)에서는 글로벌 모델이 이미 인구 집단의 패턴을 잘 포착하지만, 장기 호라이즌(h=8)에서는 개인의 행동 변화를 포착하기 위해 개인화가 필수적이다.
4. 데이터 희소성 위험: 개인화에는 충분한 사용자당 데이터가 필요하다. 관측치가 희소한 데이터셋(예: 약 22개의 시간 단위 포인트가 있는 CAPTURE-24)의 경우, 미세 조정은 과적합을 유발하여 장기 호라이즌에서 최대 40%의 성능 저하를 초래했다.
5. 불확실성 정량화: PatchTST의 경험적 예측 구간은 Naive 베이스라인(±90분)에 비해 현저히 좁았으며(예: 스크린 타임 ±24분), 명목상의 커버리지를 유지하면서도 이를 달성했다.

의의 및 주장
저자들은 본 연구가 현대적인 딥러닝 아키텍처, 파운데이션 모델, 그리고 개인화 전략을 웨어러블 기반 다중 호라이즌 행동 예측을 위해 공동으로 평가한 첫 번째 연구라고 주장한다.

본 연구는 모바일 헬스 커뮤니티에 실질적인 가이드를 제공한다:

• 아키텍처 선택: 보편적으로 우월한 단일 모델은 없으며, 선택은 데이터셋의 크기, 시간적 입도(granularity), 시퀀스 길이에 따라 결정되어야 한다. 충분한 이력이 있는 일간 데이터에는 PatchTST를 권장하며, 고빈도 데이터에는 Mamba가 유망하다.
• 파운데이션 모델 적용 가능성: 사용자당 데이터가 부족할 때 TimesFM은 강력한 제로샷 기본 모델 역할을 하지만, 그 성능은 사전 학습 도메인과 대상 건강 신호 간의 정렬 여부에 달려 있다.
• 개인화 전략: 미세 조정은 수면과 같이 개인 간 규칙성이 높은 특성과 더 긴 예측 호라이즌에 가장 가치 있다. 그러나 과적합을 피하기 위해서는 최소한의 개별 데이터 임계값이 필요하다.

결론적으로, 딥러닝이 통계적 베이스라인보다 상당한 개선을 제공하기는 하지만, 전략(Global vs. Personalised vs. Zero-Shot)의 선택은 구체적인 데이터 특성과 의도된 예측 호라이즌에 의해 규정되어야 한다.