기술 요약: 모바일 헬스 배포를 위한 확산 모델 기반 하위 모집단 디지털 트윈

1. 문제 정의

모바일 헬스(mHealth) 중재는 실시간으로 행동 유도(예: 활동 제안)를 개인화하기 위해 JITAI(Just-in-Time Adaptive Interventions)와 같은 온라인 학습 알고리즘에 점점 더 의존하고 있습니다. 그러나 이러한 알고리즘을 설계할 때는 수많은 하이퍼파라미터와 구조적 선택(예: 탐색률, 특징 선택)이 수반되며, 설정이 잘못될 경우 참가자에게 부담을 주고 중재 효능을 저하시킬 수 있습니다.

주요 과제는 이러한 알고리즘 설계를 실제 배포 전에 검증할 수 있는 현실적인 시뮬레이터가 부족하다는 점입니다. 기존 시뮬레이터는 두 가지 주요 한계점에 직면해 있습니다:

1. 데이터 희소성: 대상 하위 모집단(예: 심장 재활 환자)은 규모가 작은 경우가 많아(40~80명), 강력한 모델을 훈련시키기 어렵습니다.
2. 데이터 빈곤화: 연속적인 배포는 서로 다른 하위 모집단, 위치 또는 사회적 맥락을 대상으로 하는 경우가 많습니다. 이전 배포에서 훈련된 시뮬레이터는 분포 변화(예: 팬데ка데믹 이후의 행동 변화)로 인해 다음 배포로 일반화되는 데 실패하곤 합니다.
3. 모델의 한계: 기존의 구조적 시뮬레이터(예: 선형 상태 공간 모델)는 실제 활동 데이터의 비선형적, 제로-팽창(zero-inflated) 및 이질적 역동성을 포착하지 못합니다. 리샘플링 기반 방법은 주변 분포는 보존하지만 시간적 일관성(temporal coherence)을 잃는 경우가 많습니다.

본 논문은 연구 시작 전 행동과 중재에 대한 반응을 시뮬레이션하여 온라인 알고리즘 설계를 안전하게 테스트할 수 있도록 하는 대상 하위 모집단의 디지털 트윈인 "JITAI-Twin"을 제안합니다.

2. 방법론

제안된 방법은 3단계 파이프라인을 통해 **조건부 시계열 확산 모델(conditional time-series diffusion model)**을 사용하여 JITAI-Twin을 구축합니다. 이 아키텍처는 TimeWeaver(Narasimhan et al., 2024)에서 채택되었으나, 시간적 일관성(비선행성, non-anticipating)을 보장하도록 수정되었습니다. 즉, 미래의 행동이 과거 상태의 생성에 영향을 미치지 않도록 합니다.

2.1. 아키텍처

• 기본 모델: 36개의 잔차 블록(residual blocks)을 백본으로 하는 상태 공간 확산 모델(SSSD)입니다.
• 시간적 일관성: 온라인 알고리즘 평가를 지원하기 위해, 모델은 엄격하게 순방향으로 시간을 생성합니다. 이는 다음을 통해 달성됩니다:
  • 좌측 패딩된 1-D 컨볼루션: 출력 $t$가 입력 $\le t$에만 의존하도록 보장합니다.
  • 순방향 전용 S4 커널: 구조적 상태 공간 커널의 순방향 방향만을 사용하여 미래 시점으로부터의 정보 흐름을 방지합니다.
• 컨디셔닝(Conditioning):
  • 기초 설문: 고정된 T5 텍스트 인코더를 통해 자연어 요약으로 인코딩되며, 매 잔차 블록마다 크로스 어텐션(cross-attention)을 통해 주입됩니다. 이를 통해 다양한 연구 간의 이질적인 설문 스키마를 처리할 수 있습니다.
  • 중재 시퀀스: 미세 조정(fine-tuning) 중에 전용의, 제로 초기화된, 시간적으로 일관된 모듈을 통해 주입됩니다.

2.2. 3단계 파이프라인

이 파이프라인은 새로운 배포에 트윈을 적응시키기 위해 세 가지 서로 다른 정보원을 통합합니다:

1. 사전 훈련 (관찰 데이터):

   • 출처: 대규모 관찰 데이터셋(예: NIH "All of Us")과 같이 중재 없이 참가자가 모니터링되는 데이터입니다.
   • 목표: 일일 행동 역동성(예: 주야간 주기, 제로-팽창 패턴)과 기초 인구통계학적 특성에 따른 개인 간 변이를 포괄하는 광범위한 사전 지식(prior)을 학습합니다.
   • 훈련: 상태 공간 백본, 크로스 어텐션 및 프로젝션을 훈련합니다. 중재 레이어는 제외됩니다.

2. 미세 조정 (이전 중재 데이터):

   • 출처: 동일한 유형의 중재(예: HeartSteps v2/v3)에 대한 이전 배포의 소규모 데이터입니다.
   • 목표: 특정 중재 넛지가 관찰적 사전 지식 대비 행동을 어떻게 변화시키는지 학습합니다.
   • 훈련: 중재에 무관한 역동성을 포착하는 상태 공간 백본은 동결합니다. 오직 중재 주입 경로, 크로스 어텐션에 대한 LoRA 어댑터, 그리고 입출력 프로젝션만을 업데이트합니다. 이는 작은 데이터셋(~100명)에서의 과적합을 최소화합니다.

3. 추론 시 교정 (배포 전 지식):

   • 출처: 도메인 과학자의 전문 지식 또는 향후 배포될 인구 및 맥락(예: "팬데믹 이후 남부 캘리포니아의 과체중 성인")에 대한 대규모 언어 모델(LLM)의 예측입니다.
   • 목표: 타겟 배포의 데이터를 사용하지 않고도, 미세 조정된 트윈을 타겟 인구의 예상 행동 프로필에 맞게 조정합니다.
   • 메커니즘: **보상 기울임 샘플러(reward-tilted sampler)**가 확산 생성 과정을 수정합니다. 모델은 기울어진 분포 $\tilde{p}(s) \propto p_\theta(s) \exp(\gamma \langle v, s \rangle)$에서 샘플링하며, 여기서 $v = \mu^* - \mu_{base}$는 타겟 평균 프로필($\mu^*$)과 베이스 모델의 평균($\mu_{base}$) 사이의 차이입니다. 신뢰 매개변수 $\gamma$는 변화의 강도를 제어합니다.
   • 타겟 프로필 생성: 2단계 LLM 프롬프트를 통해 인구 차이에 대한 질적 추론을 이끌어내고, 이를 수치적 형태(numeric shape)로 변환한 뒤, 이전 배포의 활동 수준에 따라 스케일링합니다.

3. 주요 기여

1. 시간적으로 일치하는 확산 아키텍처: 미래의 행동이 과거 상태에 영향을 줄 수 없는 환경에서 온라인 학습 알고리즘을 평가하기 위해, 시계열 확산 모델에 엄격한 순방향 시간 정보 흐름을 강제하는 새로운 수정을 도입했습니다.
2. 추론 시 교정: 보상 기울임 샘플링을 통해 (프로토콜 및 전문가/LLM 예측과 같은) 배포 전 지식만을 사용하여 고정된 생성 모델을 새로운, 보지 못한 인구에 적응시키는 방법을 제시합니다. 이는 재학습을 피할 수 있게 합니다.
3. 엔드 투 엔드 평가: HeartSteps 프로그램(v2부터 v4까지)의 재현을 통해, 타겟 인구의 변화에 따라 진화하는 트윈의 능력을 입증함으로써 관찰적 사전 지식에서 미세 조정된 교정 시뮬레이터로의 전환을 보여주었습니다.

4. 결과

본 방법론은 HeartSteps 신체 활동 중재 시리즈를 대상으로 KNN, Per-State Rejection Sampling, 선형 구조 방정식 모델(Linear SEM)과 같은 단순한 베이스라인들과 비교 평가되었습니다.

• 분포 변화에 대한 충실도:
  • 첫 번째 핸드오프 (v2/v3): 사전 중재 데이터가 없는 상태에서, 교정된 사전 훈련 트윈은 베이스라인보다 참가자 간 이질성(자기상관 확산)을 훨씬 더 잘 재현했으나, 일일 프로필 적합도는 리샘플링 방법과 유사했습니다.
  • 두 번째 핸드오프 (v4): 타겟 인구가 크게 변화했을 때(시애틀 심장 환자에서 남부 캘리포니아 과체중 성인으로), 교정 및 미세 조정된 트윈은 오라클 성능(실제 데이터의 하한선에 근접)에 도달했습니다. 이는 일일 프로필, 시간적 구간 구조, 참가자 간 이질성을 동시에 충실히 재현한 유일한 비-오라클 방법이었습니다. 베이스라인들은 이질성을 붕괴시키거나 시간적 패턴을 잘못 표현하며 전이에 실패했습니다.
• 인구통계학적 컨디셔닝: 트윈은 생성된 데이터에서 인구통계학적 대조(예: 취업자 vs 미취업자, 스트레스 수준)의 방향을 성공적으로 재현하였으며, 실제 데이터의 하위 그룹 순서와 피크 타이밍을 일치시켰습니다.
• 교정 타겟 정확도: LLM이 생성한 질적 예측을 수치적 타겟으로 변환한 결과, 타겟 분포(예: 팬데믹 이후 v4 코호트의 이봉형 패턴)로의 변화를 성공적으로 예측하여 트윈이 실제 타겟 분포와의 격차를 좁힐 수 있게 했습니다.
• 중재 효과: 트윈은 v4의 특정 HeartSteps 넛지에 대해 거의 '영(null)'에 가까운 효과를 학습했는데, 이는 실제 프로그램의 결과와 일치하며, 모델이 중재 효능을 환각(hallucinate)하지 않음을 보여줍니다.

5. 의의 및 주장

본 논문은 이 프레임워크가 실제 배포 전 온라인 알고리즘 설계 결정을 테스트하고 정보를 제공하기 위한 실질적인 전제 조건을 제공한다고 주장합니다.

• 비용-편익: 트윈의 가치는 배포가 크게 달라지거나(분포 변화), 결정이 단순 리샘플러가 붕괴시키는 참가자 간 이질성에 의존할 때 발휘됩니다. 인구가 유사할 경우 단순 리샘플러로도 충분할 수 있습니다.
• 재현성: 알고리즘 하이퍼파라미터를 사전 검증함으로써, 재현성을 저해하고 참가자의 참여를 떨어뜨리는 배포 중 임기응변식 대응을 방지하는 것을 목표로 합니다.
• 한계: 저자들은 아키텍처가 시간적으로 일관되기는 하지만, 본질적으로 인과적 효과를 식별하는 것은 아니라고 명시했습니다. 또한, 미세 조정 과정이 특정 가중치 적용 없이는 혼란 변수(confounding)를 완전히 제거하지 못할 수 있습니다. 또한, "모델-결정" 루프(트윈을 사용하여 실제 배포를 실제로 변경하는 것)는 전향적 시험이 아닌 시뮬레이션 재현을 통해서만 테스트되었습니다.

이 연구는 강력한 생성적 사전 지식, 소규모 중재 데이터에 대한 견고한 미세 조정, 그리고 추론 시 교정을 결 조합함으로써, 인구 변화를 설명할 수 있는 도메인 전문 지식이 있다면 타겟 데이터가 없는 상황에서도 고도로 충실한 하위 모집단 시뮬레이터를 구축할 수 있음을 시사합니다.