기술 요약: 정신 건강 연구를 위한 웨어러블 움직임 데이터 기반 파운데이션 모델

문제 정의

스마트워치 및 피트니스 트래커에서 수집된 분 단위 액티그래피(actigraphy)와 같은 웨어러블 움직임 데이터는 정신 건강 연구를 위한 풍부하고 종단적인 자원을 제공한다. 이는 일주기 리듬의 파편화나 정신운동 지체와 같은 미세한 행동적 추세를 포착할 수 있다. 그러나 이 모달리티에 대한 파운데이션 모델 개발은 임상 이미지 및 텍_스트 분석에 비해 뒤처져 있다. 기존의 분석 접근 방식은 다음과 같은 상당한 한계에 직면해 있다:

• 고전적 방법론은 수작업으로 설계된 특징(feature)과 규칙 기반 탐지기에 의존하며, 이는 특정 과업에 국한되고 코호트 및 기기 변화에 민감하다.
• 딥러닝 접근 방식(CNN 및 RNN)은 긴 시간 창(temporal window)을 처리하는 데 어려움을 겪는 경우가 많다. CNN은 수용 영역(receptive field)이 제한적이며, 순환 모델은 긴 시퀀스에서 그래디언트 소실 문제를 겪는다.
• 현재의 웨어러블 파운데이션 모델은 대개 독점적이며, 정신과적 및 수면 결과보다는 일반적인 활동 인식에 집중하거나, 다일(multi-day) 패턴보다는 짧은 시간 세그먼트(초에서 분 단위)를 학습하도록 훈련된다.
• 분 단위 해상도로 일주일 단위의 의존성을 모델링하여 정신 건강 결과를 예측할 수 있는 오픈 소스의 일반화 가능한 모델이 부족하다.

방법론

데이터셋 및 전처리

본 연구는 미국을 대표하는 코호트인 국민건강영양조사(NHANES) 데이터를 활용하였다.

• 사전 학습(Pretraining): 2003–2004, 2005–2006, 2011–2012 조사 주기에 참여한 21,538명의 데이터를 사용하였다. 여기에는 엉치(hip) 부착형 단축(uniaxial) 가속도계와 손목 착용형 3축(triaxial) 가속도계 데이터가 포함되었다. 비교 가능성을 보장하기 위해, 3축 데이터를 단축 카운트에 맞춰 합산하였으며, 진폭 차이를 완화하기 위해 기기 유형별로 z-score를 사용하여 데이터를 표준화하였다.
• 미세 조정(Fine-tuning): 2013–2014 주기 참여자 7,769명의 데이터를 하위 지도 학습 과업에 사용하였다.
• 입력값: 7일간의 분 단위 액티그래피 시퀀스(10,080 타임 스텝).

모델 아키텍처: 사전 학습된 액티그래피 트랜스포머 (PAT)

저자들은 긴 시퀀스의 액티그래피에 특화된 트랜스포머 기반 아키텍처를 설계하였다:

1. 패치 임베딩(Patch Embeddings): 10,000개 이상의 타임 스텝을 처리할 때 발생하는 이차 복잡도(quadratic complexity)를 해결하기 위해, 입력 시퀀스를 겹치지 않는 패치(예: 10분 단위 패치)로 나눈다. 각 패치는 학습 가능한 선형 투영 또는 1D 컨볼루션을 통해 고정된 차원으로 매핑된다.
2. 위치 임베딩(Positional Embeddings): 시간적 순서를 인코딩하기 위해 고정된 사인-코사인 위치 임베딩이 추가된다.
3. 트랜스포머 인코더(Transformer Encoder): 멀티 헤드 셀프 어텐션(multi-headed self-attention), 레이어 정규화(layer normalization), 피드 포워드 네트워크(feed-forward networks)를 포함하는 트랜스포머 블록 스택이 패치 임베딩을 처리한다.
4. 마스크 오토인코더(MAE) 사전 학습:
   • 전략: 인코더 이전에 높은 비율(90%)의 패치를 무작위로 마스킹하고 제거하는 비대칭 오토인코더 접근 방식을 사용한다.
   • 인코더: 마스킹되지 않은 패치만을 처리한다.
   • 디코더: 인코더의 출력과 마스크 토큰을 함께 받아 원래의 표준화된 액티그래피 신호를 재구성한다.
   • 손실 함수: 모든 패치에 대해 재구성된 데이터와 원본 데이터 간의 평균 제곱 오차(MSE)를 계산한다.
5. 미세 조정: 패치 임베딩 레이어와 사전 학습된 인코더를 추출한다. 이진 분류 과업을 위해 시그모이드 활성화 함수가 적용된 과업 특화 피드 포워드 분류 레이어를 추가한다.

실험 설계

• 과업: 벤조디아제핀(Benzodiazepine) 사용, SSRI 사용, 우울증(PHQ-9 ≥10), 수면 장애 병력, 수면 이상 감지의 다섯 가지 이진 분류 과업을 정의하였다.
• 베이스라인: 1D CNN, LSTM, ConvLSTM, 웨이브릿(Wavelet) 기반 분류기, 그리고 "ScratchTransformer"(사전 학습 없이 무작위 초기화 상태에서 훈련된 동일 아키텍처의 PAT)와 비교하였다.
• 평가: 로버스트니스(robustness)를 평가하기 위해 훈련 세트 크기(500, 1,000, 2,500 및 전체 가용 세트)에 따른 평균 ROC 곡선 아래 면적(AUC)을 측정하였다.

주요 기여

1. 오픈 소스 파운데이션 모델: PAT는 일주일 단위의 분 단위 시간 모델링과 정신 건강 결과에 대한 명시적 평가를 결려한 최초의 오픈 소스 웨어러블 움직임 데이터 파운데이션 모델이다. 사전 학습된 가중치, 코드 및 훈련 파이프라인을 공개한다.
2. 장기 시간 모델링: 초에서 분 단위의 짧은 세그먼트를 다루는 기존 모델과 달리, PAT는 10,080분(일주일)의 시퀀스를 모델링하여 일주기 구조와 다일(multi-day) 행동 패턴을 포착한다.
3. 일반화 가능성: PAT는 다섯 가지 다양한 임상 과업(약물 사용, 우울증, 수면)에서 일관된 성능을 보여주며, 저데이터 환경(n ≤ 1,000)에서도 우수한 성능을 나타낸다.
4. 해석 가능성: 모델은 내장된 어텐션 맵(attention maps)을 제공하여, 예측을 주도하는 특정 시간대(예: 오전 활동 전환기)를 강조함으로써 사후 설명 도구 없이도 투명성을 제공한다.

결과

성능 지표

• 벤조디아제핀 예측: PAT-L(가장 큰 변형 모델)은 평균 AUC 0.767을 달었다. 이는 LSTM 베이스라인(0.493) 대비 55.6% 개선, 1D CNN(0.632) 대비 21.4% 개선, ConvLSTM(0.668) 대비 14.8% 개선된 수치이다.
• 저데이터 로버스트니스: PAT는 모든 훈련 세트 크기에서 ScratchTransformer를 포함한 모든 베이스라인을 일관되로 능가했다. 이는 자기 지도 사전 학습이 잘 일반화된 표현을 효과적으로 학습하여 제한된 레이블 데이터에서도 잘 전이됨을 의미한다.
• 다중 과업 성능: PAT는 SSRI 사용, 수면 이상 감지 및 우울증 분류에서 베이스라인보다 우수한 성능을 보였다. 수면 장애 병력의 경우, PAT는 다른 모델들과 유사한 성능을 보였으나 공변량을 조정한 후에는 독립적인 연관성을 보이지 않았다(아래 참조).

하이퍼파라미터 통찰

• 마스킹 비율: 90% 마스킹 비율이 가장 좋은 하위 과업 성능(AUC 0.773)을 보였으며, 이는 인코더가 더 넓은 맥락적 의존성을 학습하도록 유도한다.
• 스무딩(Smoothing): 원시(raw) 액티그래피 신호로 훈련된 모델이 스무딩된 데이터로 훈련된 모델보다 우수한 성능을 보였다(AUC 0.773 vs 0.741). 이는 미세한 시간적 정보가 매우 중요하다는 것을 시사한다.
• 손실 함수: 모든 패치에 대해 MSE를 계산하는 것이 마스킹된 패치에 대해서만 계산하는 것보다 성능이 훨씬 뛰어났다.

해석 가능성 발견

어텐션 히트맵은 PAT가 무작위 노이즈가 아닌 특정 행동 전환에 집중한다는 것을 보여주었다.

• 벤조디아제핀 사용자: 연장된 이른 아침의 비활동성과 지연된 기상 시간에 높은 어텐션이 할당되었다.
• 비사용자: 날카롭고 일관된 이른 아침의 신체 활동에 높은 어텐션이 할당되었다.
• 인구 집단 수준: 어텐션 패턴은 강한 24시간 주기성을 보였으며, 특히 깨어남 전환 및 오전 활동 시점에 집중되어, 모델이 반복적인 일일 리듬을 학습했음을 확인시켜 주었다.

혼란 변수 분석

다변량 로지스틱 회귀 분석 결과, PAT 예측은 연령, 성별, BMI 및 우울증 심각도를 조정한 후에도 벤조디아제핀 사용, SSRI 사용, 우울증 및 수면 이상과 독립적으로 연관되어 있었다. 그러나 수면 장애 병력의 경우, 조정 후 연관성이 유의하지 않았는데, 이는 모델이 진단된 질환 자체보다는 기저 위험 요인(예: BMI, 우울증)을 예측하고 있거나, 치료된 상태가 액티그래피 신호를 약화시켰을 가능성을 시사한다.

의의 및 주장

저자들은 PAT를 웨어러블 센서 데이터로부터 임상적 통찰을 끌어내기 위한 실용적이고 확장 가능한 솔루션으로 제시한다.

• 접근성: 오픈 소스이며 소비자용 GPU(예: NVIDIA T4)에서 실행 가능하므로, 컴퓨팅 자원이 제한된 연구자들의 진입 장벽을 낮춘다.
• 확장성: 가변적인 입력 길이와 다양한 기기에 적응할 수 있도록 설계되어 다양한 연구 환경에 적합하다.
• 임상적 유용성: 수동적 움직임 데이터로부터 약물 사용 및 정신 질환을 예측하는 능력은 비침습적인 위험 계층화 및 치료 모니터링 방법을 제공한다.
• 겸허함: 저자들은 레이블이 골드 스탠다드 임상 진단이 아닌 자기 보고(self-report)에서 유래하여 노이즈가 발생할 수 있다는 점을 언급하며 한계를 인정하였다. 또한, 액티그래피 단독으로는 복잡한 정신 병리에 대한 부분적인 신호만을 제공하므로, 단독 진단 도구보다는 다중 모달 모델의 보완적 도구로 간주되어야 한다고 주의를 준다. 또한, 횡단적 데이터의 특성상 인과 관계 추론은 불가능하다.

결론적으로, PAT는 대규모 웨어러블 데이터 수집과 임상적으로 유의미한 정신 건강 모델링 사이의 간극을 메우며, 일반화 가능하고 데이터 효율적이며 해석 가능한 디지털 표현형(digital phenotyping)을 향한 한 걸음을 나타낸다.