기술 요약: 정신 건강의 다중 모드 디지털 표현형 분석을 위한 NEURAI-VN 벤치마크

문제 정의

스마트폰과 웨어러블 기기를 이용한 디지털 표현형(Digital Phenotyping, DP)은 주기적인 임상 평가가 놓칠 수 있는 일상적 행동 변화를 포착함으로써 정신 건강을 모니터링하는 데 있어 상당한 가능성을 지니고 있습니다. 그러나 이 분야는 발전을 가로막는 세 가지 결정적인 장벽에 직면해 있습니다:

1. 이질성(Heterogeneity): 데이터셋이 인구 통계, 센싱 양식(modality), 샘플링 체계에 따라 매우 다양하여, 모델을 다른 코호트로 전이하기 어렵습니다.
2. 재현성(Reproducibility): 특징 추출(feature extraction) 및 전처리 파이프라인이 종종 특정 작업에만 국한되며 문서화가 미흡합니다.
3. 평가 부적합성(Evaluation Misalignment): 많은 연구가 레코드 단위 교차 검증(동일한 참가자의 데이터가 훈련 및 테스트 세트에 모두 포함되는 방식)을 사용하여, 피험자 단위 검증(subject-wise validation)에 비해 지나치게 낙관적인 성능 추정치를 산출합니다. 또한, 기존 자원들은 주로 서구권, 영어 사용권, 대학 소속 인구에 치중되어 있어, 다른 문화적 및 사회경제적 맥락에서도 이러한 연관성이 어떻게 유지되는지에 대한 이해의 공백을 남깁니다.

방법론

본 논문은 100명의 베트남 성인을 대상으로 2주 동안 수집된 고해 resolution, 다중 모드 데이터셋인 NEURAI-VN을 사용하여 재현 가능한 벤치마크를 구축합니다. 이 데이터셋은 17개의 모드(13개의 수동 센싱, 4개의 능동 평가)와 정신과 의사가 제공한 임상 진단 주석을 포함합니다.

데이터 표현 및 특징 공학(Feature Engineering)

본 벤치마크는 출처와 시간적 해상도에 따라 데이터를 6개의 모드 그룹으로 구성합니다:

• 웨어러블(Wearable, $W_m, W_s$): 분 단위 신호(활동량, 심박수) 및 일일 요약(수면, HRV, $SpO_2$, 호흡, 피부 온도).
• 자기 보고(Self-report, $S_d, S_w$): 일일 기록/기분 및 주간 임상 척도(PHQ-9, GAD-7).
• 스마트폰(Smartphone, $P_e, P_c$): 이벤트 기반 앱 상태 및 연속 센서 데이터(가속도계, 자이로스코프, 네트워크, 배터리).

특징 추출(Feature Extraction):

• 연속적/분 단위 신호: 채널별 일일 통계적 기술자(평균, 최소값, 최대값, 왜도, 표준편차)를 추출합니다.
• 이벤트 기반: 일일 이벤트 횟수를 산출합니다.
• 자기 보고: 마지막 일일 응답을 유지하며, 점수는 [0, 1] 범위로 정규화합니다.
• 전처리: 특징들은 평균 임퓨테이션(mean imputation), Min-Max 스케일링, 그리고 상위 K개의 특징을 유지하기 위한 단변량 특징 선택(ANOVA F-통계량) 과정을 거쳤습니다.

벤치마크 설계

본 연구는 네 가지 특징 그룹($W_m, W_s, S_d, P$)을 전수 결합하여 15개의 벤치마크 구성을 정의합니다. 참고로, 시간적 해상도를 맞추기 위해 주간 자기 보고($S_w$)는 제외되었습니다.

분류 작업(Classification Tasks):
네 가지 임상적으로 유의미한 이진 분류 작업이 정의되었습니다:

1. B1: 건강한 대조군(HC) vs 우울증(Dep)
2. B2: HC vs 불안(Anx)
3. B3: 우울증(Dep) vs 불안(Anx)
4. B4: HC vs 임상군(Dep + Anx + 기타 정신 질환)

실험 프로토콜:

• 모델: 로지스틱 회귀(LR), 랜덤 포레스트(RF), XGBoost(XGB), 다층 퍼셉트론(MLP)의 네 가지 베이스라인 모델을 평가했습니다.
• 검증: 훈련 세트와 테스트 세트 간의 정보 누출을 방지하기 위해 엄격한 5-겹 피험자 단위 그룹 K-폴드(5-fold subject-wise Group K-Fold) 교차 검증을 사용했습니다.
• 지표: 클래스 불균형을 고려하여 피험자 수준의 매크로 F1-점수(mF1)를 주요 평가 지표로 사용했습니다.

주요 결과

벤치마크 결과는 향후 연구를 위한 재현 가능한 베이스라인을 제공합니다. 성능은 작업 및 특징 구성에 따라 차이를 보였습니다:

• 최고 성능:

  • HC vs 우울증 (B1): $W_m + W_s + S_d$ 구성을 사용한 MLP 모델에서 0.71 ± 0.17 mF1 달성.
  • HC vs 임상군 (B4): $W_m + W_s + S_d$ 구성을 사용한 LR 모델에서 0.71 ± 0.06 mF1 달성.
  • HC vs 불안 (B2): 전체 다중 모드 구성($W_m + W_s + S_d + P$)을 사용한 LR 모델에서 0.69 ± 0.17 mF1 달성.
  • 우울증 vs 불안 (B3): $W_m$(웨어러블-분 단위) 구성만을 사용한 XGB 모델에서 0.56 ± 0.22 mF1 달성.

• 다중 모드 통합(Multimodal Integration):

  • 일반적으로 여러 특징 그룹을 통합한 구성이 단일 모드 설정보다 우수한 성능을 보였습니다.
  • 평균 mF1은 단일 모드(0.48)에서 모든 그룹 조합(0.60)으로 갈수록 점진적으로 증가했습니다.
  • 그러나 최적의 구성은 작업에 따라 달랐습니다. 예를 들어, 가장 어려운 작업인 '우울증 vs 불안(Dep vs Anx)'은 단일 모드($W_m$)에서 가장 좋은 성능을 보였고, 'HC vs 불안(Anx)'은 전체 통합에서 가장 큰 이득을 얻었습니다.

의의 및 기여

저자들은 본 연구를 디지털 정신 건강 분야의 표준화된 평가를 위한 기초 단계로 규정합니다. 이 논문의 주요 기여는 다음과 같습니다:

1. 재현 가능한 벤치마크: 표준화된 특징 구성과 엄격한 피험자 단위 교차 검증 프로토콜을 통해 통일된 평가 프레임워크를 구축하여, 현재 문헌의 비교 불가능성 문제를 해결했습니다.
2. 인구 통계적 다양성: 베트남 코호트를 활용함으로써 기존 자원의 인구 통계적 격차를 해소하고, 행동-증상 간의 연관성이 비서구권 및 비영어권 환경에서도 유지되는지 검증했습니다.
3. 베이스라인 성능: 보고된 F1 점수는 향후 방법론적 발전을 위한 참조점으로 기능하며, 연구자들이 새로운 알고리즘을 확립된 선형, 트리 기반 및 신경망 베이스라인과 정량적으로 비교할 수 있게 합니다.
4. 오픈 리소스: 연구를 촉진하기 위해 데이터셋과 전처리 및 평가를 위한 코드를 공개하였으며, 데이터셋은 Zenodo를 통해, 벤치마크 코드는 GitHub을 통해 접근 가능합니다.

본 논문은 다중 모드 통합이 일반적으로 성능을 향상시키지만, 특정 진단 작업에 따라 서로 다른 모드의 효용성이 크게 달라진다는 점을 강조하며, 향후 연구에서 작업별 특화된 특징 공학(feature engineering)의 필요성을 시사하며 결론을 맺습니다.