TRI-DEP: A Trimodal Comparative Study for Depression Detection Using Speech, Text, and EEG

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 우울증은 전 세계적으로 심각한 정신 건강 문제이며, 특히 팬데믹 이후 발병률이 급증했습니다. 임상적 진단을 보조하고 원격 의료를 가능하게 하기 위해 자동화된 우울증 탐지 시스템에 대한 관심이 높아지고 있습니다.
• 기존 연구의 한계:
  • 모달리티 부족: 대부분의 기존 연구는 음성 (Speech) 과 뇌파 (EEG) 의 이모달 (Bimodal) 접근에 집중하거나, 텍스트 (Text) 를 배제했습니다. 세 가지 모달리티 (Trimodal) 를 통합한 연구는 드뭅니다.
  • 비체계적 비교: 손으로 만든 특징 (Handcrafted features) 과 사전 학습된 임베딩 (Pre-trained embeddings) 간의 체계적인 비교가 부족합니다.
  • 평가 프로토콜의 불일치: 데이터 분할 (Data splitting) 방식이 일관되지 않아, 동일한 피험자의 데이터가 학습셋과 테스트셋에 모두 포함되는 '데이터 누출 (Data leakage)' 문제가 발생하여 과대평가된 성능을 보이는 경우가 많습니다.
  • EEG 의 역할 불명확: EEG 가 우울증 탐지에 어떤 보완적 역할을 하는지에 대한 심층 분석이 부족합니다.

2. 방법론 (Methodology)

2.1. 데이터셋 및 전처리

• 데이터셋: MODMA (Multi-modal Open Dataset for Mental-disorder Analysis) 사용.
  • 구성: 주요우울장애 (MDD) 환자 24 명과 건강한 대조군 (HC) 29 명 (총 38 명, EEG 와 인터뷰 모두 참여한 대상).
  • 모달리티:
    1. EEG: 128 채널, 250Hz 로 기록된 5 분간 휴식 상태 뇌파.
    2. Speech: 구조화된 임상 인터뷰 오디오 (피험자당 29 개의 질문 - 답변 기록).
    3. Text: 오디오를 WhisperX 를 통해 자동 전사 (Transcription) 한 텍스트. (기존 데이터셋에 텍스트가 없어 생성함).
• 데이터 분할: 재현성과 공정한 평가를 위해 피험자 단위 (Subject-level) 5-fold 교차 검증을 사용. 동일한 피험자의 데이터가 학습과 테스트에 섞이지 않도록 엄격히 분리.

2.2. 특징 추출 (Feature Extraction)

각 모달리티에 대해 **손으로 만든 특징 (Handcrafted)**과 **사전 학습된 임베딩 (Pre-trained Embeddings)**을 비교 평가했습니다.

• EEG:
  • Handcrafted: 통계적, 주파수, 엔트로피 기반 특징 (10 개/채널).
  • Pre-trained: LaBraM (대규모 뇌 모델) 및 CBraMod (MUMTAZ 데이터셋으로 미세 조정된 패치 기반 모델).
• Speech:
  • Handcrafted: MFCC(40 개), Prosody+MFCC(46 개).
  • Pre-trained: XLSR-53, Chinese HuBERT Large.
• Text:
  • Pre-trained: Chinese BERT Base, MacBERT, XLNet, MPNet Multilingual. (원본 텍스트는 중국어임).

2.3. 아키텍처 및 융합 전략

• 단일 모달리티 모델: 각 모달리티에 최적화된 신경망 (CNN, LSTM, GRU, Attention 등) 을 적용하여 개별 예측값을 생성.
• 다중 모달리티 융합 (Fusion):
  • Late Fusion (결정 수준 융합): 각 모달리티의 최적 모델을 독립적으로 학습한 후, 예측 확률을 융합.
  • 융합 기법:
    1. 가중 평균 (Weighted Averaging): 모달리티별 가중치를 최적화하여 확률 결합.
    2. 베이지안 융합 (Bayesian Fusion): 사후 확률을 가능도 비율로 변환 후 결합.
    3. 다수결 투표 (Majority Voting): 각 모델의 최종 클래스 투표.

3. 주요 결과 (Results)

3.1. 단일 모달리티 성능 (Unimodal)

• Speech: 가장 높은 성능을 보임. Chinese HuBERT 임베딩 + BiGRU+Attention 인코더 + CNN+MaxPool 분류기가 F1-score 0.809를 기록.
• Text: Chinese MacBERT + LSTM 이 F1-score 0.784로 2 위.
• EEG: 단일 모달리티로는 예측력이 가장 낮음. CBraMod + CNN 이 F1-score 0.446으로 0.5 미만의 성능을 보임. (우울증 데이터셋에 미세 조정된 모델이 일반 Handcrafted 특징보다 우세함).
• 결론: 사전 학습된 임베딩이 손으로 만든 특징보다 모든 모달리티에서 우월한 성능을 보임.

3.2. 다중 모달리티 성능 (Multimodal)

• 최고 성능: 3 모달리티 통합 (EEG + Speech + Text) 모델이 가장 높은 성능을 기록.
  • 가중 평균 (Weighted Averaging) 및 베이지안 융합 (Bayesian Fusion) 모두 Macro F1-score 0.864 달성.
  • 이는 단일 모달리티 중 최고인 음성 (0.809) 보다 약 5.5%p 향상된 결과.
• 이모달 비교: 음성 + 텍스트 (Speech+Text) 조합이 이모달 중 가장 강력함 (F1 0.839, 표준편차 0.059 로 매우 안정적).
• EEG 의 역할: EEG 단독 성능은 낮았으나, 음성/텍스트와 결합 시 보완적 정보로 작용하여 전체 성능을 높이는 데 기여함.

3.3. 통계적 유의성

• 샘플 크기 (N=38) 가 작아 McNemar 검정 및 Wilcoxon 부호 순위 검정에서 통계적 유의성 (p < 0.05) 은 달성되지 않음.
• 그러나 모든 융합 방법에서 일관된 성능 향상 추세를 보이며, 특히 Speech+Text 조합은 예측의 **안정성 (낮은 표준편차)**을 크게 개선함.

4. 주요 기여 (Key Contributions)

1. 체계적인 3 모달리티 비교 연구: EEG, 음성, 텍스트를 통합한 최초의 포괄적인 비교 연구 중 하나.
2. 손으로 만든 특징 vs 사전 학습 임베딩: 뇌파 (EEG) 를 포함한 모든 모달리티에서 사전 학습된 모델 (LaBraM, HuBERT, MacBERT 등) 이 Handcrafted 특징보다 우월함을 입증.
3. 재현성 있는 벤치마크: 피험자 단위 데이터 누출을 방지하는 엄격한 분할 전략과 오픈소스 코드/모델 체크포인트 공개를 통해 재현성 확보.
4. 새로운 실험 프레임워크 제안: 다양한 융합 전략과 추가 모달리티 평가를 위한 표준 프레임워크를 제시.

5. 의의 및 결론 (Significance)

• State-of-the-Art 달성: 제안된 3 모달리티 프레임워크는 현재 다중 모달리티 우울증 탐지 분야에서 **최고 수준의 성능 (SOTA)**을 기록함.
• 임상적 함의: EEG 가 단독으로는 유용하지 않을 수 있으나, 음성 및 텍스트와 결합될 때 보완적 역할을 수행함을 보여줌. 이는 임상 환경에서 다양한 데이터 소스를 활용해야 함을 시사.
• 향후 연구 방향: 자동 전사 (ASR) 의 한계를 극복하기 위해 임상 특화 ASR 연구 필요, 초기/중간 융합 (Early/Intermediate Fusion) 전략 탐구, 더 크고 다양한 코호트로의 확장 필요.

이 논문은 다중 모달리티 우울증 탐지 연구의 기초를 마련하며, 보다 정확하고 견고한 임상 지원 시스템 개발을 위한 중요한 이정표가 됩니다.