An Enhanced Source-Free Unsupervised Domain Adaptation Framework for Cross-Dataset EEG Emotion Recognition via Predictive Coding and Test-Time Training

기술 요약: 교차 데이터셋 EEG 감정 인식을 위한 향상된 소스 프리 비지도 도메인 적응 프레임워크

문제 정의
뇌전도(EEG) 기반의 감정 인식은 피험자 간 변동성, 기록 장치의 차이, 전극 구성 및 실험 프로토콜의 차이로 인한 도메인 변화(domain shifts)로 인해 서로 다른 데이터셋 간에 일반화하는 데 상당한 어려움을 겪습니다. 이러한 변화를 완화하기 위해 비지도 도메인 적응(UDA)이 탐구되어 왔으나, 기존 방식은 적응 과정에서 소스 도메인 데이터에 대한 접근을 필요로 합니다. 이는 개인정보 보호, 저장 공간, 윤리적 제약으로 인해 실제 의료 및 뇌-컴퓨터 인터페이스(BCI) 응용 분야에서는 실현 불가능한 경우가 많습니다. 소스 프리 비지도 도메인 적응(SF-UDA)은 소스 데이터 없이 사전 학습된 소스 모델을 레이블이 없는 타겟 도메인에 적응시킴으로써 이 문제를 해결합니다. 그러나 기존의 SF-UDA 방법들은 큰 도메인 격차, 노이즈가 있는 의사 레이블(pseudo-labels)로부터 발생하는 오류의 누적, 그리고 불안정한 적응 문제, 특히 교차 데이터셋 EEG 감정 인식 맥락에서의 문제를 극복하는 데 어려움을 겪고 있습니다.

방법론
저자들은 사전 학습, 계산, 타겟 적응 및 추론의 네 가지 뚜렷한 단계로 구성된 향상된 SF-UDA 프레임워크를 제안합니다.

1. 비대조적 예측 코딩 사전 학습 (Non-Contrastive Predictive Coding Pre-training):
   감독 학습 기반의 기존 소스 학습 방식과 달리, 본 프레임워크는 자기 지도 학습 기반의 사전 학습 전략을 도입합니다. 인코더-디코더 구조를 활용하는 예측 코딩 모델은 과거의 활동을 바탕으로 미래 EEG 세그먼트의 전력 스펙트럼 밀도(PSD)를 재구성하도록 학습됩니다. 이 비대조적 접근 방식은 부정적 쌍(negative pairs)이나 대조적 목적 함수 없이도 견고하고 시간적으로 예측 가능한 표현을 학습합니다. 사전 학습 목적 함수는 분류 손실, 분류기 불일치 손실, 그리고 예측 코딩 손실을 결합하여 판별 가능하고 시간적 일관성을 갖춘 특징 학습을 보장합니다.

2. 타겟 적응 (이단계 전략):
   소스 모델이 사전 학습되면, 다음의 두 단계를 거쳐 레이블이 없는 타겟 도메인에 적응합니다.

• 다중 손실 적응 정규화 (MLAR): 이 단계는 클래스별 클러스터링을 통해 타겟 도메인의 구조를 추정합니다. 샘플을 가장 가까운 클러스터 중심점에 할당함으로써 의사 레이블을 생성합니다. 학습을 안정화하고 노이즈를 줄이기 위해, MLAR은 예측 신뢰도와 클러스터 기반 의사 레이블 및 모델 예측 간의 일치도를 기반으로 한 신뢰할 수 있는 샘플 마스크를 사용합니다. 최적화 과정에서는 의사 레이블 일치 손실, 분류기 불일치 손실(두 개의 병렬 분류기 간의 옌센-섀넌 발산), 예측 엔트로피, 그리고 타겟 분포 균형 항을 최소화합니다.
• 국소적 일관성 학습 (LCL): 이 단계는 신뢰할 수 있는 이웃들 사이의 예측 일관성을 강제합니다. 이웃은 특징 공간 유사성과 분류기 출력 유사성의 교집합을 기준으로 선택되며, 이를 통해 모델이 국소적 이웃 내에서 예측을 정렬하는 동시에 신뢰할 수 없는 이웃을 필터링하도록 합니다.

3. 경량 테스트 타임 트레이닝 (TTT):
   추론 시, 프레임워크는 불확실성 기반의 온라인 업데이트 메커니즘을 구현합니다. 샘플은 예측 엔트로피와 예측 재구성 오차를 사용하여 평가됩니다. 두 지표 모두에서 분위수 기반 임계값을 초과하는 불확실한 샘플만이 적응 대상으로 선택됩니다. 이러한 샘플에 대해, 엔트로피 최소화와 예측 재구성 손실의 조합을 사용하여 정규화 레이어와 어텐션 게이트 모듈에 대한 경량 업데이트가 수행됩니다. 이 선택적 업데이트는 확신 있는 예측에 대해서는 업데이트를 피함으로써 계산 효율성을 유지하면서도, 분포 변화에 대한 견고성을 높입니다.

주요 기여

• 향상된 프레임워크: 저자들은 소스 데이터의 부재와 도메인 변화의 문제를 해결하며, 교차 데이터셋 EEG 감정 인식을 위해 특별히 설계된 종합적인 SF-UDA 프레임워크를 제안합니다.
• 자기 지도 사전 학습: 레이블이 있는 소스 데이터나 대조적 목적 함수에 의존하지 않고 견고한 시간적 EEG 표현을 학습하는 비대조적 예측 코딩 전략을 도입했습니다.
• 강력한 적응 메커니즘: 노이즈가 있는 의사 레이블 환경에서도 안정성과 이웃 일관성을 개선하는 이단계 적응 전략(MLAR 및 LCL)을 설계했습니다.
• 효율적인 테스트 타임 정제: 불확실한 샘플에 대해 모델을 선택적으로 업데이트하여, 견고성과 계산 효율성 사이의 균형을 맞추는 경량 TTT 메커니즘을 제공합니다.

실험 결과
본 프레임워크는 DEAP, SEED, DREAMER의 세 가지 공개 데이터셋을 사용하여 교차 데이터셋 설정(예: DEAP에서 학습하고 SEED에서 테스트) 하에 평가되었습니다.

• 성능: 제안된 방법은 기존의 최첨단(SOTA) SF-UDA 베이스라인들(Ahmed et al., Du et al., Ragab et al., Zhao et al.의 방법 포함) 및 저자들의 이전 SF-UDA 작업보다 일관되게 우수한 성능을 보였습니다.
  • SEED 데이터셋(DEAP 학습 시)에서 이 방법은 이진 분류 69.56%, 다중 클래스 분류 **57.08%**의 정확도를 달-성했습니다.
  • DREAMER 데이터셋(DEAP 학습 시)에서 이진 분류 **63.03%**의 정확도를 달성했습니다.
  • SEED에서 학습하여 DEAP에서 테스트했을 때, 이진 분류 61.38%, 다중 클래스 분류 **53.87%**를 달성했습니다.
• 통계적 유의성: 대응 표본 t-검정을 통해 경쟁 방법 대비 개선 사항이 통계적으로 유의미함을 확인했습니다.
• 절제 연구 (Ablation Studies): 예측 코딩 사전 학습, MLAR 모듈, 또는 테스트 타임 트레이닝을 제거했을 때 성능이 크게 저하됨을 실험을 통해 입증하여 각 구성 요소의 필요성을 검증했습니다.
• 해석 가능성: SHAP 분석 결과, 모델이 후두부, 전두엽 및 전두-중앙 영역의 감마 및 베타 밴드 특징에 크게 의존함을 보여주었으며, 이는 감정의 신경생리학적 지표와 일치합니다.

의의 및 주장
본 논문은 제안된 프레임워크가 예측 자기 지도 학습, 소스 프리 도메인 적응, 그리고 테스트 타임 정제를 효과적으로 결합하여 심각한 도메인 변화 하에서도 견고한 EEG 감정 인식을 달성할 수 있다고 주장합니다. 소스 데이터를 배제하고 다단계 일관성 기반 접근 방식을 통해 의사 레이블의 불안정성을 해결함으로써, 본 방법은 개인정보 보호가 중요한 정서 컴퓨팅 응용 분야를 위한 실질적인 솔루션을 제공합니다. 저자들은 본 연구가 데이터 공유가 제한되고 도메인 가변성이 높은 실제 환경과 통제된 실험 데이터셋 사이의 간극을 메우는 중요한 진전이라고 위치시킵니다. 저자들이 식별한 향후 연구 방향에는 진화하는 타겟 분포를 위한 지속적 적응(continual adaptation) 탐색과 다른 생체 신호 및 멀티모달 융합으로의 프레임워크 확장이 포함됩니다.