Subject-Calibrated Attention-State Classification during Digital Cognitive Tasks via MTFF: Band-Token Cross-Band Fusion on Single-Channel EEG

기술 요약: MTFF를 통한 피험자 교정형 주의 상태 분류

문제 정의
디지털 학습 및 원격 근무의 맥락에서, 화면 기반 인지 작업 중 주의 상태를 객관적으로 모니터링하는 것은 인간-컴퓨터 상호작용(HCI) 및 교육 기술 분야에서 매우 중요하다. 뇌전도(EEG)는 밀리초 단위의 신경 역동성을 제공하지만, 기존 솔루션은 주로 통제된 실험실 패러다임이나 다채널 시스템에 의존한다. 여기에는 휴대용 단일 채널 EEG에 이러한 방법론을 적용하는 데 있어 상당한 격차가 존재한다. 이러한 장치들은 사용 부담이 적지만, 안구 움직임, 안면 근전도(EMG), 움직임 등의 아티팩트(artifact)에 매우 취약하며, 다채널 시스템과 같은 공간적 중복성이 부족하다. 또한, 표준 딥러닝 모델은 단일 채널 기록 특유의 제한적이고 노이즈가 많은 데이터에 적용될 때 과적합(overfitting) 문제가 발생하기 쉬우며, 수작업으로 설계된 특징 추출 파이프라인은 주의 상태를 구분하는 데 필수적인 과도기적 횡단 밴드 간 상호작용(cross-band interactions)을 포착하지 못할 수 있다.

방법론: MTFF 프레임워크
저자들은 휴대용 단일 채널 EEG를 위해 설계된 분류 프레임워크인 **MTFF(Multi-band Temporal Feature Fusion)**를 제안한다. 이 아키텍처는 세 가지 핵심 메커니즘을 통해 노이즈가 많고 샘플 수가 적은 데이터의 제약 조건을 해결한다:

1. 다중 밴드 시간적 특징 추출 (Multi-band Temporal Feature Extraction):

   • 원시 0.5–40 Hz 신호는 먼저 **적응형 노이즈 통합 경험적 모드 분해(CEEMDAN)**를 사용하여 에너지 및 첨도(kurtosis) 임계값을 기준으로 아티팩트와 유사한 모드를 제거하여 정제된다.
   • 정제된 신호는 다섯 가지 정형 주파수 대역인 **델타(δ), 세타(θ), 알파(α), 베타(β), 감마(γ)**로 분해된다.
   • MTFF는 정적인 밴드 파워 특징을 계산하는 대신, 각 밴드를 위한 **병렬 시간적 컨볼루션 브랜치(parallel temporal-convolution branches)**를 채택한다. 이 브랜치들은 각 밴드의 최저 주파수의 2~3주기를 커버하는 긴 컨볼루션 커널(수용 영역)을 사용하여 국소적인 리듬 패턴을 학습한다.
   • 각 브랜치의 출력은 하나의 학습 가능한 밴드 토큰(learnable band token)(임베딩 차원 $C=64$)으로 압축되며, 결과적으로 다섯 개의 밴드를 나타내는 다섯 개의 별도 토큰이 생성된다.

2. 경량 트랜스포머를 통한 밴드 토큰 간 융합 (Band-Token Cross-Band Fusion via Lightweight Transformer):

   • 긴 시퀀스의 셀프 어텐션(self-attention)이 갖는 높은 연산 비용과 과적합 위험 없이 주파수 밴드 간의 상호작용을 모델링하기 위해, MTFF는 6개의 토큰(5개의 밴드 토큰과 1개의 학습 가능한 클래스 토큰($z_{cls}$))으로 구성된 시퀀스를 구축한다.
   • 경량화된 **트랜스포머 인코더(Transformer encoder)**는 이 짧은 6-토큰 시퀀스 상에서 작동한다. 이는 멀티 헤드 셀프 어텐션을 활용하여 밴드 간의 상호 보완성과 의존성을 명시적으로 모델링한다.
   • 최종 출력은 주파수 밴드의 전역적 문맥(global context)을 집계하는 업데이트된 클래스 토큰으로부터 도출된다.

3. 용량 제어 결정 헤드 (Capacity-Controlled Decision Head):

   • 피험자 교정형 소규모 데이터셋에서의 과적합을 방지하기 위해, 트랜스포머 출력은 **$L_1$-노름 희소 정규화($L_1$-norm sparse regularization)**가 적용된 선형 결정 헤드로 전달된다. 이는 모델 복잡도를 제한하고 희소한 해(sparse solution)를 유도하여 노이즈 특이적 큐(cue)에 대한 의존도를 낮춘다.

실험 설계

• 데이터: 50명의 건강한 대학생 참가자로부터 디지털 인지 작업(교대하는 집중 주의(숫자 찾기 과제) 및 낮은 주의 기저 상태(이완) 단계 포함) 수행 중 EEG 데이터를 수집하였다.
• 프로토콜: 본 연구는 피험자별 층화 60/40 시행 단위 분할(subject-wise stratified 60/40 trial-level split) 방el을 사용하였다. 데이터는 Leave-one-subject-out(LOSO) 프로토콜 대신 각 참가자 내에서 시행(trial) 단위로 분할되었다. 이는 캘리브레이션이 필요 없는 교차 피험자 성능이 아닌, 피험자 의존적 일반화(사용자에게 교정된 성능)를 평가하기 위함이다.
• 베이스라인: MTFF 모델은 의사결정 나무(DT), 다층 퍼셉트론(MLP), 랜덤 포레스트(RF), 서포트 벡터 머신(SVM)과 같은 고전적 머신러닝 모델과 비교되었다.

주요 결과
피험자별 60/40 분할 조건 하에서, MTFF는 모든 베이스라인 모델보다 우수한 성능을 보였다:

• 정확도(Accuracy): MTFF는 홀드아웃 테스트 시행(held-out test trials)에서 0.8640의 피험자별 평균 정확도를 달яви하여, 베이스라인(예: MLP: 0.7375, RF: 0.6825)을 능가했다.
• AUC: 피험자별 평균 AUC는 0.9214였으며, 전체 테스트 시행에 대한 통합 시행 단위 AUC는 0.8928이었다.
• 과적합 저항성: DT, MLP, RF와 같은 베이스라인 모델은 훈련 AUC가 1.0에 근접할 정도로 완벽에 가까운 수치를 보였으나 테스트 성능에서는 큰 폭의 하락을 겪은 반(과적합의 징후)과 달리, MTFF는 더 작은 훈련-테스트 간극(훈련 AUC: 0.9478 vs. 테스트 AUC: 0.8928)을 유지했다.
• 균형 잡힌 지표: 기저 상태를 집중 상태로 오분류하여 높은 민감도와 매우 낮은 특이도를 보인 MLP 및 RF와 달리, MTFF는 높은 민감도(0.8966)와 높은 특이도(0.7961)를 통해 균형 잡힌 트레이드오프를 달성했다.

의의 및 주장
본 논문은 MTFF가 수작업으로 설계된 스펙트럼 특징과 무거운 딥러닝 아키텍처 사이의 간극을 성공적으로 메웠다고 주장한다. 그 의의는 다음과 같다:

1. 명시적 횡단 밴드 모델링: 주파수 밴드를 토큰화함으로써, 모델은 밴드들을 단순히 결합(concatenation)하는 것이 아니라 $\delta, \theta, \alpha, \beta, \gamma$ 간의 상호작용을 명시적으로 학습한다.
2. 효율성 및 견고성: 이 설계는 어텐션 메커니즘을 고정된 작은 토큰 세트(6개 토큰)로 축소하여, 시간점(time-point) 기반 트랜스포머에 비해 연산 효율이 높고 제한된 데이터에 대한 과적합 위험이 적다.
3. 피험자 교정형 유용성: 실험 결과는 특정 사용자의 데이터를 통해 학습하여 해당 사용자의 집중 및 이완 상태를 구분하는 피험자 교정형 주의 모니터링을 위한 휴대용 단일 채널 EEG의 실현 가능성을 뒷받침한다.

한계 및 범위
저자들은 본 연구가 (LOSO를 사용하지 않았으므로) 캘리브레이션이 필요 없는 교차 피로자 일반화(calibration-free cross-subject generalization)를 주장하지 않음을 명시적으로 밝히고 있다. 평가는 엄격하게 피험자 의존적 시행 단위 분할에 국한된다. 또한, 레이블은 행동적 측정치보다는 과업 조건의 대리 지표(proxy)이며, 단일 채널 전두부 신호는 전처리에도 불구하고 여전히 안구 및 움직임 아티팩트에 취속될 수 있다. 향-후 연구 과제로 진정한 피험자 독립적 검증, 구성 요소에 대한 절제 연구(ablation studies), 그리고 해석 가능성 분석이 필요함을 언급하였다.