기술 요약: EEG 파운데이션 모델에서의 시계열 특징 추출기 (Temporal Feature Extractors)

문제 정의

뇌파(EEG) 파운데이션 모델은 고차원성, 비정상성(non-stationarity), 낮은 신호 대 잡음비(SNR), 그리고 상당한 피험자 간 변동성 문제를 해결하기 위해 대규모 뇌파 기록으로부터 일반화 가능한 표현을 학습하는 것을 목표로 한다. 이러한 모델들은 일반적으로 트랜스포머 백본(transformer backbone)으로 정교화하기 전, 원시 EEG 데이터를 변환하기 위한 임베딩 모듈을 사용하지만, **시계열 특징 추출기(temporal feature extractors)**의 구체적인 역할은 아직 충분히 탐구되지 않았다.

기존의 접근 방식은 매우 다양하다. 일부는 경량 1D 컨볼루션 인코더(종종 주파수 영역 특징과 결합됨)를 사용하는 반면, 다른 방식은 오직 선형 투영(linear projection) 레이어에만 의존한다. 그러나 임베딩 모듈의 차이는 종종 전체 아키텍처 및 학습 패러다임의 변화와 얽혀 있어, 시계열 특징 추출의 직접적인 효과에 대한 체계적인 연구를 방해한다. 또한, 범용적인 시계열 표현을 학습한 **사전 학습된 시계열 파운데이션 모델(TSFM)**이 얼린(frozen) 시계열 특징 추출기로서 EEG 도메인에 효과적으로 전이될 수 있는지도 불분명하다.

방법론

저자들은 통제된 비교를 위해 단일 EEG 파운데이션 모델 프레임워크 내에서 세 가지 서로 다른 시계열 특징 추출 전략을 수행한다. 추출기의 효과를 격리하기 위해 입력 표현, 패칭 전략, 마스킹 절차, 구형 위치 인코딩(spherical positional encoding), 그리고 트랜스포머 백본을 포함한 모든 다른 구성 요소는 동일하게 유지하였다.

1. 입력 표현 및 패칭 (Input Representation and Patching)

• 입력: 다채널 EEG 기록 ($X \in \mathbb{R}^{C \times T}$).
• 패칭: 비전 트랜스포머(Vision Transformer) 관례를 따라, 기록을 2초 단위의 패치로 나눈다.
• 정규화:
  • MOMENT(사전 학습된 TSFM) 설정의 경우, 모델 고유의 전처리(Reversible Instance Normalization)를 사용한다.
  • Linear 및 Convolutional 베이스라인의 경우, 제로 크로싱(zero-crossings)과 신호 극성을 보존하기 위해 절대 최대값 정규화(absolute maximum normalization)를 적용한다.

2. 시계열 특징 추출기 전략 (Temporal Feature Extractor Strategies)

본 연구는 세 가지 뚜렷한 접근 방식을 비교한다:

• 선형 투영 (Linear Projection): 각 EEG 패치를 단일 선형 레이어를 통해 모델 임베딩 공간으로 투영하는 최소한의 베이스라인이다.
• 컨볼루션 시계열 인코더 (Convolutional Temporal Encoder): 각 채널-패치 토큰에 공유된 시계열 필터를 적용하는 depthwise separable convolutional 인코더이다. 이는 시간 차원을 따라 다양한 크기의 커널을 사용하며, 이후 pointwise convolution과 flattening 과정을 거친다.
• 사전 학습된 TSFM (MOMENT): 사전 학습된 MOMENT-small 모델을 특징 추출기로 사용한다. 예측 중심의 TSFM과 달리, MOMENT는 표현 학습을 위해 설계된 마스크 재구성 목적 함수(masked reconstruction objective)로 사전 학습되었다.
  • 적응(Adaptation): MOMENT는 길이가 512인 시퀀스를 기대하지만 EEG 패치는 200개의 타임 포인트로 구성되어 있으므로, 왼쪽 제로 패딩(left zero-padding)과 입력 마스킹을 적용한다.
  • 집계(Aggregation): 고정된 차원의 임베딩을 생성하기 위해 내부 패치 표현에 대해 평균 감소(mean reduction)를 적용한다.
  • 동결(Freezing): MOMENT 인코더는 사전 학습 및 다운스트림 학습 과정 모두에서 동결된 상태로 유지되며, 임베딩은 오프라인으로 계산된다.

3. 모델 아키텍처 및 학습

• 위치 인코딩: 공간 정보(전극 위치)를 위해 구형 위치 인코딩(Spherical Positional Encoding, SPE)을 사용하고, 시계열 패치 인덱스를 위해 표준 사인형(sinusoidal) 인코딩을 사용한다.
• 백본: 셀프 어텐션(self-attention)과 피드 포워드(feed-forward) 레이어를 갖춘 트랜스포머 인코더이다.
• 목적 함수: 마스킹된 패치에 대한 마스크 재구성($L = \|\hat{X}_M - \tilde{X}_M\|_2^2$)이다.
• 데이터셋:
  • 사전 학습: 약 3,000명의 참가자가 포함된 Healthy Brain Network EEG (HBN-EEG).
  • 다운스트림 태스크: PhysioNet Motor Imagery (MI) 및 FACED (Emotion Recognition).

주요 기여

1. 체계적 분석: 본 논문은 두 가지 뚜렷한 다운스트림 태스크(운동 상상 및 감정 인식)에 걸쳐 EEG 파운데이션 모델에서 시계열 특징 추출기의 역할을 체계적으로 분석한다.
2. TSFM 전이 평가: 사전 학습된 도메인 일반적 TSFM(MOMENT)을 얼린(frozen) 시계열 특징 추출기로서 EEG 파운데이션 모델 내에서 평가하며, 이를 표준 선형 및 컨볼루션 임베딩 전략과 비교한다.

결과

모델은 선형 프로빙(linear probing, 백본 동결) 및 파인 튜닝(fine-tuning) 프로토콜을 사용하여 평가되었다.

• 운동 상상 (PhysioNet-MI):
  • 선형 프로빙 설정에서는 단순한 선형 및 컨볼루션 모델이 경쟁력 있는 성능을 보였으나, MOMENT 모델은 평균적으로 더 낮은 성능을 보였다.
  • 파인 튜닝 설정에서는 선형 모델이 가장 높은 평균 성능을 달 기록했으며, 그 뒤를 MOMENT가 이었다.
• 감정 인식 (FACED):
  • 컨볼루션 및 MOMENT 모델 모두 두 프로토콜 모두에서 선형 베이스라인보다 우수한 성능을 보였다.
  • 감정 데이터셋은 운동 상상 데이터셋에 비해 더 풍부한 시계열 모델링(컨볼루션 또는 TSFM 기반)으로부터 더 많은 이득을 얻었다.
• 통계적 유의성: 프리드만 검정(Friedman tests) 결과 대부분의 설정에서 모델 간 유의미한 차이가 나타났다. 그러나 홀름-본페로니 교정(Holm-Bonferroni correction)을 적용한 사후 비교에서는 유의미한 쌍별 차이가 발견되지 않았으며, 이에 따라 저자들은 평균 성능의 일관된 추세에 집중하였다.

의의 및 주장

본 논문은 모든 벤치마크에서 일관되게 우수한 성능을 보이는 단일 시계열 특징 추출 전략은 존재하지 않는다고 결론짓는다.

• 태스크 의존성: 단순한 선형 투영은 운동 상상 태스크에 대해 경쟁력이 있는 반면, 감정 인식은 더 풍부한 시계열 모델링(컨볼루션 또는 TSFM 기반)으로부터 이득을 얻는다.
• TSFM의 생존 가능성: EEG에 특화되어 적응되지 않았음에도 불구하고, 사전 학습된 TSFM(MOMENT)은 효과적인 시계열 특징 추출기로서 기능한다. 이는 범용 시계열 표현이 EEG 파운데이션 모델 내에서 얼린 추출기로서 전이될 수 있음을 시사한다.
• 한계점: 저자들은 동결된 전이 설정이 모델이 EEG 신호의 특정 시계열 역학을 완전히 포착하는 능력을 제한할 수 있다고 언급하였으며, 더 넓은 범위의 태스크에서 평가함으로써 결론의 범위를 제한하였다. 향-후 연구에서는 TSFM을 사전 학습 중에 적응시키고 더 넓은 범위의 태스크에서 평가하는 것을 제안하였다.