Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models

제목: 정확도 너머: EEG 기반 모델의 강건성, 해석 가능성 및 표현력

문제 제기
뇌전도 (EEG) 기반 모델 (EEG-FMs) 은 자기지도학습을 통해 대규모 라벨 없는 말뭉치로부터 범용 표현을 학습하려는 뇌-컴퓨터 인터페이스 (BCI) 를 위한 유망한 접근법으로 등장했습니다. 그러나 이러한 모델에 대한 현재 평가는 주로 '깨끗한' 분포 내 (in-distribution) 정확도 지표로 제한되어 있습니다. 이러한 초점은 실제 배포에 필수적인 요소들을 간과합니다: 전극 임피던스, 움직임, 환경적 아티팩트로 인한 EEG 신호의 고유한 노이즈, 고위험 임상 영역에서의 해석 가능성 필요성, 그리고 학습된 표현의 실제 품질입니다. 이전 벤치마크 연구들은 EEG-FMs 가 종종 EEGNet 과 같은 지도학습 기반선보다 미미한 향상만 제공함을 보여주었으나, 그 근본 원인—약한 강건성, 불일치하는 특징 학습, 또는 저품질의 사전 학습된 표현—은 아직 조사되지 않았습니다.

방법론
저자들은 모터 이미지, 모터 실행, 사건 관련 전위 (ERP), 작업 기억, 수면 단계 분류, 그리고 눈 상태 분류를 아우르는 8 개의 다양한 데이터셋에 걸쳐 6 개의 최첨단 EEG 기반 모델 (BIOT, CBraMod, LaBraM, NeuroRVQ, BrainOmni, REVE) 과 하나의 지도학습 기반선 (EEGNet) 을 포함하는 체계적인 벤치마킹 연구를 수행했습니다. 본 연구는 세 가지 명확한 분석 층위를 적용했습니다:

1. 강건성 분석: 깨끗한 데이터로 훈련된 모델들을 테스트 시 다섯 가지 교란 조건 하에서 평가했습니다: 다양한 신호대잡음비 (SNR) 에서의 가산 백색 및 분홍색 노이즈, 무작위 채널 드롭아웃 (제로 패딩), 지역 기반 채널 드롭아웃 (제로 패딩 및 실제 제거), 그리고 지역별 노이즈 주입.
2. 해석 가능성 분석: 모델 예측을 특정 뇌 영역에 귀속시키기 위해 주의 인지 계층별 관련성 전파 (AttnLRP) 를 적용했습니다. AttnLRP 가 수치적으로 불안정했던 모델 (NeuroRVQ 및 BrainOmni) 의 경우, Gradient × Input (G×I) 을 사용했습니다. 분석은 모델이 신경생리학적 타당성을 가진 영역에 집중하는지, 그리고 교란 하에서 이러한 주의 맵이 어떻게 변화하는지 검토했습니다.
3. 표현력 분석: 블록 단위 선형 프로빙 (linear probing) 을 사용하여, 작업 관련 정보가 트랜스포머 아키텍처 내에서 어디 (초기 블록 대 후기 블록) 에서 나타나는지, 그리고 사전 학습된 표현이 하류 작업에 충분한지 조사했습니다. 특히 '헤드 전용 (frozen backbone)' 적응의 성능에 대한 풀링 전략 (평균 풀링 대 토큰 평탄화) 의 영향에 중점을 두었습니다.

주요 결과

• 강건성: 단일 모델이 모든 실패 모드를 지배하지는 않습니다.

  • 노이즈: BrainOmni 는 가산 노이즈에 대해 가장 높은 강건성을 보였으며, -5 dB 에서 다른 모델들의 14~21% 에 비해 정확도가 고작 5.4% 만 감소했습니다.
  • 드롭아웃: 역설적으로 BrainOmni 는 채널이 제로 패딩될 때 무작위 채널 드롭아웃 하에서 가장 취약한 모델 중 하나였습니다 (-13.3% 저하). 그러나 드롭된 채널이 제로 패딩되는 대신 완전히 제거될 때 (실제 드롭아웃), 변수 채널 모델들 (BrainOmni 포함) 이 크게 회복되었습니다. 이는 그들의 취약성이 작업 정보 부족이 아닌 0 값 입력 처리 능력에서 비롯됨을 시사합니다.
  • 영역: 극심한 노이즈 수준에서 모든 모델은 작업별 성능 바닥으로 수렴하여 아키텍처가 덜 중요한 신호 제한 영역을 나타냈습니다. 반면 중간 정도의 노이즈에서는 아키텍처적 차이가 여전히 결정적이었습니다.

• 해석 가능성:

  • 공간적 정렬: 모든 모델은 broadly 작업에 적합한 뇌 영역 (예: 모터 작업의 경우 중심 전극, ERP 의 경우 후두부 부위) 에 관련성을 집중시켰으며, 이는 알려진 신경생리학과 일치합니다.
  • 교란 안정성: 교란 하에서 예측 정확도가 저하됨에도 불구하고 귀속 맵은 공간적으로 안정적으로 유지되었습니다. 이는 모델이 여전히 올바른 뇌 영역에 주의를 기울이지만 손상된 신호 내용을 해독하지 못함을 시사합니다.
  • 예외: BrainOmni 는 확산된 주의 맵을 생성했는데, 이는 물리적 전극이 아닌 추상적 잠재 토큰을 기반으로 작동하기 때문일 가능성이 높습니다.

• 표현력:

  • 블록 단위 프로빙: 사전 학습된 모델의 초기 블록에는 선형적으로 해독 가능한 작업 관련 신호가 존재했습니다. 미세 조정 (fine-tuning) 은 주로 후기 블록을 하류 작업에 특화되도록 재사용하는 경향을 보였으며, 이는 NLP 트랜스포머 연구 결과와 일치하는 패턴입니다.
  • 풀링 아티팩트: LaBraM 및 NeuroRVQ 와 같은 모델에서 관찰되었던 헤드 전용 적응의 낮은 성능은 주로 토큰 수준 정보를 붕괴시키는 평균 풀링 사용에 기인한 것으로 밝혀졌습니다. 평균 풀링을 토큰 평탄화로 대체하면 헤드 전용 성능이 크게 향상되어 (14~21% 향상) 이러한 모델들을 EEGNet 기반선에 더 가깝게 만들었습니다. 이는 토큰 수준 임베딩이 보존될 때 EEG 기반 모델들이 충분한 표현 능력을 갖추고 있음을 나타냅니다.

의의 및 주장
본 논문은 EEG 기반 모델에 대한 강건성, 해석 가능성, 그리고 표현력의 첫 체계적 평가를 제공한다고 주장합니다. 저자들은 다음과 같이 논합니다:

1. 강건성은 작업 및 교란에 의존적이다: 모델 성능 순위는 교란 유형 (노이즈 대 드롭아웃) 과 특정 작업 신호에 따라 변화합니다.
2. 공간적 근거는 존재하지만 불충분하다: 모델들이 신경생리학과 일치하는 공간적으로 근거된 표현을 학습하지만, 이는 교란 하에서 정확한 예측을 보장하지는 않습니다.
3. 풀링 전략이 평가를 혼란스럽게 한다: 헤드 전용 설정에서 관찰된 사전 학습된 표현의 '낮은 품질'은 종종 표현 자체보다는 풀링 설계 (평균 풀링 대 평탄화) 의 아티팩트입니다.
4. 향후 방향: 본 연구는 풀링 설계와 표현 품질을 혼동하지 않도록 연결 기반 풀링을 사용한 향후 평가의 필요성과, 변수 채널 모델을 테스트할 때 제로 패딩 대신 실제 채널 제거를 고려해야 함을 강조합니다.

저자들은 EEG 기반 모델이 유망함을 보여주지만, 임상 및 실제 BCI 환경에서의 신뢰성을 보장하기 위해 깨끗한 정확도 이상의 엄격한 평가가 개발에 필수적이라고 결론지었습니다.