기술적 요약: LRP 를 활용한 EEG 기초 트랜스포머 해석

문제 제기

뇌전도 (EEG) 에서 기초 모델 (Foundation Models, FMs) 의 도입은 딥러닝 진단 및 뇌-컴퓨터 인터페이스 (BCI) 의 데이터 부족 문제에 대한 잠재적 해결책을 제공합니다. 그러나 이러한 모델, 특히 트랜스포머 아키텍처 기반 모델의 '불투명성'은 그보다 광범위한 채택과 임상적 신뢰를 저해합니다. 레이어별 관련성 전파 (Layer-wise Relevance Propagation, LRP) 와 같은 특징 할당 방법이 EEG 에서 합성곱 신경망 (CNN) 과 다층 퍼셉트론 (MLP) 에 성공적으로 적용되어 왔음에도 불구하고, 현대적인 트랜스포머 기반 EEG-FM 에 대한 적용은 아직 탐구되지 않았습니다. 핵심적인 과제는 모든 작업에 대한 정답 레이블 (ground-truth labels) 에 의존하지 않고도, 이러한 복잡한 모델의 의사결정 과정을 효과적으로 탐구하여 그 타당성을 검증하거나 우연한 학습 전략 (예: '클레버 한스' 효과) 을 밝혀낼 수 있는지 LRP 로 확인하는 것입니다.

방법론

저자들은 주요 EEG 기초 모델인 LaBraM모델 [2] 에 주의 메커니즘을 고려한 LRP (attention-aware LRP)[8] 를 적용할 것을 제안합니다. 방법론은 세 가지 주요 구성 요소를 포함합니다:

1. 모델 구성: 연구는 사전 학습 효과를 분리하기 위해 LaBraM 을 세 가지 구성으로 평가합니다:

   • 파인튜닝 (Finetuned): 전체 모델을 적응시키는 표준 접근법.
   • 동결 (Frozen): 사전 학습된 백본을 동결하고 학습 가능한 분류 헤드만 사용.
   • 처음부터 (From Scratch): 사전 학습 없이 무작위 초기화.
     각 구성은 드롭아웃, 초기화, 데이터 샘플링의 변이를 고려하여 5 회씩 훈련됩니다.

2. 할당 및 시각화:

   • LRP 를 적용하여 각 분류 결정에 대해 모든 입력 요소 (시간 단계 및 채널) 에 대한 관련성 점수를 생성합니다.
   • EEG 데이터 ($n_{channels} \times t_{in}$) 의 고차원성과 생성된 점수의 양을 관리하기 위해 저자들은 집계 전략을 사용합니다. 그들은 공간적 패턴 (지형도) 을 분석하기 위해 시간 축을 따라 할당을 집계하고, 시간적 패턴을 분석하기 위해 채널 축을 따라 집계합니다.
   • 공간적 시각화는 전극 토폴로지를 보존하고 직사각형 히트맵의 왜곡을 피하기 위해 이산 보로노이 셀 (discrete Voronoi-cell) 채색을 활용합니다.

3. 실험 패러다임:

   • R-피크 감지 (검증): 원시 EEG 에서 심장장기 artifact(CFA) 를 예측하는 이진 분류 작업입니다. 생리학적 원인 (심장) 과 예상 전극 위치 (Iz) 가 알려져 있으므로 정답 레이블을 통한 검증으로 작용합니다.
   • PhysioMI L/R (확립된 패러다임): PhysioNet 데이터셋을 사용한 운동 상상/수행 작업 (왼쪽 대 오른쪽 주먹). 이는 모델의 일반화 능력을 테스트하고 우회 학습 (shortcut learning) 의 잠재적 가능성을 드러냅니다.
   • AffectiveVR (탐색적): VR 경험 중 주관적 각성 (arousal) 과 정서적 가치 (valence) 를 예측하는 자연주의적 패러다임입니다. 이 작업은 명확한 정답 레이블이 없어 탐색적 가설 생성을 위한 테스트베드로 작용합니다.

주요 기여

본 논문은 세 가지 구체적인 기여를 합니다:

1. EEG-FM 에 대한 LRP 검증: 주의 메커니즘을 고려한 LRP 가 기초 EEG 트랜스포머에서 타당한 할당을 생성함을 처음으로 입증합니다. 이는 R-피크 감지 작업에서 관련성이 심장에 가장 가까운 전극인 Iz 에 올바르게 집중되는 것으로 검증되었습니다.
2. 우연한 행동 탐지: 이 방법은 운동 상상 모델에서 '클레버 한스' 행동을 성공적으로 식별합니다. 일반화 능력이 낮은 모델이 운동 피질 신호 대신 안구 (눈 움직임) 아티팩트에 크게 의존하며, 이는 실험 설계의 시각적 단서를 악용한 것으로 드러났습니다.
3. 새로운 가설 탐구: 복잡한 정서적 상태에 대한 확립된 직관이 부재한 상황에서, 저자들은 LRP 의 고유한 가능성과 한계를 규명합니다. 그들은 각성 예측에서 C2, Cz, FC2, CP2 와 같은 중추 전극의 관련성이 반복적으로 나타나는 생물학적으로 타당한 패턴을 확인하여, 가치 (valence) 와 구별되는 각성 특유의 센서모터 서명 (signature) 을 시사합니다.

결과

• 성능:
  • R-피크 감지: 파인튜닝된 LaBraM 은 약 75% 의 균형 정확도 (BAC) 를 달성하여 모델이 올바른 생리학적 신호를 학습했음을 확인했습니다.
  • PhysioMI L/R: 성능은 혼합되었습니다. 다섯 번의 파인튜닝 실행 중 두 번은 70% 이상의 BAC 를 달성한 반면, 나머지는 무작위 추측 수준에 근접했습니다. 결정적으로, 할당 맵은 이러한 그룹을 구분했습니다: 성공적인 실행은 측두 - 전두 패턴을 보인 반면, 실패한 실행은 안구 영역에 집중했습니다.
  • AffectiveVR: 모든 모델 (파인튜닝, 처음부터, 동결) 과 CSP-LDA 베이스라인은 유사하게 수행되었으며, BAC 는 약 55% 였습니다 (중앙값 분할 이진 분류의 50% 무작위 베이스라인보다 약간 높음).
• 할당 패턴:
  • 부호 반전: 패턴은 공간적 구조에서 일관되었으나 때때로 부호가 반전 (색상 반전) 되었으며, 이는 관련성의 크기에 영향을 주지 않습니다.
  • 운동 상상: 성공적인 모델은 측두화된 패턴을 보였으나, 심지어 이러한 모델들도 손 운동 영역보다 눈 움직임 영역에 가까운 측두 전극에 집중하여 순수한 신경 운동 서명보다는 작업과 관련된 눈 움직임에 의존함을 시사했습니다.
  • 각성 대 가치: 각성 예측은 일관되게 중추 전극 군집 (센서모터 피질) 을 강조했는데, 이는 정서적 맥락에 의해 조절되는 준비 전위 (readiness potentials) 와 관련될 수 있습니다. 이 패턴은 가치 예측에서는 나타나지 않았으며, 이는 일반적인 운동 디코딩 아티팩트가 아닌 각성 특유의 서명이라는 가설을 지지합니다.
  • 가치 예측: 패턴은 확립된 문헌과 덜 일치하며 모호함을 보였는데, 이는 안면 근육의 EMG 와 같은 우연한 아티팩트를 신경 신호와 구별하기 어려운 직관이 부족한 영역에서 히트맵을 해석하는 어려움을 강조합니다.

중요성 및 주장

본 논문은 LRP 를 EEG-FM 을 위한 이중 목적 도구, 즉 검증과 탐색으로 위치시킵니다.

• 검증: LRP 는 모델이 의도된 생리학적 신호를 학습했는지 (R-피크 감지에서 확인됨) 과 과적합이나 우회 학습을 노출하는지 (실패한 운동 상상 모델의 안구 의존성에서 확인됨) 검증할 수 있습니다. 이는 신호가 직접 해석되지 않고 우회 학습이 역사적으로 연구 라인을 무효화해 온 EEG 에서 매우 중요합니다.
• 탐색: 학습된 표현을 신경과학적 가설로 변환함으로써 LRP 는 새로운 생물학적으로 타당한 관계 (예: 각성에서의 중추 센서모터 서명) 를 표면화할 수 있습니다. 저자들은 이것이 EEG-FM 연구를 순수한 예측 성능을 넘어 뇌 - 행동 관계를 이해하는 방향으로 이동시킨다고 주장합니다.

한계와 겸손:
저자들은 명시적으로 세 가지 주의 사항을 인정합니다:

1. 해석 가능성: EEG 에서의 히트맵 해석은 주관적이며 도메인 전문 지식이 필요합니다; 자연 이미지보다 무의미한 전략을 식별하기가 더 어렵습니다.
2. 방법론적 기반: LRP 선택은 비트랜스포머 모델에서 수행된 비교에 기반합니다; EEG-FM 에 대한 추가적인 충실도 측정 (예: AOPC) 이 필요합니다.
3. 모델 능력: '처음부터' 또는 전문 모델 (예: CSP-LDA) 에 비해 일관된 성능 향상이 부족하다는 점은 현재 EEG-FM 이 EEG 에 대한 '근본적인 이해'를 완전히 활용하지 못했음을 시사합니다. 결과적으로 LRP 의 발견 잠재력은 현재 기초 모델의 능력에 의해 제한됩니다.

본 논문은 LRP 가 EEG-FM 개발의 궤적에 강력한 도구이지만, 임상 배포나 결정적 발견에 대한 유용성은 현재 기초 모델 자체의 성숙도에 의해 제한된다고 결론지었습니다.