기술 요약: 트랜스포머 기반 EEG 파운데이션 모델을 위한 위치 인코딩 전략 벤치마킹

문제 제기

뇌전도 (EEG) 는 뇌 - 컴퓨터 인터페이스 (BCI) 응용 분야에서 중요한 비침습적 기술이지만, 낮은 신호 대 잡음비와 높은 피험자 간 변이성으로 인해 지도 학습 기반 해독 모델은 작업, 피험자, 데이터셋 간 일반화에 어려움을 겪습니다. 이를 해결하기 위해 자기지도 학습으로 훈련된 트랜스포머 기반 파운데이션 모델이 등장했습니다. 그러나 트랜스포머는 본질적으로 순열 불변성이므로 구조적 종속성을 모델링하기 위해 명시적인 위치 인코딩 (PE) 이 필요합니다.

텍스트 토큰과 달리 EEG 전극은 두피 위에 특정 공간 분포를 갖습니다. 현재 트랜스포머 기반 EEG 파운데이션 모델은 채널별 임베딩, 상대적 시간 인코딩, 학습 가능한 임베딩을 포함하여 이 시공간 구조를 인코딩하기 위해 다양하고 종종 비교 불가능한 메커니즘을 사용합니다. 전극 배치의 해부학적 의미와 데이터셋 간 채널 배치의 변이성을 고려할 때, EEG 해독에 어떤 위치 인코딩 전략이 최적인지에 대한 체계적인 평가가 부족합니다.

방법론

저자들은 시공간적 종속성을 포착하기 위해 크로스-크로스 (criss-cross) 어텐션 메커니즘을 활용하는 자기지도 학습 EEG 파운데이션 모델인 CBraMod 백본 내에서 통제된 벤치마크를 수행했습니다. 위치 설계의 영향을 격리하기 위해 연구는 원래 트랜스포머 아키텍처, 훈련 프로토콜, 하이퍼파라미터를 유지하면서 위치 인코딩 모듈만 교체했습니다.

평가된 위치 인코딩 전략

다섯 가지 전략이 비교되었습니다:

1. 위치 인코딩 없음 (NoPE): 명시적인 위치 정보가 없는 베이스라인.
2. 비대칭 조건부 위치 인코딩 (ACPE): EEG 패치의 시공간 이웃으로부터 깊이 방향 2D 컨볼루션을 사용하여 비대칭 커널 ($k_s > k_t$) 로 위치 표현을 동적으로 생성하는 방법입니다. 이는 절대 좌표에 의존하지 않고 장거리 채널 간 종속성과 단거리 시간적 맥락을 포착합니다.
3. 구면 위치 인코딩 (SPE): 이 작업에서 제안된 새로운 전략으로, 전극 배치의 구면 기하학을 활용합니다. 각 전극에 대해 방위각 ($\theta$) 과 경사각 ($\phi$) 을 계산하고 다중 주파수 정현파 함수를 사용하여 고정 길이 표현으로 매핑합니다. 이는 학습 가능한 매개변수 없이 머리 크기와 스케일에 불변인 각도 관계를 인코딩합니다.
4. 투영이 포함된 SPE (SPE+Proj): 채널 및 패치 임베딩이 합산되기 전에 별도의 학습 가능한 선형 투영을 통과하는 SPE 의 확장 버전입니다.
5. 학습 가능한 PE: 최종 인코딩을 형성하기 위해 합산되는 완전히 학습 가능한 채널 및 패치 임베딩입니다. 파인튜닝 시 하류 montages 가 사전 훈련과 다르다면 재초기화되어 처음부터 학습됩니다.

실험 설정

• 사전 훈련: 마스킹 패치 재구성 목적을 사용하여 Healthy Brain Network EEG (HBN-EEG) 데이터셋 (>3,000 명 참가자, 128 채널) 에서 수행.
• 하류 작업:
  • 운동 상상 (MI): PhysioNet MI 데이터셋 (64 채널, 4 클래스) 에서 분류 수행.
  • 감정 인식: FACED 데이터셋 (32 채널, 9 클래스) 에서 분류 수행.
• 평가 프로토콜: 모델은 선형 프로빙 (고정된 백본, 훈련된 분류기) 과 파인튜닝 (모든 가중치 업데이트) 하에서 평가됨.
• 지표: 균형 정확도, 코헨의 카파, 가중 F1 점수.

주요 결과

이 연구는 단일 위치 인코딩 전략이 모든 작업과 프로토콜에서 일관되게 다른 전략보다 우월하지 않음을 발견했습니다. 성능은 작업에 크게 의존했습니다:

• 운동 상상 (PhysioNet-MI):
  • SPE는 선형 프로빙 프로토콜에서 최고의 성능을 달성하여, 공간 활성화 패턴이 뚜렷할 때 명시적 기하학적 사전 지식이 유익함을 시사했습니다.
  • ACPE는 파인튜닝 프로토콜에서 최고의 성능을 달성했습니다.
  • NoPE는 선형 프로빙에서 일관되게 가장 약했으나 파인튜닝 후에는 경쟁력을 유지하여, 백본이 엔드 - 투 - 엔드 최적화를 통해 위치 구조를 부분적으로 복원할 수 있음을 나타냈습니다.
• 감정 인식 (FACED):
  • ACPE와 학습 가능한 PE가 최상의 결과를 산출했습니다.
  • SPE는 두 프로토콜 모두에서 다른 전략에 비해 현저히 낮은 성능을 보였으며, 이는 엄격한 기하학적 사전 지식이 운동 상상만큼 감정 관련 표현에 도움이 되지 않을 수 있음을 시사합니다.
• 사전 훈련 손실: 위치 인코딩이 없으면 마스킹 재구성 손실이 가장 높아, 위치 정보가 사전 훈련 표현 품질에 중요함을 확인했습니다. 학습 가능한 PE와 SPE+Proj가 가장 낮은 검증 손실을 달성했습니다.

중요성과 결론

이 논문은 EEG 파운데이션 모델에 대한 최적의 위치 인코딩 전략은 작업에 의존적이며 보편적인 해결책이 없다고 결론지었습니다.

• 작업 특이성: 명시적 해부학적 기하학을 인코딩하는 전략 (SPE) 은 공간적 구별력이 강한 작업 (예: 운동 상상) 에 유리하지만, 공간 패턴이 덜 엄격한 작업 (예: 감정 인식) 에는 비최적일 수 있습니다.
• 일반화 대 적응성: ACPE 는 패치 콘텐츠로부터 지역 이웃 패턴을 학습함으로써 다양한 작업 전반에 걸쳐 견고한 일관된 성능을 보여주며 명시적 좌표 지식을 요구하지 않습니다. 반면, 학습 가능한 PE 는 다른 montages 에 대해 재초기화가 필요하지만, 모델이 타겟 데이터셋에서 처음부터 작업별 공간 구조를 학습할 수 있도록 허용될 경우 고정된 전략보다 우수한 성능을 발휘할 수 있습니다.
• 실제적 함의: SPE 는 전극 각도에서 사전 계산되는 경량, 매개변수 없음, montage 무관한 대안을 제공하여, 공간 구조가 관련되고 재훈련이 바람직하지 않을 때 실행 가능한 옵션이 됩니다.

저자들은 성능 차이가 상대적으로 작았음에도 불구하고, 위치 인코딩 모듈만 변경되었기 때문에 측정 가능하고 유의미하다고 강조했습니다. 향후 연구는 토폴로지 인식 인코딩의 일반화 가능성을 더 평가하기 위해 더 다양한 EEG 작업, 전극 배치, 대규모 사전 훈련 데이터셋에서 이러한 전략을 탐구할 것을 제안합니다.