기술 요약: PRiSE-EEG

문제 정의

뇌전도 (EEG) 기반 모델 (EEG-FMs) 은 이질적인 패러다임 전반에 걸쳐 재사용 가능한 표현을 학습하는 것을 목표로 합니다. 그러나 기존 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 최적화 충돌: 이질적인 EEG 작업 (예: 수면 단계 분류 대 감정 인식) 은 종종 상충되는 경사 업데이트 방향을 유발합니다. 균일한 매개변수를 사용하는 밀집형 트랜스포머 모델은 이러한 상이한 최적화 목표를 조정하는 데 어려움을 겪어, 패러다임 간 전이 성능이 비최적화됩니다.
2. 미활용된 사전 지식: 현재 토큰화 전략은 센서 공간 EEG 에 내재된 구조적 공간 규칙성을 종종 무시합니다. 전극 좌표는 알려져 있지만, 뇌 네트워크의 구조적 조직과 짧은 윈도우 채널 상호작용은 패치 형성을 위한 귀납적 편향으로 자주 활용되지 않습니다.

또한, EEG 분야의 기존 MoE(Expert Mix) 접근법은 모든 레이어에 걸쳐 공유 및 전문화 전문가를 균일하게 할당하여, 표현 기하학이 깊이에 따라 변화한다는 관찰 (얕은 레이어는 더 일반적이고 깊은 레이어는 더 구체적임) 을 무시합니다.

방법론: PRiSE-EEG

저자들은 공유된 EEG 규칙성과 작업별 전문화 사이의 균형을 맞추도록 설계된 PRiSE-EEG(Depth-Stratified Experts 를 갖춘 사전 지식 기반 EEG 기반 모델) 를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 사전 지식 기반 연속 토큰화

이산적 토큰화 대신, PRiSE-EEG 는 약한 센서 공간 사전 지식과 동적 상호작용을 통합하여 연속적인 다중 채널 EEG 패치를 형성합니다:

• 정적 경로: 사전 정의된 해부학적 영역 (예: 전두엽, 두정엽) 과 기능적 네트워크 (예: 기본 모드 네트워크, 주의 네트워크) 를 기반으로 학습 가능한 쿼리와 어텐션 편향을 활용합니다. 학습 가능한 완화 항 ($\Delta_{pri}$) 은 모델이 훈련 중에 이러한 약한 사전 지식을 조정하도록 허용하여 경직된 해부학적 할당을 방지합니다.
• 동적 경로: 샘플 의존적인 초단위 채널 상호작용을 포착합니다. 패치를 마이크로 프레임으로 세분화하고 지연 제한 채널 친화도를 계산하여 동적 그룹 쿼리를 형성합니다. Gumbel 선택기는 각 샘플에 대해 가장 정보량이 많은 프레임 쌍 그룹을 식별합니다.
• 출력: 이러한 경로는 montage 이질성을 처리하면서 신경과학적 구조를 주입하는 연속적인 그룹 토큰을 생성합니다.

2. CKA 보정 깊이 계층화 전문가

최적화 충돌과 레이어별 표현 차이를 해결하기 위해, 이 모델은 레이어 깊이에 따라 공유 대 전문화 전문가의 할당이 결정되는 MoE 아키텍처를 사용합니다:

• 파일럿 분석: 주 모델을 훈련하기 전에, 혼합 패러다임 배치로 밀집형 "파일럿" 트랜스포머를 훈련합니다. 층간 Centered Kernel Alignment (CKA) 를 계산하여 패러다임 간 유사성과 패러다임 내 유사성의 비율을 측정합니다.
• 보정 규칙: 패러다임 간 유사성이 높은 레이어 (얕은 레이어) 는 공유 전문가의 비율을 높게 할당받습니다. 유사성이 낮은 레이어 (깊은 레이어) 는 더 많은 전문가를 할당받습니다.
• 구현: 이 할당은 파일럿의 CKA 지표를 기반으로 시그모이드 함수를 통해 매핑되며, 주 훈련 단계 동안 고정됩니다. 이를 통해 초기 블록은 일반적인 EEG 규칙성을 보존하고 후기 블록은 작업별 변환에 특화되도록 보장합니다.

3. 훈련 전략

• 사전 훈련: 모델은 세 가지 자기지도 학습 목적 함수 (마스크된 시간 패치 재구성 [MAE-TP], 마스크된 채널 재구성 [MAE-CH], 미래 패치 예측 [GPT]) 를 사용하여 17 개의 다양한 공개 데이터셋 (28,000 시간 이상) 에서 사전 훈련됩니다.
• 파인튜닝: PRiSE-EEG 는 구조 정보를 보존하면서 매개변수 폭발을 방지하기 위해 작업별 듀얼 스트림 MLP 헤드 (시간 및 그룹 차원을 각각 평균화) 를 통한 통합 다중 데이터셋 파인튜닝을 지원합니다.

주요 기여

1. 패러다임 간 충돌의 특성화: 저자들은 이질적인 EEG 작업이 상충되는 경사 업데이트를 유발하며, 표현 유사성이 깊이-wise 전이 (일반에서 구체적으로) 를 따른다는 것을 실증적으로 보여주어, 균일하지 않은 전문가 할당의 필요성을 입증했습니다.
2. CKA 보정 깊이 계층화 전문가: 블록별 CKA 공유성을 간단한 시그모이드 규칙을 사용하여 공유 전문가 비율로 변환하는 새로운 메커니즘으로, 균일한 휴리스틱이 아닌 표현 기하학에 기반하여 용량 할당을 동적으로 조정합니다.
3. 사전 지식 기반 연속 토큰화: 약한 정적 영역/네트워크 사전 지식과 동적 짧은 윈도우 상호작용을 결합하는 토큰화 방식으로, 경직된 해부학적 제약을 피하면서도 구조화된 센서 공간 정보를 활용합니다.
4. 종합적 검증: 모델은 10 가지 작업 카테고리 (예: 발작 감지, 감정 인식, 수면 단계 분류) 를 포괄하는 12 개의 공개 벤치마크에서 검증되어 강력한 패러다임 간 성능을 입증했습니다.

실험 결과

12 개 EEG 데이터셋에서 평가된 PRiSE-EEG(약 41M 매개변수를 가진 B 변형) 는 일치된 프로토콜 하에서 최첨단 또는 경쟁력 있는 결과를 달성했습니다:

• 성능 향상: 질병 관련 및 인지 작업 (예: ADFTD, SEED-V, Workload) 에서 주요 지표 기준 68% 의 유의미한 개선을 보였으며, TUEV 및 PhysioMI 와 같은 작업에서도 일관되게 25% 의 향상을 보였습니다.
• 절대 실험:
  • 토큰화에서 정적 또는 동적 경로 중 하나를 제거하면 3% 이상의 성능 저하가 발생했습니다.
  • 전문가 비율 순서를 반전시키는 것 (얕은 레이어에 더 많은 전문화 전문가 할당) 은 가장 큰 하락 (>8%) 을 초래하여, 깊이 계층화 할당의 필요성을 확인했습니다.
  • 고정된 공유 전문가 비율을 사용하는 것은 CKA 보정 접근법보다 열등했습니다.
• 확장성: 모델은 모델 크기 (최대 125M 매개변수) 와 사전 훈련 데이터 양 (최대 28,000 시간) 모두에 대해 예측 가능한 확장 행동을 보였으며, 높은 $R^2$ 값은 규모가 커짐에 따라 성능이 계속 향상됨을 나타냅니다.
• 해석 가능성: Grad-CAM 시각화는 모델이 신경과학적으로 타당한 영역 (예: 감정을 위한 전두엽/측두엽, 수면 단계를 위한 두정엽) 에 주의를 기울이며, 알려진 병리적 패턴을 기반으로 AD 와 FTD 를 올바르게 구분함을 확인했습니다.

중요성 및 주장

본 논문은 PRiSE-EEG 가 공유된 EEG 규칙성과 작업별 전문화 사이의 균형을 맞추는 컴팩트한 프레임워크를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 균일 적응을 넘어선 이동: 기반 모델에서의 전문가 전문화는 입력 적응적이어야만 하는 것이 아니라, 밀집형 파일럿 모델이 학습한 표현 구조에 따라 깊이 계층화되어야 함을 입증했습니다.
• 약한 사전 지식 활용: 영역 및 네트워크와 같은 약한 센서 공간 사전 지식과 동적 상호작용을 통합하는 것이 경직된 해부학적 제약 없이 견고성을 향상시킨다는 것을 보여줍니다.
• 통합 학습: 단일 사전 훈련된 백본이 통합 파인튜닝을 통해 다양한 임상 및 인지 작업에 효과적으로 적응할 수 있음을 검증하여, 작업별 아키텍처의 필요성을 줄였습니다.

저자들은 모델이 효과적으로 확장되지만 여전히 현대의 언어/시각 기반 모델보다 작으며, 향후 작업에서 이 프레임워크를 멀티모달 시나리오 (예: 비디오-EEG) 로 확장하고 새로운 작업에 대한 제로샷 일반화를 달성하기 위한 연구가 필요하다고 겸손하게 언급합니다.