기술 요약: EEG-FM-Audit

문제 제기

대규모 EEG 파운데이션 모델 (FMs) 이 다양한 인지 과제를 위한 EEG 신호 해독에 잠재력을 보여주고 있음에도 불구하고, 기존 문헌은 세 가지 중대한 한계를 겪고 있습니다:

1. 불투명한 기준선 튜닝: FMs 와 전통적인 지도 학습 모델 간의 비교는 종종 지도 학습 기준선의 최적화 과정에서 투명성이 부족합니다. 전통적인 딥러닝 모델은 처음부터 훈련되며 하이퍼파라미터 구성에 매우 민감하지만, 종종 FMs 와 비교될 때 비최적 또는 기본 설정을 사용합니다. 이로 인해 "최적화 격차"가 발생하여 보고된 FM 의 이점이 내재적 아키텍처의 우수성이 아니라 기준선의 부적절한 튜닝에서 비롯될 수 있습니다.
2. 검증되지 않은 학습 패러다임: 기존 연구는 종종 모델 레이어보다는 대규모 사전 학습, 사전 학습된 언어 모델 백본의 통합과 같은 근본적인 학습 패러다임의 효과성에 초점을 맞추지 않습니다. FM 아키텍처의 복잡성 증가가 실질적인 성능 향상을 가져오는지, 아니면 특정 구성 요소가 단순히 불필요한지 여부는 여전히 불명확합니다.
3. 신경생리학적 해석 가능성 부재: 현재 평가는 종종 FMs 를 "블랙박스"로 취급하며, 이러한 모델이 확립된 신경과학적 발견과 일치하는 유효한 시간적, 공간적, 주파수적 EEG 특성을 활용하는지에 대한 엄격한 분석이 부족합니다.

방법론: EEG-FM-Audit 파이프라인

이러한 격차를 해결하기 위해 저자들은 세 가지 주요 구성 요소로 구성된 체계적인 평가 및 분석 파이프라인인 EEG-FM-Audit를 제안합니다:

1. ASHA 기반 벤치마킹 프로토콜

공정한 비교를 보장하기 위해 저자들은 비동기 순차 할당 알고리즘 (ASHA) 에 의해 주도되는 2 단계 벤치마킹 프로토콜을 구현합니다:

• 1 단계 (하이퍼파라미터 탐색): ASHA 를 사용하여 각 지도 학습 기준선 모델에 대한 하이퍼파라미터 공간 ($\Omega$) 을 탐색하고, 검증 균형 정확도를 기반으로 최적 구성 ($\Theta^*$) 을 식별합니다. 중요한 점은 데이터 누수를 방지하기 위해 테스트 데이터가 이 탐색 과정에서 엄격히 제외된다는 것입니다.
• 2 단계 (전체 재훈련 및 벤치마킹): 기준선 모델들을 최적화된 구성 ($\Theta^*$) 과 기본 구성 ($\Theta_{def}$) 을 모두 사용하여 처음부터 재훈련합니다. 최종 보고된 성능은 이 두 버전 중 더 나은 결과를 반영하여, 기준선이 그 가능한 최고 구현을 대표하도록 보장합니다.

2. 패러다임 수준 제거 연구

저자들은 세 가지 제거 연구를 통해 특정 학습 패러다임의 기여도를 분리하기 위해 FMs 를 분해합니다:

• 사전 학습 소스 제거 연구: 대규모 이질적 사전 학습의 필요성을 평가하기 위해 전체 FMs 를 대상 데이터셋에서만 사전 학습된 변형 모델과 비교합니다.
• LLM-Rep 제거 연구: 사전 학습을 제거하고 FM 인코더를 전통적인 지도 학습 프레임워크로 재구성하여 성취된 이득이 사전 학습 전략에서 비롯된 것인지, 아니면 근본적인 아키텍처에서 비롯된 것인지를 판단합니다.
• No-GPT 제거 연구: 사전 학습된 언어 모델 백본 (예: GPT-2) 을 무작위 초기화된 자기 주의 (self-attention) 레이어로 대체하여 신경 해독에 대한 언어적 사전 지식의 특정 기여도를 평가합니다.

3. 신경생리학적 탐지 (NPP) 프레임워크

이 프레임워크는 모델이 특정 생리학적 기능에 얼마나 의존하는지를 정량화하기 위해 대리 신호를 활용합니다:

• 시간적 탐지: 공간 공분산과 파워 스펙트럼은 보존하면서 위상 고정 시간적 구조를 파괴하기 위해 푸리에 위상 무작위화 (FPR) 를 사용합니다.
• 공간적 탐지: 특정 뇌엽에 해당하는 사전 정의된 관심 영역 (ROIs) 에 신호 인식 가우시안 노이즈를 주입하여 공간적 의존성을 평가합니다.
• 주파수적 탐지: 표준 EEG 주파수 대역 (예: 알파, 델타, 베타) 을 선택적으로 제거하여 주파수 특정 기능에 대한 의존도를 측정하는 주파수적 제거를 수행합니다.

실험 설정

이 파이프라인은 다음에 적용되었습니다:

• 네 가지 최첨단 EEG-FM: NeuroGPT, LaBraM-Base, NeuroLM-B, EEGPT-Large.
• 다섯 가지 지도 학습 기준선: EEGNet, CSPNet, TS-SEFFNet, MSCFormer, CTNet.
• 세 가지 공개 데이터셋: TUEV(사건 감지), TUAB(이상 감지), BCI Competition IV-2b(운동 상상의).

주요 결과

1. 공정한 벤치마킹 결과

• 경쟁력 있는 기준선: 적절히 튜닝된 지도 학습 기준선은 특히 작은 데이터셋 (예: BCI IV 2b) 과 특정 임상 과제 (TUAB) 에서 고급 FMs 와 경쟁하거나 능가할 수 있습니다. 예를 들어, BCI IV 2b 에서 ASHA 최적화를 적용한 간단한 EEGNet 은 균형 정확도에서 약 0.035 만큼 최고의 FM 보다 더 나은 성능을 보였습니다.
• 매개변수 효율성: 이러한 고성능 기준선은 FMs(예: 약 580 만2 억 5,300 만 개) 에 비해 훨씬 적은 수의 매개변수 (예: 약 1.6 천33 만 7 천 개) 를 필요로 합니다.
• 최적화의 영향: ASHA 를 통한 체계적인 하이퍼파라미터 최적화는 지도 학습 기준선에 상당한 성능 향상을 가져왔습니다 (예: 균형 정확도에서 0.028~0.074 개선). 이는 이전 연구들이 기준선의 능력을 과소평가했을 수 있음을 시사합니다.

2. 패러다임 수준의 통찰

• 사전 학습의 필요성: 대규모 사전 학습의 효과는 모델 아키텍처와 데이터셋 규모에 크게 의존합니다. 이산 토큰화 모델 (LaBraM, NeuroLM) 은 대규모 사전 학습에 크게 의존하는 반면, 연속 표현 모델 (NeuroGPT, EEGPT) 은 대상 데이터셋만 사전 학습하더라도 경쟁력 있는 성능을 달성할 수 있습니다. 그러나 모든 모델은 대상 데이터셋만 사전 학습하는 경우 작은 데이터셋에서 성능이 저하되었습니다.
• LLM 백본: 사전 학습된 언어 모델의 기여도는 아키텍처에 따라 다릅니다. 생성 기반 FMs(NeuroLM) 의 경우 언어 백본을 제거하면 예측이 붕괴되었습니다. 직접 분류 FMs(NeuroGPT) 의 경우 사전 학습된 GPT 구성 요소는 도메인 외 과제에서 일반화를 개선했지만, 도메인 내 과제에서는 미미하거나 약간 부정적인 영향을 미쳤습니다.

3. 신경생리학적 타당성

• 시간적 의존성: 평가된 모든 FMs 는 시간적 위상 구조가 무작위화되었을 때 성능이 저하되어 시간적 의존성을 활용함을 확인했습니다. 연속 표현 모델은 이산 모델보다 위상 무작위화에 더 큰 민감도를 보였습니다.
• 공간 및 주파수 정렬: FMs 는 발작 감지를 위한 전두엽/측두엽 집중과 같은 과제와 일치하는 지역적 집중과 간질에 대한 델타 대역, 운동 상상에 대한 알파/베타 대역과 같은 주파수 민감도를 보여주어 확립된 신경과학 문헌과 일치했습니다.

중요성과 주장

이 논문은 EEG-FM-Audit가 EEG 파운데이션 모델의 공정하고 포괄적인 평가를 위한 엄격하고 확립된 파이프라인을 커뮤니티에 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 평가 편향 교정: 최적화된 지도 학습 기준선이 FMs 와 경쟁할 수 있음을 보여줌으로써, FMs 가 본질적으로 우수한 성능을 가진다는 가정에 도전하고, 보고된 많은 이득들이 비최적 기준선 튜닝의 산물일 수 있음을 시사합니다.
2. 복잡성 분리: 제거 연구는 FMs 의 "지문"(시간적, 공간적, 주파수적) 이 균일하게 유익하지 않으며, 그 효과성은 데이터셋 규모와 특정 아키텍처 선택에 달려 있음을 밝힙니다.
3. 해석 가능성 확립: NPP 프레임워크는 생리학적 발견과 일치하는 의미 있는 신경 표현을 학습하는지 검증하는 방법을 확립하여 블랙박스 성능 지표를 넘어섭니다.

저자들은 FMs 가 잠재력을 보이고 있지만, 모든 시나리오에서 EEG 분류에 대해 결정적인 우위를 점하지는 않으며, 그 유용성은 사용 가능한 데이터의 규모와 학습 패러다임의 특정 설계에 강력히 의존한다고 결론지었습니다.