기술 요약: EEG 신호의 시공간 합성곱

문제 제기

의료 진단부터 뇌-컴퓨터 인터페이스 (BCI) 에 이르기까지 다양한 분야에서 뇌전도 (EEG) 신호를 얕은 합성곱 신경망 (CNN) 을 사용하여 분류하는 것은 일반적인 접근법입니다. 이러한 모델의 표준 아키텍처는 일반적으로 시간 차원과 공간 차원을 별도로 처리하기 위해 독립적인 1 차원 (1D) 합성곱 계층을 사용하며, 종종 그 사이에 비선형 활성화 계층 없이 이를 연결합니다. 특정 조건 (동일한 가중치, 중간 비선형성 부재) 하에서 단일 연산과 수치적으로 동등할지라도, 이러한 순차적 1D 계층을 단일 2 차원 (2D) 시공간 합성곱 계층으로 대체하는 것이 학습 역학, 표현 기하학, 그리고 효율성에 미치는 영향은 여전히 불확실합니다. 본 논문은 이러한 아키텍처적 변화가 학습 효율성에서 실질적인 이점을 제공하는지, 그리고 EEG 디코더 모델의 내부 표현을 어떻게 변화시키는지 조사합니다.

방법론

저자들은 ShallowFBCSPNet 기반의 얕은 CNN 과 EEG Conformer 기반의 하이브리드 CNN-Transformer 모델이라는 두 가지 최첨단 모델 계열에 걸쳐 1D 와 2D 합성곱 아키텍처를 비교하는 실증적 테스트를 수행했습니다.

아키텍처

• 1D 베이스라인 모델: 이러한 모델은 별도의 시간 및 공간 1D 합성곱 계층을 활용합니다. 시간 계층은 시간 포인트에 대해 합성곱을 수행하는 반면, 공간 계층은 채널을 가로질러 작동합니다.
• 2D 변형: 본 연구의 독립 변수입니다. 이러한 모델은 순차적 1D 계층을 단일 2D 시공간 합성곱 계층 ($k_{st} \in \mathbb{R}^{C \times m}$) 으로 대체하여, 하나의 연산으로 시간 및 공간 정보를 동시에 포착합니다. 핵심적으로, 두 아키텍처 모두에서 시간 차원과 공간 차원 사이에 비선형 활성화가 적용되지 않으므로, 2D 연산이 두 개의 1D 연산과 표현력 측면에서 이론적으로 동등함을 보장합니다.

데이터셋 및 작업

실험은 MOABB 프레임워크를 통해 처리된 BNCI Competition IV 의 두 가지 운동 상상이 (MI) 데이터셋에서 수행되었습니다:

1. BNCI2014-001 (데이터셋 1): 22 개 채널, 4 개 클래스, 62,208 회 시도로 구성된 고차원 작업.
2. BNCI2014-004 (데이터셋 2): 3 개 채널, 이진 분류, 32,400 회 시도로 구성된 저차원 작업.
   두 작업 모두 혼합 대상 일반화 설정을 사용했습니다. 전처리에는 대역 통과 필터링 (8–32 Hz) 과 표준 스케일링이 포함되었습니다.

평가 지표

• 성능: 분류 정확도 및 학습 시간 (에포크 및 총 소요 시간).
• 특성 분석: 모델 활성화에서 대역 전력 특성 (8–32 Hz 내 5 개 대역) 을 재구성하기 위해 선형 회귀를 사용하여 스펙트럼 특성 학습을 평가했습니다.
• 표현 유사성 분석 (RSA): 풀링 계층 후의 활성화를 사용하여 표현 비유사성 행렬 (RDM) 을 구성하여 다양한 모델 유형 및 폴드 간 표현 기하학 구조를 비교했습니다.

주요 결과

1. 학습 효율성

가장 중요한 발견은 고차원 설정에서 특히 2D 모델의 학습 시간이 크게 단축되었다는 것이었습니다.

• 데이터셋 1 (22 개 채널): 2D 모델은 1D 모델에 비해 훨씬 빠르게 학습했습니다. 2D 모델이 수렴에 도달하는 데 더 많은 에포크가 필요했지만, 에포크당 소요 시간이 극적으로 낮아 전체 학습 시간이 순감소했습니다.
• 데이터셋 2 (3 개 채널): 2D 모델도 비슷하거나 약간 더 빨랐으나, 그 효과는 고차원 작업보다 덜 두드러졌습니다.
• 추론: 저자들은 2D 합성곱이 온라인 BCI 응용 프로그램에 중요한 요소인 더 빠른 추론 시간도 산출한다고 지적합니다.

2. 분류 성능

두 모델 계열 (Shallow CNN 과 Conformer) 모두에서 두 데이터셋 간 1D 와 2D 변형 간의 정확도는 통계적으로 변화가 없었습니다. 모델들은 교차 검증 폴드 전반에 걸쳐 비교 가능한 신뢰도와 분산을 보여주었습니다.

3. 특성 학습 및 재구성

대역 전력 재구성 분석은 1D 와 2D 모델이 본질적으로 동일한 스펙트럼 특성을 학습했음을 드러냈습니다.

• 두 아키텍처 간 커널 활성화에서 알파 및 베타 대역 전력을 재구성하는 능력에 체계적인 차이는 없었습니다.
• 두 아키텍처 모두 채널별 스펙트럼 중요성 (예: 특정 주파수 대역에서의 C3 대 Cz 차이) 을 성공적으로 식별하여, 2D 로의 전환이 학습된 스펙트럼 특성의 '무엇 (what)'을 변경하지 않았음을 나타냈습니다.

4. 표현 기하학

동일한 성능과 특성 재구성에도 불구하고, RSA 는 모델의 내부 구조에 근본적인 차이가 있음을 드러냈습니다:

• 고차원 발산: 데이터셋 1 (22 개 채널) 에서 1D 와 2D 모델 간의 표현 비유사성은 유의미했습니다. 2D 모델은 1D 모델과 구별되는 명확한 표현 기하학을 형성했습니다.
• 저차원 수렴: 데이터셋 2 (3 개 채널) 에서 1D 와 2D 모델 간의 비유사성은 낮았으며, 이는 제한된 채널 정보가 더 많은 커널에 걸쳐 분산되어 아키텍처 편향의 관찰 가능한 효과가 희석되었기 때문일 가능성이 높습니다.
• 안정성: 모델들은 일반적으로 서로 다른 아키텍처보다 자신의 아키텍처의 다른 폴드와 더 유사했으며, 이는 아키텍처 유도 편향 (1D 대 2D) 이 표현 공간을 강력하게 규정함을 확인시켜 주었습니다.

중요성 및 주장

본 논문은 2D 시공간 합성곱이 원시 특성 추출 능력 측면에서 순차적 1D 합성곱과 수치적으로 동등하지만, 학습 역학과 표현 기하학 측면에서는 동등하지 않다고 주장합니다.

• 효율성: 주요 실용적 기여는 2D 합성곱이 EEG 디코딩을 위한 계산적으로 효율적인 대안을 제공하며, 특히 고채널 수 데이터셋의 경우 학습 및 추론 시간을 크게 단축한다는 것을 입증한 것입니다. 이 효율성은 추가적인 계산 비용 없이 더 광범위한 하이퍼파라미터 튜닝과 모델 탐색을 가능하게 합니다.
• 아키텍처 유도 편향: 본 연구는 인코딩 계층 (1D 대 2D) 의 선택이 내부 표현 공간을 재구성하는 특정 유도 편향을 부과함을 강조합니다. 이는 설명 가능한 AI (XAI) 기법을 사용하는 연구자들이 아키텍처적 차이를 고려해야 함을 시사하며, '무엇 (성능 및 스펙트럼 특성)'이 동일하더라도 표현의 '어떻게 (how)'는 다르기 때문입니다.
• 권장 사항: 저자들은 복잡하고 다변량 신호 처리 작업에서 최첨단 성능을 유지하면서 더 빠른 학습과 추론을 달성하기 위해 2D 시공간 합성곱 계층을 EEG 디코더 모델의 표준으로 채택할 것을 제안합니다.