SwitchBraidNet: Quantisation-Aware Lightweight Architecture for Hybrid Brain-Computer Interface

기술 요약: SwitchBraidNet

문제 정의

운동 상상(Motor Imagery, MI)과 스테디-스테이트 시각 유발 전위(Steady-State Visual Evoked Potentials, SSVEP)를 통합하는 하이브리드 뇌-컴퓨터 인터페이스(hBCI)는 명령 공간을 확장하고 "BCI 문맹(BCI illiteracy)"에 대한 견고성을 향상시킨다. 그러나 이러한 하이브리드 시스템을 위한 기존의 딥러닝 접근 방식은 세 가지 핵심 과제에 직면해 있다:

1. 이질적인 신호 표현: MI와 SSVEP는 서로 다른 스펙트럼, 공간 및 시간적 하위 공간을 점유하며, 이는 단일 아키텍처 내에서 다양한 신호 통계량을 처리할 수 있는 모델을 필요로 한다.
2. 하드웨어 제약: 실제 배포 대상은 메모리와 전력 예산이 극도로 제한된 임베디드 하드웨어(마이크로컨트롤러, FPGA)이므로, 경량화된 모델이 필수적이다.
3. 양자화 한계: 기존 문헌은 종종 사후 훈련 양자화(Post-Training Quantisation, PTQ)에 의존하는데, 이는 특히 넓은 활성화 동적 범위를 가진 아키텍처의 경우 저비트(INT8) 영역에서 상당한 정확도 저하를 초래할 수 있다. 또한, 하이브리드 패러다임과 다중 정밀도에 걸친 양자화 인식 훈련(Quantisation-Aware Training, QAT)을 체계적으로 벤치마킹한 연구가 부족하다.

방법론

제안된 아키텍처: SwitchBraidNet

저자들은 MI-SSVEP 하이브리드 BCI를 위해 특별히 설계된 경량화된 하드웨어 인지형 딥러닝 아키텍처인 SwitchBraidNet을 제안한다. 이 모델은 세 가지 기능적 단계로 구성된다:

1. 듀얼 패스 템포럴 브레이드(Dual-Path Temporal Braid): 두 개의 병렬 컨볼루션 경로가 다중 스케일 진동 특징을 추출한다. "딥(deep)" 경로(1×64 커널)는 느린 저주파 진동(µ/β 대역)을 포착하고, "패스트(fast)" 경로(1×32 커널)는 빠른 과도 현상을 포착한다. 출력값은 결합(concatenation), 정규화 및 활성화 과정을 거친다.
2. 스페이셜 스위치(Spatial Switch, SE Block): 스퀴즈-앤-엑세레이션(Squeeze-and-Excitation, SE) 블록이 학습된 게이트 역할을 하여, 전역적 관련성에 따라 전극 기여도를 동적으로 가중 조절한다. 이 블록은 평균 및 최대 풀링, 병목 레이어, 그리고 하드-시그모이드(hard-sigmoid) 활성화 함수(저비트 양자화에 도움이 되는 피스와이즈 선형 형태를 위해 선택됨)를 활용한다. 이후 뎁스와이즈 공간 컨볼루션과 1×1 포인트와이즈 믹서가 뒤따른다.
3. 로그-분산 리드아웃(Log-Variance Readout): 평균 제곱 진폭(전력 추정치)을 계산한 후 수치적 안정화를 위한 로그 변환을 수행하여 시간 차원을 축소하는 특화된 레이어이다. 이는 미분 가능하면서도 양자화 친화적인 방식으로 전통적인 대역 전력(band-power) 특징을 명시적으로 타겟팅한다.

실험 프레임워크

• 데이터셋: 본 연구는 54명의 피험자로부터 두 세션에 걸쳐 기록된 EEG 데이터를 포함하는 OpenBMI 데이터셋을 활용한다. 여기에는 2클래스 MI 태스크(왼손 vs 오른손)와 4클래스 SSVEP 태스크(5.45, 6.67, 8.57, 12.00 Hz)가 포함된다.
• 전처리: 신호는 256 Hz로 다운샘플링되었다. MI 데이터는 8–30 Hz로, SSVEP 데이터는 4–40 Hz로 대역 통과 필터링되었다. 시행(trial)은 0.5초의 중첩을 가진 1초 윈도우로 분할되었다.
• 하이브리드 패러다임: 두 가지 운영 모드가 평가되었다:
  • 순차적(Sequential): MI와 SSVEP 시행이 겹치지 않는 시간 창에서 발생한다.
  • 동시적(Simultaneous): 두 신경 소스가 동일한 윈도우 내에서 동시에 활성화된다.
• 양자화 전략: 본 연구는 PyTorch의 네이티브 프레임워크를 사용하는 **양자화 인식 훈련(QAT)**을 채택한다. 모델은 FP32, FP16, INT8의 세 가지 정밀도에 대해 훈련 및 평가되었다. 저비트 추론을 시뮬레이션하기 위해 순방향 패스(forward pass) 중에 페이크 양자화(fake quantisation)가 사용되었다.
• 베이스라인: SwitchBraidNet은 DeepConvNet, EEGNet, ShallowConvNet, TSception 등 네 가지 확립된 아키텍처와 비교되었다.
• 지표: 성능은 분류 정확도(Classification Accuracy), 코헨 카파(Cohen's Kappa), 정보 전달률(Information Transfer Rate, ITR)을 통해 측정되었다. 모델 크기는 파라미터 수와 비트 폭을 기반으로 추정되었다.

주요 결과

단일 모달리티 성능

• MI 태스크: SwitchBraidNet은 모든 정밀도에서 가장 높은 정확도를 달립하였으며, 69.49% (FP16) 및 **69.12% (INT8)**에서 정점을 찍었다. 이는 뛰어난 견고성을 입증하였는데, ShallowConvNet이 4.50% 저하된 반면 SwitchBraidNet의 INT8 저하는 약 0.21%에 불과했다.
• SSVEP 태스크: EEGNet이 가장 높은 정확도(93.71% FP16)를 달성했으나, SwitchBraidNet은 0.17%의 미미한 격차(93.42% FP16)로 대등한 성능을 보였다. 두 모델 모두 양자화에 대한 높은 견고성을 보여주었다.

하이브리드 성능

• 정확도: 순차적 모드와 동시적 모드는 모든 모델에서 동일한 분류 정확도와 F1-스코어를 나타내어 일관된 결정 품질을 확인시켜 주었다.
• 정보 전달률(ITR): 동시적 모드는 시행 시간을 절반으로 줄였기 때문에 순차적 모드보다 IFT가 크게 높았다 (예: SwitchBraidNet FP16 기준 64.82 bits/min vs 32.41 bits/min).
• 트레이드오프(Trade-offs): 하이브리드 시스템의 ITR은 (MI 구성 요소의 낮은 정확도로 인해) 순수 SSVEP 시스템보다 낮았지만, 더 넓은 명령 공간(2 또는 4개 대신 8개의 명령)을 제공하고 안구 피로를 줄여주었다.

양자화 견고성

• SwitchBraidNet은 INT8 정밀도에서 가장 높은 처리량과 안정성을 유지했다. 이 모델의 INT8 풋프린트는 단 3.03 KB였다.
• ShallowConvNet은 양자화에 가장 민가한 모습을 보인 반면, SwitchBraidNet의 아키텍처적 선택(hard-sigmoid, log-variance readout)은 저비트 배포 시 흔히 발생하는 활성화 붕괴 및 가중치 클러스터링 문제를 효과적으로 완화하였다.

의의 및 주장

본 논문은 두 가지 주요 기여를 주장한다:

1. 새로운 아키텍처: SwitchB림BraidNet은 생리학적 및 하드웨어적 제약 조건에 특화되어 설계된 컴팩트하고 엔드 투 엔드(end-to-end) 방식의 양자화 견고한 아키텍처로 제시된다. 이 모델의 듀얼 패스 템포럴 브레이드와 로그-분산 리드아웃은 필수적인 MI 및 SSVEP 특징을 효율적으로 포착할 수 있게 한다.
2. 체계적인 벤치마크: 본 연구는 OpenBMI 데이터셋에 대한 최초의 체계적인 QAT 벤치마크를 제공하며, 다섯 가지 아키텍처를 FP32, FP16, INT8에 걸쳐 비교하였다. 연구는 순수 SSVEP 시스템이 더 높은 ITR을 제공할 수 있지만, 하이브리드 시스템이 실제 배포를 위한 필수적인 견고성과 명령 다양성을 제공한다는 점을 강조한다.

저자들은 SwitchBraidNet이 저전력 임베디드 BCI 배포에 특히 적합하며, INT8 양자화 하에서도 상당한 정확도 손실 없이 높은 MI 정확도, 경쟁력 있는 SSVEP 성능, 그리고 최소한의 메모리 풋프린트 사이의 균형을 제공한다고 결론짓는다. 이 연구는 하드웨어 인지형 신경 신호 처리 분야의 재현 가능한 토대를 마련한다.