Reducing the Complexity of Deep Learning Models for EEG Analysis on Wearable Devices

기술 요약: 웨어러블 기기에서의 EEG 분석을 위한 딥러닝 모델의 복잡도 감소

문제 정의
웨어러블 헬스케어 기기는 심전도(ECG) 및 뇌파(EEG)와 같은 생체 신호를 지속적으로 모니터링하는 사물인터넷(IoT)의 빠르게 성장하는 분야를 대표합니다. 딥 뉴럴 네트워크(DNN)는 간질 발작 감지와 같은 과업을 위한 복잡한 생체 신호(EEG) 분석의 주요 접근 방식으로 자리 잡았으나, 웨어러블 기기에 이를 배포하는 것은 자원 제약으로 인해 심각하게 저해됩니다. 웨어러블 시스템은 일반적으로 소형화된 프로세서와 작은 배터리에 의존하며, 최신 DNN을 실시간으로 실행하는 데 필요한 계산 능력, 에너지 용량 및 메모리 대역폭이 부족합니다. 데이터를 클라우드로 오프로딩하는 것이 흔한 해결책이지만, 이는 전력 소비, 데이터 프라이버시, 보안 및 지속적인 연결성 문제를 야기합니다. 결과적으로, 높은 정확도와 극단적인 계산 효율성 사이의 균형을 맞추며 웨어러블 기기 자체 내에서 "엣지 프로세싱(edge processing)"을 수행할 수 있도록 DNN을 적응시켜야 한다는 비판적인 요구가 존재합니다.

방법론
본 연구는 자원이 제한된 웨어러블 기기에 EEG 분석을 위한 최신 DNN 모델을 배치하는 것의 타당성을 조사합니다. 연구는 200Hz로 리샘플링되고 4초 창(window)으로 분할된 20개의 바이폴라(bipolar) EEG 채널을 포함하는 TUSZ 데이터셋을 활용하여 간질 발작 감지에 초점을 맞춥니다. 방법론은 세 가지 측면의 복잡도 감소 접근 방식을 포함합니다:

1. 모델 선택: 저자들은 ResNet18, ChronoNet, 2D-CNN-LSTM, ResNet-GRU, ResNet-BiLSTM, ResNet-LSTM을 포함한 여러 아키텍처를 평가했습니다. ResNet-LSTM 아키텍처는 정확도와 실행 속도의 균형 측면에서 우수한 성능을 보여 베이스라인으로 선택되었습니다. 이 모델은 공간적 특징 추출을 위한 프런트엔드 ResNet 기반 CNN과 시간적 의존성 학습을 위한 백엔드 LSTM을 활용합니다.
2. 파라미터 양자화(Parameter Quantization): 연구는 메모리 점유율을 낮추고 추론을 가속화하기 위해 모델 파라미터 및 활성화 함수의 비트 폭(bit-width)을 줄이는 방법을 탐구했습니다.
   • 사후 학습 양자화(Post-Training Quantization, PTQ): 저자들은 정적 양자화(PTSQ)와 동적 양자화(PTDQ)를 비교했습니다. 그들은 전체 네트워크에 걸친 균일한 8비트 양자화가 상당한 정확도 저하를 유발한다는 것을 발견했습니다. 세밀한 실험을 통해, CNN 구성 요소는 비트 폭 감소에 매우 민감한 반면, LSTM은 더 견고하다는 것을 확인했습니다. 이를 통해 CNN에는 13비트 정밀도를, LSTM에는 8비트 정밀도를 사용하는 최적의 구성을 식별했습니다.
   • 이진화(Binarization, LQ-Net): 연구는 파라미터를 4비트로 줄이기 위해 비균일 다단계 이진화를 사용하는 최첨단 LQ-Net 방식을 추가로 적용했습니다.
3. 전극 감소(Electrode Reduction): 임상용 EEG 설정은 종종 20개 이상의 전극을 사용하지만 이는 웨어러블에는 부적절하다는 점을 인식하여, 저자들은 입력 채널 수를 줄이는 영향을 조사했습니다. 그들은 진단 정확도를 유지하면서 필요한 최소 세트를 결정하기 위해, 간질 신호에 가장 민감한 전극들을 우선순위로 두어 다양한 전극 조합을 테스트했습니다.

주요 결과
이러한 복잡도 감소 기술의 적용은 성능에 미치는 영향을 최소화하면서 효율성을 크게 개선했습니다:

• 최적의 구성: ResNet-LSTM 모델은 테스트된 아키텍처 중 가장 높은 베이스라인 정확도(90.40% AUROC)를 달성했습니다.
• 양자화 영향:
  • 하이브리드 정밀도 방식(13비트 CNN, 8비트 LSTM)을 사용하여 모델 크기를 15.75 MB에서 **6.4 MB(59% 감소)**로 줄였습니다. 실행 시간은 32비트 베이스라인 대비 3.4배 개선되었습니다.
  • LQ-Net 이진화(4비트)를 적용하면 모델 크기가 2.3 MB로 더욱 줄어들고 실행 속도는 4.1배 빨라졌으나, 약 5%의 AUROC 저하(약 90.33%에서 86.12%로)가 수반되었습니다.
• 전극 감소: 입력 채널을 20채널(전극 19개)에서 **8채널(전극 10개)**로 줄였을 때, 전체 설정에서의 미미한 감소와 함께 **89.23%**의 AUROC를 기록했습니다. 이 구성은 높은 정확도를 유지하면서 데이터 볼륨과 하드웨어 복잡성을 크게 낮춥니다.
• 결합 최적화: 8채널 입력, 16비트 입력 데이터, 13비트 CNN 가중치, 8비트 LSTM/FC 가중치를 결합함으로써, 최종 최적화된 모델은 다음과 같은 성과를 거두었습니다:
  • 네트워크 크기 61% 감소
  • 네트워크 입력 크기 80% 감소
  • 네트워크 추론 시간 70% 가속화
  • AUROC 감소 1% 미만 및 위양성률(FPR) 2.1% 감소

의의 및 주장
본 논문은 웨어러블 기기를 위한 DNN 기반 온라인 EEG 분석을 적응시킬 때 정확도와 복잡도 감소 사이의 명시적인 트레이드오프(trade-offs)를 보여준다고 주장합니다. 저자들은 본 방식이 클라우드 오프로딩에 의존하지 않고도 정교한 딥러닝 모델을 엣지 장치에 배포하는 것이 가능하다는 것을 입증한다고 단언합니다. 최적의 네트워크 구성을 식별하고 적절한 양자화 및 전극 감소를 적용함으로써, 본 연구는 정확도 손실을 1% 미만으로 유지하면서 모델 크기 3배 감소 및 실행 시간 5배 감소를 달성할 수 있음을 보여줍니다.

본 연구의 의의는 의료 사물인터넷(IoMT)에 대한 실질적인 기여에 있습니다. 이는 임상 환경 외부에서 지속적인 경련 감시가 필요한 고위험 환자들에게 필수적인, 가볍고 휴대 가능하며 에너지 효율적인 웨어러블 기기를 제작하기 위한 경로를 제공합니다. 이러한 발전은 자동화된 헬스케어 서비스의 자율성, 프라이버시 및 대응성을 향상시키는 데 매우 중요합니다. 본 논문은 새로운 DNN 아키텍처를 제안하는 것이 아니라, 웨어러블 헬스 기술의 미래 하드웨어 및 소프트웨어 통합을 가이드하기 위해 특정 복잡도 감소 제약 조건 하에서 기존 방법들을 평가하는 것임을 명시하고 있습니다.