EEG Signal Variance as a Biomarker for Ictal State Classification: Subject-Level Validation of a Random Forest Classifier using the University of Bonn Dataset

기술 요약: 발작 상태 분류를 위한 생체 지표로서의 EEG 신호 분산

문제 정의
뇌전증(간질)은 특히 전문적인 EEG 해석에 대한 접근성이 제한적인 저소득 및 중소득 국가에서 상당한 글로벌 부담을 초래합니다. 자동화된 머신러닝(ML)이 확장 가능한 발작 탐지의 경로를 제시하고 있으나, 널리 사용되는 University of Bonn 데이터셋을 대상으로 한 기존 연구 중 다수는 에포크(epoch) 단위의 데이터 분할로 인해 발생하는 "데이터 누수(data leakage)"(동일한 피험자의 데이터가 훈련 세트와 테스트 세트에 모두 포함되는 현상)와 같은 방법론적 결함을 안고 있습니다. 또한, 기존 문헌들은 이 데이터셋의 클래스(class)에 대한 임상적 성격을 오해하여 기술하는 경우가 있었습니다. 본 연구는 활성 발작(ictal state)과 발작이 없는 간기(interictal state, 발작 발생 구역 내에서 기록된 상태)를 구분하기 위해, 방법론적으로 엄격한 피험자 수준 검증을 거친 EEG 생체 지표 및 분류기를 개발해야 할 필요성을 다룹니다.

연구 방법론
본 회고적 진단 정확도 연구는 STARD 2015 및 TRIPOD + AI 보고 가이드라인을 준수하였습니다. 분석에는 5개의 임상 클래스에 걸쳐 500명의 피험자로부터 얻은 11,500개의 1초 단위 EEG 에포크로 구성된 University of Bonn 뇌전증 발작 인식 데이터셋을 활용하였습니다.

• 데이터 분할: 데이터 누수를 제거하기 위해, 본 연구는 엄격한 피험자 수준 분할(subject-level partitioning)을 적용하였습니다. 80/20 GroupShuffleSplit을 사용하여 훈련 세트(195명)와 중복이 전혀 없는 홀드아웃 테스트 세트(49명, 995개 에포크)를 생성하였습니다. 또한, 내부 일관성을 평가하기 위해 10-겹 피험자 층화 GroupKFold 교차 검증을 수행하였습니다.
• 특징 분석: 본 연구는 신호 분산(1초 에포크 내 진폭 값의 분산)이 판별 가능한 생체 지표 역할을 한다는 가설을 테스트하였습니다. 분산은 주파수 영역 변환 없이 원시 시계열 데이터에 대해 계산되었습니다. 통계적 유의성은 Kruskal–Wallis H 검정을 사용하여 평가하였으며, 이후 Bonferroni 교정을 적용한 쌍별 Mann–Whitney U 검정을 수행하였고, 효과 크기는 Cliff's delta를 사용하여 정량화하였습니다.
• 모델 개발: 각 에포크의 178개 원시 진폭 시점(time points)에 대해 학습된 랜덤 포레스트(Random Forest, RF) 분류기(100개 트리, Gini 기준)를 훈련시켰습니다. 보수적인 벤치마크를 유지하기 위해 하이퍼파라미터 튜닝은 적용하지 않았습니다. RF 모델은 결정 트리(Decision Tree) 및 로지스틱 회귀(Logistic Regression, 표준화된 특징 사용) 모델이라는 두 가지 베이스라인과 비교되었습니다.
• 평가 지표: 성능은 정확도, 민감도, 특이도, 양성/음성 예측도, F1-score, AUC-ROC, 평균 정밀도(Average Precision), Brier score를 통해 평가되었으며, 95% 신뢰 구간은 부트스트래핑(2,000회 리샘플링)을 통해 도출되었습니다.

주요 기여

1. 데이터셋 용어 수정: 본 연구는 2번 클래스(Subset D)가 "뇌종양 부위"가 아니라 발작이 없는 간기 동안의 뇌전증 발생 구역(epileptogenic zone)에서의 EEG임을 명시하여, 이차 문헌에서 흔히 나타나는 잘못된 기술을 바로잡았습니다.
2. 방법론적 엄격성: 피험자 수준의 데이터 분할을 구현함으로써, 본 연구는 기존 연구에서 만연했던 데이터 누수 문제를 해결하였으며, 이를 통해 성능 지표가 특정 개인에 대한 과적합이 아닌 미지의 피험자에 대한 실제 일반화 능력을 반영하도록 보장하였습니다.
3. 생체 지표 검증: 본 연구는 EEG 신호 분산이 발작 상태와 비발작 상태를 구분하는 통계적으로 견고하고 계산 비용이 적은 생체 지표임을 공식적으로 검증하였습니다.
4. 벤치마킹: 누수가 없는 조건 하에서 앙상블 방법(RF)을 선형 및 단일 트리 베이스라인과 엄격하게 비교하였습니다.

결과

• 신호 분산: Kruskal–Wallis 검정 결과, 모든 다섯 가지 임상 상태 간에 매우 유의미한 차이가 확인되었습니다 ($H = 6,078.47, p < 0.0001$). 발작 에포크(Class 1)는 115,518 $\mu V^2$의 평균 분산을 보였으며, 이는 비발작 상태보다 16배에서 72배 더 높았습니다. 쌍별 비교에서는 발작 상태와 다른 모든 클래스 간에 큰 효과 크기(Cliff's $\delta$ 범위: 0.943 ~ 1.000)가 나타났습니다.
• 분류기 성능: 피험자 수준의 홀드아웃 테스트 세트에서 랜덤 포레스트 분류기는 다음의 성능을 달성하였습니다:
  • 정확도: 96.2% (95% CI: 95.0–97.3%)
  • AUC-ROC: 0.997 (95% CI: 0.995–0.998)
  • 민감도: 98.3% (95% CI: 97.0–99.4%)
  • 특이도: 94.3% (95% CI: 92.3–96.2%)
• 베이스라인 비교: RF는 결정 트리(정확도 89.5%)와 로지스틱 회귀(정확도 60.1%)를 실질적으로 압도하였으며, 이는 원시 시계열 특징들이 선형적으로 분리되지 않으며 비선형 결정 경계가 필요함을 시사합니다.
• 교차 검증: 10-겹 피험자 층화 교차 검증 결과 평균 정확도는 94.7% ($\pm$ 6.0%)를 기록하였으며, 이는 초기 홀드아웃 분할에서 가려졌던 피험자 간 변동성을 드러냈습니다. 특히 특정 폴드(fold)에서 낮은 정확도(83.0–83.3%)를 보였는데, 이는 피험자 수준 검증의 중요성을 강조합니다.

의의 및 주장
본 논문은 EEG 신호 분산이 거의 최대치에 가까운 효과 크기를 가지며, 발작 상태와 비발작 상태를 구분할 수 있는 통계적으로 견고하고 계산 비용이 적은 특징임을 주장합니다. 원시 시계열 특징으로 학습된 랜덤 포레스트 분류기는 피험자 누수가 없는 프레임워크 내에서 높은 내부 검증 정확도를 입증하였습니다.

그러나 저자들은 임상 배포에 대해서는 신중한 입장을 유지합니다. 저자들은 이러한 결과가 "높은 내부 검증 정확도"를 나타내는 것이지, 입증된 임상적 성능을 의미하는 것은 아님을 강조합니다. 본 연구는 Bonn 데이터셋이 통제된 실험실 환경에서 기록된 반면, 실제 임상 EEG는 더 노이즈가 많고 이질적이라는 점을 명시적으로 밝히고 있습니다. 따라서 저자들은 본 연구의 결과가 경량 ML 기반 EEG 분석이 의사 결정 지원 프레임워크로서 가질 수 있는 잠재력을 뒷받침하지만, 임상 현장에 배치하기 전에는 다양한 임상 인구 집단을 대상으로 한 외부 전향적 검증이 필수적인 전제 조건이라고 결론짓습니다.