A Neurosymbolic Framework for Interpretable Skeleton-Based Seizure Detection via Concept-Driven Logical Reasoning

기술 요약: 해석 가능한 개념 기반 논리 추론을 통한 골격 기반 발작 탐지를 위한 뉴로심볼릭 프레임워크

문제 정의

비디오 기반 발작 탐지는 뇌전증 관리에 있어 매우 중요하며, 뇌파(EEG)를 대체할 수 있는 비침습적 대안을 제공합니다. 그러나 기존의 딥러닝 접근 방식은 다음과 같은 두 가지 주요 한계점에 직면해 있습니다:

1. 해석 가능성 부족: 현재의 최첨단(SOTA) 모델들은 "블랙박스" 형태로 작동합니다. 임상 뇌전증 전문의의 의사결정은 국제뇌전증연맹(ILAE)에 의해 정의된 특정 운동 반사(강직성 자세 또는 클로닉성 경련과 같은 관찰 가능한 징후)에 대한 이해에 기반합니다. 이러한 기저의 운동 징후를 설명하지 못한 채 발작을 탐지하는 모델은 임상적 가치가 제한적이며 도입을 저해합니다.
2. 높은 오탐율(False Positive Rates): 대부분의 방법은 이진 분류(발작 vs 비발작) 형식을 채택합니다. 이는 이질적인 정상 활동(예: 환자가 자세를 바꾸는 동작)을 하나의 부정적 클래스로 통합함으로써, 모델이 움직임이 많은 비발작 활동을 발작으로 혼동하게 만들어 높은 오탐 발생을 초래합니다.

방법론

저자들은 신경 인지와 심볼릭 추론을 통합하여 이러한 격차를 해소하는 뉴로심볼릭 프레임워크를 제안합니다. 이 프레임워크는 세 단계로 작동합니다:

1. 데이터 전처리 및 미세 분류(Fine-Grained Labeling)

• 환자 중심 포즈 추출: 뇌전증 모니터링 유닛(EMU) 비디오의 독특한 어려움(예: 누워 있는 환자, 침구에 의한 폐쇄)을 처리하기 위해, 저자들은 2단계 파운데이션 모델 파이프라인을 사용합니다. SAM 3가 환자를 분할(segmentation) 및 추적하고, Sapiens-2B가 133개의 COCO-WholeBody 키포인트를 추출합니다. 이는 사전 학습된 그래프 합성곱 네트워크(GCN) 백본을 활용할 수 있도록 표준 25-관절 NTU RGB+D 형식으로 매핑됩니다.
• 미세 활동 하위 분류: 이진 "비발작" 레이블 대신, 저자들은 임상 프롬프트가 포함된 시각-언어 모델(Qwen3-VL)을 사용하여 비발작 세그먼트를 8개의 별도 정상 활동 카테고리로 하위 분류합니다. 이는 인간 검수자에 의해 검증됩니다. 이는 오탐을 줄이기 위한 미세한 변별적 감독(discriminative supervision)을 제공합니다.

2. 개념 뱅크(Concept Bank) 구축

ILAE 운동 반사와 정상 활동 프리미티브에 근거한 통합 개념 뱅크($C$)가 구축됩니다:

• 정상 활동 개념: NTU RGB+D 120 데이터셋에서 유래되었으며, 동작을 신체 부위 그룹으로 분해하고 LLM을 사용하여 동사-방향-수식어 패턴을 생성함으로써 74개의 개념(공간 53개, 시간 21개)을 생성했습니다.
• 발작 특화 개념: ILAE 용어집에서 직접 유래된 19개의 공간 개념(예: arm_tonic_posture, head_versive_deviation)은 다양한 발작 유형(강직성, 클로닉성, 근간대성 등)을 포괄합니다.
• 공유 시간적 개념: 움직임 역학을 포착하기 위해 21개의 시간적 개념은 두 체제 모두에서 공유됩니다.
• 연관 행렬(Association Matrix): LLM이 동작과 이러한 개념들을 연결하는 이진 연관 행렬을 생성하며, 변별력을 확보하기 위해 정제 과정을 거칩니다.

3. 뉴로심볼릭 추론 프레임워크

핵조직 아키텍처는 네 단계를 통해 골격 시퀀스를 처리합니다:

1. 시공간 인코더: GCN 백본(Hyper-GCN)이 골격 시퀀스에서 움직임 특징을 추출합니다.
2. 개념 병목(Concept Bottleneck): 특징들이 이진 개념 활성화($\hat{c}$)로 투영됩니다. 모델은 최종 결정을 내리기 전에 특정 움직임 프리미티브(예: "팔의 뻣뻣해짐")의 존재 여부를 예측하도록 감독됩니다.
3. 미분 가능한 논리 계층: 스택형 결합(AND) 및 선택(OR) 계층이 이진 개념 활성화를 불리언 규칙(Boolean rules)으로 구성합니다. 학습을 가능하게 하기 위해, 이산적 불리언 연산은 연속적 완화(Straight-Through Estimator 사용)로 대체되어, 추론 시에는 이산적 가중치를 유지하면서도 그래디언트 흐름을 허용합니다.
4. 규칙 집계: 선형 계층이 트리거된 규칙들을 클래스 로짓(logits)으로 집계합니다. 이를 통해 **3단계 감사 추적(audit trail)**을 생성합니다:
   • 개념 설명: 어떤 운동 프리미티브가 탐지되었는가.
   • 규칙 설명: 개념들이 어떻게 논리적으로 구성되었는가.
   • 규칙 기여도: 최종 결정에서 각 규칙의 가중치는 얼마인가.

주요 기여

1. 발작 탐지를 위한 최초의 뉴로심볼릭 프레임워크: 본 논문은 ILAE 기반의 움직임 개념에 대해 미분 가능한 불리언 규칙을 학습하는 최초의 비디오 기반 발작 탐지 접근 방식을 제시하여, 딥러닝과 임상적 추론 사이의 간극을 직접적으로 메웁니다.
2. 미세 조정된 골격 기반 데이터셋: 저자들은 환자 중심의 포즈 추출 파이프라인과 VLM 보조 주석을 통해 두 개의 공개 벤치마크(SAHZU 및 IEEE)를 8개의 정상 활동 하위 클래스로 확장하였으며, 모든 주석과 코드를 공개합니다.
3. 미세 감독의 경험적 검증: 미세한 정상 활동 감독과 뉴로심볼릭 추론을 결부터 결합하는 것이 오탐을 크게 줄이면서도 해석 가능성을 유지한다는 것을 입증했습니다.

실험 결과

프레임워크는 SAHZU 및 IEEE 발작 비디오 데이터셋에서 18개의 SOTA 베이스라인(I3D, R3D 및 다양한 GCN 기반 골격 방법 포함)과 비교 평가되었습니다.

• 성능:
  • SAHZU: **89.78%의 민감도(sensitivity)**와 **시간당 0.06회의 오탐(FDR)**을 달성했습니다. 이는 가장 강력한 골격 베이스라인인 HyperGCN 대비 민감도는 +7.37%, FDR은 68% 감소한 수치입니다.
  • IEEE: 85.27%의 민감도와 0.09 FDR을 달성하여, 최상의 베이스라인보다 민감도는 +5.74%, FDR은 63% 더 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • 사전 학습: NTU-RGB+D 120에서의 사전 학습은 필수적이었습니다. 이를 제거하면 민감도가 11.16% 하락했습니다.
  • 다중 레이블 공식화: 이진 분류에서 다중 레이벨(미세) 분류로 전환했을 때 민감도가 6.47% 향상되었고 FDR은 3.5배 감소했습니다.
  • 시간적 개념: 시간적 개념을 포함하는 것이 공간적 개념만 사용할 때보다 민감도를 9.17 포인트 높였습니다.
• 해석 가능성: 비교 대상인 다른 모든 방법과 달리, 이 프레임워크는 탐지된 운동 프리미티브, 논리 규칙, 규칙 기여도로 모든 예측을 분해하여 완전한 해석 가능성을 제공합니다.

의의 및 주장

저자들은 본 연구가 뇌전증 관리에서 AI의 임상적 적용을 위한 중요한 단계라고 주장합니다. 모델의 내부 추론을 확립된 임상 가이드라인(ILAI 세밀도)과 일치시킴으로써, 이 프레임워크는 불투명한 예측이 아닌 감사 가능한 의사결정을 제공합니다. 발작 탐지를 특정 논리 규칙(예: "양측 사지 강직" AND "리드미컬한 경련")으로 분해할 수 있는 능력은 임상의가 자신의 전문 지식과 모델의 추론을 검증할 수 있게 합니다. 또한, 미세한 활동 모델링을 통해 오탐을 줄이는 것은 실제 병원 환경에서 자동 발작 탐지를 배포하는 데 있어 주요한 실무적 장벽을 해결합니다. 저자들은 이를 뉴로심볼릭 AI가 이 특정 영역에 적용된 첫 번째 탐색으로 규정하며, 발작 하위 분류 및 더 넓은 임상 검증을 위한 토대를 마련했습니다.