Prediction of Challenging Behaviors Associated with Profound Autism in a Classroom Setting Using Wearable Sensors

기술 요약: 웨어러블 센서를 활용한 심층 자폐증 환자의 교실 환경에서 문제 행동 예측

문제 제기
자폐 스펙트럼 장애 (ASD) 를 가진 개인 중 약 4 분의 1 은 '심층 자폐증 (profound autism)'으로 분류되며, 이 하위 집단은 자해 행동 (SIB), 공격성, 초조함 등 빈번하고 강렬한 문제 행동 발작에 취약합니다. 이러한 행동들은 중대한 안전 위험을 초래하고 학습을 방해합니다. 현재 모니터링은 시간이 많이 소요되고 주관적인 인간 관찰이나 비디오 검토에 의존하는데, 이는 종종 행동 발작에 선행하는 미묘한 생리적 전조 현상을 감지할 능력이 부족합니다. 웨어러블 센서가 행동 감지에 적용되어 왔으나, 이전 연구들은 대부분 통제된 실험실 환경에 국한되었으며, 사후 감지에 초점을 맞추고 예측보다는 감지에 치중했으며, 단일 모달리티 데이터나 얕은 아키텍처에 제한되었습니다. 따라서 사전 개입을 가능하게 하기 위해 실제 특수 교육 교실에서 문제 행동을 예측할 수 있는 확장 가능하고 객관적이며 문맥을 인지하는 도구에 대한 시급한 필요성이 존재합니다.

방법론
이 연구는 심층 자폐증을 가진 9 명의 남성 참가자 (연령 10~21 세) 와 함께 디스커버리 센터 (TCFD) 에서 수행되었습니다. 데이터 수집은 손목이나 발목에 착용한 Q-Sensor 밴드 (Affectiva Inc.) 를 사용하여 표준 교실 수업 시간에 이루어졌으며, 30Hz 로 3 축 가속도계, 전기피부반응 (EDA), 피부 온도를 기록했습니다.

• 데이터 주석: 훈련된 행동 분석가들이 비디오 영상을 주석하여 특정 문제 행동을 라벨링했으며, 이를 공격성, 자해 행동 (SIB), 고정 행동 (Stereotypy) 의 세 가지 상위 범주로 그룹화했습니다. 데이터셋은 약 110.7 시간의 라벨링된 다중 모달 시계열 데이터로 구성되었습니다.
• 전처리: 신호는 1 초 스트라이드 (stride) 를 가진 5 초 슬라이딩 윈도우를 사용하여 세그먼트화되었습니다. EDA 신호는 음성 (tonic) 과 음성 (phasic) 성분으로 분해되었으며, 전체 교감 신경 각성을 나타내기 위해 분석에는 음성 성분만 유지되었습니다. 데이터 품질은 적절한 피부 접촉을 보장하기 위해 EDA 유효성에 기반하여 게이트 처리되었습니다.
• 모델 아키텍처: 저자들은 특정 작업에 맞게 미세 조정된 최첨단 파운데이션 모델을 활용한 다중 모달 퓨전 프레임워크를 적용했습니다:
  • 가속도계: Capture-24 에서 사전 훈련된 ResNet 스타일의 HarNet5, DeepConvLSTM, 그리고 트랜스포머 기반 분류기 (Actigraphy Transformer) 를 평가했습니다.
  • EDA: WESAD 데이터셋에서 사전 훈련된 합성곱 오토인코더를 활용했습니다.
  • 피부 온도: 경량 1D CNN 을 사용하여 모델링했습니다.
  • 퓨전 전략: 세 가지 퓨전 접근법을 비교했습니다: (1) 시간적으로 풀링된 특징의 단순한 특징 연결 후 MLP 적용; (2) 시간 정렬된 다중 모달 임베딩에 비전 트랜스포머 (ViT) 를 사용한 시간적 자기 주의; (3) ViT 를 사용하여 모달리티 간 및 시간 단계 간 상호작용을 포착하는 교차 시간 교차 모달 주의.
• 실험 프로토콜: 일반화 능력을 평가하기 위해 피험자별 5 교차 검증 (다중 클래스 작업의 경우 4 교차 검증) 을 사용했습니다. 주요 작업은 문제 행동 대 무행동에 대한 이진 감지/예측이었습니다. 보조 작업은 다중 클래스 예측 (없음, 공격성, SIB, 고정 행동) 이었습니다. 예측 시간 범위는 라벨을 시간적으로 앞당겨 30 초에서 30 분까지 테스트했습니다.

주요 기여

1. 실제 환경 검증: 이 연구는 통제된 실험실 환경을 넘어 자연스러운 특수 교육 교실 환경에서 문제 행동 발작을 예측할 수 있음을 입증했습니다.
2. 다중 모달 파운데이션 모델: 이 연구는 가속도계, EDA, 피부 온도 등 다중 모달 웨어러블 시계열 분석을 위해 사전 훈련된 파운데이션 모델을 미세 조정하는 프레임워크를 도입하여 임상 환경에서 라벨링된 데이터의 부족 문제를 해결했습니다.
3. 사전 예측: 이전의 사후 감지 시스템과 달리, 이 접근법은 문제 행동을 최대 10 분 전에 성공적으로 예측하여 교사의 개입을 위한 구체적인 운영 창구를 확립했습니다.
4. 종합 분석: 이 논문은 모달리티 기여도, 퓨전 전략, 예측 시간 범위의 영향을 상세히 분석하여 가속도계의 우세성을 강조하고 자율 신경 신호의 주변적이지만 보완적인 역할을 정량화했습니다.

결과

• 감지 성능: 이진 감지 작업에서 단순한 특징 연결 접근법이 AUC-ROC 0.793으로 가장 좋은 성능을 보였습니다. 단일 모달리티 모델 중 가속도계 기반 HarNet5 모델이 AUC-ROC 0.778 로 EDA 및 피부 온도 모델을 능가하며 가장 우수하게 작동했습니다.
• 예측 성능: 시스템은 평균 AUC-ROC 0.78(95% CI ±0.10) 로 문제 행동을 최대 10 분 전에 성공적으로 예측했습니다. 예측 시간 범위가 30 분으로 증가함에 따라 성능은 점차 감소했으나 0.75 이상을 유지했습니다.
• 모달리티 중요도: MM-SHAP 분석은 가속도계가 결정에 약 90% 기여하는 지배적인 예측 변수임을 밝혔으며, EDA 와 피부 온도는 각각 약 8% 와 약 2% 의 주변 기여를 제공했습니다. Grad-CAM 시각화는 모델의 주의가 행동에 앞선 운동이 풍부한 구간과 일치함을 확인했습니다.
• 다중 클래스 한계: 4 클래스 예측 작업 (없음, 공격성, SIB, 고정 행동) 은 AUC-ROC 0.65 를 기록했으며, 이는 거의 전적으로 '없음' 클래스를 감지하는 능력에 기인했습니다. 극심한 클래스 불균형으로 인해 모델은 희귀한 행동 유형 (공격성 및 SIB) 을 구별하지 못했습니다. 더 거친 3 클래스 그룹화 (고위험 대 저위험 대 없음) 는 AUC-ROC 0.53 을 산출하여, 사용 가능한 데이터 규모로는 세밀한 행동 유형 구별이 현재 불가능함을 시사했습니다.
• 피험자별 변동성: 성능은 피험자 간에 현저히 달랐으며 (AUC-ROC 0.65~0.90), 연령이나 센서 부착 위치보다는 라벨링된 행동 사건의 밀도와 더 강하게 상관관계를 보였습니다.

의의 및 주장
이 논문은 그 결과가 사전 개입 교실 시스템 개발을 위한 '구체적인 기반'을 확립한다고 주장합니다. 0.78 의 AUC-ROC 로 10 분의 예측 시간 범위를 달성함으로써, 이 시스템은 발작이 악화되기 전에 교사가 개입하여 안전 위험을 최소화할 수 있는 실용적인 창구를 제공합니다. 저자들은 안전을 보장하기 위해 정밀도 (0.31) 보다 민감도 (재현율 0.55) 를 우선시하지만, 놓친 사건의 비용이 오경보 비용보다 큰 특수 교육 맥락에서 이러한 절충은 임상적으로 방어 가능하다고 강조합니다.

이 연구는 다중 모달 웨어러블 센싱이 심층 자폐증의 문제 행동을 예측하기 위한 실현 가능한 접근법이라고 결론지었습니다. 그러나 저자들은 현재 한계에 대해 겸손하게 언급하며, 시스템이 특정 행동 유형을 구별하지 못하는 것은 데이터 부족과 클래스 불균형의 직접적인 결과라고 지적했습니다. 그들은 향후 일반화 및 세밀한 예측의 개선은 더 크고 다양한 데이터셋과 추가적인 문맥 신호 (예: 비디오, 활동 일정) 의 통합을 필요로 한다고 주장합니다. 이 연구는 행동 예측 문제를 완전히 해결했다고 주장하기보다는, 특수 교육에서 가장 소외된 인구 중 하나를 위한 확장 가능하고 데이터 기반의 사전 지원으로 나아가는 중요한 단계임을 입증합니다.