기술 요약: 자폐 관련 자기 자극적 손 움직임의 시퀀스 기반 분류에서 프레임 레이트의 효과 평가

문제 정의

자폐 스펙트럼 장애(ASD)는 전 세계적으로 약 7,500만 명에게 영향을 미치고 있으나, 확장 가능한 원격 행동 선별 방법은 여전히 제한적이다. 현재의 진단은 노동 집약적인 다회 방문 임상 평가(예: ADOS-2)에 의존하며, 이는 저자원 환경에서 병목 현상을 초ら한다. 비디오로부터 자기 자극 행동("stimming")을 자동 인식하는 것은 잠재적인 해결책을 제공할 수 있지만, 계산적 접근 방식은 두 가지 주요 과제에 직면해 있다:

1. 데이터 부족: SSBD(Self-Stimulatory Behavior Diagnosis) 데이터셋과 같이 라벨링된 공개 데이터셋은 매우 작다(세 가지 행동 범주에 걸쳐 75개의 비디오).
2. 구조적 한계: 기존 연구는 정적 프레임이나 짧은 클립에 적용된 합성곱 신경망(CNN)에 크게 의존해 왔으며, 62~76%의 낮은 정확도를 기록했다. 이러한 모델들은 반복적인 운동 정형성(motor stereotypies)에 내재된 시간적 구조를 활용하는 데 실패하는 경우가 많다.

또한, 최적의 시간적 샘플링 비율에 대한 미해결 질문이 존재한다. 모든 프레임에서 특징을 추출하는 것은 중복을 초래할 수 있는 반면, 공격적인 다운샘플링은 진단적으로 유효한 역동성을 상실할 위험이 있다. 더욱이, 특정 데이터 증강 전략이 임상 행동 비디오에 미치는 효과가 체계적으로 규명되지 않았다.

방법론

본 연구는 팔 흔들기(arm flapping), 머리 치기(head banging), 회전하기(spinning)를 보이는 아동들의 주석이 달린 75개 비디오로 구성된 SSBD 데이터셋을 활용한다. 연구는 두 가지 상호 보완적인 실험 세트로 나뉜다:

실험 1: 시퀀스 기반 구조 및 샘플링 레이트

• 데이터셋 서브셋: 팔 흔들기 행동을 포함하는 50개의 비디오.
• 특징 추출: 신체 키포인트로부터 포즈 기반 기하학적 특징을 추출하였다.
• 시간적 샘플링: 6가지 간격으로 특징을 추출하였다: 매 1, 5, 15, 30, 45, 90 프레임마다.
• 아키텍처: 두 가지 순차 모델을 학습시키고 비교하였다:
  • LSTM: 단일 장기 단기 메모리(Long Short-Term Memory) 레이어와 드롭아웃, 그리고 밀집 소프트맥스 출력으로 구성됨.
  • GRU: 업데이트 및 리셋 게이트를 사용하는 유사한 구성의 게이트 순환 유닛(Gated Recurrent Unit) 레이어(LSTM보다 파라미터 수가 적음).
• 평가: 정확도, 정밀도, 재현율 및 손실을 측정하기 위해 80-20 훈련-테스트 분할을 사용하였다.

실험 2: 데이터 증강 및 전이 학습

• 데이터셋: 전체 SSBD 데이터셋(75개 비디오, 3개 클래스).
• 파이프라인: Kinetics-400으로 사전 학습된 I3D(Inflated 3D ConvNet)가 특징 추출 백본 역할을 수행한다. 이중 스트림 입력(RGB 배열 및 광학 흐름 벡터)이 처리된다.
• 증강 전략: 열 가지 방법이 적용되었다: 수평 뒤집기(Horizontal flip), 수직 뒤집기(Vertical flip), 시간적 맞춤(Temporal fit, 200 프레임), 시간적 탄성 변형(Temporal elastic transformation), 역순(Inverse order), 탄성 변형(Elastic transformation), 솔트 노이즈(Salt noise), 페퍼 노이즈(Pepper noise), 다운샘플링(Downsampling), 업샘플링(Upsampling).
• 평가 프로토콜:
  • 단독 실행(Standalone): 각 증강을 개별적으로 적용하여 고립된 영향을 측정하였다.
  • 아블레이션(Ablation, Leave-One-Out): 모든 증강을 동시에 적용하되 하나만 제외하여, 각 기술의 한계 기여도를 식별하였다.
• 개인화 학습(Personalized Learning): 개별 비디오 내에서 시간적으로 분할된 세그먼트(80% 훈련, 20% 테스트)를 사용하여 피험자별 모델을 학습시켜 비디오 내 일관성을 평가하는 프로토콜이다.

주요 결과

아키텍처 및 샘플링 성능

• 순차 모델의 우수성: 두 LSTM 및 GRU 아키텍처 모두 기존 CNN 베이스라인(62–76%)을 크게 상회하였다.
• 최적의 샘플링 레이트: 두 아키텍처 모두에서 최고 성능은 15프레임 샘플링 간격에서 나타났다.
  • GRU: **98.75%**의 최고 정확도를 달성하였다.
  • LSTM: **97.5%**의 정확도를 달성하였다.
• 성능 저하:
  • 매 프레임 샘플링(간격 1)은 낮은 정확도(LSTM 90.0%, GRU 92.5%)를 보였는데, 이는 노이즈와 중복된 시간적 정보에 대한 과적합 때문인 것으로 보인다.
  • 90프레임마다 샘플링(비디오당 단일 프레임)할 경우 정확도는 약 81%를 기록하였으며, 이는 시간적 역동성의 상실을 반영한다.
• 효율성: GRU 모델은 줄어든 파라미터 수 덕분에 높은 정확도와 빠른 학습 시간 사이의 최적의 균형을 제공하였다.

데이터 증강 결과

• 단독 성능: 공간적 증강이 시간적 증강보다 우수한 성능을 보였다. 수평 뒤집기가 가장 높은 단독 정확도(48.78%)를 기록했으며, 다운샘플링(43.90%)이 그 뒤를 이었다. 시간적 증강(예: 역순, 시간적 탄성 변형)은 일반적으로 성능이 낮았다.
• 아블레이션 연구: 업샘플링이 단일 가장 중요한 구성 요소로 식별되었다. 업샘플링을 제외했을 때 가장 높은 훈련 손실(5.0101)이 발생하였으며, 이는 작은 데이터셋에서 유효한 훈련 세트를 확장하는 데 있어 업샘플링의 필요성을 나타낸다. 수평 뒤집기를 제외했을 때 두 번째로 높은 성능 저하가 나타났다.
• 맥락: 세 가지 클래스 증강 작업에서의 절대 정확도는 48.78%로 정점을 찍었으며, 이는 원래의 SSBD SVM 베이스라인(47.1%)과 유사하지만, 세 방향 분류 작업의 난이도가 높아졌음을 반영한다.

개인화된 머신러닝

• 시간적으로 분할된 비디오 세그먼트에 대해 피험자별 모델을 훈련시킨 결과 평균 손실은 **1.84 (SD 0.79)**였다. 낮은 표준 편차는 개별 행동 패턴이 단일 녹화 내에서 충분히 일관되어 비디오 내 일반화를 지원할 수 있음을 시사한다.

의의 및 기여

본 논문은 데이터가 부족한 임상 영역에서 비디오 기반 도구를 개발하는 연구자들에게 구체적이고 실행 가능한 지침을 제공한다고 주장한다. 구체적인 기여는 다음과 같다:

1. 아키텍처 및 샘플링 가이드라인: 시퀀스 기반 모델(LSTM/GRU)이 자폐 행동 분류에서 CNN 베이스라인을 능가하며, 15프레임 샘플링 간격이 시간적 역동성을 포착하고 노이즈를 필터링하는 데 최적의 균형을 제공함을 입증하였다. 이는 프레임 단위 처리와 비교했을 때 배포 시 계산 비용을 93%까지 절감할 수 있음을 시사한다.
2. 증강 특성화: 열 가지 증강 전략을 체계적으로 평가하여, 수평 뒤집기가 가장 효과적인 단독 방법이며 업샘플링이 소규모 행동 데이터셋의 파이프라인 성능에 있어 가장 핵심적인 요소임을 식별하였다.
3. 개인화 접근 방식 검증: 시간적으로 분할된 비디오 세그먼트에 대해 훈련된 피험자별 모델이 일관된 예측을 생성함을 보여줌으로써, 모델이 특정 아동의 초기 행동에 적응할 수 있는 임상적 캘리브레이션 경로를 제시하였다.

저자들은 이러한 결과가 유망하지만, 작은 데이터셋 크기가 광범위한 ASD 인구에 대한 일반화 가능성에 대한 통계적 확실성을 제한한다는 점을 언급하였으며, 향후 연구에서는 교차 검증을 사용하고 트랜스포머(Transformer)와 같은 더 복잡한 아키텍처를 탐색해야 한다고 밝혔다.