A Standardized Benchmark for Skeleton-Based Rehabilitation Assessment Using Deep Learning

기술 요약: 딥러닝을 이용한 골격 기반 재활 평가를 위한 표준화된 벤치마크

문제 정의
인간 움직임의 자동화된 평가는 환자의 경과와 운동 수행 능력을 객적하게 평가할 수 있는 재활 분야에서 매우 중요합니다. 그러나 재활 동작 평가는 일반적인 인간 활동 인식(Human Activity Recognition)과는 근본적으로 다릅니다. 활동 인식은 어떤 동작(예: 걷기 vs 달리기)이 수행되는지를 분류하는 반면, 재활 평가는 특정 동작의 '질'을 평가하며, 이상적인 동작으로부터 발생하는 미세한 편차를 탐지해야 합니다.

딥러닝과 비디오 기반 골격 추출 기술의 발전에도 불구하고, 이 분야에는 표준화된 벤치마크, 일관된 평가 프로토콜, 그리고 재현 가능한 방법론이 부족합니다. 기존 연구들은 종종 제한된 데이터셋(특히 KIMORE 및 UI-PRMD)에 의존하고, 일관되지 않은 실험 프로토콜(다양한 데이터 분할 및 지표 사용)을 사용하며, 소스 코드를 공개하지 않는 경우가 빈번합니다. 이러한 통합 프레임워크의 부재는 다양한 인구 집단 및 운동 유형에 걸친 접근 방식들을 객관적으로 비교하거나, 결과를 재현하거나, 일반화 가능성을 평가하는 데 걸림돌이 되고 있습니다.

방법론
이러한 격차를 해소하기 위해 저자들은 세 가지 핵심 축을 중심으로 한 포괄적인 벤칭마킹 프레임워크를 제안합니다.

1. Rehab-Pile 아카이브: 저자들은 기존의 9개 공공 저장소를 "Rehab-Pile"이라는 이름의 통합 아카이브로 집계하였습니다. 이 아카이브는 각 저장소 내의 특정 운동을 독립된 데이터셋으로 취급하여 총 60개의 데이터셋을 구성합니다.

   • 39개의 분류(Classification) 데이터셋: 이진 및 다중 클래스 작업(예: 올바른 수행 vs 잘못된 수행, 또는 특정 오류 유형)을 포함합니다.
   • 21개의 외적 회귀(Extrinsic Regression) 데이터셋: 연속적인 점수 예측(예: 심각도 수준 또는 수행 점수)을 포함합니다.
   • 데이터는 주로 Kinect 센서나 OpenPose를 통해 캡처된 비디오 스트림(RGB 또는 RGB-D)에서 추출된 골격 시퀀스(관절 좌표)로 구성됩니다.

2. 통합 평가 프레임워크: 본 연구는 60개 데이터셋 전체에 대해 엄격하게 표준화된 프로토콜 하에 9개의 딥러닝 아키텍처를 평가합니다.

   • 아키텍처: 모델은 네 가지 범주를 포괄합니다: 합성곱 기반(FCN, H-Inception, LITEMV, DisjointCNN), 순환 기반(MotionGRU, ConvLSTM), 셀프 어텐션 기반(VanTran, ConvTran), 그리고 그래프 기반(STGCN).
   • 데이터 전처리: 모든 시퀀스는 데이터셋당 공통된 프레임 수로 재샘플링되며, (학습 데이터에 대해서만 계산된) min-max 스케일링을 통해 정규화됩니다. 또한, STGCN(원시 골격 시퀀스 사용)을 제외한 대부분의 모델을 위해 관절 및 차원 축을 평탄화(flattening)하여 다변량 시계열 형식으로 변환됩니다.
   • 실험 프로토콜: 데이터 누수를 방지하기 위해 피험자 간 분할(cross-subject split)을 강제합니다. 폴드(fold) 수는 피험자 수에 따라 결정됩니다(피험자가 10명 이상이면 5-fold, 그 외에는 leave-one-subject-out 적용).
   • 앙상블: 결과의 안정성을 위해, 각 모델은 폴드당 서로 다른 무작위 초기값으로 5회 학습되며 예측값은 평균화됩니다.
   • 지표: 분류는 정확도(Accuracy)와 균형 정확도(Balanced Accuracy)로 평가합니다. 회귀는 평균 절대 오차(MAE)와 평균 제곱근 오차(RMSE)를 사용합니다. 효율성은 훈련/추론 시간, 파라미터 수, FLOPs를 통해 측정됩니다.

3. 통계 분석: 성능 비교에는 다중 비교 행렬(MCM)과 윌콕슨 부호 순위 검정(Wilcoxon Signed-Rank Test)을 사용하여 모델 간 성능 차이의 통계적 유의성($p < 0.05$)을 결정합니다.

주요 결과
광범적인 벤치마킹을 통해 다음과 같은 결과가 도출되었습니다.

• 회귀 성능: LITEMV(Light Inception with boosTing tEchniques MultiVariate)가 외적 회귀에서 통계적으로 유의미하게 가장 우수한 성능을 보였으며, MAE와 RMSE 모두에서 경쟁 모델들을 앞질렀습니다. 저자들은 이를 LITEMV가 깊이별 분리 합성곱(DWSCs)과 수작업 필터를 사용하여 시공간적 상관관계를 효과적으로 포착하기 때문이라고 설명합니다. ConvTran(합성곱 임베딩을 갖춘 셀프 어텐션 모델)이 2위를 차지하였으며, 이는 회귀 작업에서 장기 의존성이 중요하다는 것을 시사합니다.
• 분류 성능: 분류 작업에서도 LITEMV가 가장 높은 평균 정확도(75.49%)와 균형 정확도를 달성했으나, VanTran(Vanilla Transformer)과의 차이는 통계적으로 유의미하지 않았습니다($p > 0.05$). MotionGRU는 불균형한 데이터셋에서 우수한 성능을 보이며 균형 정확도에서 2위를 차지했습니다. 특히, STGCN(Spatio-Temporal Graph Convolution Network)은 회귀에서는 준수한 성능을 보였으나 분류에서는 최하위를 기록하여, 이러한 조건 하의 재활 분류 작업에는 GCN 기반 아키텍처가 덜 적합할 수 있음을 시사했습니다.
• 효율성 대 성능 트레이드오프: LITEMV는 최상위권의 성능을 제공하면서도 가장 적은 파라미터 수와 FLOPs를 보유하여 전반적으로 가장 우수한 트레이드오프를 보여주었습니다. MotionGRU는 추론 속도가 가장 빨랐고, ConvTran은 훈련 속도가 가장 빨랐습니다. VanTran은 시퀀스 길이에 따른 이차 함수적 FLOP 스케일링과 다수의 어텐션 레이어로 인해 가장 많은 계산 비용이 소요되었습니다.
• 모델 특성: 결과는 단순한 CNN(FCN)과 표준 LSTM(ConvLSTM)이 더 전문화된 아키텍처에 비해 성능이 떨어진다는 것을 나타냅니다. LITEMV와 ConvTran의 성공은 국소적 시간 패턴(합성곱을 통해)과 전역적 의존성(어텐션 또는 순환 메모리를 통해)을 모두 포착하는 것의 중요성을 강조합니다.

의의 및 주장
본 논문은 다음과 같은 점을 통해 자동화된 재활 평가 연구의 견고한 토대를 마련했다고 주장합니다.

1. 분야의 표준화: 60개의 다양한 데이터셋을 포함하는 최초의 통합 아카이브(Rehab-Pile)와 재현 가능한 평가 프로토콜을 제공함으로써 연구 간 공정한 비교를 가능하게 합니다.
2. 최첨단 기술(SOTA) 식별: LITEMV가 특히 회귀 작업에서 현재 가장 효과적이고 효율적인 아키텍처임을 입증하는 동시에, 분류 작업을 위한 트랜스포머 기반 모델의 잠재력을 강조합니다.
3. 재현성 증진: 투명성을 높이고 신뢰할 수 있고 접근 가능하며 개인화된 재활 솔루션의 개발을 가속화하기 위해 모든 집계된 데이터셋, 소스 코드 및 상세한 실험 결과를 커뮤니티에 공개합니다.

저자들은 현재 LITEMV가 선두를 달리고 있으나, 분류 작업의 평균 정확도가 약 75% 수준에 머물러 있다는 점을 들어 성능을 더욱 향상시키기 위한 모델 아키텍처의 지속적인 탐구가 필요함을 강조합니다.