A Point Cloud Transformer for Remote Monitoring and Automated Assessment of Physical Rehabilitation Exercises

기술 요약: 원격 모니터링 및 물리 재활 운동의 자동 평가를 위한 포인트 클라우드 트랜스포머

문제 정의
물리 재활 운동은 파킨슨병이나 요통과 같은 질환을 가진 환자의 기능 회복에 매우 중요합니다. 그러나 효과적인 재활을 위해서는 정밀한 동작 수행이 필요하지만, 전문가의 감독 없이는 이를 유지하기가 어렵습니다. 현재 약 90%의 환자들이 전문적인 감독 없이 집에서 운동을 수행하고 있으며, 이는 운동 품질 저하, 잠재적 부상 및 동기 부여 부족으로 이어집니다. 전통적인 임상 평가는 주관적인 시각적 검사에 의존하며, 기존의 자동화된 솔루션들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 수작업 특징 추출(Hand-crafted features): 전문가에 의한 수동 엔지니어링에 의존하여 편향을 유발하고 시간이 많이 소요됩니다.
• 합성곱 신경망(CNN): 골격 데이터의 중요한 장거리 시공간 정보를 포착하는 데 종종 실패합니다.
• 시공간 그래프 합성곱 네트워크(ST-GCN): 프레임 간에 위상적으로 유사한 사전 정의된 그래프를 활용하므로, 의미론적 정보(예: 뼈의 길이 및 방향)를 매핑하거나 다양한 동작 클래스에 적응하는 데 실패합니다.
• 데이터 중복성: Kinect와 같은 원시 센서 데이터는 공간적으로 중복되거나 노이즈가 섞여 있거나 불완전한 점들을 포함하고 있어, 과적합되기 쉬운 과도하게 큰 입력 공간을 생성합니다.

방법론
저자들은 골격 관절 좌표를 포인트 클라우드로 취급하고 축 방향 어텐션(Axial Attention)을 갖춘 곡선 기반 포인트 클라우드 트랜스포머를 사용하는 경량화된 엔드 투 엔드 프레임워크를 제안합니다. 방법론은 세 가지 주요 단계로 구성됩니다:

1. 곡선 기반 포인트 집계(Curve-Based Point Aggregation):

   • 데이터 중복성을 해결하고 특징 표현을 강화하기 위해, 모델은 곡선 기반 집계 기술(원래 CurveNet에서 유래)을 채택합니다.
   • 곡선 그룹화(Curve Grouping): Top-K 선택 방법을 통해 시작점을 선택합니다. "워크(Walk)" 정책은 학습된 상태 기술자와 루프를 방지하기 위한 Gumbel-softmax 확률을 기반으로 이웃 점들을 곡선으로 그룹화합니다.
   • 곡선 집계(Curve Aggregation): 모델은 어텐티브 풀링(attentive pooling)을 사용하여 곡선 간 및 곡선 내 관계를 학습합니다. 모델은 곡선 기술자와 매핑을 생성하며, 이를 원래의 포인트 클라우드와 융합합니다. 이 과정은 위치와 기하학적 구조를 기반으로 포인트 정보를 증강하여, 동일한 평면상의 점들에 대해서도 구별 가능한 특징 표현을 보장합니다.

2. 축 방향 셀프 어텐션 트랜스포머(Axial Self-Attention Transformer):

   • 집계된 포인트 클라우드 데이터는 트랜스포머 아키텍처로 입력됩니다.
   • 계산 효율성을 개선하기 위해(다차원 데이터에 대해 $O(N^2)$의 복잡도를 관리 가능한 수준으로 감소), 모델은 **축 방향 셀프 어텐션(Axial Self-Attention)**을 사용합니다.
   • 입력 텐트는 특정 축(예: 시간 및 공간)을 따라 독립적으로 어텐션을 계산하도록 재배열됩니다. 이를 통해 모델은 표준 셀프 어텐션의 무거운 계산 비용 없이 시공간적 의존성을 효율적으로 포착하고 특정 관절의 상대적 중요도를 식별할 수 있습니다.

3. 회귀 및 점수 산정(Regression and Scoring):

   • 시스템은 환자의 수행 능력과 전문가의 실행 간의 운동학적 유사성을 나타내는 정량적 평가 점수(0과 1 사이로 정규화됨)를 예측하는 회귀 작업으로 학습됩니다.
   • 프레임워크는 시간적 정렬이나 세그멘테이션을 요구하지 않고 가변 길이의 입력 시퀀스를 지원합니다.

주요 기여

• 기하학적 인지 표현: 골격 관절 포인트 클라우드에 최첨단 곡선 기반 포인트 집계 전략을 적용하여 구조적 및 운동학적 정보를 보존했습니다.
• 효율적인 어텐션 메커니즘: 축 방향 셀프 어텐션을 통합하여 시공간적 의존성을 모델링하고 관절 수준의 관련성을 효율적으로 추정함으로써 모델을 계산적으로 가볍게 만들었습니다.
• 엔드 투 엔드 유연성: 수동 특징 엔지니어링, 시간적 정렬 또는 고정된 길이의 시퀀스 요구 사항 없이 작동합니다.
• 해석 가능성: 시스템은 통합 그래디언트(Integrated Gradients)를 사용하여 관절 수준의 기여도를 시각화함으로써, 어떤 특정 신체 부위가 품질 점수에 영향을 미치는지 밝혀내어 사용자에게 실행 가능한 피드백을 제공합니다.

실험 결과
모델은 세 가지 공개 벤치마크 데이터셋인 KIMORE(요통 운동), UI-PRMD(일반 물리 치료), IRDS(일반 재활)에서 평가되었습니다.

• 성능: 제안된 방법은 모든 데이터셋에서 최첨단(SOTA) 또는 경쟁력 있는 결과를 달est했습니다.
  • UI-PRMD에서, 모델은 GCN 및 CNN 기반 베이스라인(예: Exercise 1에 대해 Deep CNN의 0.014 MAD 대비 0.008 MAD)보다 낮은 평균 절대 편차(MAD) 점수를 기록했습니다.
  • IRDS에서, 모델은 높은 정확도(평균 0.9819)를 달성하며 기존 GCN 및 CNN 방법들을 능가했습니다.
  • KIMORE에서, 모델은 ST-GCN 및 기타 딥러닝 접근 방식과 비교하여 MAD, RMSE, MAPE 지표에서 우수한 성능을 입증했습니다.
• 효yon성: 모델은 상당한 추론 속도 향상을 보여주었습니다. 소비자급 CPU에서 테스트 세트를 처리하는 데 약 10초가 소요되었고, NVIDIA RTX 3090에서는 약 1.09초가 소요되었습니다. 이는 베이스라인 ST-GCN 대비 약 12.4배 빠른 속도로, 실시간 피드백을 가능하게 합니다.
• 강건성: Leave-One-Subject-Out (LOSO) 교차 검증을 통해 모델의 일반화 능력과 해부학적 불변성을 확인하였으며, 피험자 간 낮은 표준 편차를 보였습니다.
• 시각화: t-SNE 시각화는 정확한, 보통인, 부정확한 운동 간의 명확한 클러스터링을 보여주었으며, 특징 기여도 맵은 특정 운동(예: 몸통 회전을 위한 척추 및 손목)에 대한 핵심 관절을 성공적으로 식별했습니다.

의의 및 주장
본 논문은 이 프레임워크가 원격 모니터링 및 가정 기반 재활을 위한 실질적인 솔루션을 제공한다고 주장합니다. 곡선 기반 집계와 축 방향 어텐션을 결려함으로써, 시스템은 원시 센서 데이터의 노이즈와 중복성을 효과적으로 처리하는 동시에 높은 정확도와 낮은 계산 비용을 유지합니다. 저자들은 이 모델이 지속적이고 정량적인 피드백을 제공하고 특정 관절의 오류를 식별할 수 있는 능력이 있어, 특수 하드웨어를 사용할 수 없는 자원이 제한된 환경에 배포하기에 적합하다고 강조합니다. 시스템은 별도의 사용자 캘리브레이션 없이 가변 길이 시퀀스로 확장 가능하며 다양한 운동 유형에 일반화될 수 있도록 설계되었습니다.

인정된 한계점
저자들은 다음과 같은 몇 가지 한계점을 겸허히 언급했습니다:

• 센서, 관절 수 및 점수 산정 방식의 차이로 인해 데이터셋 간 교차 검증은 수행되지 않았습니다.
• 통신 비용 수치는 분석적 추정치이며, 실제 배포를 위해서는 지터(jitter) 및 패킷 손실에 대한 테스트가 필요합니다.
• 계산상의 제약으로 인해 더 큰 모델 변형이나 더 복적인 교차 특징 관계 시각화로 확장하는 데 어려움이 있었습니다.