기술 요약: 골격 포즈 궤적을 위한 탄성 형태 변분 오토인코더

문제 정의

딥 생성 모델, 특히 변분 오토인코더 (VAE) 는 이미지와 텍스트와 같은 구조화된 데이터에 효과적임이 입증되었습니다. 그러나 인간의 골격 시퀀스에 적용될 때, 표준 VAE 는 형태의 고유 기하학과 그 운동을 분리하는 데 종종 어려움을 겪습니다. 대신, 카메라 방향, 피사체 크기, 시점, 실행 속도 (시간적 변동성) 와 같은 "불필요한 요인"에 상당한 모델 용량을 할당합니다. 이러한 요인들은 자연스러운 녹화 환경에서는 불가피하지만, 활동 분류나 임상적 이동성 평가와 같은 작업에는 관련이 없습니다. 전통적인 형태 분석 방법은 통계 분석 전에 이러한 변환을 제거하지만, 일반적으로 유클리드 변수에서 작동하는 강력한 딥러닝 프레임워크에 이러한 기하학적 불변성을 통합하는 것은 여전히 과제로 남아 있습니다.

방법론

저자들은 골격 궤적을 위해 특별히 설계된 기하학적 인식 생성 모델인 **탄성 형태 변분 오토인코더 (ES-VAE)**를 제안합니다. 핵심 혁신은 켄달 (Kendall) 의 형태 다양체 (manifold) 상에서 골격 데이터를 표현하고 수송된 제곱근 속도장 (TSRVF) 프레임워크를 활용하는 데 있습니다.

1. 기하학적 표현

• 켄달 형태 공간: 각 골격은 $\mathbb{R}^m$ 내의 $k$개의 랜드마크 구성으로 간주됩니다. 모델은 중심 맞춤을 통해 평행 이동 (translation) 을, 단위 프로베니우스 노름으로 정규화를 통해 크기 (scale) 를, 특수 직교군 $SO(m)$을 몫 (quotient) 으로 취함으로써 회전 (rotation) 을 제거합니다. 그 결과, 강체 변환 및 전역 스케일링에 불변인 표현이 도출됩니다.
• 시간적 정렬을 위한 TSRVF: 속도 변동성 (예: 다른 보행 속도) 을 해결하기 위해 TSRVF 프레임워크를 사용합니다. 이는 궤적의 공변 미분을 계산하고, 접선 벡터를 공통 기준점 (프레체 평균) 으로 평행 수송한 후 정규화하는 과정을 포함합니다. 이를 통해 동적 프로그래밍을 통한 최적의 시간 정렬이 가능해지며, 속도 프로파일을 효과적으로 제거하면서도 형태 역학을 보존합니다.

2. 리만 VAE 아키텍처

ES-VAE 는 유클리드 공간에서 근사하는 대신 다양체 위에서 직접 작동합니다:

• 인코더: 궤적의 접선 벡터 표현 (프레체 평균으로부터의 리만 로그 매핑을 통해 계산됨) 을 입력받아 저차원 잠재 공간 $z \in \mathbb{R}^L$로 매핑합니다.
• 디코더: 잠재 코드 $z$를 신경망을 통해 접선 공간으로 다시 매핑한 후, 리만 지수 매핑을 사용하여 다양체 위로 투영하여 궤적을 재구성합니다.
• 손실 함수: 모델은 **리만 증거 하한 (ELBO)**을 최대화하도록 훈련됩니다. 재구성 항은 형태 다양체 위의 제곱 측지선 거리를 활용하며, 정규화 항은 잠재 공간의 표준 정규 분포에 대한 쿨백 - 라이블러 (KL) 발산을 사용합니다.

주요 기여

1. 탄성 형태 VAE: 켄달 형태 공간에서 수송된 SRVF 로 표현된 골격 궤적을 저차원 잠재 공간에 매핑하는 리만 VAE 를 도입했습니다. 이 설계는 구성상 평행 이동, 회전, 스케일링 및 활동 속도 프로파일에 대한 완전한 불변성을 보장합니다.
2. 다양체 학습의 우월성: 단위 구 ($S^2$) 위의 합성 데이터를 사용하여, 저자들은 ES-VAE 가 유클리드 PCA, 유클리드 VAE, 접선 공간 PCA 보다 비측지선 1 차원 부분 다양체를 더 정확하게 근사함을 입증했습니다. 이는 유클리드 근사법에서 손실되는 비선형 기하학적 구조를 보존하는 것의 중요성을 강조합니다.
3. 임상 해석 가능성 및 성능: 155 명의 참가자 (건강한 대조군 vs 뇌졸중 후) 로 구성된 임상 데이터셋에서 학습된 잠재 차원은 다음과 같은 것을 보여주었습니다:
   • 해석 가능한 보행 특성 (예: 보폭, 사지 강성, 팔의 변동성) 에 매핑됨.
   • 임상적 이동성 점수 (POMA) 와 높은 상관관계를 보임.
   • 뇌졸중 중증도 예측 및 뇌졸중 측성 분류에서 기존 및 딥러닝 베이스라인을 능가함.
4. 동작 인식 성능: NTU RGB+D 데이터셋의 선별된 부분 집합에서 ES-VAE 잠재 표현은 TCN, Transformer, 그래프 합성곱 네트워크 (GCN) 를 포함한 다양한 베이스라인보다 어려운 동작 범주를 분류하는 데 더 우수한 성능을 발휘하여, 형태 기반 표현의 일반화 가능성을 입증했습니다.

실험 결과

본 논문은 원시 골격 방법 (PCA, VAE, TCN, LSTM, Transformer, ST-GCN), 관절 각도 방법, 접선 벡터 방법을 포함한 포괄적인 베이스라인 세트를 대상으로 ES-VAE 를 평가했습니다.

• 뇌졸중 보행 데이터셋 (회귀): POMA 점수 예측에서 ES-VAE 는 $R^2$ 0.74 및 RMSE 2.82를 달성하여, 가장 우수한 원시 골격 딥러닝 모델 (LSTM, $R^2=0.64$) 과 접선 PCA ($R^2=0.70$) 를 크게 능가했습니다.
• 뇌졸중 보행 데이터셋 (분류): 3 클래스 분류 (건강, 좌측 뇌졸중, 우측 뇌졸중) 에서 ES-VAE 는 매크로 F1 0.83을 달성하여 접선 PCA(0.79) 및 모든 원시 골격 딥러닝 모델을 능가했습니다.
• NTU-60 동작 인식: 어려운 10 클래스 부분 집합에서 ES-VAE 는 매크로 F1 0.56을 달성하여, 가장 우수한 접선 벡터 베이스라인 (접선 PCA, 0.50) 과 원시 골격 베이스라인을 능가했습니다. 특히, 바닐라 VAE(0.27) 보다 0.29 만큼 향상되어 기하학적 전처리의 가치를 입증했습니다.
• 절대성 연구: 기하학적 정렬이 결정적임을 확인했습니다. 평행 이동만 제거하는 것은 불충분했으며, 켄달 형태 공간 (크기/회전 제거) 과 TSRVF(속도 변동성 제거) 의 조합이 가장 좋은 성능을 발휘했습니다. 측지선 재구성 손실 또한 유클리드 접선 공간 MSE 보다 일관된 우위를 보였습니다.

중요성 및 주장

본 논문은 ES-VAE 의 주요 이점이 구조적이라고 주장합니다. 즉, 모델링 전에 기하학적으로 불필요한 변동성 (평행 이동, 회전, 크기, 속도) 을 제거함으로써, 딥 네트워크가 의미 있는 형태 역학을 학습하는 데 그 용량을 전적으로 할당할 수 있게 됩니다.

• 해석 가능성: "블랙박스"딥러닝 접근법과 달리, ES-VAE 의 잠재 차원은 보폭 감소, 사지 강성 등 구체적이고 임상적으로 관련된 보행 특성에 해당하여, 포즈 형태 다양체 상의 종단 데이터 분석을 위한 원칙적인 프레임워크를 제공합니다.
• 일반화 가능성: 이 접근법은 임상적 보행 분석과 일반적인 동작 인식 모두에서 효과임이 입증되어, 유클리드 근사법에서 손실되는 필수 기하학적 구조를 다양체 위에서 직접 모델링함으로써 보존함을 시사합니다.
• 한계: 저자들은 연구가 데이터셋 크기 (뇌졸중 155 명, NTU 부분 집합 40 명) 와 운동학적 데이터만 사용했다는 점에 제한이 있음을 지적합니다. 향후 연구는 더 큰 다기관 데이터셋, 다중 모달 입력 (예: 근전도), 더 표현력 있는 아키텍처를 포함할 수 있으나, 이는 해석 가능성의 대가로 치러질 수 있다고 제안합니다.

결론적으로, ES-VAE 는 골격 포즈 궤적 분석을 위한 강력하고 해석 가능하며 고성능의 프레임워크를 제공하며, 이러한 불변성을 원시 데이터에서 학습하려는 표준 딥러닝 접근법과 비교하여 생성 모델 아키텍처에 기하학적 불변성을 통합할 경우 더 우수한 결과를 산출함을 입증했습니다.