Joint angle based learning to refine kinematic human pose estimation

기술 요약: 운동학적 인체 포즈 추정 정교화를 위한 관절 각도 기반 학습

문제 정의
마커가 없는 인체 포즈 추정(HPE)은 스포츠 분석, 의료, 인간-컴퓨터 상호작용 분야에서 매우 중요합니다. 그러나 기존의 딥러닝 기반 모델들은 운동학적 인체 포즈를 분석할 때 두 가지 주요 과제에 직면합니다:

1. 부적절한 키포인트 인식: 복잡한 자세, 가려짐(occlusion), 산만한 배경은 잘못된 키포인트 식별(이상치)을 초래하며, 이는 속도, 가속도, 역역학 계산과 같은 다운스트림 운동학 분석을 심각하게 저해합니다.
2. 시공간적 지터(Jitters): 연속된 프레임 간의 키포인트 위치 불일치는 궤적의 변동을 초래합니다. 이 문제는 단일 이미지 데이터셋(예: COCO-WholeBody)에 대한 의존성으로 인해 악화되는데, 여기서 수동 주석은 시간적 일관성이 부족한 경우가 많습니다. 비디오 데이터셋이 존재하기는 하지만, 특히 고진폭 또는 급격히 변화하는 동작에서 주석의 불일치 문제가 발생하며, 이로 인해 모델이 궤적의 연속성보다 유클리드 거리 정확도를 우선시하게 됩니다.

SmoothNet과 같은 최첨단 정교화 방법들은 복잡한 스포츠 시나리오에서 위치 드리프트(drift)나 불충분한 이상치 평활화 문제를 겪으며 어려움을 겪고 있습니다.

방법론
저자들은 고품질 훈련 데이터를 생성하고 단일 이미지 HPE 출력을 정교화하기 위해 설계된 새로운 관절 각도 기반 정교화(Joint Angle-based Refinement, JAR) 프레임워크를 제안합니다. 이 과정은 세 단계로 진행됩니다:

1. 관절 각도 기반 포즈 묘사:

   • 절대 좌표에만 의존하는 대신, 이 방법은 13개의 키포인트 좌표(HRNet 또는 ViTPose++와 같은 단일 이미지 HPE 모델을 통해 추출됨)를 12개의 관절 각도로 변환합니다.
   • 안정적인 기준점(코)은 Savitzky-Golay 필터를 사용하여 평활화합니다.
   • 사지 길이는 두 가지 생체 역학적 제약 조건인 '사지 간의 비례적 일관성'과 '단축 현상(foreshortening)으로 인한 프레임 간 변화 미미함'을 기반으로 한 신뢰 영역 알고리즘을 사용하여 최적화합니다. 이 접근 방식은 관점의 변화와 촬영 거리에 따른 변화에 강건한 설명을 가능하게 합니다.

2. 푸리에 급수 기반 "그라운드 트루스(Ground Truth)" 생성:

   • 관절 운동이 주기적 특성을 보이는 경우가 많다는 점을 인식하여, 저자들은 8차 푸리에 급수를 사용하여 시간적 관절 각도 변화를 근사합니다.
   • 다양한 개인차를 시뮬레이션하기 위해 오픈 데이터셋으로부터 급수의 파라미터를 추정합니다.
   • 생성된 주기 위로 슬라이딩 윈도우를 적용하여 합성 훈련 데이터셋을 구축합니다. 실제 환경의 노이즈를 모사하기 위해 가우시안 백색 잡음(작은 지터)과 대진폭 이상치(인식 오류 시뮬레이션)를 "그라운드 트루스" 시퀀스에 주입합니다. 이를 통해 수동 주석으로는 얻기 어려운 시공간적 일관성을 갖춘 고품질 데이터셋을 생성합니다.

3. BiGRU-Attention 정교화 네트워크:

   • 어텐션 메커니즘이 적용된 양방향 GRU(BiGRU) 네트워크를 후처리 모듈로 설계했습니다.
   • 이 네트워크는 노이즈가 섞인 관절 각도 시퀀스를 입력으로 받아 평활화되고 정교화된 각도 시퀀스를 출력합니다.
   • 정교화된 각도는 안정화된 기준점 및 최적화된 사지 길이와 결합되어 최종 키포인트 좌표를 재구성하는 데 사용됩니다.
   • 전체 비디오 시퀀스에 걸쳐 연속적인 평활화를 보장하기 위해 추론 시 가중 평균을 사용하는 슬라이딩 윈도우 방식이 채택되었습니다.

주요 기여

• 강건한 포즈 표현: 좌표 기반 방법과 비교하여 신체 인식의 정확도와 강건성을 크게 향дя시키는 관절 각도 기반 모델을 제안했습니다.
• 합성 고품질 데이터셋: 생리학적 관절 운동 패턴을 근사하기 위해 고차 푸리에 급수를 사용하여 훈련 데이터를 생성하는 새로운 방법을 제시하였으며, 이는 일관되지 않은 수동 주석에 의존하지 않고도 네트워크 훈련을 위한 신뢰할 수 있는 "그라운드 트루스"를 제공합니다.
• 우수한 정교화 아키텍처: 이상치와 지터를 효과적으로 제거하여 도전적인 스포츠 시나리오에서 기존 정교화 프레임워크보다 뛰어난 성능을 보이는 BiGRU-Attention 네트워크를 설계했습니다.
• 데이터셋 교정 능력: 본 방법이 기존 비디오 데이터셋(예: PoseTrack)을 교정하여 수동 주석 오류로 인한 프레임 간 불일치를 바로잡는 데 적용될 수 있음을 입증했습니다.

실험 결과
JAR 방법은 스프린트, 제자리 삼단뛰기, 피겨 스케이팅, 브레이킹(브레이크댄스)을 포함한 다양한 운동 활동에 대해 최첨단 모델인 SmoothNet과 비교 평가되었습니다.

• 이상치 교정: 스프린트 사례에서 JAR는 SmoothNet의 45.45% 대비 **100%**의 이상치 교정률을 달 기록했습니다. 제자리 삼단뛰기에서는 JAR가 SmoothNet의 53.51% 대비 **95.61%**의 오류를 교정했습니다. JAR의 전체 교정률은 **97.77%**로, SmoothNet보다 거의 두 배 높았습니다.
• 궤적 평활도: 피겨 스케이팅(플라잉 스핀) 및 브레이킹(핸드스탠드)과 같은 복잡한 시나리오에서 JAR는 훨씬 더 매끄러운 궤적과 생리학적으로 일관된 속도 곡선을 생성했습니다. SmoothNet은 특히 Y축 성분에서 눈에 띄는 좌표 드리프트와 고주파 변동을 보였습니다.
• 모델 선택: 테스트된 10개의 시퀀스 투 시퀀스(sequence-to-sequence) 아키텍처(TCN, LSTM, Mamba1/2 및 그 어텐션 변형 포함) 중에서 BiGRU-Attention 모델이 정확도(최저 평균 제곱 오차)와 계산 효율성 사이에서 가장 우수한 균형을 보여주었습니다.

의의 및 주장
본 논문은 현재 HPE 정교화의 한계가 주로 고품질의 시간적 일관성을 갖춘 훈련 데이터셋의 부재에서 기인한다고 주장합니다. 인체 운동의 생리학적 제약(관절 각도 및 사지 길이)과 푸리에 급수 근사를 활용함으로써, 제안된 JAR 방법은 다음과 같은 효과를 제공합니다:

• 딥러닝 모델이 강건한 시공간 패턴을 학습하도록 하여, 잘못 인식된 관절을 효과적으로 수정하고 궤적을 평활화합니다.
• 기존 모델들이 실패하는 도전적인 스포츠 사례에서 탁월한 일반화 능력을 입증합니다.
• 기존 비디오 데이터셋을 교정할 수 있는 실용적인 도구를 제공함으로써, 부정확한 수동 주석의 악영의 영향을 줄이고 운동 분석을 위한 HPE 기술의 신뢰성을 높입니다.

저자들은 본 접근 방식이 운동량의 정량화 및 생체 역학적 평가를 더욱 정확하게 수행할 수 있도록 하는 신뢰할 수 있는 토대를 제공한다고 결론짓습니다.