Impact of Hand Impairment and Occlusions on Hand Pose Estimation Accuracy in Augmented Reality Applications

기술 요약: 증강 현실 애플리케이션에서 손 장애 및 폐쇄(Occlusion)가 손 포즈 추정 정확도에 미치는 영향

문제 제기
혼합 현실(MR) 애플리케이션, 특히 증강 현실(AR) 헤드 마운트 디스플레이(HMD)는 사용자가 디지털 신호를 받으면서 실제 물체와 상호작용할 수 있게 함으로써 손 재활을 위한 유망한 도구를 제공한다. 그러나 이러한 시스템의 효능은 정확한 손 포즈 추정에 크게 의존한다. 재활 맥락에서 정확도를 제한할 수 있는 두 가지 핵심 요인이 아직 충분히 연구되지 않은 채 남아 있다:

1. 손 장애: 경수 척수 손상(cSCI) 환자는 부상 입지 않은 개인과 비교하여 뚜렷하고 가변적인 손 자세 및 움켜쥐기 패턴을 보인다. 표준 포즈 추정 알고리즘이 이러한 독특한 자세에 일반화될 수 있는지는 불분명하다.
2. 실제 물체 상호작용으로 인한 폐쇄(Occlusion): 재활에는 실제 물체와의 역동적인 상호작용(도달, 움켜쥐기, 들어올리기 등)이 필요하다. 이러한 상호작용은 종종 HMD의 1인칭 시점 카메라로부터 손가락을 가려 포즈 추정 성능을 저하시킬 수 있다. 이전 연구들은 대개 정적인 상호작용을 사용했거나, 폐쇄 효과를 체계적으로 분리(예: 크기와 모양은 통제하면서 투명도를 변화시키는 방식)하는 데 실패했다.

또한, cSCI 및 실제 물체 상호작용이라는 특정 맥락 내에서 온보드(onboard) HMD 트래킹 시스템과 최첨단(SOTA) 오프라인 포즈 추정 알고리즘 간의 직접적인 비교가 부족하다.

연구 방법론
본 연구는 다각적인 실험 설계를 통해 포즈 추정 정확도를 평가하였다:

• 참가자: 연구에는 cSCI 환자 13명(신경학적 손상 수준: C3–C6; AIS A–D)과 비부상 대조군 15명이 포함되었다.
• 실험 설정: 참가자들은 Microsoft HoloLens 2 HMD를 착용하고 6가지 물체(불투명 및 투명 버전의 블록, 신용카드, 구슬)를 사용하여 역동적인 과업(도달, 움켜쥐기, 들어올리기, 회내/회외, 놓기)을 수행하였다. 이 물체들은 크기와 무게는 일정하게 유지하면서 투명도만 다르게 하여, 서로 다른 파지 유형(원통형, 측면 키 핀치, 팁 핀치)을 나타내도록 선택되었다.
• 그라운드 트루스(Ground Truth) 생성: 다중 카메라 설정(GoPro Hero5 카메라 5대)을 통해 다양한 관점에서 상호작용을 기록하였다. 3D 그라운드 트루스 관절 위치(21개 관절)는 외부 카메라로부터 얻은 2D 관절 추정치(MediaPipe Hands 및 HRNetV2를 통해 도출)의 삼각측량법을 통해 생성되었다. 엄격한 이상치 제거 기준을 적용하여, 약 38%의 프레임이 그라운드 트루스 분석에 사용되었다.
• 포즈 추정 알고리즘: 본 연구는 HoloLens 2의 온보드 트래킹을 네 가지 SOTA 알고리즘(WiLoR, HaMeR, WildHands, MediaPipe Hands)과 비교하였다. 모든 알고리즘은 HoloLens 2로 녹화된 1인칭 시점 비디오 프레임에 대해 평가되었다.
• 지표: 정확도는 프로크루스테스 정렬된 평균 관절 위치 오차(PA-MPJPE)를 사용하여 정량화되었다. 알고리즘, 물체 투명도, 참가자 그룹(cSCI vs. 비부상군)의 효과를 평가하기 위해 혼합 측정 분산 분석(mixed-measures ANOVA)을 실시하였으며, 오차와 손 장애 심각도(GRASSP 전파 성능 하위 점수로 측정) 간의 상관관계를 분석하였다.

주요 기여**

1. cSCI 영향의 특성화: 본 연구는 사지 마비가 역동적인 실제 물체 상호작용 중 포즈 추정 정확도에 미치는 영향에 대한 실증적 근거를 제공한다.
2. 폐쇄 효과의 격리: 동일한 물체의 불투명 및 투명 버전을 사용함으로써, 이전 문헌에서 물체의 속성이 혼재되었던 문제를 해결하고 폐쇄가 포즈 추정 정확도에 미치는 영향을 체계적으로 분리하였다.
3. 알고리즘 벤치마킹: 1인칭 시점의 물체 상호작용 및 임상 인구 집단을 포함한 맥락 내에서 온보드 HMD 트래킹과 SOTA 오프라인 알고리즘(WiLoR, HaMeR, WildHands, MediaPipe)을 직접 비교하였다.
4. 데이터셋 생성: 저자들은 손 장애가 있는 집단과 비부상 대조군 모두의 물체 상호작용을 포함하는 최초의 그라운드 트루스 주석이 달린 1인칭 시점 데이터셋을 생성하여 공개하였다.

결과

• 장애에 대한 일반화: 모든 알고리즘에서 cSCI 그룹과 비부상 대조군 사이의 포즈 추정 정확도에 유의미한 차이가 없었다. 이는 현재의 3D 관절 예측 방법들이 HoloLens 2를 포함하여 cSCI 환자의 독특한 손 자세에 일반화될 수 있음을 시사한다.
• 폐쇄의 효과: 투명한 물체와 상호작용할 때 불투명한 물체에 비해 오차가 약간 낮았다(높은 정확도). 그러나 이 차이의 규모는 매우 작았다(약 0.1 mm). 탐색적 분석 결과, 이 효과는 주로 신용카드 상호작용에 의해 발생한 것으로 나타났으며, 블록이나 구슬에 대해서는 유의미한 투명도 차이가 발견되지 않았다.
• 알고리즘 성능: SOTA 알고리즘들이 HoloLens 2의 온보드 트래킹보다 우수한 성능을 보였다. 구체적으로 WiLoR과 HaMeR이 가장 높은 정확도(최저 오차)를 보였고, 그 뒤를 HoloLens 2, MediaPipe, WildHands가 이었다. WiLoR과 HaMeR은 HoloLens 2보다 약 2 mm 더 정확했다.
• 장애와의 상관관계: WildHands 알고리즘에서만 유의미한 음의 상관관계가 발견되었는데, 손 장애 수준이 높을수록(낮은 GRASSP 점수) 오차가 약간 높아지는 경향을 보였다. HoloLens 2나 나머지 세 알고리즘에서는 이러한 상관관계가 발견되지 않았다.
• 성별 차이: 남성과 여성 참가자 간의 포즈 추정 정확도에 대한 유의미한 차이는 관찰되지 않았다.

의의 및 주장
본 논문은 HoloLens 2가 부상 입은 인구와 부상 입지 않은 인구 모두에서 포즈 추정 정확도가 견고하므로, 실제 물체 상호작용을 포함하는 손 재활 애플리케이션을 위한 실행 가능한 플랫폼이라고 주장한다. SOTA 알고리즘(WiLoR, HaMeR)이 온보드 HoloLens 2 트래커보다 완만한 정확도 향상(~2 mm)을 제공하지만, 저자들은 이러한 향상의 임상적 유의성을 HMD에서 이러한 알고리즘을 실시간으로 실행하는 데 필요한 계산 능력과 같은 실질적인 제약 조건과 함께 고려해야 한다고 언급한다.

본 연구는 생성된 데이터셋이 손 장애 인구에 특화된 포즈 추정 방법을 개선하기 위한 중요한 자원임을 강조한다. 연구 결과는 폐쇄가 오차를 유발하기는 하지만, 테스트된 작은 물체들의 특정 맥락에서는 투명한 물체를 사용하는 것이 미미한 이점만을 제공한다는 것을 시사한다. 궁극적으로, 이 연구는 특정 임상 애플리케이션의 정확도 요구 사항이 충족된다는 전제하에 cSCI 환자를 위한 AR HMD의 재활 워크플로우 통합을 지지한다.