기술 요약: ScaleHP – 미터법 공간에서의 손 포즈 추정

1. 문제 정의

미터법 공간(실제 세계의 스케일을 가진 절대 카메라 좌표계)에서의 정확한 손 포즈 추정(HPE)은 몰입형 인간-컴퓨터 상호작용(HCI), 가상/증강 현실(VR/AR) 및 로보틱스에 있어 매우 중요합니다. 그러나 기존 방법론들은 대부분 기준 관절(예: 손목)을 기준으로 한 루트 상대 좌표계(root-relative coordinate systems)에서 동작하며, 손의 절대적인 크기나 카메라로부터의 거리를 결정하지 못합니다.

미터법 공간으로 전환하는 데 있어 핵심적인 과제는 단안 이미지(monocular images)에 내재된 **깊이-스케일 모호성(depth-scale ambiguity)**입니다. 이를 해결하려고 시도하는 기존 방식들은 다음과 같은 한계를 가집니다:

• 보조 깊이 추정 모듈: 배경이 학습 분포에서 벗어나거나 손만 보이는 경우 취약하며 실패하기 쉽습니다.
• 파라미터 모델 회귀: 절대적인 스케일을 무시하거나 사전 계산된 깊이 맵을 필요로 하는 경우가 많습니다.
• 2단계 파이프라인: 먼저 루트 상대 포즈를 추정한 다음, 외부 스케일 파라미터나 가정을 사용하여 카메라 공간으로 들어 올리는 방식입니다.

이러한 방법들은 일반화된 실제 환경 시나리오에서 안정적이고 정밀한 미터법 예측을 제공하는 데 어려움을 겪습니다.

2. 방법론: ScaleHP

저자들은 **내재적 인체 측정학적 사전 지식(intrinsic anthropometric priors)**을 활용하여 취약한 외부 깊이 모듈을 우회하는 엔드투엔드(end-to-end) 단일 단계 프레임워크인 ScaleHP를 제안합니다. 핵심 가설은 인간 손 뼈의 비율 관계가 손의 전체적인 미터법 크기에 대한 안정적인 정보를 인코딩하고 있으며, 이를 이미지로부터 직접 추론할 수 있다는 것입니다.

2.1 아키텍처 개요

ScaleHP는 세 가지 주요 구성 요소로 이루어져 있습니다 (그림 2 참조):

1. 동결된 디텍터 백본(Frozen Detector Backbone): 텍스트 프롬프트를 통해 손을 국지화하고 다중 모달 특징을 추출하기 위해 사전 학습된 동결된 DETR 스타일의 디텍터(예: Grounding DINO)를 사용합니다. 이는 백본을 학습시키지 않고도 견고한 특징 추출을 제공합니다.
2. 미터법 2D–3D 디코더(Metric 2D–3D Decoder): 2D 관측값을 3D 미터법 공간으로 들어 올리는 새로운 트랜스포머 기반 디코더입니다.
3. 학습이 필요 없는 분석 모듈(Training-Free Analytical Module): 투영 제약 조건을 기반으로 최종 변위 벡터를 계산하는 기하학적 솔버입니다.

2.2 핵심 구성 요소

스케일 토큰(The Scale Token)

중심적인 혁신은 트랜스포머 디코더 내에 전용 **스케일 토큰($Q_s$)**을 도입한 것입니다.

• 초기화: 손 인스턴스 쿼리(hand instance query)로부터 초기화됩니다.
• 상호작용: 스케일 토큰은 2D 및 3D 관절 쿼리와 **자기 주의 집중(self-attention)**을 수행하여 골격 비율과 위상(topology)을 학습합니다. 그 후, **가변 주의 집중(deformable attention)**을 통해 다중 스케일 이미지 특징과 상호작용하여 전역적인 외관과 공간 점유를 포착합니다.
• 예측: 이 토큰은 특정 손 뼈(예: 검지, 중지, 약지 손가락)의 평균 길이를 나타내는 스칼라 전역 스케일($s$)을 출력합니다. 이를 통해 모델은 픽셀 구성으로부터 실제 길이로의 결정론적 매핑을 학습할 수 있습니다.

투영 제약을 통한 미터법 복구

전역 스케일 $s$가 예측되면, 프레임워크는 별도의 깊이 회귀기를 학습하지 않고 절대 변위 벡터 $t$를 복구합니다.

• 정식화: 루트 상대 3D 좌표($J_{rel}$), 2D 픽셀 좌표($J_{2D}$), 그리고 카메라 내부 파라미터($K$) 사이의 관계를 투영 모델 하에서 모델링합니다.
• 해법: 저자들은 미지수가 깊이 변위($t_z$)인 선형 방정식 시스템(N개의 키포인트에 대해 2N개의 방정식)을 구성합니다. 이 시스템은 **최소제곱법(least-squares approach)**을 사용하여 해결됩니다.
• 결과: 복구된 $t$와 예측된 $s$는 루트 상대 포즈에 적용되어 실제 미터법 카메라 좌표계 상에 손을 재구성합니다.

2.3 손실 함수(Loss Functions)

모델은 네 가지 감독 신호를 사용하여 엔드투엔드로 학습됩니다:

1. 2D 감독: 2D 키포인트에 대한 L1 손실 및 객체 키포인트 유사도(OKS).
2. 3D 감독: 루트 상대 3D 키포인트에 대한 L1 손실.
3. 미터법 스케일 감독: 예측된 스케일 스칼라와 뼈 길이에 의해 도출된 정답(ground-truth) 스케일 사이의 평균 제곱 오차(MSE).
4. 투영 감독: 예측된 3D 관절을 2D로 다시 투영하여 주석(annotation)과 비교하는 약한 감독(weak supervision).

3. 주요 기여

1. 미터법 인식 프레임워크: 외부 깊이 추정기에 의존하지 않고 손의 내재적 해부학적 뼈 비율을 사용하여 전역 스케일을 명시적으로 모델링하는 프레임워크를 도입하여 깊이 모호성을 완화했습니다.
2. ScaleHP 아키텍처: 이미지 특징으로부터 절대적 물리적 스케일로의 직접적인 매핑을 학습하기 위해 스케일 토큰을 특징으로 하는 최초의 단일 단계 엔드투엔드 미터법 공간 HPE 프레임워크입니다.
3. 학습이 필요 없는 분석적 솔버: 투영 제약 조건 하에서 최소제곱 해법을 통해 전역 변위를 복구하는 새로운 접근 방식을 제시하여, 학습된 깊이 회귀기의 필요성을 피했습니다.
4. 최첨단 성능(SOTA): 이 방법은 표준 벤치마크에서 우수한 결과를 달야, 내부 생물학적 제약 조건이 상대적 기하 구조와 절대적 미터법 오차를 모두 크게 줄일 수 있음을 입증했습니다.

4. 실험 결과

저자들은 FreiHand, DexYCB, HO3Dv3 벤치마크에서 ScaleHP를 평가했습니다.

• 주요 지표 (CS-MPJPE): 이는 정렬 없이 카메라 공간에서의 평균 유클리드 거리를 측정합니다.

  • FreiHand: 35.8 mm (차순위 베이스라인인 NFV의 42.4 mm 대비).
  • DexYCB: 136.3 mm (CMR + GS의 183.2 mm 대비).
  • HO3Dv3: 50.7 mm (HandDGP + GS의 132.6 mm 대비).
  • 참고: 저자들은 베이스라인들이 경쟁력을 갖추기 위해 사후적으로 "최적 전역 스케일(Optimal Global Scale, GS)" 조정을 필요로 하는 반면, ScaleHP는 이 스케일을 엔드투엔드로 예측한다고 언급했습니다.

• 정렬된 지표 (P-MPJPE / R-MPJPE):

  • FreiHand에서 ScaleHP는 5.0 mm의 P-MPJPE를 달성하여 최첨단(SOTA) 성능과 동률을 기록했습니다.
  • DexYCB에서 4.6 mm P-MPJPE 및 10.3 mm R-MPJPE를 달성했습니다.
  • HO3Dv3에서 5.9 mm P-MPJPE를 달성했습니다.

• 어블레이션 연구(Ablation Studies):

  • 스케일 토큰: 스케일 토큰을 제거하면 CS-MPJPE가 크게 증가하여(예: FreiHand에서 35.8에서 44.3 mm로), 미터법 정확도에 대한 필수성을 확인시켜 줍니다.
  • 깊이 모호성: 스케일 토큰은 상대적 기하 구조(P-MPJPE) 또한 개선하며, 특히 Z축(깊이) 방향의 오차를 줄여 기하학적 정규화 도구로서 기능함을 보여줍니다.
  • 학습 전략: 스케일 토큰을 관절 쿼리와 공동 학습시키는 것이 분리된 사전 학습/미세 조정 전략보다 우수합니다.

5. 의의 및 주장

본 논문은 ScaleHP가 취약하고 문맥 의존적인 깊이 추정에서 내재적 생물학적 사전 지식으로 패러다임을 전환함으로써 일반화된 실제 환경의 손 추적을 위한 견고한 솔루션을 제공한다고 주장합니다.

• 강건성(Robustness): 손의 내부 구조로부터 스케일을 도출함으로써, 이 방법은 외부 환경 요인(예: 배경 변화, 장면 문맥)에 불변하며, 단안 3D 재구성에 내재된 스케일-깊이 모호성을 효과적으로 우회합니다.
• 일반화(Generalization): 이 프레임워크는 이전 방법들이 실패하기 쉬운 손-물체 상호작용, 심각한 폐쇄(occlusion), 큰 시점 변화가 있는 "in-the-wild" 이미지에서도 강력한 성능을 보여줍니다.
• 효율성(Efficiency): 단일 단계 엔드투엔드 설계는 다단계 파이프라인이나 보조 깊이 네트워크의 계산 오버헤드 및 오차 누적을 방지합니다.

저자들은 인체 측정학적 규칙성을 활용하는 것이 절대적인 카메라 좌표계 미터법 공간에서 손의 기하 구조를 재구성할 수 있게 하며, 이는 원격 조종 및 정교한 로봇 조작과 같이 정밀한 공간 이해가 필요한 응용 분야의 토대가 된다고 결론짓습니다.