기술 요약: StableHand

문제 정의

자세 중심 (egocentric) 비디오에서 상호작용하는 두 손의 세계 좌표계 4 차원 운동을 복원하는 것은 로봇 정책 학습을 감독하는 데 있어 핵심적인 능력입니다. 여기서 손목 궤적은 엔드 이펙터를 안내하고, 손가락 관절 운동은 그립 자세를 정의합니다. 그러나 이 작업은 자세 중심 환경에서 두 가지 주요 도전에 직면합니다:

1. 연속된 시야 외 구간: 결합된 머리 및 손 움직임으로 인해 한 손 또는 양손이 장시간 카메라 프러스텀을 벗어나는 경우가 빈번합니다.
2. 지속적인 가림: 교묘한 양손 조작 및 손 - 물체 상호작용은 종종 비대칭적인 심한 손 가림을 초래합니다.

기존 방법들은 이러한 시나리오에서 심각한 한계를 보입니다. SLAM 기반 파이프라인은 시간적 사전 지식이 없이 프레임별 카메라 좌표계 포즈를 세계 좌표계로 변환하므로, 손이 보이지 않는 구간 동안 치명적인 드리프트가 발생합니다. 네이티브 세계 좌표계 방법은 시퀀스 수준의 운동 사전 지식을 학습하지만, 일반적으로 시각적 특징에 균일하게 조건을 부여하여 관찰 신뢰도의 이질성을 고려하지 못합니다. 구체적으로, 이러한 방법들은 손목의 전역 드리프트 오차가 손가락 관절 운동 오차보다 훨씬 크다는 점과, 가림이 두 손에 비대칭적으로 영향을 미친다는 점을 무시합니다.

방법론

저자들은 관찰의 구성 요소별 품질을 명시적으로 활용하여 세계 좌표계 양손 궤적을 합성하도록 설계된 StableHand, 즉 품질 인식 흐름 매칭 (flow-matching) 프레임워크를 제안합니다. 이 프레임워크는 순차적으로 학습되는 두 개의 학습 모듈로 구성됩니다:

1. 적응형 품질 신호 및 네트워크

핵심 통찰력은 관찰 품질이 구성 요소 (손목 대 손가락) 와 손 (왼손 대 오른손) 간에 이질적이라는 점입니다.

• 품질 정의: 시스템은 손 운동 품질을 네 가지 채널로 분해합니다: 왼쪽 손목 ($L_W$), 왼쪽 손가락 ($L_F$), 오른쪽 손목 ($R_W$), 오른쪽 손가락 ($R_F$). 품질 $q \in [0, 1]$ 은 관측된 관절과 정답 관절 간의 오차를 라디얼 기저 함수 (RBF) 커널을 사용하여 도출합니다: $q = \exp(-e/\sigma)$.
• 품질 네트워크 (QN): 추론 시 정답 오차는 사용할 수 없으므로, 학습된 품질 네트워크가 구성 요소별 오차 $\hat{e}$(밀리미터 단위) 를 직접 예측합니다. 네트워크는 다음을 입력으로 받습니다:
  • 고정된 오프 - 더 - 쉘 (off-the-shelf) 추정기로부터의 세계 좌표계 MANO 관측치 ($\bar{y}$).
  • 이진 손 신뢰도 플래그 ($\delta$).
  • 프레임별 카메라 포즈 ($g$).
  • 시간적 자기 어텐션을 통해 집계된 학습 가능한 궤적 수준 컨텍스트 토큰.
• 학습: QN 은 8 개의 자세 중심 양손 코퍼스 (~10M 프레임) 에 대해 사전 학습됩니다. 이는 오차 크기를 일치시키기 위해 로그 공간 MSE 손실과, 예측된 오차의 경험적 분포를 정답과 정렬하여 배포 시 대역폭 $\hat{\sigma}$가 학습 시 $\sigma$와 일치하도록 보장하는 보조 1 차원 Wasserstein-1 거리 손실에 의해 감독됩니다.

2. 품질 인식 흐름 매칭 생성 모델

생성 모델은 예측된 품질 신호 $\hat{q}$에 조건을 둔 확산 트랜스포머 (DiT) 입니다. 이는 고품질 채널과 저품질 채널을 다르게 처리하기 위해 네 가지 결합된 메커니즘을 사용합니다:

• 채널별 순방향 스케줄: 스칼라 스케줄을 사용하는 표준 흐름 매칭과 달리, StableHand 는 채널별 스케줄 $\alpha(\tau, \tilde{q})$을 사용합니다. 고품질 채널 ($q \approx 1$) 의 경우, 스케줄은 관측치를 고정 ($\alpha \equiv 1$) 하여 궤적을 고정합니다. 저품질 채널 ($q \approx 0$) 의 경우, 스케줄은 이를 노이즈로 간주 ($\alpha \approx 0$) 하여 사전 분포로부터 재생성을 요구합니다.
• 품질 조정 속도 목표: 학습 목적 함수는 속도 목표 $u_\tau = (1 - \tilde{q}) \odot (x_1 - \varepsilon)$를 회귀합니다. 이는 모델이 고품질 채널은 변경하지 않고 저품질 채널만 재구성하도록 학습하게 합니다.
• AdaLN 변조: DiT 디노이저는 품질 신호에 의해 주도되는 적응형 레이어 정규화 (AdaLN) 를 사용하여 손목 및 손가락 토큰에 대한 업데이트를 각각 스케일링하여 채널별 품질 구조에 맞춥니다.
• 품질 인식 초기화: 추론 시, 역 ODE 는 $\tau=0$에서 $x_0 = \tilde{q} \odot \bar{y} + (1 - \tilde{q}) \odot \varepsilon$로 초기화됩니다. 이는 고품질 채널이 관측치 근처에서 시작하고 저품질 채널이 순수 노이즈 근처에서 시작하도록 보장하여, 단축된 역 과정 (예: SDEdit) 에서 발견되는 훈련 - 테스트 불일치를 제거합니다.

주요 기여

1. 구성 요소별 품질 공식화: 이 논문은 자세 중심 세계 좌표계 양손 복원을 구성 요소별, 품질 인식 생성 문제로 framing 하며, 관찰 품질의 두 축 (구성 요소, 손) 이질성을 이전에 암시적으로만 남아있던 구조 사전 지식으로 명시적으로 식별합니다.
2. 품질 인식 흐름 매칭 경로: 네 값 품질 신호에 의해 주도되는 새로운 생성 경로로, 채널별 순방향 스케줄, 품질 조정 속도 목표, AdaLN 변조, 그리고 품질 인식 ODE 초기화를 통합합니다.
3. 보정된 품질 신호: 시각적 스트림에서 추론 시 예측되는 코퍼스 적응형 품질 신호를 도입하여, 손목 전역 드리프트를 손가락 관절 운동 오차와 분리하고 비대칭적 가림을 처리합니다.
4. 최고 수준의 성능: 이 방법은 긴 손 누락 구간과 지속적인 가림을 특징으로 하는 벤치마크에서 우수한 결과를 달성합니다.

실험 결과

저자들은 StableHand 를 HOT3D(긴 손 누락 구간이 특징) 와 ARCTIC(지속적인 손 - 물체 가림 및 비대칭적 품질이 특징) 에서 평가합니다.

• HOT3D: StableHand 는 가장 강력한 베이스라인 (HaWoR) 대비 W-MPJPE(세계 좌표계 평균 관절 위치 오차) 를 20–25% 감소시켜, 71.89 mm 대비 57.83 mm의 W-MPJPE 를 달성합니다. 개선 효과는 손 누락 비율이 높은 클립에서 가장 두드러집니다.
• ARCTIC: StableHand 는 가장 강력한 베이스라인 대비 W-MPJPE 를 약 25% 감소시켜, 171.61 mm 대비 124.59 mm를 달성합니다. 또한 MRRPE(평균 상대적 루트 위치 오차) 에서도 유의미한 개선을 보여 두 손의 상대적 공간 일관성에 대한 더 나은 관절 추론을 나타냅니다.
• 추적 연구: 채널별 품질 스케줄을 제거하면 W-MPJPE 가 1.6 배 악화됩니다. 손당 손목/손가락을 위한 네 토큰 분할을 단일 토큰으로 대체하면 성능이 2.1 배 악화되어 채널별 변조의 필요성을 확인시킵니다. 예측된 등급 신호 대신 상수 또는 이진 품질 신호를 사용하면 베이스라인과 동등하거나 더 나쁜 성능이 나타납니다.

중요성 및 주장

이 논문은 정확한 세계 좌표계 손 운동 추정이 프레임별 관찰의 품질과 긴밀하게 결합되어 있다고 주장합니다. 이 품질 이질성을 명시적으로 모델링함으로써 StableHand 는 학습된 양손 운동 사전 지식을 사용하여 신뢰할 수 있는 관찰은 "고정"하고 신뢰할 수 없는 관찰은 "재생성"할 수 있습니다.

저자들은 이 작업을 대규모 자세 중심 비디오로부터 로봇 정책 학습을 감독하기 위한 근본적인 단계로 위치시키며, 특히 드리프트와 가림으로 인해 기존 방법이 실패하는 교묘한 양손 조작 작업에 중점을 둡니다. 이 프레임워크는 품질 네트워크가 보정되거나 재학습된다는 전제하에 다양한 상류 포즈 추정기 (예: WiLoR 대 HaMeR) 에서 견고한 것으로 나타났습니다.

이 논문은 제한 사항을 겸손하게 인정합니다: 품질 신호는 특정 상류 추정기에 보정되어 있으며, 손이 관찰되지 않는 극도로 긴 저품질 구간에서는 모델이 타당하지만 충실하게 근거되지 않은 구성으로 드리프트할 수 있습니다. 향후 작업으로는 결합된 손 - 물체 모델링과 엔드 - 투 - 엔드 학습을 포함할 것이 제안됩니다.