기술 요약: WristCompass

문제 정의

에고센트릭(egocentric) 조작 비디오로부터 에고 카메라의 방향(SO(3))을 복구하는 것은 모방 학습에서 손의 움직임과 카메라의 움직임을 분리하기 위한 필수적인 전제 조건이다. 기존 방식들은 카메라 포즈를 추론하기 위해 **장면 기하학(scene geometry)**에 의존한다. 그러나 이러한 전략은 손이 장면을 빈번하게 가리는 근접 조작 시나리오에서는 실패한다.

본 논문은 10억 개의 파라미터를 가진 트랜스포머 모델인 VGGT와 같은 최첨단 장면 재구성 모델이 TACO 벤치마크에서 상수 예측기(constant predictor)보다 낮은 성능을 보인다는 점을 입증한다(중앙값 지오데식 오차 23.98° vs 상수 회전 21.22°). 이러한 실패는 손에 의해 화면이 가려질 때 "장면 기하학"이라는 시각적 개념이 더 이상 존재하지 않기 때문에 발생한다. 또한, IMU 기반 솔루션은 기존의 RGB 전용 비디오 아카이브에는 적용할 수 없다. 핵심 과제는 가시적인 장면 구조에 의존하지 않고 순수 단안 RGB만으로 카메라 방향을 복구하는 것이다.

방법론: WristCompass

저자들은 **운동학적 결합 역학(kinematic coupling dynamics)**을 활용하여 카메라 방향을 복구하는 방법인 WristCompass를 제안한다. 이 개념은 인간의 **팔-어깨-머리 체인(arm-shoulder-head chain)**에 의해 부과되는 손목 움직임과 카메라 방향 사이의 구조화된 물리적 관계에 기초한다. 머리(카메라)가 회전할 때, 팔과 손목은 작업 공간과의 상호작용을 유지하기 위해 반드시 움직여야 하며, 이는 배경이 보이지 않을 때도 예측 가능한 결합을 생성한다.

주요 기술 구성 요소

1. 입력 표현 (4D Inter-Wrist Features):

   • 전체 손 키포인트(42개 관절, 126차원)를 사용하는 대신, 모델은 오직 4D 인터-리스트(inter-wrist) 특징 벡터만을 추출한다.
   • 이 벡터는 좌우 손목 사이의 유클리드 거리와 그 차이의 단위 방향 벡터($d_t = w^L_t - w^R_t$)로 구성된다.
   • 근거: 실험 결과, 방향 신호가 인터-리스트 벡터에 집중되어 있음이 밝혀졌다. 전체 손 키포인트를 사용하면 피험자 특유의 노이즈(손가락 관절 움직임)가 유입되어 일반화를 방해한다. 4D 표현은 126D 표현보다 성능이 월등히 높다.

2. 시계열 모델링 (GRU):

   • 이 방법은 12프레임(~30fps 기준 약 0.4초)의 윈도우 크기를 가진 **2층 게이트 순환 유닛(GRU)**을 사용한다.
   • 근거: 방향 신호는 정적 추출을 통해 얻을 수 없다. 정적 4D 특징에 대한 최근접 이웃(nearest-neighbor) 검색은 상수 예측기(26.69°)보다 낮은 점수를 기록했으며, 이는 이 개념이 본질적으로 시계열적이며 역학을 해독하기 위해 시퀀스 모델이 필요함을 증명한다.

3. 아키텍처 및 학습:

   • GRU는 특징 시퀀스를 처리하여 6D 회전 표현을 출력하며, 이는 그람-슈미트 직교화(Gram-Schmidt orthogonalization)를 통해 SO(3)로 투영된다.
   • 모델은 NOKOV 광학 모션 캡처로부터 얻은 그라운드 트루스를 사용하여 TACO 데이터셋(테이블탑 조작)에서 학습된다.
   • 파라미터 효율성: 핵심 모델은 (동결된 WiLoR 키포인트 추출기를 제외하고) 단 200K 개의 파라미터를 포함하며, 이는 1B 파라미터를 가진 VGGT와 대조적이다.

4. 추론 파이프라인:

   • 시스템은 CPU에서 실시간으로 실행된다.
   • 양쪽 손목이 모두 감지된 프레임을 처리하며, 한쪽 손목만 감지된 프레임은 노이즈를 유입시키지 않기 위해 보간하는 대신 버린다.
   • 평가는 절대적 포즈보다는 상대적 방향 구조를 측정하기 위해 **프로크러스 정렬(Procrustes alignment)**을 사용하며, 이를 통해 전역 캘리브레이션 오차를 완화한다.

주요 결과

1. 분포 내 성능 (TACO)

• WristCompass는 **13.80°**의 중앙값 지오데식 오차를 달성한다.
• 이는 다음 모델들을 크게 상회한다:
  • VGGT (1B 파라미터): 23.98° (상수보다 나쁨).
  • 상수 예측기 (Constant Predictor): 21.22°.
  • 정적 최근접 이웃 검색 (Static Nearest-Neighbor Retrieval): 26.69°.
  • 126D 키포인트 기반 MLP: 17.5°.
• 모델은 순환 운동(예: 젓기: 5.9°)에서 가장 높은 성능을 보였으며, 머리 방향이 손목 역학에서 탈착되는 경우(예: 자로 측정하기: 24.3°)에는 어려움을 겪었다.

2. 제로샷 전이 (Epic Kitchens)

• TACO에서만 학습되었음에도 불구하고, WristCompass는 Epic Kitchens 데이터셋(가슴에 장착된 GoPro, 요리 도메인)으로 제로샷(zero-shot) 전이가 가능하다.
• 이 모델은 **14.32°**의 중앙값 지치 오차를 달encing하며, 36명의 참가자 중 33명에 대해 상수 베이스라인(18.54°)을 능가했다.
• Epic Kitchens에서의 VGGT와의 비교:
  • VGGT는 12.83°를 달성하여 WristCompass(14.32°)보다 약간 더 나은 성능을 보였다.
  • 그러나 VGGT는 1000배 더 크다 (1B vs 200K 파라미터).
  • 저자들은 VGGT의 우위가 장면 기하학에 의존하기 때문일 수 있다고 언급했다. 즉, 주방 영상에서는 TACO의 근접 조작 작업보다 장면 특징이 더 잘 드러난다. 반대로, WristCompass는 장면 특징이 가려진 TACO에서 10° 이상의 차이로 승리했다.

기여 및 의의

본 논문은 운동학적 결합 역학이 조작 비디오에서 카메라 방향을 복구하기에 충분한, 작고 구조화되며 물리적으로 근거가 있는 시각적 개념임을 규명한다.

1. 개념 식별: 본 연구는 팔-어깨-머리 체인이 손목 역학에 에고 모션을 인코딩하는 물리적 제약을 부과한다는 점을 확립하였으며, 이는 장면 기하학이 부재할 때 정확히 존재하는 개념이다.
2. WristCompass 구현: 저자들은 200K 파라미터의 경량 모델을 통해 순수 RGB로부터 이 개념을 구현함으로써, 고정밀 방향 복구에 거대한 장면 재구성 모델이 반드시 필요하지 않음을 입여주었다.
3. 해부학을 통한 일반화: Epic Kitchens로의 제로샷 전이는 이 개념이 장면의 외형이 아닌 인간의 해부학에 뿌리를 두고 있기 때문에 데이터셋과 카메라 마운팅에 관계없이 일반화될 수 있음을 보여준다.

한계 및 범위

저자들은 다음과 같은 경계를 명시적으로 언급하였다:

• 실패 사례: 머리 방향이 거의 정적인 경우(낮은 분산) 또는 머리 방향과 독립적으로 손목 위치가 제한되는 경우(예: 측정 작업)에는 방법론이 실패한다.
• 평가 범위: 현재 평가는 서서 하는 조작 활동에 국한되어 있다. 앉아서 하거나 전신을 사용하는 활동으로의 전이는 테스트되지 않았다.
• 절대적 vs 상대적: 이 방법은 상대적 방향 구조(프로크러스 정렬을 통해)를 측정하며, 절대적 포즈 캘리브레이션은 별개의 문제로 남는다.
• 데이터 의존성: 개념은 물리적으로 근거를 두고 있지만, 모델은 여전히 시계열 모델(GRU)을 필요로 하며 정적 프레임 검색만으로는 작동할 수 없다.

결론적으로, WristCompass는 장면 기반 포즈 추정의 실패 사례를 구체적으로 해결하며, 폐쇄되고 근접한 에고센트릭 조작 시나리오를 위해 파라미터 효율적이고 해부학적 근거를 가진 대안을 제공한다.