기술 요약: 야생(in-the-wild) 환경에서의 에고센트릭 3D 손-물체 포즈 추정을 향하여

문제 정의

가혹한 폐쇄(occlusion), 모호한 접촉 영역, 그리고 물체와 손 구성의 다양한 다양성으로 인해, 야생의 에고센트릭 RGB 이미지로부터 정확한 3D 손-물체 포즈를 추정하는 것은 여전히 큰 도전 과제이다. 기존의 학습 기반 방법들은 통제된 실험실 환경에서는 성공을 거두었으나, 실제 세계의 시나리오로 일반화하는 데 어려움을 겪고 있다. 주요 병목 현상은 고품질 감독 데이터의 부족이다. 비정형 환경에서 양손과 물체의 그라운드 트루스(ground-truth) 3D 포즈를 얻기 위해서는 비용이 많이 드는 모션 캡처(MoCap) 시스템이 필요하며, 이는 대규모 데이터 수집에는 비현실적이다. 또한, 기존 데이터셋은 복잡한 실제 에고센트릭 상호작용을 반영하지 못하는 최소한의 정돈된 배경을 특징으로 한다.

방법론

1. EPIC-Contact 데이터셋

야생 환경의 감독 데이터 부족 문제를 해결하기 위해, 저자들은 EPIC-Kitchens 데이터셋에서 추출한 2,300개의 비디오 클립(62,300 프레임)으로 구성된 EPIC-Contact 데이터셋을 소개한다. 이 데이터셋은 9개의 물체 카테고리를 포함하며 다양한 복잡한 실제 상호작용을 포착한다.

주석(annotation) 파이프라인은 세 가지 핵심 단계로 구성된다:

• 손 접촉 주석(Hand Contact Annotation): 주석 작업자는 비디오 문맥을 사용하여 가려진 영역을 추론함으로써, 세분화된 MANO 손 메쉬(3,106개 정점) 상에 접촉 정점(contact vertices)을 "칠한다(paint)". 이는 접촉 영역에 대한 고정밀 레이블링을 보장한다.
• 전단사 접촉 전이(Bijective Contact Transfer): 손의 접촉 영역은 2-DoF 접촉 축을 사용하여 매개변수화된다. 이 축들은 인터랙티브 도구를 통해 물체 표면으로 전이되어, 손과 물체 정점 사이의 전단사 대응 관계(bijective correspondences)를 구축한다. 물체의 스케일링은 비디오 내 특정 인스턴스와 일치하도록 시각-언어 모델(VLM)을 사용하여 정교화된다.
• EC-fit 최적화: 최적화 파이프라인(EC-fit)은 접촉 주석으로부터 포즈가 적용된 3D 손-물체 메쉬를 도출한다. 이 과정은 WiLoR와 카테고리 인식 사전 지식(priors)을 사용하여 포즈를 초기화한 후, 물리적 실재성을 보장하기 위해 접촉 손실(contact loss), 폐쇄 인식 마스크 손실(occlusion-aware mask loss), 그리고 관통 손실(penetration loss)을 최소화함으로써 메쉬를 정렬한다.

2. HOPformer 아키텍처

저자들은 단일 RGB 이미지로부터 단 한 번의 순전파(forward pass)를 통해 공동 3D 양손 및 물체 포즈 추정을 수행하는 엔드 투 엔드 트랜스포머 프레임워크인 HOPformer를 제안한다.

• 특징 추출(Feature Extraction): 모델은 물체 특징 추출을 위해 DINOv2 (ViT-G)를 사용하고, 손 포즈 특징을 위해 WiLoR를 사용한다.
• 교차 주의(Cross-Attention) 디코더: 핵심 혁신은 물체 특징을 손의 사전 지식에 조건화하는 교차 주의 디코더를 사용하는 것이다. 손과 물체 특징을 독립적으로 다루거나 단순 결합(concatenation)하는 기존 방법들과 달리, HOPformer는 손의 문맥을 참조함으로써 물체 표현을 반복적으로 정교화한다. 이를 통해 모델은 폐쇄 상황에서도 물체 포즈 추정을 가이드하기 위해 견고한 3D 손 재구성 사전 지식을 활용할 수 있다.
• 물체 검색(Object Retrieval): 네트워크는 물체 카테로리를 예측하는 분류 헤드를 포함하며, 미리 정의된 풀(pool)에서 해당하는 3D 메쉬를 검색한다. 이후 회귀된 포즈가 검색된 메쉬에 적용된다.
• 학습 신호(Training Signal): 모델은 2D/3D 키포인트 손실, MANO 파라미터 손실, 물체 분류 손실, 그리고 손과 물체 메쉬 사이의 물리적 일관성을 강제하기 위한 접촉 편차(Contact Deviation, CDev) 기반의 특화된 상호작용 손실의 조합을 사용하여 학습된다.

주요 기여

1. EPIC-Contact 데이터셋: 조밀한 전단사 3D 손-물체 접촉 대응 관계와 포즈가 적용된 메쉬를 갖춘 대규모 야생 에고센트릭 데이터셋을 도입하여, 도전적인 실제 시나리오에서의 학습 및 평가를 가능하게 했다.
2. HOPformer: 교차 주의 메커니즘을 통해 손의 사전 지식을 활용하여 물체 특징을 풍부하게 함으로써 양손 및 물체 포즈를 공동으로 예측하는 새로운 트랜스포머 기반 아키텍처를 제안했다.
3. 최첨단 성능(SOTA): HOPformer가 기존의 실험실 벤치마크와 새로운 야생 데이터셋 모두에서 우수한 성능을 달utation함을 입증했다.

실험 결과

실험실 성능 (ARCTIC 데이터셋)

ARCTIC 데이터셋(에고센트릭 분할)에서 평가했을 때, HOPformer는 **82.4%의 성공률(SR@0.05)**을 달성하여 기존의 최첨단 모델인 JointTransformer(76.2%)보다 6.2%포인트 높은 성능을 보였다. 또한 접촉 편차(CDev)를 35.0mm에서 31.9mm로, 운동 편차(MDev)를 10.4mm에서 7.3mm로 감소시켰다.

야생 성능 (EPIC-Contact 데이터셋)

새로 도입된 EPIC-Contact 데이터셋에서 HOPformer는 베이스라인 대비 성공률을 거의 두 배로 높였으며(JointTransformer의 17.6% 대비 29.8%), CDev를 75% 감소시켰다(30.1mm에서 20.7mm로). 이 모델은 기존 방법들이 접촉 일관성을 유지하는 데 자주 실패하는 폐쇄, 복잡한 배경, 투명한 물체에 대해서도 강건함을 보여준다.

절제 연구(Ablation Studies)

절제 실험은 성능 향상이 다음 요소들에 의해 유도됨을 확인시켜 준다:

• 손 조건부 교차 주의(Hand-conditioned Cross-Attention): 교차 주의 메커니즘을 단순 결합으로 대체하면 성능이 급격히 하락한다(SR이 82.4%에서 29.4%로 감소).
• 특화된 손 사전 지식(Specialized Hand Priors): 손 특징을 위해 WiLoR 대신 일반적인 DINOv2 토큰을 사용하면 성능이 크게 저하되며, 이는 포즈 특화된 손 특징의 필요성을 강조한다.
• 상호작용 손실(Interaction Loss): CDev 기반의 상호작용 손실을 제거하면 접촉 편차가 증가하여, 물리적 일관성을 강제하는 역할이 확인되었다.

의의 및 주장

본 논문은 EPIC-Contact와 HOPformer가 기록되지 않은 환경에서의 확장 가능하고 견고한 3D 손-물체 포즈 추정을 향한 중요한 진전임을 주장한다. MoCap 없이도 조밀한 접촉 주석을 얻는 방법과 손의 사전 지식을 효과적으로 활용하는 모델 아키텍처를 도입함으로써, 본 연구는 실험실과 야생 환경 사이의 일반화 격차를 해결한다. 저자들은 이 연구를 AR/VR, 로보틱스, 보조 기술과 같은 인간 중심 응용 분야를 위한 미래 연구의 토대로 자리매김하며, 도전적인 실제 데이터에 대한 강력한 베이스라인을 제공한다.