GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting

1. 문제 정의 (Problem)

단일 RGB 비디오에서 손 - 물체 상호작용 (Hand-Object Interaction, HOI) 을 3D 로 재구성하는 작업은 증강현실 (AR), 가상현실 (VR), 로봇공학, 그리고 embodied AI 에 필수적입니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 범주 의존성 (Category-specific): 특정 물체 템플릿에 의존하여 새로운 물체나 비정형적인 물체에는 일반화가 어렵습니다.
• 계산 비용: NeRF 기반 방법들은 고품질 렌더링을 제공하지만, 시퀀스당 수 시간의 최적화가 필요하여 실용성이 떨어집니다.
• 물리적 일관성 부재: 심한 가림 (occlusion) 상황에서 손과 물체의 접촉이 비현실적으로 표현되거나, 가려진 물체의 기하학적 구조가 누락되는 문제가 발생합니다.
• 깊이 모호성: 단일 시점 (monocular) 설정에서 깊이 추정의 모호성으로 인해 스케일 불안정성과 물리적으로 일관되지 않은 접촉이 발생합니다.

2. 방법론 (Methodology)

저자들은 GHOST (Gaussian Hand-Object SplaTting) 라는 새로운 프레임워크를 제안합니다. 이는 2D 가우시안 스플래팅 (Gaussian Splatting) 을 활용하여 손과 물체를 밀집된 뷰 일관성 (view-consistent) 가우시안 디스크로 표현하며, 세 가지 주요 단계로 구성됩니다.

3.1. 전처리 파이프라인 (Preprocessing)

• 손 재구성: HaMeR 모델을 사용하여 초기 3D 손 메쉬 (MANO 파라미터) 를 추출하고, 불확실한 프레임 (심한 가림 등) 을 감지하여 보간 (interpolation) 으로 제거하여 시간적 일관성을 확보합니다.
• 기하학적 사전 지식 (Geometric Prior) 검색:
  • VLM(Vision-Language Model) 을 사용하여 물체의 텍스트 설명을 생성합니다.
  • OpenShape 의 CLIP 모델을 통해 텍스트 임베딩과 Objaverse 데이터베이스의 3D 메쉬 임베딩 간 최단 거리 검색을 수행하여 유사한 물체 후보를 찾습니다.
  • 검색된 3D 메쉬를 SfM(Structure-from-Motion) 으로 얻은 점구름 (point cloud) 과 정렬 (Affine transformation) 하여 가려진 영역을 채울 수 있는 기하학적 사전 지식으로 활용합니다.

3.2. 손 - 물체 정렬 (HO Alignment)

초기 재구성의 스케일 불일치와 손의 드리프트를 보정하기 위해 그랩 (Grasp) 인지 기반의 정렬을 수행합니다.

• 그랩 감지: 손과 물체의 운동 궤적 유사성을 분석하여 손이 물체를 잡고 있는 프레임을 식별합니다.
• 최적화 목적 함수:
  1. 접촉 손실 (Contact Loss): 그랩 중일 때 손 메쉬와 물체 사전 지식 간의 Chamfer Distance 를 최소화하여 물리적 접촉을 강제합니다.
  2. 2D 투영 손실 (Projection Loss): 재투영 오차를 최소화하여 2D 손 관절의 일관성을 유지합니다.
  3. 시간적 일관성 손실 (Temporal Loss): 손의 이동이 매끄럽도록 시간적 제약을 적용합니다.

3.3. 가우시안 스플래팅 최적화 (Gaussian Splatting Optimization)

손과 물체를 동시에 3D 로 재구성하는 단계입니다.

• 물체 최적화:
  • 손 인지 배경 손실 (Hand-aware Background Loss, $L_{bkg,h}$): 기존 배경 손실은 가려진 영역을 배경으로 잘못 제거할 수 있습니다. 이를 해결하기 위해 손 마스크를 포함한 복합 마스크를 사용하여, 손에 가려진 물체 영역이 배경으로 제거되지 않도록 보호합니다.
  • 기하학적 일관성 손실 (Geometric Consistency Loss, $L_{geo}$): 검색된 기하학적 사전 지식을 기반으로, 재구성된 가우시안이 사전 지식 표면에서 너무 멀어지지 않도록 ($L_{out}$) 하고, 가림으로 인한 구멍을 채우도록 ($L_{fill}$) 유도합니다.
• 손 최적화:
  • 손은 변형 가능하므로, MANO 메쉬의 각 면에 가우시안을 부착 (Rigging) 하고, 메쉬의 변형에 따라 가우시안의 위치와 회전을 변환합니다.
  • 물체 재구성이 먼저 완료된 후, 손 가우시안만 최적화하여 일관된 결합 표현을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 빠르고 범주 무관한 프레임워크: 단일 RGB 비디오에서 애니메이션 가능한 양손 손 - 물체 상호작용을 재구성하는 최초의 고속 프레임워크입니다.
2. 사전 지식 기반 재구성 전략: 검색된 기하학적 사전 지식을 활용하여 가려진 물체 영역을 기하학적 일관성으로 채워 넣는 전략을 제안했습니다.
3. 그랩 인지 정렬: 현실적이고 안정적인 손 - 물체 접촉을 보장하기 위해 그랩 상황을 인지하여 정렬을 최적화합니다.
4. 손 인지 배경 손실: 지속적인 가림 상황에서도 유효한 물체 영역이 손실되지 않도록 보호하는 새로운 손실 함수를 도입했습니다.
5. 성능: 기존 범주 무관 방법론보다 13 배 이상 빠른 실행 시간을 유지하면서 3D 재구성 정확도와 2D 렌더링 품질에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: ARCTIC, HO3D, 그리고 실제 환경 (in-the-wild) 비디오에서 평가했습니다.
• 정량적 평가:
  • 3D 정확도: ARCTIC 데이터셋에서 손 - 물체 상호작용 거리 (CDh, CDr, CDl) 와 ICP 정렬 후 거리 (CDICP) 에서 기존 방법 (HOLD, BIGS) 보다 우수한 성능을 보였습니다.
  • 2D 렌더링 품질: PSNR, SSIM, LPIPS 지표에서 HOLD 및 BIGS 대비 높은 화질을 기록했습니다.
  • 실행 시간: 기존 NeRF 기반 방법 (HOLD: 약 16 시간) 이나 BIGS (약 13 시간) 와 비교하여 약 1 시간 내외로 최적화 시간을 단축하여 13 배 이상의 속도 향상을 입증했습니다.
• 정성적 평가: 심한 가림 상황에서도 물체의 전체 표면을 복원하고, 다양한 시점 (Novel View) 에서 사실적인 렌더링이 가능함을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

GHOST 는 단일 RGB 비디오로부터 물리적으로 일관되고, 애니메이션이 가능하며, 범주에 구애받지 않는 손 - 물체 상호작용 재구성을 가능하게 하는 획기적인 접근법입니다.

• 실용성: NeRF 기반 방법들의 긴 최적화 시간을 극복하여 AR/VR, 원격 조종 (teleoperation), 로봇 조작 등 실시간성이 요구되는 응용 분야에 즉시 적용 가능한 솔루션을 제공합니다.
• 기술적 진보: 가우시안 스플래팅의 효율성과 기하학적 사전 지식, 그리고 물리적 제약 (그랩, 접촉) 을 결합하여 가림 (occlusion) 문제와 스케일 불안정성을 동시에 해결했습니다.
• 향후 방향: 변형 가능한 물체 (deformable objects) 로의 확장, SfM 파이프라인 내 기하학적 사전 지식 직접 통합, 그리고 스테레오 또는 RGB-D 스트림을 활용한 실시간 추론 연구로 이어질 수 있습니다.