1. 문제 정의 (Problem)

기존의 인간 - 사물 상호작용 (Human-Object Interaction, HOI) 포착 기술은 특수 스튜디오나 다중 카메라 어레이와 같은 비용이 많이 들고 확장성이 낮은 설정에 의존해 왔습니다. 반면, 단일 RGB 비디오 (모노큘러) 로부터 4D(3D 공간 + 시간) 상호작용을 복원하는 것은 매우 유망하지만 다음과 같은 심각한 도전 과제들이 존재합니다.

• 범용성 부재: 기존 방법들은 대부분 특정 객체의 템플릿을 미리 알거나, 훈련 데이터에 포함된 제한된 카테고리 내에서만 작동합니다. 새로운 객체 카테고리 (Zero-shot) 에 대해서는 일반화되지 못합니다.
• 스케일 및 깊이 모호성: 단일 뷰에서는 깊이 정보가 부족하여 객체의 실제 물리적 크기 (Metric Scale) 와 정확한 3D 기하학을 복원하기 어렵습니다.
• 복잡한 상호작용: 심한 가림 (Occlusion) 과 인간과 객체 간의 미세한 접촉 (Contact) 을 고려해야 하며, 시공간적으로 일관된 추적이 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 CARI4D를 제안합니다. 이는 단일 RGB 비디오로부터 **카테고리 무관 (Category Agnostic)**하게 인간과 객체를 메트릭 스케일 (Metric Scale) 로 복원하고, 4D 상호작용을 추적하는 첫 번째 방법론입니다. 전체 파이프라인은 다음과 같은 단계로 구성됩니다.

A. 메트릭 스케일 객체 복원 (Metric-scale Object Reconstruction)

• 초기화: 비디오의 첫 프레임 (보통 상호작용 전 객체가 잘 보이는 상태) 을 활용합니다.
• 기반 모델 활용: f-BRS로 객체 마스크를 추출하고, Hunyuan3D-2를 사용하여 객체 메쉬를 생성합니다.
• 스케일 추정: 생성된 메쉬는 정규화된 스케일만 가지므로, UniDepth로 메트릭 깊이를 추정하고 FoundationPose를 사용하여 그리드 검색 (Grid Search) 방식으로 최적의 메트릭 스케일을 찾습니다.

B. 강건한 포즈 추정 및 정렬 (Robust Pose Estimation & Alignment)

• 포즈 가설 선택 알고리즘 (Pose Hypothesis Selection): FoundationPose는 프레임당 여러 개의 포즈 후보를 생성합니다. 저자들은 가림 (Occlusion) 이 심한 환경에서 가장 적합한 포즈를 선택하기 위해 가림 마스크 IoU와 시간적 부드러움 (Temporal Smoothness) 기준을 동적으로 적용하여 잘못된 후보를 필터링합니다.
• 인간 - 객체 정렬: NLF (Neural Localizer Fields) 로 추정된 인간 포즈를 UniDepth의 메트릭 깊이와 정렬하여 인간과 객체가 동일한 3D 공간 스케일을 갖도록 합니다.

C. CoCoNet: 카테고리 무관 접촉 추론 (Contact Reasoning)

• 렌더 앤 컴페어 (Render-and-Compare): 초기 추정된 인간/객체 포즈를 렌더링하여 입력 영상과 비교하는 방식으로 작동합니다.
• 네트워크 구조: DINOv2 인코더를 사용하여 RGB, 깊이, 마스크 특징을 추출하고, 시공간 어텐션 (Spatiotemporal Attention) 을 통해 시간적 맥락을 고려합니다.
• 출력: 인간과 객체의 포즈 업데이트 ($\Delta$) 와 손 - 객체 접촉 여부 (Binary Contact Labels) 를 동시에 예측합니다.
• 학습 전략: 훈련 데이터에서 추정된 깊이와 GT(Ground Truth) 깊이의 불일치를 해결하기 위해 깊이 정렬 (Depth Alignment) 기법을 도입하여 네트워크가 절대적 오차가 아닌 상대적 포즈 관계에 집중하도록 합니다.

D. 접촉 기반 공동 최적화 (Contact-based Joint Optimization)

• CoCoNet 의 예측 결과를 바탕으로, 물리적 제약 (관통 방지, 접촉 유지) 과 시각적 제약 (2D 조인트, 마스크 일치) 을 만족하도록 포즈를 미세 조정합니다.
• 손실 함수: 접촉 손실 ($L_c$), 2D 조인트 재투영 손실 ($L_{j2d}$), 가림 인식 마스크 손실 ($L_m$), 관통 손실 ($L_{pen}$), 가속도 손실 ($L_{acc}$) 을 결합하여 사용합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 카테고리 무관 4D 복원: 사전 정의된 템플릿 없이도 다양한 객체 카테고리에 대해 메트릭 스케일 4D 인간 - 객체 상호작용을 복원하고 추적하는 첫 번째 방법론입니다.
2. 강건한 초기화 및 정렬: 가림 환경에서도 안정적인 객체 포즈를 선택하는 '포즈 가설 선택 알고리즘'과 인간 - 객체 깊이를 정렬하는 기법을 제안했습니다.
3. CoCoNet: 렌더 - 컴페어 패러다임을 기반으로 한 카테고리 무관 접촉 추론 네트워크로, 미세한 접촉 관계를 추론하여 상호작용의 물리적 타당성을 높입니다.
4. 실제 환경 적용 (Zero-shot): 훈련된 카테고리 외의 완전히 새로운 객체와 '인더wild(실제 인터넷)' 비디오에서도 성공적으로 작동함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: BEHAVE (훈련/테스트), InterCap (Zero-shot 테스트), 그리고 실제 인터넷 비디오를 활용했습니다.
• 성능 향상:
  • 분포 내 (In-distribution) 데이터: 기존 최첨단 방법 (InterTrack, VisTracker) 대비 Chamfer Distance 기준 35% 이상의 오차 감소.
  • 미분포 (Unseen) 데이터: InterCap 데이터셋에서 36% 이상의 성능 향상.
  • Zero-shot 일반화: 훈련 데이터에 없는 객체 카테고리에서도 높은 정확도를 보이며, PICO(이미지 기반) 나 VisTracker(템플릿 기반) 보다 월등히 우수한 결과를 기록했습니다.
• 효율성: 300 프레임 비디오 처리에 약 45 분이 소요되어, 이미지 기반 방법 (PICO, 약 1560 분) 보다 훨씬 빠르면서도 정확도가 높습니다.

5. 의의 및 의의 (Significance)

• 실용성: 특수 장비 없이 스마트폰이나 일반 카메라로 촬영된 비디오만으로 로봇 학습, 게임, 증강현실 (AR) 등에 활용 가능한 고품질 4D 데이터를 생성할 수 있게 되었습니다.
• 확장성: 특정 객체에 종속되지 않는 범용적인 접근법을 제시함으로써, 오픈 월드 (Open-world) 환경에서의 인간 - 객체 상호작용 이해를 위한 새로운 기준을 제시했습니다.
• 물리적 타당성: 단순한 3D 복원을 넘어, 인간과 객체 간의 '접촉 (Contact)'을 명시적으로 추론하고 물리 법칙을 준수하도록 최적화하여, 로봇이 실제 환경을 이해하고 상호작용하는 데 필수적인 정보를 제공합니다.

이 논문은 단일 카메라 비디오로부터 복잡한 3D 상호작용을 복원하는 분야에서 **범용성 (Category Agnostic)**과 **정확도 (Metric Scale)**를 동시에 달성한 중요한 이정표로 평가됩니다.