FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos

1. 문제 정의 (Problem Statement)

기존의 3D 장면 재구성 연구는 주로 정적인 (static) 기하학적 구조에 초점을 맞추고 있습니다. 그러나 실제 물리적 세계에서는 인간이 문, 서랍, 냉장고 등을 열고 닫는 등 상호작용 (interaction) 을 통해 장면의 상태가 변화합니다.

• 한계점: 기존 방법들은 통제된 실험 환경, 다중 상태 캡처 (여러 번 스캔), 또는 CAD 사전 지식 (prior) 에 의존하여 관절형 (articulated) 객체를 재구성했습니다. 이는 자연스러운 '인-더-와일드 (in-the-wild)' 환경에서의 일회성 1 인칭 (egocentric) 비디오로부터 기능적인 3D 디지털 트윈을 만드는 데 한계가 있습니다.
• 목표: 단일 1 인칭 RGB-D 상호작용 비디오로부터 정적 배경과 움직이는 관절형 부품 (articulated parts) 을 모두 포함하는 기능적이고 상호작용 가능한 3D 디지털 트윈을 자동으로 복원하는 것입니다.

2. 제안 방법론 (Methodology: FunREC)

FunREC 은 학습이 필요 없는 (training-free), 최적화 기반의 파이프라인으로, 기초 모델 (foundation models) 의 시맨틱 및 모션 사전 지식을 통합합니다.

A. 전체 파이프라인

1. 영상 분할 (Fragment Construction): 입력된 RGB-D 비디오를 시간적으로 연속된 조각 (fragments) 으로 나눕니다. Video-Language Model (VLM) 을 사용하여 각 조각이 '정적 (상호작용 없음)'인지 '동적 (상호작용 발생)'인지 분류하고, 상호작용 시 관절의 유형 (미끄럼/Prismatic 또는 회전/Revolute) 을 예측합니다.
2. 동적 조각 재구성 (Dynamic Fragment Reconstruction):
   • 카메라 포즈 추정: RoMA 를 이용한 밀집 포인트 매칭과 VISOR 를 통한 손/객체 마스크 필터링을 거쳐 SupeRANSAC 으로 카메라 포즈를 추정합니다.
   • 희소 3D 궤적 및 군집화: TAPIP3D 를 통해 3D 포인트 궤적을 추출하고, 관절 모델 (선형 또는 원형 궤적) 에 맞춰 피팅합니다. HDBSCAN 을 사용하여 움직이는 궤적들을 군집화하고, 2D 상호작용 마스크와 일치하는 군집을 '조작된 부분 (manipulated part)'으로 식별합니다.
   • 픽셀 단위 분할 (Segmentation): SAM (Segment Anything Model) 의 자동 마스크 생성기를 사용하여 핵심 프레임에서 움직이는 부분의 밀집 마스크를 생성하고, SAM2 의 비디오 전파 모듈을 통해 시간적으로 일관된 마스크 시퀀스를 얻습니다.
   • 포즈 및 관절 파라미터 최적화: 움직이는 부분의 3D 궤적과 마스크를 기반으로, 부분의 포즈 ($T^m_i$) 와 관절 파라미터 (축, 회전 중심, 각도/이동 거리) 를 비선형 최적화 (Ceres Solver) 를 통해 공동으로 추정합니다.
   • 기하학적 재구성: 정적 배경과 움직이는 부분을 별도의 TSDF (Truncated Signed Distance Function) 볼륨으로 재구성합니다. 움직이는 부분은 카메라 모션을 보정된 '정규 좌표계 (canonical space)'에서 재구성되어 간섭 없이 깔끔한 3D 메쉬를 생성합니다.
3. 전역 정렬 (Global Fragment Alignment): 모든 조각의 서브맵을 PREDAOR 를 이용한 기하학적 대응점을 통해 전역 좌표계에 정렬하고 통합하여 최종 3D 장면을 생성합니다.

B. 관절 모델링

• Prismatic (미끄럼): 이동 축 ($a$) 과 이동 거리 ($\lambda$) 를 파라미터로 가짐 (예: 서랍).
• Revolute (회전): 회전 축 ($a$), 회전 중심 ($p$), 회전 각도 ($\theta$) 를 파라미터로 가짐 (예: 문).

3. 주요 기여 (Key Contributions)

1. FunREC 시스템: CAD 모델이나 다중 스캔 없이, 단일 1 인칭 상호작용 비디오만으로 기능적인 3D 디지털 트윈을 생성하는 최초의 엔드 - 투 - 엔드 솔루션 제안.
2. 새로운 데이터셋 구축:
   • RealFun4D: 4 개 국가의 60 개 아파트에서 촬영된 351 개의 실제 1 인칭 상호작용 비디오 (실제 환경).
   • OmniFun4D: OmniGibson 시뮬레이션 환경에서 생성된 127 개의 고품질 합성 데이터.
   • 기존 HOI4D 데이터셋을 확장하여 평가에 활용.
3. 실용적 응용: 재구성된 데이터를 URDF/USD 형식으로 내보내 물리 시뮬레이션 (Isaac Sim 등) 에 직접 적용 가능하게 함. 로봇 - 장면 상호작용 및 손 - 가이드 어포던스 매핑 지원.

4. 실험 결과 (Results)

FunREC 은 HOI4D, RealFun4D, OmniFun4D 세 가지 데이터셋에서 MonST3R, SpatialTrackerV2, BundleSDF, ArtGS 등 최신 베이스라인 방법들을 압도적으로 능가했습니다.

• 관절 운동 추정 (Articulated Motion Estimation):
  • 축 방향 오차: 약 5.3° (기존 방법 대비 30° 이상 개선).
  • 축 위치 오차: 0.03m (기존 대비 10 배 이상 정밀).
  • 관절 상태 (State) 오차: 회전/미끄럼 모두 59°/0.020.03m 수준으로 극도로 낮음.
  • 실패율 (Failure Rate): 0% (기존 방법들은 10~95% 의 높은 실패율 보임).
• 6D 부분 포즈 추정 (6D Part Pose):
  • ADD-S 점수: OmniFun4D 에서 78.96%, HOI4D 에서 79.43% (베이스라인 대비 2 배 이상 향상).
• 부분 분할 (Segmentation):
  • mIoU: 74.8 ~ 77.9% (기존 방법인 MonST3R 의 23~26% 대비 약 3 배 향상).
• 3D 재구성 (Reconstruction):
  • Chamfer Distance (CD): OmniFun4D 에서 3.2cm, HOI4D 에서 0.7cm로 매우 높은 정밀도 달성.

5. 의의 및 결론 (Significance)

• 기능적 디지털 트윈의 실현: 단순한 정적 3D 스캔을 넘어, 물체의 움직임과 상호작용 가능성 (어포던스) 을 포함하는 '살아있는' 디지털 트윈을 저비용 (단일 비디오) 으로 생성 가능하게 함.
• 로보틱스 및 시뮬레이션: 재구성된 장면을 물리 엔진에 직접 로드하여 로봇이 실제 환경과 유사한 상호작용을 학습하거나 시뮬레이션할 수 있게 함.
• 일반화 능력: 합성 데이터, 통제된 실험실 환경, 그리고 복잡한 실제 실내 환경 (RealFun4D) 에서 모두 뛰어난 성능을 입증하여 '인-더-와일드' 적용 가능성을 확인함.

이 연구는 컴퓨터 비전, 로봇공학, 내재된 AI (Embodied AI) 분야에서 상호작용 가능한 3D 환경 이해의 새로운 기준을 제시합니다.