기술 요약: 단안 비디오에서의 물리적으로 타당한 HOI 재구성을 위한 Real2Sim

1. 문제 정의

단안 비디오로부터 4 차원 인간 - 물체 상호작용 (HOI) 을 복원하는 것은 확장 가능한 3 차원 콘텐츠 제작, embodied AI, 그리고 시뮬레이션 기반 학습을 위한 핵심 단계입니다. 최근 방법들 (예: VisTracker, CARI4D, THO) 은 시간적으로 일관된 인간 및 물체 궤적 재구성에서 진전을 이루었지만, 근본적인'상호작용 간격 (interaction gap)'으로 고통받고 있습니다. 이러한 방법들은 일반적으로 인간과 물체를 모호한 3 차원 공간 내의 독립적 개체로 취급하여, 시각적으로는 타당하지만 물리적으로 불안정한 결과를 초래합니다. 구체적으로, 기존 파이프라인은 인간형 - 물체 시뮬레이션의 참조 동작으로 사용될 때 안정적인 접촉, 기능적 조작, 또는 동적 타당성을 유지하지 못하는 경우가 많습니다. 핵심적인 과제는 현재 재구성 접근법들이 인간과 물체 궤적을 일관된 상호작용으로 묶어주는 진화하는 기능적 관계를 명시적으로 복원하지 못하기 때문에, 물리적 롤아웃 (physical rollouts) 을 위한'교사 궤적 (teacher trajectories)'으로 적합하지 않다는 점입니다.

2. 방법론: HA-HOI

저자들은 야생 환경의 단안 비디오로부터 물리적으로 타당한 4D HOI 애니메이션을 재구성하도록 설계된 HA-HOI(Human-Anchored HOI) 프레임워크를 제안합니다. 핵심 통찰은 대부분의 HOI 시나리오에서 인간이 능동적 에이전트이며, 물체 운동은 인간의 행동에 조건부라는 점입니다. 따라서 이 프레임워크는 인간을 단순히 또 다른 재구성 개체가 아닌 상호작용의 조직적 좌표계로 간주하는 인간 우선, 물체 추종 (human-first, object-follow) 형식을 채택합니다.

파이프라인은 네 가지 명확한 단계로 구성됩니다:

3.1 인간 중심 상호작용 앵커

인간과 물체 궤적을 독립적으로 재구성하는 대신, 시스템은 먼저 시간적으로 일관된 인간 운동을 상호작용 앵커로 설정합니다.

• 인간 복원: 시스템은 SMPL-X 매개변수를 사용하여 월드 공간의 신체 운동을 복원하고, 상호작용에 필수적인 정교한 손 관절 운동을 보장하기 위해 MANO 손 포즈를 융합합니다.
• 깊이 보정: 단안 깊이 예측은 이 인간 앵커에 보정됩니다. 깊이를 전역 장면 표현으로 취급하는 대신, 인간 영역의 투영되지 않은 깊이 점들을 복원된 메시와 정렬하기 위해 스케일 인자가 추정됩니다. 이는 물체 배치를 위한 국부적 기하학적 증거로 깊이를 사용하면서도 인간 운동의 측정 스케일을 보존합니다.

3.2 물체 추종 재구성

인간 앵커가 설정되면, 물체는 이 프레임에 상대적으로 재구성됩니다.

• 메시 구축: 가시 프레임에서 표준 객체 메시가 구축되며, 가려진 영역을 위해 이미지 인페인팅과 단일 이미지 3D 재구성 모델이 활용됩니다.
• 스케일 추정: 단안 재구성은 측정 스케일이 부족하므로, 시스템은 관찰된 이미지 실루엣과 보정된 깊이에 물체를 정렬하고 인간 앵커에 대한 깊이 불일치를 패널티로 부과하여 최적의 물체 스케일 ($s^\star_o$) 을 추정합니다.
• 추적: 스케일링된 물체 메시는 FoundationPose 를 사용하여 비디오 전반에 걸쳐 추적됩니다. 신뢰성은 마스크 - 깊이 일관성을 통해 보장되며, 신뢰할 수 없는 프레임에는 보간이 사용됩니다. 결과 궤적은 인간 중심 월드 프레임으로 변환되어 거친 HOI 궤적 ($\tau^0$) 을 생성합니다.

3.3 의미적 접촉 정제

거친 궤적은 여전히 물리적 일관성 (예: 공중에 뜬 물체나 침투) 이 부족할 수 있습니다. 이를 해결하기 위해 시스템은 의미적 접촉 정제를 적용합니다.

• 접촉 제안: Vision-Language 모델 (InteractVLM) 은 대표 프레임에서 인간 및 물체 메시 모두에서 가능한 접촉 영역을 예측합니다.
• 최적화: 시스템은 복합 손실 함수를 최소화하기 위해 선택된 신체 관절, 손 포즈, 그리고 물체 포즈를 최적화합니다. 여기에는 다음이 포함됩니다:
  • 접촉 손실 ($L_c$): 초기에는 양방향 최단 거리 (bidirectional nearest-neighbor distance) 를 사용하다가, 인간 접촉 정점을 물체 표면으로 끌어당기기 위해 부호付き 거리장 (SDF) 목적 함수로 전환합니다.
  • 침투 손실 ($L_p$): 메시 교차를 패널티로 부과합니다.
  • 부드러움 ($L_s$), 앵커링 ($L_a$), 정규화 ($L_r$): 시간적 안정성과 거친 재구성에 대한 준수를 보장합니다.
• 점진적 최적화: 이 과정은 고정된 인간 운동 하에서 물체 깊이를 조정하는 것에서 시작하여, 물체 포즈, 손 포즈, 그리고 신체 관절을 공동으로 최적화하는 단계로 이어지며, 최종적으로 손목과 손가락 포즈를 정제합니다.

3.4 물리 기반 상호작용 투영

최종 단계는 운동학적 궤적을 물리 기반 시뮬레이션으로 투영하여 동적 타당성을 보장합니다.

• 시뮬레이션 설정: 최적화된 인간 시퀀스는 인간형 참조 운동으로 변환되고, 물체는 동적 강체로 모델링됩니다.
• 잔여 제어기: 시퀀스별 잔여 제어기가 훈련됩니다. 이는 시뮬레이션 상태와 참조 상태를 관찰하여 참조 관절 표적을 수정하기 위한 잔여 동작을 출력합니다.
• 훈련 목적 함수: 보상 함수는 운동 충실도 (인간 추적, 물체 궤적 일치, 손 관절 운동) 와 상호작용 안정성 (능동적 접촉 유지, 속도 제약) 사이를 균형을 맞춥니다.
• 출력: 최종 출력은 입력 비디오에 가깝지만 중력과 접촉 역학 하에서 안정적인 상호작용을 지원하는 물리적으로 타당한 애니메이션 ($\tau_{phys}$) 입니다.

3. 주요 기여

1. HA-HOI 프레임워크: 야생 환경의 단안 HOI 비디오를 시뮬레이션 준비가 된 궤적으로 변환하는 확장 가능하고 훈련이 불필요한 파이프라인으로, 시각적으로 정렬된 4D 추적을 넘어 물리적으로 기반을 둔 상호작용 애니메이션으로 초점을 이동시킵니다.
2. 인간 우선, 물체 추종 형식: 월드 기반 인간 운동을 상호작용 앵커로 사용하여 인간 행동에 상대적으로 물체 운동을 재구성하고, VLM 기반 제안과 명시적 최적화를 통해 접촉을 정제하는 새로운 재구성 전략입니다.
3. 물리 기반 평가: HA-HOI 가 정확한 4D HOI 재구성을 달성하면서도 인간형 - 물체 시뮬레이션을 위한 물리적 타당성, 접촉 일관성, 그리고 시간적 안정성을 크게 향상시켜 표준 기하학적 지표를 넘어선다는 것을 입증합니다.

4. 실험 결과

이 방법은 다중 뷰 RGB-D 벤치마크이자 의사 - 기준 등록 (pseudo-ground-truth registrations) 을 가진 BEHAVE 데이터셋에서 평가되었습니다. 평가 프로토콜은 기준 물체 템플릿, 접촉 주석, 또는 수동 조정 없이 단안 RGB 입력을 사용했습니다.

• 정량적 성능: HA-HOI 는 최첨단 방법들 (CHORE, InterTrack, VisTracker, CARI4D, THO) 에 비해 모든 지표에서 경쟁력 있거나 우수한 결과를 달성했습니다.
  • 인간 정확도: 인간에 대한 가장 낮은 챔퍼 거리 (CD-h: 7.11 cm) 와 가장 낮은 인간 가속도 오차 (Acc-h: 0.52 cm/s²) 를 달성했습니다.
  • 상호작용 타당성: 가장 낮은 인간 - 물체 침투 점수 (0.013 cm) 를 달성하여, 최상의 베이스라인 (0.084 cm) 대비 상당한 개선을 보였습니다. 이는 물리적으로 유효하지 않은 교차의 급격한 감소를 나타냅니다.
• 정성적 분석: 시각적 비교는 CARI4D 와 같은 베이스라인이 종종 공중에 뜬 물체나 모호한 접촉을 생성하는 반면, HA-HOI 는 안정적인 파지, 올바른 물체 배치 등 기능적인 손 - 물체 관계를 유지함을 보여줍니다. 이 방법은 물리 시뮬레이션 후에도 상호작용 의미를 성공적으로 보존합니다.
• 애블레이션 연구:
  • 접촉 정제를 제거하면 침투가 0.013 에서 0.097 로 증가하여, 기하학적 정렬 점수를 약간 변경하더라도 접촉 최적화가 물리적 유효성에 필수적임을 확인했습니다.
  • 이 방법은 기준 물체 메시나 카메라 매개변수 없이도 견고하게 유지되어 오픈 월드 시나리오에 대한 적용 가능성을 검증했습니다.

5. 중요성과 주장

이 논문은 단안 4D HOI 재구성이 인간과 물체의 독립적 추적을 넘어 상호작용 관계 자체를 복원해야 한다고 주장합니다. 인간을 조직 원리로 취급하고 시뮬레이션을 통해 물리적 제약을 강제함으로써, HA-HOI 는 시각적 관찰과 물리적 현실 사이의 간극을 메웁니다.

저자들은 이 작업이 일반적인 단안 HOI 비디오를 인간형 - 물체 행동을 위한 확장 가능한 데모로 전환하는 한 걸음이라고 주장합니다. 현재 작업은 시뮬레이션 준비가 된 궤적에 초점을 맞추고 있지만, 저자들은 궁극적인 목표는 이러한 재구성을 실제 인간형 로봇에 배포하는 것이라고 언급하며, 시뮬레이션 - 현실 전이 및 하드웨어 제한과 같은 과제는 향후 과제로 남아있다고 덧붙였습니다. 그 중요성은 HOI 재구성의 목적을 3D 에서 단순히'잘 보이게'하는 것이 아니라 물리 법칙 하에서'잘 행동하게'하는 것으로 재정의하는 데 있습니다.