MVHOI: Bridge Multi-view Condition to Complex Human-Object Interaction Video Reenactment via 3D Foundation Model

이 논문은 3D 기반 모델을 통해 다중 뷰 조건과 비디오 생성 모델을 연결하여, 기존 방법들이 다루기 어려웠던 복잡한 3D 물체 조작이 포함된 인간 - 사물 상호작용 (HOI) 비디오의 사실적인 재연성을 가능하게 하는 MVHOI 프레임워크를 제안합니다.

핵심

이 논문은 **"MVHOI"**라는 새로운 기술을 소개합니다. 쉽게 말해, **"사람이 물건을 가지고 놀거나 조작하는 영상을, 다른 물건으로 자연스럽게 바꾸어 만드는 기술"**입니다.

기존 기술로는 평면적인 움직임 (좌우로 이동) 은 잘했지만, 물건을 3 차원 공간에서 빙글빙글 돌리거나 손으로 복잡하게 만질 때는 모양이 일그러지거나 질감이 엉망이 되는 문제가 있었습니다. MVHOI 는 이 문제를 해결하기 위해 **'3D 마법책'**과 **'정교한 레퍼런스북'**을 활용합니다.

이 기술이 어떻게 작동하는지 세 가지 단계로 나누어 쉽게 설명해 드릴게요.

---

1. 문제: 왜 기존 기술은 실패했을까요?

기존 기술은 마치 2D 평면 그림으로 3D 물체를 표현하려는 것과 비슷했습니다.

• 예시: 손으로 공을 돌릴 때, 기존 기술은 공이 옆으로만 움직이는 줄 알고 그림을 그립니다. 하지만 공이 뒤집히거나 회전하면, 그림 속 공의 뒷면이 어떻게 생겼는지 모를 뿐더러, 손이 공을 가릴 때 공이 사라지거나 모양이 뭉개지는 '기괴한 현상'이 발생했습니다.

2. MVHOI 의 해결책: 2 단계로 완성하는 마법

이 기술은 두 단계로 나누어 작업을 수행합니다.

1 단계: '3D 마법책'으로 뼈대 만들기 (3D Foundation Model)

우선, 물체의 움직임 뼈대를 잡습니다.

• 비유: 새로운 인형 (목표 물체) 을 만들기 전에, 그 인형이 어떻게 움직일지 3 차원 공간에서의 궤적을 먼저 그리는 것입니다.
• 어떻게?: 기존에 찍은 영상 (원본) 에서 사람의 손이 어떻게 움직이는지 분석하고, 그 움직임을 **새로운 물체 (목표)**에 대입합니다. 이때 중요한 점은, 단순히 2D 그림이 아니라 **3D Foundation Model(3D 마법책)**을 사용한다는 것입니다. 이 '마법책'은 물체의 모든 각도 (앞, 뒤, 옆, 위, 아래) 를 한 번에 이해하고 있기 때문에, 물체가 어떻게 회전하든 모양이 뭉개지지 않고 자연스럽게 움직이는 초벌 구움 (Coarse Guidance) 영상을 만들어냅니다.
• 결과: 아직 질감은 흐릿하지만, 물체가 손과 함께 자연스럽게 움직이는 '뼈대'가 완성됩니다.

2 단계: '정교한 레퍼런스북'으로 살과 피부 입히기 (Multi-view Video Generation)

이제 뼈대에 고화질의 피부와 질감을 입힙니다.

• 비유: 1 단계에서 만든 흐릿한 초벌 구움 영상을 바탕으로, **목표 물체의 여러 각도 사진 (레퍼런스북)**을 꺼내와서 가장 적합한 부분을 붙여넣는 작업입니다.
• 어떻게?: 물체가 회전할 때, AI 는 "지금 물체가 왼쪽으로 돌아갔으니, 레퍼런스북의 '왼쪽 사진'에서 질감을 가져와야겠다"라고 스스로 판단합니다. 이를 위해 1 단계에서 만든 '뼈대' 정보를 이용해, 어떤 각도의 사진이 필요한지 정확히 찾아내는 (검색) 시스템을 도입했습니다.
• 효과: 손이 물체를 가려도, 물체가 빙글빙글 돌아도, 항상 올바른 각도의 질감이 적용되어 사진처럼 사실적인 영상이 만들어집니다.

3. 긴 영상도 흔들리지 않게 하는 비법 (Cross-iterative Inference)

영상이 길어지면 보통은 영상이 점점 흐려지거나 물체가 변형되는 '떨림 현상'이 발생합니다.

• 해결책: MVHOI 는 영상을 한 번에 다 만들지 않고, 조금씩 나누어 만듭니다.
• 비유: 긴 여행을 갈 때, 처음 10 분은 잘 가다가, 10 분 지점에서 정확한 위치를 다시 확인하고 (고화질 영상으로 보정) 다음 10 분을 출발하는 방식입니다. 이렇게 하면 영상이 길어져도 물체의 모양과 질감이 처음과 똑같이 유지됩니다.

---

💡 한 줄 요약

MVHOI는 **"3D 마법책으로 움직임을 설계하고, 여러 각도의 사진으로 질감을 입혀서, 손이 물건을 복잡하게 조작하는 영상을 뽀송뽀송하고 자연스럽게 만들어주는 기술"**입니다.

이 기술이 상용화되면, 영화나 게임에서 배우가 들고 있는 소품을 다른 물건으로 바꾸거나, 복잡한 물체 조작 장면을 실시간으로 생성하는 것이 훨씬 쉬워질 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

**인간 - 사물 상호작용 (HOI) 비디오 리엔액트 (Reenactment)**는 디지털 휴먼 생성 분야에서 중요한 과제이나, 기존 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 복잡한 3D 동역학의 표현 부족: 기존 접근법은 주로 2D 평면 내 이동 (in-plane translation) 에 초점을 맞추고 있으며, 사물의 회전이나 비평면적 조작과 같은 복잡한 3D 동역학을 처리하는 데 실패합니다.
• 표현의 간극 (Representation Gap): 2D 기반의 희소 설명자 (키포인트, 바운딩 박스 등) 는 시점에 따른 기하학적 변형을 포착하지 못합니다. 명시적인 6D 포즈 추정을 사용하더라도 대칭적이거나 질감이 없는 사물의 경우 방향 모호성으로 인해 포즈 궤적이 끊기거나 물리적으로 불가능한 아티팩트가 발생합니다.
• 텍스처 합성 및 시점 불일치: 다중 시점에서 일관된 외관을 유지해야 하는 HOI 회전 작업에서, 단일 모노큘러 참조 이미지는 가려진 면이나 회전된 면에 대한 시각적 단서가 부족하여 확률적 생성 (Stochastic Generation) 을 유도합니다. 이는 다중 시점 간의 일관성을 해치고 외관이 뒤틀리는 (drift) 결과를 초래합니다.

2. 제안 방법론 (Methodology)

저자들은 MVHOI라는 2 단계 프레임워크를 제안하여, 3D 기반 모델 (3DFM) 의 공간적 사전 지식 (Spatial Priors) 을 활용하여 다중 시점 참조 조건과 비디오 생성 모델을 연결합니다.

Stage I: 3D 인지 객체 리엔액트 (3D-Aware Object Reenactment)

• 목표: 소스 비디오의 상호작용 동역학을 타겟 객체에 전달하면서 시점 일관성을 유지하는 거친 (Coarse) 가이드를 생성합니다.
• Unified Object Anchor (UOA): 3DFM(DepthAnything3 기반) 을 기반으로 한 통합 객체 앵커를 도입합니다. 이는 희소한 다중 시점 입력을 잠재 공간 (Latent Space) 내의 '시점 불변의 저장소'로 통합합니다.
• 작동 원리:
  1. 소스 비디오에서 객체의 운동 임베딩 (Motion Embeddings) 을 추출합니다.
  2. 추출된 운동 정보를 UOA 에 주입하여, 명시적인 포즈 추정을 거치지 않고도 3D 잠재 공간 내에서 객체의 궤적을 '탐색'하게 합니다.
  3. 이를 통해 소스 운동과 타겟 객체의 기하학적/외관적 일관성을 갖춘 거친 리엔액트 시퀀스를 생성합니다. 이는 이후 단계에서 물리적으로 타당한 운동 궤적을 제공합니다.

Stage II: 다중 참조 비디오 생성 (Multi-reference Video Generation)

• 목표: Stage I 에서 생성된 거친 가이드를 기반으로 고해상도 텍스처와 세부 사항을 복원하여 고품질 HOI 비디오를 합성합니다.
• 다중 참조 어댑터 (Multi-reference Adapter): 비디오 생성 모델 (DiT 기반) 에 고해상도 다중 참조 이미지를 주입합니다.
• 기하학적 주의 편향 (Geometry-aware Attention Bias):
  • Stage I 의 UOA 에서 추출한 중간 주의 맵 (Attention Map) 을 활용합니다. 이 맵은 현재 객체 상태가 어떤 참조 시점과 가장 기하학적으로 일치하는지를 나타냅니다.
  • 이 정보를 **로그이트 레벨의 편향 (Logit-level Bias)**으로 변환하여 비디오 생성 모델의 어텐션 메커니즘에 주입합니다.
  • 이를 통해 모델이 특정 프레임에서 올바른 참조 시점의 텍스처를 정확히 검색 (Retrieval) 하도록 유도하여, 시점 혼란 (Viewpoint Confusion) 을 방지하고 외관 일관성을 확보합니다.

교차 반복 장편 비디오 추론 (Cross-iterative Long-video Inference)

• 긴 비디오 생성 시 발생하는 누적 오차 (Drift) 를 해결하기 위해, 거친 앵커 뷰 생성과 고화질 비디오 정제를 교차하여 반복하는 전략을 사용합니다.
• 정제된 비디오의 마지막 프레임을 다음 세그먼트의 초기화 조건으로 사용하여, 장기간의 신원 (Identity) 일관성과 외관 충실도를 유지합니다.

3. 주요 기여 (Key Contributions)

1. 복잡한 비평면 동역학 합성: 2D 평면 이동 모델의 한계를 넘어, 3D 변환 하에서 정교한 객체 교체 및 복잡한 인간 - 사물 상호작용을 합성할 수 있는 최초의 HOI 비디오 리엔액트 프레임워크를 제안했습니다.
2. 3D 인지 객체 리엔액트 모듈: 3DFM 기반의 통합 객체 앵커 (UOA) 를 통해, 명시적 포즈 추정 없이도 암시적 운동 모델링을 통해 시점 의존적 리엔액트를 가능하게 했습니다.
3. 다중 시점 텍스처 합성 및 검색 메커니즘: 기하학적 일관성을 고려한 주의 편향 (Attention Bias) 을 도입하여, 다양한 시점과 가려짐 상황에서도 물리적으로 타당하고 일관된 외관을 생성하는 검색 메커니즘을 개발했습니다.

4. 실험 결과 (Results)

• 정량적 평가: 자기 리엔액트 (Self-Reenactment) 및 교차 리엔액트 (Cross-Reenactment) 작업에서 MimicMotion, VACE, HunyuanCustom, HuMo 등 최신 SOTA 방법론들을 압도적으로 능가했습니다.
  • 성능 지표: PSNR, SSIM, FID, FVD, O-CLIP 등 모든 주요 메트릭에서 최상의 성능을 기록했습니다. 특히 FID(17.90) 와 FVD(86.6) 는 기존 방법 대비 현저히 낮은 값을 보여 높은 재구성 충실도와 시간적 일관성을 입증했습니다.
• 정성적 평가: 복잡한 360 도 회전, 빠른 손 - 객체 상호작용, 심한 가려짐 상황에서도 객체의 형태 왜곡이 적고, 시간적 외관 드리프트가 발생하지 않으며, 손과 객체의 결합이 물리적으로 자연스러운 것을 확인했습니다.
• Ablation Study: UOA 기반의 거친 리엔액트 가이드 (CRG) 와 추론 시 주의 향상 (Attention Enhancement) 기법이 각각 운동 일관성과 외관 검색 정확도에 결정적인 기여를 함을 입증했습니다.

5. 의의 및 결론 (Significance)

MVHOI 는 확률적 생성에서 결정적 조회 (Deterministic Querying) 로의 패러다임 전환을 시도했습니다. 3D 기반 모델의 잠재 공간을 '통합된 객체 앵커'로 활용함으로써, 복잡한 3D 동역학 하에서도 객체의 정체성, 기하학적 일관성, 상호작용의 현실성을 동시에 보존하는 데 성공했습니다. 이는 디지털 휴먼 콘텐츠 제작, 가상 현실 (VR), 증강 현실 (AR) 등 정교한 인간 - 사물 상호작용이 필요한 다양한 분야에서 실용적인 기술적 진보를 의미합니다.