GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection

이 논문은 사전 훈련된 비디오 생성 모델에 시간적 균형을 위한 헤드 슬라이딩 RoPE 와 공간적 선택성을 위한 2 단계 공간 주의 게이트를 도입하여, 자연스러운 손 - 물체 상호작용을 생성하면서도 물체의 일관성을 유지하는 경량화 증강 기법인 GenHOI 를 제안합니다.

핵심

이 논문은 **'GenHOI'**라는 새로운 기술을 소개합니다. 쉽게 말해, **"사람이 물건을 잡거나 만지는 장면을 영상으로 만들 때, 그 물건의 모양과 색이 영상 내내 변하지 않고 자연스럽게 유지되도록 해주는 기술"**입니다.

이 복잡한 기술을 일상적인 비유로 설명해 드릴게요.

1. 왜 이 기술이 필요한가요? (기존의 문제점)

지금까지 영상 편집 AI 들은 두 가지 큰 고민이 있었습니다.

• 전문가용 로봇 (HOI 재현 모델): 특정 상황 (예: 컵을 잡는 동작) 만은 잘하지만, 새로운 상황 (예: 책상 위를 치우는 동작) 이나 자연스러운 배경에서는 엉망이 됩니다. 마치 오직 '커피 마시는 동작'만 연습한 배우가 무대 위에서 다른 행동을 하려다 넘어지는 것과 같습니다.
• 만능 편집기 (All-in-one 모델): 인터넷의 모든 영상을 학습해서 어떤 상황도 잘 처리하지만, 물건의 정체성을 유지하는 데는 약합니다. 예를 들어, 빨간 사과를 잡는 장면을 만들었는데, 3 초 뒤에는 사과가 노란 배로 변하거나 모양이 뭉개지는 경우가 많습니다. 마치 변장 능력이 뛰어난 마술사가 등장하자마자 모자를 벗고 다른 사람으로 변해버리는 것과 같습니다.

GenHOI는 이 두 가지의 단점을 없애고, **어떤 상황에서도 물건의 모양과 색이 변하지 않으면서 자연스러운 상호작용을 만들어내는 '완벽한 배우'**를 만든 것입니다.

---

2. GenHOI 의 핵심 비법 두 가지

이 기술이 어떻게 그런 마법을 부릴까요? 두 가지 핵심 장치를 사용합니다.

① '시간을 균등하게 분배하는 안경' (Head-Sliding RoPE)

• 비유: 보통 AI 는 영상의 첫 번째 프레임 (시작 장면) 에서만 물건의 정보를 보고 나머지 장면을 만들어냅니다. 그런데 시간이 지날수록 그 정보가 희미해져서 마지막 장면에서는 물건이 사라지거나 변해버립니다. 마치 시작할 때만 들은 지시사항을 기억하려다, 시간이 지나면 잊어버리는 학생과 같습니다.
• 해결책: GenHOI 는 **'Head-Sliding RoPE'**라는 기술을 써서, 물건 정보를 영상 전체의 시간대에 골고루 분배합니다. 마치 영상을 보는 동안 내내 "이건 빨간 사과야!"라고 귀에 속삭여주는 안경을 끼게 하는 것과 같습니다. 덕분에 영상의 끝까지 물건의 모양이 일관되게 유지됩니다.

② '손과 물건만 집중하는 스포트라이트' (Spatial Attention Gate)

• 비유: AI 가 영상을 만들 때, 배경 (벽, 바닥) 과 손이 닿는 부분 (상호작용 영역) 을 구분하지 않고 똑같이 처리하면 문제가 생깁니다. 배경에 물건 정보를 주면 배경이 엉망이 되고, 손에 정보를 주지 않으면 물건이 손에 안 잡힙니다. 마치 콘서트에서 무대 전체에 스포트라이트를 비추다가, 정작 주인공인 가수만 어둠 속에 남겨두는 실수를 하는 것과 같습니다.
• 해결책: GenHOI 는 **'스포트라이트'**를 켭니다.
  1. 하드 마스크 (Hard Mask): 손이 물건을 만지는 부분에만 정보를 흐르게 하고, 배경에는 아예 정보를 차단합니다. (배경은 원래대로 유지)
  2. 소프트 게이트 (Soft Flow Gate): 필요한 곳에는 정보를 강하게, 덜 필요한 곳에는 약하게 조절합니다.
     이 두 가지를 합쳐서, 오직 '손과 물건이 만지는 순간'에만 집중하게 만들어 자연스러운 접촉감을 구현합니다.

---

3. 실제 효과는 어떨까요?

이 기술을 적용하면 다음과 같은 놀라운 일이 일어납니다.

• 자연스러운 상호작용: 사람이 컵을 잡고, 책을 넘기거나, 공을 던지는 장면이 마치 실제 촬영한 것처럼 자연스럽게 보입니다.
• 일관된 물건: 영상 시작부터 끝까지 물건의 로고, 색상, 질감이 변하지 않습니다. (예: 컵에 그려진 로고가 흔들려도 깨지지 않음)
• 다양한 상황 대응: 배경이 바뀌거나, 물건의 크기가 달라지거나, 새로운 물건을 넣어도 잘 작동합니다. (예: 가방을 잡는 영상을 컵으로 바꾸거나, 마법 지팡이로 바꾸는 것도 가능)

4. 요약

GenHOI는 기존 AI 들이 겪던 "물건이 변해버리는 문제"와 "배경이 망가지는 문제"를 해결한 차세대 영상 생성 기술입니다.

마치 가장 뛰어난 무대 감독이 배우 (손) 와 소품 (물건) 의 관계를 완벽하게 조율하여, 관객 (시청자) 이 "와, 진짜 같네!"라고 감탄할 수 있는 영상을 만들어내는 것과 같습니다. 이 기술은 온라인 교육, 쇼핑, 엔터테인먼트 등 다양한 분야에서 실제 촬영 없이도 고품질의 영상을 만들 수 있게 해줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

디지털 휴먼 비디오 합성 분야에서 **손 - 물체 상호작용 (Hand-Object Interaction, HOI)**은 여전히 핵심적인 난제입니다. 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 물체 일관성 부족: 프레임 간 물체의 외관 (색상, 질감, 로고 등) 이 일관되게 유지되지 않거나, 시간이 지남에 따라 물체가 변형되거나 사라지는 현상이 발생합니다.
• 일반화 능력 부재: 최근의 HOI 재연 (reenactment) 방법들은 특정 도메인 데이터로만 훈련되어 '인-더-와일드 (in-the-wild, 실제 자연스러운 환경)'의 복잡한 시나리오에 적용하기 어렵습니다.
• 전용 편집 모델의 한계: 범용 비디오 편집 모델 (예: VACE) 은 대규모 데이터로 훈련되어 일반화 능력이 뛰어나지만, HOI 특유의 물리적 접촉의 자연스러움과 물체 정체성 유지 측면에서는 여전히 부자연스러운 결과를 보입니다.

목표: 사전 훈련된 비디오 생성 모델을 기반으로 하되, 물체의 정체성을 프레임 간에 일관되게 유지하면서 자연스러운 물리적 접촉을 구현하는 HOI 재연 기술을 개발하는 것입니다.

---

2. 제안 방법론 (Methodology)

저자들은 기존 비디오 생성 모델 (DiT 기반) 에 가벼운 증강 모듈을 추가하여 **시간적 균형 (Temporally Balanced)**과 **공간적 선택성 (Spatially Selective)**을 갖춘 객체 정보 주입 방식을 제안합니다.

A. HOI Condition Unit (HCU)

• 기존 모델의 구조를 변경하지 않고, 손 - 물체 상호작용 (HOI) 영역을 마스킹한 비디오와 참조 객체 이미지를 잠재 공간 (Latent space) 에 직접 주입합니다.
• 이를 통해 모델을 '첫 번째 프레임 조건부 비디오 인페인팅 (inpainting)' 작업으로 재구성하여, 배경은 유지하면서 HOI 영역만 자연스럽게 생성되도록 유도합니다.

B. 시간적 균형: Head-Sliding RoPE

• 문제: 기존 3D Rotary Positional Embedding (RoPE) 은 참조 토큰 (객체 이미지) 의 영향을 시간 축에서 불균형하게 만듭니다. 보통 초기 프레임에는 강하게 작용하지만 시간이 지날수록 영향력이 감소하여 (Temporal Decay) 후기 프레임에서 물체가 왜곡됩니다.
• 해결책: Head-Sliding RoPE를 제안합니다.
  • 멀티헤드 어텐션의 각 헤드 (Head) 마다 참조 토큰에 **서로 다른 시간적 오프셋 (Temporal Offsets)**을 할당합니다.
  • 이를 통해 참조 객체의 영향력이 전체 프레임에 걸쳐 균일하게 분포되도록 하여, 장시간 비디오에서도 물체 일관성을 유지합니다.

C. 공간적 선택성: Spatial Attention Gate

• 문제: 참조 객체 정보가 배경 영역까지 침투하면 배경이 왜곡되거나 아티팩트가 발생할 수 있습니다.
• 해결책: 두 단계의 공간 어텐션 게이트를 설계합니다.
  1. Hard Mask Gate (HMG): HOI 영역의 쿼리 (Query) 만 참조 객체 키 (Key) 에 어텐션하도록 강제로 제한하고, 배경 영역은 참조 객체 정보를 차단합니다. 이는 배경의 현실성을 보존합니다.
  2. Soft Flow Gate (SFG): HOI 영역 내에서도 정보의 흐름 강도를 콘텐츠에 따라 동적으로 조절 (스케일링) 합니다. 이는 상호작용의 충실도를 높이고 불필요한 노이즈를 억제합니다.

---

3. 주요 기여 (Key Contributions)

1. Head-Sliding RoPE: 참조 토큰에 헤드별 시간 오프셋을 부여하여 시간적 감쇠를 완화하고, 장시간 비디오 생성 시 물체 일관성을 획기적으로 개선했습니다.
2. 이중 레벨 공간 어텐션 게이트: HOI 영역에 집중된 어텐션과 배경 보호 메커니즘을 통해 상호작용의 충실도를 높이면서도 배경의 자연스러움을 유지했습니다.
3. 경량화된 증강 모듈: 기존 대규모 비디오 생성 모델 (Wan-14B-I2V 등) 에 약 1.57 억 파라미터 (원래 모델의 약 0.95%) 만 추가하여, 적은 데이터로도 SOTA 성능을 달성할 수 있는 효율적인 아키텍처를 제시했습니다.

---

4. 실험 결과 (Results)

AnchorCrafter HOI 데이터셋 (실제 자연 환경의 비디오) 을 사용하여 정성적, 정량적 평가를 수행했습니다.

• 정량적 평가:
  • 단편 및 장편 비디오: 기존 SOTA 방법 (VACE, UniAnimate-DiT, HOI-Swap 등) 대비 모든 지표 (PSNR, SSIM, FID, FVD, Object CLIP) 에서 압도적인 성능을 보였습니다.
  • 특히 **장편 비디오 (401 프레임)**에서 VACE 대비 PSNR 격차가 4.37dB 까지 벌어지는 등, 시간적 일관성 유지 능력이 탁월함을 입증했습니다.
  • 사용자 연구: 참조 이미지 충실도 (Reference Fidelity) 에서 4.636 점 (VACE 는 2.796 점) 을 기록하여 인간 평가에서도 압도적인 우위를 보였습니다.
• 정성적 평가:
  • 다양한 크기와 모양의 물체 (가방, 립스틱, 마법 지팡이 등) 를 손으로 조작하는 장면에서 자연스러운 물리적 접촉과 일관된 물체 외관을 구현했습니다.
  • 가시성 (Occlusion) 이 발생하거나 물체가 회전하는 상황에서도 물체 정체성이 유지되었습니다.
• Ablation Study: Head-Sliding RoPE 와 Spatial Attention Gate 가 각각 성능 향상에 기여함을 확인했습니다.

---

5. 의의 및 의의 (Significance)

• 실용적 응용: 전자상거래 (e-commerce) 나 온라인 교육 등 실제 산업 현장에서 제품 이미지를 실제 비디오에 자연스럽게 합성하여 제작 비용을 절감할 수 있는 가능성을 열었습니다.
• 기술적 진보: 범용 비디오 생성 모델의 한계를 극복하고, 특정 작업 (HOI) 에 최적화된 가벼운 모듈을 통해 **일반화 능력 (Generalization)**과 **정체성 유지 (Identity Preservation)**를 동시에 달성한 새로운 패러다임을 제시했습니다.
• 인-더-와일드 대응: 훈련 데이터에 없는 새로운 환경과 물체에서도 안정적인 재연이 가능하여, 실제 적용 가능성 (Real-world applicability) 이 매우 높습니다.

결론적으로 GenHOI 는 손과 물체의 상호작용을 생성하는 데 있어 물체의 일관성과 자연스러운 물리 법칙을 동시에 만족시키는 현재까지 가장 강력한 솔루션 중 하나로 평가됩니다.