기술 요약: HOMIE – 멀티모달 지능형 강화를 통한 인간-객체 중심 비디오 개인화

1. 문제 정의

인간-객체 중심 비디오 개인화(HOCVP)는 참조 이미지를 기반으로 인간과 객체 간의 다양한 상호작용을 포함하는 비디오를 합성하는 것을 목표로 하는 주체 주도형(subject-driven) 비디오 생성의 핵심 과제입니다. 최근의 발전에도 불구하고, 기존 방식들은 다음과 같은 두 가지 주요 한계에 직면해 있습니다:

1. 주체 간(Inter-Subject) 과제: 현재의 접근 방식들은 높은 주체 충실도(fidelity)와 정확한 상호작용 패턴 사이의 균형을 맞추는 데 어려움을 겪으며, 특히 다수의 주체나 추상적인 개념(예: 로고)을 다룰 때 그러합니다. 이들은 종-종(copy-paste) 아티팩트를 생성하거나, 표현력이 제한되며, 명시적인 프롬프트 지시 없이도 장면 내에 추상적 참조를 올바르게 배치하는 데 필요한 추론 능력이 부족합니다.
2. 주체 내(Intra-Subject) 과제: 다각도 이미지나 OCR 맵과 같은 주체 내 참조는 충실도와 일관성을 높이기 위한 의도로 사용되지만, 기존 연구들은 이러한 여러 참조 사이의 잠재적 대응 관계를 이해하는 메커니즘이 부족합니다. 결과적으로 모델은 다각도 일관성이나 텍스트 충실도를 개선하는 데 실패하며, 때로는 동일한 객체의 서로 다른 뷰를 별개의 개체로 취급하기도 합니다.

핵심적인 어려움은 멀티모달 거대 언어 모델(MLLM)을 효과적으로 통합하는 데 있습니다. 기존 전략들은 MLLM 특징을 텍스트 임베딩 공간과 정렬시키거나(제어력을 저하시키고 특징 공간을 병목화함), 텍스트 인코더를 MLLM으로 완전히 대체하여(높은 재정렬 비용을 초래하고 모델의 기본 제어 작업을 방해함) 문제를 해결하려 했습니다.

2. 방법론

저자들은 밑바탕이 되는 비디오 확산 모델의 제어력을 해치지 않으면서 MLLM의 지식을 활용하여, 주체 간 및 주체 내 HOCVP 시나리오를 모두 처리할 수 있도록 설계된 통합 프레임워크인 HOMIE를 제안합니다. 이 아키텍처는 DiT 기반의 텍스트-비디오 백본(구체적으로 Wan2.1-14B 및 Wan2.2-14B)을 기반으로 하며, 세 가지 핵심 혁신을 도입합니다:

2.1 멀티모달 입력 패러다임

HOMIE는 다음과 같이 구성된 통합 입력 스트림을 채택합니다:

• 비디오 토큰 ($F_v$): 대상 비디오의 잠재 표현.
• 참조 이미지 토큰 ($F_r$): 인코딩된 참조 이미지.
• 멀티모달 특징 ($F_M$): 시스템 프롬프트, 사용자 프롬프트, 그리고 참조 이미지의 조합으로부터 MLLM(Qwen3-VL-2B-Thinking)에 의해 추출된 고차원 의미 특징.

MLLM 특징을 텍스트 임베딩에 직접 결합하는 방식과 달리, HOMIE는 본질적인 교차 모달 상호작용을 촉진하기 위해 $F_M$을 잠재 비디오 및 참조 토큰과 직접 결합($F = [F_v \oplus F_r \oplus F_M]$)합니다.

2.2 글로벌 멀티모달 가이드 (Global Multimodal Guidance, GMG)

MLLM 특징과 3D VAE 토큰 사이의 분포 차이를 해결하고 안정적인 시간적 제어를 보장하기 위해, HOMIE는 글로벌 멀티모달 가이드를 도입합니다.

• 메커니즘: 셀프 어텐션 쿼리-키(query-key) 계산 중에, MLLM 쿼리($Q_M$)와 키($K_M$) 행렬을 시간 차원에 따라 풀링하여 글로벌 표현($\tilde{Q}_M, \tilde{K}_M$)을 생성합니다.
• 변조(Modulation): 이 글로벌 표현들은 경량 투영 네트워크($\gamma, \beta$)를 통과하여 스케일링 및 시프팅 인자를 도출합니다. 이 인자들은 아핀 변환(affine transformation)을 통해 비디오 토큰 쿼리($Q_v$)와 키($K_v$)에 적용됩니다.
• 효과: 이는 비디오 생성 과정에 고수준의 의미적 가이드를 주입하여, 참조 이미지의 고유한 셀프 어텐션 패턴을 변경하지 않으면서도 의미적 추론과 상호작용 모델링을 향상시킵니다.

2.3 모달리티-참조 임베딩 (Modality-Reference Embedding, MRE)

서로 다른 입력 모달리티를 구분하고 여러 참조 간의 복잡한 관계를 관리하기 위해, HOMIE는 모달리티-참조 임베딩을 제안합니다.

• 모달리티 임베딩 (ME): 소스(비디오, 참조 이미지, 또는 MLLM 특징)에 따라 토큰에 학습 가능한 벡터를 추가하여 모델이 이질적인 입력을 분리할 수 있도록 돕습니다.
• 참조 임베딩 (RE): 참조 토큰에 정체성에 따라 학습 가능한 벡터를 할당합니다. 결정적으로, 동일한 주체를 나타내는 여러 이미지는(주체 내) 동일한 참조 임베딩을 공유하는 반면, 서로 다른 주체는(주체 간) 고유한 임베딩을 받습니다.
• 효과: 이를 통해 모델은 주체 내 참조를 결합(다각도 뷰나 OCR 입력을 위한 일관성 개선)하는 동시에, 주체 간 상호작용을 위한 별도의 정체성을 유지할 수 있습니다.

2.4 학습 전략

모델은 OpenS2V-5M 및 PhantomData에서 파생되고, 직접 선별한 고품질 20K HOC 비디오 클립으로 증강된 데이터셋을 사용하여 플로우 매칭(flow matching) 패러다임으로 학습됩니다. 학습은 약 11K GPU-시간에 걸쳐 3단계 튜닝 전략을 사용합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 통합 프레임워크: MLLM 지식에 의해 강화된, 주체 간 및 주체 내 HOCVP 작업을 통합하는 프레임워크인 HOMIE를 제안했습니다.
2. 글로벌 멀티모달 가이드 (GMG): 셀프 어텐션 변조를 통해 멀티모달 특징을 비디오 토큰에 주입하는 새로운 메커니즘을 제안하여, 비용이 많이 드는 재정렬 없이도 의미적 추론과 상호작용 모델링을 개선했습니다.
3. 모달리티-참조 임베딩 (MRE): 토큰 모달리티를 구분하고 주체 내 연관성을 포착하는 학습 가능한 모듈로, 복잡한 참조 시나리오에서 정체성 충실도를 크게 향상시켰습니다.

4. 실험 결과

200개의 인간-객체 조합을 포함하는 자체 선별 데이터셋에 대해 광범위한 평가가 수행되었습니다.

• 정량적 성능: HOMIE는 비디오 품질(미적 점수, 움직임 부드러움)과 텍스트 준수(GMEScore) 측면에서 오픈 소스 방법들 중 최첨단(SOTA) 성능을 달립다. 특히, 이전 최고 모델인 SkyReels-V3 대비 OCR 정확도에서 21.8%의 상대적 향상을 보였으며, 가장 높은 객체 유사도(Obj-Sim) 및 얼굴 유사도 점수를 달성했습니다.
• 주체 내 일관성: 다각도 뷰 시나리오에서 HOMIE는 DINO 기반 지표(DINOrec, DINOacc)에서 베이스라인을 능가하며, 동일한 객체의 다양한 뷰를 합성하면서도 충실도를 유지하는 우수한 능력을 입증했습니다.
• 정성적 분석: 시각적 비교를 통해 HOMIE가 다른 모델들이 관계를 추론하지 못하거나 주체가 저하되는 복잡한 4-주체 상호작용 및 추상적 로고 배치(예: 컵에 "COSTA" 로고 부착)를 성공적으로 처리함을 보여줍니다. 주체 내 작업에서 HOMIE는 OCR 맵과 다각도 입력을 올바르게 해석하는 반면, 베이스라인들은 이를 별개의 관련 없는 주체로 취급하는 경우가 많았습니다.
• 사용자 조사: 40명의 참가자를 대상으로 한 조사에서, HOMIE는 주체 일관성, 텍스트 준수, 전반적인 품질 지표에서 베이스라인(Kling, Phantom, SkyReels-V3, UniVideo)보다 선호되었습니다.

5. 의의 및 주장

본 논문은 현재의 MLLM 통합 전략의 특정 한계를 해결함으로써 제어 가능한 비디오 생성 분야의 중요한 진전임을 강조합니다. 저자들은 텍스트 인코더를 보존하고 타겟팅된 가이드(GMG) 및 임베딩 메커니즘(MRE)을 도입함으로써, 텍스트 인코더의 제어력을 해치거나 전체 모델의 고비용 재정렬을 초래하지 않고도 HOMIE가 성공적으로 참조 수준의 관계를 추출한다고 주장합니다.

이 프레임워크는 특히 추상적 개념(로고)이 포함되거나 일관된 다각도 또는 텍스트 강화 객체 표현이 필요한 경우를 포함하여, 고충실도 인간-객체 상호작용이 요구되는 실제 배포 시나리오를 위한 강력한 솔루션으로 제시됩니다. 이 연구는 주체 간 및 주체 내 개인화를 위한 통합된 접근 방식이 실현 가능하며, 이들을 분리하여 다루는 것보다 우월하다는 것을 입증합니다.