DreamVideo-Omni: Omni-Motion Controlled Multi-Subject Video Customization with Latent Identity Reinforcement Learning

이 논문은 다중 객체의 정체성 유지와 다양한 수준의 모션 제어를 동시에 가능하게 하기 위해 조건 인식 3D 회전 위치 임베딩, 계층적 모션 주입 전략, 그리고 잠재 공간에서의 정체성 보상 학습을 도입한 'DreamVideo-Omni' 프레임워크를 제안합니다.

핵심

드림비디오-오미 (DreamVideo-Omi): 여러 주인공이 함께 춤추는 마법의 영상 제작기

이 논문은 **"여러 명의 주인공을 한 화면에 등장시키고, 그들이 원하는 대로 움직이게 만드는 AI 영상 기술"**에 대한 이야기입니다. 기존 기술로는 한 명을 잘 만들면 다른 사람이 흐릿해지거나, 움직임을 지시하면 얼굴이 변해버리는 문제가 있었는데요. 이 연구는 그 모든 문제를 해결한 '완벽한 영화 감독 AI'를 소개합니다.

상상력을 발휘하여 이 기술을 쉽게 이해해 볼까요?

---

1. 기존 기술의 문제: "혼란스러운 무대"

기존의 AI 영상 제작기는 마치 연습이 덜 된 무대 연출가와 같았습니다.

• 주인공이 사라집니다: "내 얼굴로 영상을 만들어줘"라고 하면, 영상 중간에 얼굴이 바뀌거나 흐릿해집니다. (정체성 훼손)
• 움직임이 엉망입니다: "공을 차고 뛰어오라"고 지시하면, 공은 공대로, 사람은 사람대로 엉뚱한 곳으로 날아갑니다. (움직임 제어 실패)
• 여러 명이 나오면 대소동: 두 명 이상의 인물이 나오면, 누가 누구인지 AI 가 헷갈려서 얼굴이 뒤섞이거나, 움직임을 서로 바꿔치기 합니다. (혼란)

2. 드림비디오-오미의 해결책: "완벽한 2 단계 훈련 시스템"

이 연구팀은 AI 를 2 단계에 걸쳐 훈련시켜서 이 문제를 해결했습니다.

1 단계: "정밀한 지시와 역할 분담" (Supervised Fine-Tuning)

이 단계는 AI 에게 **"누가, 어디서, 어떻게 움직여야 하는지"**를 아주 정확하게 가르치는 과정입니다.

• 역할 배지 (Group & Role Embeddings):
  • 마치 무대 위에서 배우들에게 **"A 배우는 빨간 배지, B 배우는 파란 배지"**를 달아주는 것과 같습니다.
  • AI 는 이 배지를 보고 "아, 빨간 배지를 한 사람은 공을 차고, 파란 배지를 한 사람은 뛰어야 해"라고 명확히 구분합니다. 덕분에 여러 명이 나와도 서로 섞이지 않습니다.
• 3D 지도 (Condition-aware 3D RoPE):
  • 영상 속의 시간, 공간, 그리고 다양한 지시사항 (얼굴, 움직임, 카메라) 을 하나의 정교한 3D 지도에 모두 표시합니다.
  • AI 는 이 지도를 보며 "이 시간은 이 얼굴, 이 공간은 이 움직임"이라고 혼란 없이 처리할 수 있게 됩니다.
• 계층적 지시 (Hierarchical Motion Injection):
  • 단순히 "여기로 가"라고 말하는 게 아니라, 전체 무대 (배경) 에서부터 손가락 하나까지 세세하게 지시합니다.
  • 마치 감독이 "배경은 저렇게, 주인공은 저렇게, 손짓은 이렇게"라고 단계별로 지시하는 것과 같습니다.

2 단계: "인간 취향의 피드백" (Latent Identity Reinforcement Learning)

1 단계로 기본적인 지시를 배웠지만, 여전히 "얼굴이 너무 딱딱하게 붙어 있거나" "자연스러움이 부족할" 수 있습니다. 이때 2 단계 훈련이 나옵니다.

• 비밀 심사위원 (Latent Identity Reward Model):
  • 기존에는 영상을 다 만들어서 (화면으로 출력해서) "얼굴이 닮았나?"를 확인했는데, 이 방식은 매우 느리고 비쌉니다.
  • 대신 이 연구팀은 **영상의 '잠재된 상태' (잠재 공간)**에서 바로 심사위원을 투입합니다.
  • 이 심사위원은 **"인간이 보기엔 이 얼굴이 자연스러운가?"**를 평가합니다. "너무 딱딱하게 붙어 있네 (복사 붙여넣기 느낌)"라고 지적하면 AI 는 다시 고쳐서 다시 제출합니다.
  • 이 과정을 반복하면 AI 는 인간이 좋아하는 자연스러운 표정과 움직임을 배우게 됩니다.

3. 놀라운 결과: "예상치 못한 능력" (Emergent Capabilities)

이 훈련을 마친 AI 는 원래 가르치지 않았던 능력도 스스로 터득했습니다.

• 이미지 → 영상 (Image-to-Video): 텍스트 없이도, 첫 번째 장면을 보여주기만 하면 그 장면이 이어지는 영상을 만들어냅니다. 마치 첫 장면을 보고 "다음엔 이렇게 흘러가겠구나"라고 상상하는 것과 같습니다.
• 한 장면으로 전체 제어: 첫 장면을 기준으로 움직임을 지시하면, 그 움직임이 전체 영상에 자연스럽게 적용됩니다.

4. 왜 이 기술이 중요한가요? (핵심 요약)

이 기술은 **드림오미 벤치 (DreamOmni Bench)**라는 새로운 시험지를 만들어서 검증되었습니다.

• 정확한 얼굴: 여러 명이 나와도 각자의 얼굴이 흐트러지지 않습니다.
• 정교한 움직임: 공을 차거나, 춤을 추거나, 카메라가 움직이는 것까지 정밀하게 제어됩니다.
• 자연스러움: 로봇처럼 딱딱하지 않고, 인간이 보기에 자연스러운 영상을 만들어냅니다.

마치면서

드림비디오-오미는 마치 완벽한 영화 감독과 같습니다.
배우들 (주인공들) 의 얼굴을 기억하면서도, 그들이 연기하는 모든 동작 (움직임) 을 지시할 수 있고, 더 나아가 "이 장면은 이렇게 연출해줘"라고 하면 인간이 좋아하는 자연스러운 결과물을 만들어냅니다.

이 기술은 앞으로 개인 맞춤형 애니메이션, 게임, 영화 제작 등 다양한 분야에서 우리가 상상하던 영상을 실제로 만들어내는 데 큰 역할을 할 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대규모 확산 모델 (Diffusion Models) 이 비디오 합성 분야를 혁신하고 있지만, 다중 객체 (Multi-Subject) 의 정체성 유지와 다양한 세밀한 운동 (Omni-Motion) 제어를 동시에 달성하는 것은 여전히 큰 과제로 남아 있습니다. 기존 연구들은 다음과 같은 한계를 겪고 있습니다:

• 운동 제어의 세밀함 부족: 대부분의 방법은 단일 유형의 운동 신호 (예: 바운딩 박스, 깊이도, 희박한 궤적) 에만 의존하여 전역 운동, 국소 동역학, 카메라 이동 등을 동시에 제어하기 어렵습니다.
• 운동 제어의 모호성 (Ambiguity): 다중 객체 환경에서 어떤 운동 신호가 어떤 특정 객체에 해당하는지 명확히 연결되지 않아, 모델이 혼란을 겪고 잘못된 운동을 적용합니다.
• 정체성 저하 (Identity Degradation): 운동 제어 조건이 추가되면, 정적 참조 이미지와의 픽셀 단위 일관성을 유지하려는 목표와 동적 변화를 필요로 하는 운동 제어 목표 간의 상충으로 인해 객체의 정체성 (얼굴, 의상 등) 이 왜곡되거나 사라지는 현상이 발생합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 DreamVideo-Omni라는 통합 프레임워크를 제안하며, 2 단계 점진적 학습 패러다임을 사용합니다.

1 단계: 올-인-원 (All-in-One) 감독 미세 조정 (Supervised Fine-Tuning, SFT)

이 단계에서는 이질적인 제어 신호를 통합하여 정밀한 운동 제어와 다중 객체customization 을 가능하게 하는 아키텍처를 학습합니다.

• 통합 제어 신호: 참조 객체 (Subject), 전역 바운딩 박스 (Global Box), 국소 궤적 (Local Trajectory) 을 구조화된 3 중항 (Triplet) 으로 정의합니다.
• 조건 인식 3D 회전 위치 임베딩 (Condition-aware 3D RoPE): 비디오 프레임, 참조 이미지, 궤적 등 이질적인 입력을 하나의 DiT(Diffusion Transformer) 에서 처리하기 위해 설계되었습니다. 각 입력 유형에 고유한 시공간 인덱스를 부여하여 모델이 입력의 역할을 명확히 구분하도록 합니다.
• 그룹 및 역할 임베딩 (Group & Role Embeddings):
  • 그룹 임베딩: 각 객체 (참조 이미지 + 바운딩 박스 + 궤적) 를 하나의 단위로 묶어, 특정 운동 신호가 올바른 객체에 연결되도록 명시적으로 바인딩합니다.
  • 역할 임베딩: 입력 신호가 '시각적 외관 (Object)'인지 '운동 제어 (Control)'인지를 구분하여 모델이 기능을 명확히 인식하도록 합니다.
• 계층적 운동 주입 (Hierarchical Motion Injection): 바운딩 박스 조건을 단순히 입력에만 추가하는 것이 아니라, DiT 의 각 블록 출력에도 주입하여 전역 운동 제어의 정밀도를 높입니다.

2 단계: 잠재 공간 정체성 보상 피드백 학습 (Latent Identity Reinforcement Learning)

1 단계 학습 후, 운동이 발생할 때 정체성이 손상되는 것을 방지하기 위해 인간 선호도에 기반한 보상 학습을 도입합니다.

• 잠재 정체성 보상 모델 (LIRM, Latent Identity Reward Model): 기존 CLIP 이나 DINO 와 같은 정적 이미지 인코더 대신, 사전 학습된 비디오 확산 모델 (VDM) 을 기반으로 구축된 보상 모델을 사용합니다. 이는 운동 인식 (Motion-Aware) 정체성 평가를 가능하게 하여, 정적 복사 - 붙여넣기 아티팩트를 방지하고 큰 운동 하에서도 정체성을 유지하도록 장려합니다.
• 잠재 공간 보상 피드백 학습 (LIReFL): 보상 계산을 위해 비용이 많이 드는 VAE 디코딩 (픽셀 공간 변환) 을 생략하고, **잠재 공간 (Latent Space)**에서 직접 보상을 계산하고 그래디언트를 역전파합니다. 이는 계산 효율성을 극대화하고 확산 과정의 모든 단계에서 보상을 제공할 수 있게 합니다.
• 학습 목표: SFT 손실과 보상 피드백 손실의 가중 합을 최소화하여, 운동 제어 정밀도와 정체성 유지 사이의 균형을 찾습니다.

3. 주요 기여 (Key Contributions)

1. DreamVideo-Omni 프레임워크: 단일 DiT 아키텍처 내에서 다중 객체 커스터마이징과 올-모션 (전역, 국소, 카메라) 제어를 통합한 최초의 프레임워크입니다.
2. 고도화된 아키텍처 설계: 다중 객체 모호성을 해결하는 '그룹/역할 임베딩', 이질적 입력 조정을 위한 '조건 인식 3D RoPE', 정밀한 운동 제어를 위한 '계층적 운동 주입'을 제안했습니다.
3. 잠재 공간 보상 피드백 학습: VDM 기반의 LIRM 을 도입하여 계산 비용을 줄이면서도 운동에 민감한 정체성 보상을 제공함으로써, 대규모 운동 하에서도 정체성 저하를 효과적으로 완화했습니다.
4. DreamOmni Bench 구축: 다중 객체 커스터마이징과 올-모션 제어를 동시에 평가할 수 있는 새로운 벤치마크 (1,027 개의 고품질 비디오, 밀집된 주석 포함) 와 대규모 학습 데이터셋 (200 만 개 이상의 비디오 클립) 을 공개했습니다.
5. 성능 입증: 정체성 보존과 운동 제어 정밀도 모두에서 기존 최첨단 (SOTA) 방법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (DreamOmni Bench 및 MSRVTT-Personalization Bench):
  • 정체성 보존: R-CLIP, R-DINO, Face-Similarity 지표에서 DreamVideo-2, VACE, Phantom 등 기존 방법보다 월등히 높은 점수를 기록했습니다. 특히 다중 객체 환경에서 객체 간 정체성 혼란 (Identity Mixing) 이 거의 발생하지 않았습니다.
  • 운동 제어 정밀도: mIoU(바운딩 박스 정확도) 와 EPE(궤적 오차) 에서 Wan-Move(14B 파라미터 모델) 보다 훨씬 작은 1.3B 파라미터 모델임에도 불구하고 더 높은 정확도를 보였습니다.
• 정성적 평가:
  • 복잡한 궤적과 다중 객체 상호작용 시에도 객체의 외관이 왜곡되지 않고 정확한 운동 경로를 따르는 것을 확인했습니다.
  • 사용자 연구 (User Study) 에서 주관적 품질, 운동 일관성, 텍스트 정렬 등 모든 항목에서 가장 높은 선호도를 받았습니다.
• 발현 능력 (Emergent Capabilities): 텍스트-to-비디오 (T2V) 기반 모델임에도 불구하고, 제로샷 (Zero-shot) 이미지-to-비디오 (I2V) 생성 및 첫 프레임 기반 궤적 제어와 같은 새로운 생성 능력을 자연스럽게 획득했습니다.

5. 의의 및 결론 (Significance)

DreamVideo-Omni 는 비디오 생성 분야에서 정체성 보존과 복잡한 운동 제어 간의 상충 관계 (Trade-off) 를 성공적으로 해결한 획기적인 연구입니다.

• 기술적 혁신: 잠재 공간에서의 보상 학습을 통해 계산 비용을 절감하면서도 인간이 선호하는 고품질 정체성 유지를 달성한 점은 강화 학습을 비디오 생성에 적용하는 새로운 패러다임을 제시합니다.
• 실용성: 다중 객체가 포함된 복잡한 장면에서도 사용자가 원하는 대로 객체의 외관과 움직임을 정밀하게 제어할 수 있어, 영화 제작, 광고, 게임 등 실제 응용 분야에서의 활용도가 매우 높습니다.
• 생태계 기여: 공개된 대규모 데이터셋과 벤치마크 (DreamOmni Bench) 는 향후 다중 객체 및 정밀 운동 제어 연구의 표준 평가 도구로 자리 잡을 것으로 기대됩니다.