Training-free Motion Factorization for Compositional Video Generation

이 논문은 사용자 프롬프트의 모호성을 해소하고 다양한 운동 유형을 분리 제어하기 위해 운동 무정지, 강체 운동, 비강체 운동으로 복잡한 운동을 분해하는 '계획 후 생성' 패러다임 기반의 훈련 없는 운동 분해 프레임워크를 제안합니다.

핵심

🎬 "움직임의 해부학": 복잡한 비디오를 만드는 새로운 방법

이 논문은 **"컴포지셔널 비디오 생성 (Compositional Video Generation)"**이라는 어려운 기술을 쉽게 설명하는 방법론을 제안합니다. 쉽게 말해, **"여러 사물이 각자 다른 방식으로 움직이는 영상을 AI 가 자연스럽게 만들어내는 기술"**입니다.

기존의 AI 는 "차가 지나가고, 깃발이 흔들리며, 건물이 서 있다"라는 명령을 받으면, 차, 깃발, 건물 모두를 비슷하게 움직이거나 (예: 다 같이 흔들리거나), 움직임을 혼란스럽게 만들어버리는 경우가 많았습니다.

이 논문은 이를 해결하기 위해 세 가지 핵심 아이디어를 제안합니다.

---

1. 🧩 "모든 것을 한 번에 생각하지 마세요!" (움직임의 분류)

기존의 AI 는 모든 움직임을 똑같은 방식으로 처리하려 했습니다. 하지만 이 논문은 **"움직임은 종류가 다르다"**고 말합니다. 마치 요리할 때 고기, 채소, 국물을 각각 다른 불 조절로 조리하는 것과 같습니다.

저자들은 움직임을 세 가지로 나누었습니다:

1. 고정된 움직임 (Motionlessness): 건물이 서 있는 것처럼 아예 움직이지 않는 것.
2. 단단한 움직임 (Rigid Motion): 차가 달리거나 사람이 걷는 것처럼 모양은 그대로 유지하면서 이동하는 것.
3. 유연한 움직임 (Non-rigid Motion): 깃발이 바람에 흔들리거나, 사람이 춤을 추는 것처럼 모양이 구부러지고 변형되는 것.

이렇게 분류함으로써 AI 는 "아, 건물은 흔들리면 안 되네, 깃발은 구부러져야 하네"라고 정확히 이해하게 됩니다.

2. 🗺️ "지도 없이 길을 찾으려 하지 마세요!" (구조화된 움직임 그래프)

사용자가 "차가 지나가고 깃발이 흔들린다"라고 말하면, AI 는 언어의 뉘앙스 때문에 혼란을 겪을 수 있습니다. (예: 차가 깃발에 부딪히는 건가? 아니면 그냥 지나가는 건가?)

이 논문은 **LLM(거대 언어 모델)**을 이용해 사용자의 말을 **"움직임 지도 (Motion Graph)"**로 변환합니다.

• 비유: 요리사가 레시피를 볼 때, 단순히 "재료 섞기"라고만 쓰지 않고, "먼저 양파를 썰고, 그다음 고기를 볶고, 마지막에 소스를 붓는다"라고 순서와 관계를 명확히 적어둔 레시피를 만드는 것과 같습니다.
• 이 지도를 통해 AI 는 각 사물이 어떤 역할을 하고, 어떻게 상호작용해야 하는지 계획 (Planning) 단계에서 먼저 정합니다.

3. 🎛️ "각자 전용 조종간을 주세요!" (분리된 움직임 안내)

비디오를 만드는 과정에서 (생성 단계), 이 논문은 각 움직임 종류에 맞춰 **전용의 조종간 (Guidance Branch)**을 따로 작동시킵니다.

• 건물 (고정): "너는 절대 흔들리면 안 돼!"라고 고정된 기준을 주어, 화면이 깜빡거리지 않게 합니다.
• 차 (단단한 이동): "너는 모양을 그대로 유지하면서 이동해!"라고 기하학적 규칙을 주어, 차가 찌그러지지 않게 합니다.
• 깃발 (유연한 변형): "너는 바람에 따라 자유롭게 구부러져!"라고 세부적인 변형을 허용하여, 깃발이 자연스럽게 휘날리게 합니다.

이렇게 각각의 움직임에 맞는 전용 규칙을 적용함으로써, 전체 영상이 하나로 자연스럽게 합쳐집니다.

---

🌟 왜 이것이 중요한가요? (요약)

기존의 AI 는 "모든 것을 비슷하게 움직이게 만드는" 경향이 있어, 복잡한 장면을 만들면 어색해 보였습니다. 하지만 이 새로운 방법은:

1. 계획을 먼저 세웁니다: (지도 그리기)
2. 분류합니다: (움직임 종류 나누기)
3. 각자 다르게 다룹니다: (전용 조종간 사용)

이 덕분에 "차가 지나가고, 깃발이 흔들리고, 건물이 서 있는" 같은 복잡한 장면을 모델을 다시 학습시키지 않고도 (Training-free) 훨씬 더 자연스럽고 사실적으로 만들 수 있게 되었습니다.

한 줄 요약:

"모든 움직임을 똑같이 취급하던 AI 에게, '움직임의 종류'를 가르쳐주고 각각에 맞는 '전용 지도'를 주어 더 똑똑하고 자연스러운 영상을 만들게 한 기술입니다."

기술 요약

논문 개요: 훈련 없는 운동 분해 (Motion Factorization) 를 통한 구성적 비디오 생성

이 논문은 복잡한 사용자 프롬프트에서 여러 인스턴스 (객체) 가 다양한 외관과 운동 (Motion) 을 가지도록 비디오를 생성하는 **구성적 비디오 생성 (Compositional Video Generation, CVG)**의 한계를 해결하기 위해 제안된 새로운 프레임워크를 다룹니다. 기존 방법들은 운동의 다양성을 이해하지 못해 생성된 비디오의 움직임이 단조롭거나 비현실적이라는 문제를 지적하며, 추가적인 모델 학습 (Training-free) 없이도 운동의 다양성을 극대화하는 방법을 제시합니다.

---

1. 문제 정의 (Problem)

기존의 구성적 비디오 생성 모델들은 다음과 같은 주요 문제점을 겪고 있습니다:

• 운동 범주의 다양성 부재: 사용자 프롬프트에 명시된 다양한 운동 유형 (정지, 강체 운동, 비강체 운동 등) 을 제대로 구분하지 못해, 서로 다른 프롬프트라도 유사한 움직임이 생성되는 경향이 있습니다.
• 운동 의미의 모호성: 자연어 프롬프트에서 직접 운동 궤적 (Bounding Box 시퀀스) 을 생성할 때, 언어적 모호성으로 인해 궤적이 끊기거나 객체의 크기가 비정상적으로 변하는 등의 오류가 발생합니다.
• 운동 가이드의 단순화: 기존 방법들은 모든 운동 유형에 동일한 가이드 (Uniform Guidance) 를 적용하여, 정지된 객체의 흔들림을 방지하거나 강체/비강체 운동의 기하학적 특성을 보존하는 데 실패합니다.

---

2. 방법론 (Methodology)

제안된 프레임워크는 "생성 전 계획 (Planning before Generation)" 패러다임을 따르며, 두 가지 핵심 모듈로 구성됩니다. 전체 과정은 추가 학습 없이 기존 확산 모델 (Diffusion Model) 에 적용 가능합니다.

2.1. 구조화된 운동 추론 (Structured Motion Reasoning, SMR)

사용자 프롬프트의 모호성을 해결하고 객체 간의 상호작용을 구조화하는 단계입니다.

• 운동 그래프 (Motion Graph) 구축: LLM(대형 언어 모델) 을 활용하여 프롬프트를 파싱합니다. 각 객체는 노드 (Node) 로, 객체 간의 관계 (공간적 위치, 상호작용) 는 방향성 간선 (Edge) 으로 표현되는 그래프를 구성합니다.
• 운동 범주 분류: 각 객체를 정지 (Motionlessness), 강체 운동 (Rigid Motion), **비강체 운동 (Non-rigid Motion)**의 세 가지 범주로 분류합니다.
  • 정지: 위치와 크기 변화 없음.
  • 강체 운동: 전체 객체가 하나의 글로벌 운동 벡터로 이동 (위치 변화 O, 크기 변화 X).
  • 비강체 운동: 국소적인 변형이 발생 (위치 변화 O, 크기/형태 변화 O).
• 시공간 레이아웃 추론: 운동 그래프의 시맨틱 단서를 기반으로 각 프레임별 객체의 바운딩 박스 (Bounding Box) 시퀀스를 추론하여, 명확한 시공간 레이아웃을 생성합니다.

2.2. 분해된 운동 가이드 (Disentangled Motion Guidance, DMG)

생성 단계에서 각 운동 범주에 맞춰 별도의 가이드를 적용하여 운동의 다양성을 증대시키는 단계입니다.

• 참조 조건부 가이드 (Reference Conditioned Guidance, 정지 객체용): 정지된 객체의 프레임 간 외관 일관성을 유지하기 위해, 특징 거리가 최소인 기준 프레임 (Reference Frame) 을 선택하고 모든 프레임을 이에 정합시킵니다. 이를 통해 원치 않는 깜빡임 (Flickering) 을 제거합니다.
• 기하학적 불변성 가이드 (Geometric Invariance Guidance, 강체 운동용): 강체 운동 시 객체의 형태가 왜곡되지 않도록, 프레임 무관한 형태 템플릿 (Shape Template) 을 생성하여 프레임 간 상호작용을 기하학적으로 정렬된 영역으로 제한합니다.
• 공간 변형 가이드 (Spatial Deformation Guidance, 비강체 운동용): 비강체 운동 (예: 춤추기, 흔들리는 깃발) 의 복잡한 변형을 모델링하기 위해, 확산 모델의 특징 공간에서 추출한 지각적 변형 (Perceptual Deformation) 과 바운딩 박스 기반 변형 (Box-induced Deformation) 간의 오차를 최소화하도록 픽셀 단위 운동장을 정규화합니다.

---

3. 주요 기여 (Key Contributions)

1. 운동 다양성 향상: 장면의 역학을 정지, 강체, 비강체 운동의 세 가지 기본 범주로 분해하여, 각 객체에 고유한 운동 특성을 부여함으로써 CVG 의 운동 다양성을 획기적으로 개선했습니다.
2. 구조화된 운동 그래프 도입: 프롬프트의 모호성을 해결하기 위해 LLM 기반의 운동 그래프를 도입하여, 객체와 상호작용을 구조적으로 표현하고 이를 통해 명확한 운동 법칙을 추론할 수 있게 했습니다.
3. 분해된 운동 가이드 설계: 외관 일관성, 기하학적 불변성, 국소 변형을 위한 전용 가이드 브랜치를 설계하여, 서로 다른 운동 유형에 최적화된 생성을 가능하게 했습니다.
4. 모델 무관성 (Model-agnostic): 제안된 모듈은 3D U-Net 아키텍처 (VideoCrafter-v2.0) 와 DiT 아키텍처 (CogVideoX-2B) 모두에 적용 가능하며, 추가 학습 없이 기존 모델의 성능을 향상시킵니다.

---

4. 실험 결과 (Results)

저자들은 MSR-VTT 와 Panda-70M 데이터셋에서 추출한 복잡한 구성적 비디오 설명을 기반으로 CVGBench라는 새로운 벤치마크를 구축하여 실험을 수행했습니다.

• 정량적 평가: VideoCrafter-v2.0 과 CogVideoX-2B 를 베이스라인으로 했을 때, 제안된 프레임워크는 주체 일관성 (Subject Consistency), 배경 일관성 (Background Consistency), 시간적 깜빡임 (Temporal Flickering), 운동 부드러움 (Motion Smoothness), 동적 정도 (Dynamic Degree) 등 5 가지 지표에서 모든 기존 방법 (BoxDiff, R&B, Vico 등) 보다 우수한 성능을 기록했습니다.
  • 예: CogVideoX-2B 기반에서 주체 일관성이 91.00% 에서 98.27% 로 향상되었습니다.
• 정성적 평가:
  • 정지 객체: 원치 않는 움직임이 억제되어 안정적인 정지 상태를 유지합니다.
  • 강체 운동: 객체의 형태가 왜곡되지 않고 자연스러운 이동 궤적을 따릅니다.
  • 비강체 운동: 춤추는 사람이나 흔들리는 깃발과 같이 복잡한 변형이 표현력이 풍부하게 구현됩니다.
• Ablation Study: 구조화된 운동 추론 (SMR) 과 분해된 가이드 (DMG) 의 각 구성 요소가 성능 향상에 필수적임을 입증했습니다. 특히 70B 규모의 LLM 을 사용할 때 추론 정확도가 크게 향상되었습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 **훈련 없이 (Training-free)**도 복잡한 비디오 생성에서 운동의 다양성과 정확성을 확보할 수 있음을 보여줍니다.

• 실용성: 추가적인 모델 학습 비용 없이 기존 상용/오픈소스 비디오 생성 모델에 바로 적용 가능하여, 가상 현실, 인간 - 컴퓨터 상호작용 등 다양한 실제 시나리오에 즉시 활용 가능합니다.
• 이론적 기여: 자연어 프롬프트의 모호성을 구조화된 그래프로 해소하고, 운동 유형에 따라 차별화된 가이드를 적용하는 새로운 패러다임을 제시하여, 향후 구성적 비디오 생성 연구의 방향성을 제시합니다.

결론적으로, 이 연구는 "무엇이 움직이는가"뿐만 아니라 "어떻게 움직이는가"에 대한 심층적인 이해를 통해 고품질의 구성적 비디오 생성을 가능하게 하는 중요한 진전을 이루었습니다.