1. 연구 배경 및 문제점 (Problem)

텍스트 기반 비디오 생성 (Text-to-Video, T2V) 분야에서 최근 확산 트랜스포머 (Diffusion Transformer, DiT) 기반 모델이 높은 화질을 보여주며 발전하고 있습니다. 기존 연구들은 참조 비디오의 움직임 (Motion) 을 텍스트로 정의된 새로운 비디오로 전이하는 '움직임 전이 (Motion Transfer)' 기술을 통해 제어 가능한 비디오 생성을 시도해 왔습니다.

그러나 기존 방법론들은 다음과 같은 심각한 한계를 가지고 있었습니다:

• 단일 객체 제한: 대부분의 기존 방법 (DMT, MOFT, MotionClone 등) 은 단일 객체만 처리할 수 있어, 실제 복잡한 장면에서 여러 객체가 상호작용하는 다중 객체 (Multi-object) 시나리오에 적용하기 어렵습니다.
• 객체 - 캡션 정합성 부재 (Lack of Grounding): ConMo 나 MultiMotion 과 같이 다중 객체를 처리하려는 시도조차도, 생성된 각 객체가 텍스트 캡션의 특정 부분과 공간적으로 정확히 매칭되는지 (Grounding) 를 보장하지 못했습니다. 이로 인해 객체의 위치가 뒤섞이거나, 잘못된 객체가 잘못된 움직임을 따르는 현상이 발생했습니다.
• 불안정한 움직임 신호: DiTFlow 와 같은 최신 방법들은 잡음이 많은 (Noisy) 움직임 신호를 추출하여 정밀한 움직임 제어를 방해했습니다.

2. 제안 방법론 (Methodology)

저자들은 MotionGrounder를 제안하여, 훈련 없이 (Training-free) 다중 객체 장면에서 움직임 전이와 객체 공간적 정합성 (Grounding) 을 동시에 해결하는 DiT 기반 프레임워크를 개발했습니다. 주요 구성 요소는 다음과 같습니다.

A. 전체 프레임워크

• 입력: 소스 비디오 (참조 움직임), 전역 캡션 (Global Caption), 객체별 캡션 (Object Captions), 그리고 각 객체의 마스크 (Object Masks).
• 목표: 소스 비디오의 움직임 동역학을 유지하면서, 텍스트로 정의된 새로운 장면과 객체들을 생성하되, 각 객체가 캡션에서 명시된 대로 정확한 공간 위치에 배치되도록 합니다.

B. 핵심 기술 1: 흐름 기반 움직임 신호 (Flow-based Motion Signal, FMS)

• 문제 해결: 기존 Attention Motion Flow (AMF) 방식은 텍스처 유사성이나 큰 움직임으로 인해 잡음이 많고 불안정했습니다.
• 해결책: GMFlow 를 사용하여 소스 비디오의 광학 흐름 (Optical Flow) 을 추정하고, 이를 잠재 공간 (Latent Space) 의 패치 (Patch) 궤적으로 변환합니다.
• 작동 원리: 생성 과정에서 디노이징 (Denoising) 단계 시, 생성된 비디오의 움직임이 FMS 로부터 추출된 안정적인 궤적과 일치하도록 **손실 함수 ($L_{FMS}$)**를 최소화합니다. 이를 통해 객체별 움직임이 왜곡되지 않고 안정적으로 전이됩니다.

C. 핵심 기술 2: 객체 - 캡션 정렬 손실 (Object-Caption Alignment Loss, OCAL)

• 문제 해결: 다중 객체 환경에서 어떤 객체가 어떤 텍스트 토큰에 대응되는지 명시적으로 연결하지 않으면 객체 위치가 혼란스러워집니다.
• 해결책: DiT 의 3D 어텐션 맵 (Attention Map) 을 조작하여 객체 캡션 토큰과 해당 객체의 공간적 영역 (마스크) 을 강제로 정렬합니다.
• 작동 원리:
  • Foreground Loss: 객체 마스크 영역 내에서 어텐션 값이 최대화되도록 유도합니다.
  • Background Loss: 객체 마스크 영역 밖에서는 어텐션 값이 억제되도록 유도합니다.
  • Size Regularizer: 작은 객체가 생성 과정에서 소실되지 않도록 크기에 가중치를 두어 손실을 조정합니다.
  • 이를 통해 텍스트로 정의된 각 객체가 비디오 내 정확한 위치에 생성되도록 강제합니다.

D. 평가 지표: 객체 정합성 점수 (Object Grounding Score, OGS)

• 기존 CLIP 점수는 프레임 전체의 일치도만 평가하여 객체 수준의 오류를 놓칠 수 있습니다.
• 저자들은 OGS를 제안했는데, 이는 (1) 소스 객체와 생성된 객체의 **IoU (Intersection over Union, 공간 정렬)**와 (2) 생성된 객체와 해당 객체 캡션 간의 **Local CLIP Similarity (시맨틱 정합성)**를 곱하여 계산합니다. 이는 객체가 올바른 위치에 올바른 형태로 생성되었는지를 종합적으로 평가합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 다중 객체 움직임 전이 프레임워크: 훈련 없이 DiT 기반 모델을 사용하여 다중 객체 장면에서 움직임 전이와 객체 정합성을 동시에 해결하는 최초의 방법론을 제안했습니다.
2. 안정적인 움직임 전이 (FMS): 광학 흐름을 기반으로 한 FMS 를 도입하여 기존 Attention 기반 방법보다 안정적이고 노이즈가 적은 움직임 가이드를 제공합니다.
3. 공간적 정합성 강제 (OCAL): 객체 캡션과 공간적 영역을 연결하는 새로운 손실 함수를 설계하여, 복잡한 장면에서도 각 객체가 텍스트에 명시된 대로 정확히 배치되도록 합니다.
4. 새로운 평가 지표 (OGS): 객체 수준의 정합성을 정량적으로 평가하기 위한 OGS 를 제안하고, 이를 통해 기존 방법론들의 한계를 명확히 드러냈습니다.

4. 실험 결과 (Results)

• 데이터셋: DAVIS, YouTube-VOS, ConMo 등에서 추출한 52 개의 다중 객체 비디오를 기반으로 평가 데이터셋을 구축했습니다.
• 비교 대상: DMT, MOFT, MotionClone, ConMo, DiTFlow 등 최신 5 가지 제로샷 (Zero-shot) 방법론과 비교했습니다.
• 정량적 평가:
  • OGS, IoU, LTA (Local Textual Alignment): MotionGrounder 가 모든 시나리오 (Caption, Subject, Scene Prompt) 에서 압도적으로 높은 점수를 기록했습니다. 특히 객체 위치 정확도와 텍스트 - 객체 매칭에서 기존 방법보다 월등히 우수했습니다.
  • MF (Motion Fidelity): 움직임의 충실도 역시 최상위권 (1 위 또는 2 위) 을 유지하며, 움직임 전이와 객체 정합성 사이의 균형을 잘 잡았습니다.
• 정성적 평가:
  • 기존 방법들은 객체 위치가 뒤섞이거나 (Spatial Misalignment), 한 객체의 움직임을 다른 객체가 따라가는 (Motion Misattribution) 오류가 빈번했습니다.
  • MotionGrounder 는 모든 지정된 객체를 생성하고, 올바른 위치에 배치하며, 객체별 고유한 움직임을 유지했습니다.
• 사용자 연구: 49 명의 참가자를 대상으로 한 평가에서 MotionGrounder 가 움직임 준수성, 텍스트 충실도, 객체 정합성 모든 항목에서 가장 높은 순위를 차지했습니다.
• 일반화 능력: CogVideoX-5B 뿐만 아니라 Wan2.1 모델에서도 동일한 성능 향상을 보여주어 모델 무관성 (Model-agnostic) 을 입증했습니다.

5. 의의 및 의의 (Significance)

MotionGrounder 는 비디오 생성 분야에서 **세밀한 제어 (Fine-grained Control)**의 새로운 기준을 제시합니다.

• 다중 객체 제어의 혁신: 단순히 장면 전체의 분위기를 바꾸는 것을 넘어, 장면 내 각 객체의 위치와 움직임을 텍스트와 마스크를 통해 정밀하게 제어할 수 있게 되었습니다.
• 실용적 응용: 교육용 콘텐츠, 시뮬레이션, 창의적 영상 제작 등 복잡한 다중 객체 상호작용이 필요한 분야에서 높은 활용 가치를 가집니다.
• 기술적 확장: DiT 아키텍처의 잠재력을 활용하여, 훈련 데이터 없이도 (Zero-shot) 복잡한 공간적 - 시맨틱 제어를 가능하게 함으로써 향후 비디오 편집 및 생성 기술의 방향성을 제시합니다.

한계점으로는 매우 많은 수의 객체 (4 개 이상) 가 밀집된 장면에서는 성능이 저하될 수 있으나, 이는 VAE 의 잠재 공간 해상도 한계로 인한 것으로, 향후 고해상도 잠재 공간이나 픽셀 도메인 처리를 통해 개선될 수 있을 것으로 기대됩니다.