💻 computer science

SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation

SymphoMotion은 명시적인 기하학적 인지 단서와 3D 궤적 임베딩을 사용하여 카메라 궤적과 객체 역학을 공동으로 제어하고, 새로운 실제 데이터셋(RealCOD-25K)에 의해 지원됨으로써, 기존 방법들과 비교하여 비디오 생성 시 시각적 충실도와 동작 일관성을 크게 향상시킨 통합 프레임워크이다.

원저자: Guiyu Zhang, Yabo Chen, Xunzhi Xiang, Junchao Huang, Zhongyu Wang, Li Jiang

게시일 2026-06-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guiyu Zhang, Yabo Chen, Xunzhi Xiang, Junchao Huang, Zhongyu Wang, Li Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 카메라를 들고 있는 영화 감독이라고 상상해 보세요. 실제 영화에서 당신은 두 가지 큰 일을 해야 합니다. 하나는 세트 안에서 카메라를 움직이는 것(팬, 틸트, 줌)이고, 다른 하나는 배우들이 무대를 가로질러 움직이도록 지시하는 것입니다. 만약 당신이 카메라를 움직이는데 배우들이 가만히 서 있다면, 그것은 매우 어색해 보일 것입니다. 반대로 배우들은 달려가는데 카메라가 고정되어 있다면, 극적인 긴장감을 놓치게 됩니다.

현재의 AI 비디오 생성기들이 가진 문제는, 이들이 한 번에 한 가지 일밖에 할 수 없는 감독과 같다는 점입니다. 어떤 AI 도구들은 카메라를 움직이는 데는 뛰어나지만, 그러면 배우들이 멈춰버리거나 형태가 일그러집니다. 또 다른 도구들은 사물을 움직이는 데는 능숙하지만, 카메라를 움직이려고 하면 AI가 무엇이 움직이는 것이고 무엇이 단순히 시점의 변화인지 혼동하여 사물이 뒤틀리거나 사라지게 만듭니다.

SymphoMotion은 교향악단의 지휘자처럼 행동함으로써 이 문제를 해결하는 새로운 AI 시스템입니다. 이 시스템은 '카메라'와 '배우'(사물)를 동시에 조율하여, 이들이 현실적이고 동기화된 방식으로 함께 움직이도록 학습합니다.

작동 원리는 다음과 같이 간단한 부분들로 나뉩러 설명할 수 있습니다.

1. 두 가지 특별한 도구

이 시스템은 비디오를 관리하기 위해 두 가지 특정 "제어 노브(control knobs)"를 사용합니다.

카메라 제어 (시점 도구):
방 안을 걷고 있다고 상상해 보세요. 당신이 걸을 때, 당신의 움직임에 따라 방의 벽과 가구들이 시야 속에서 변화합니다. 기존의 AI 도구들은 단순히 이미지를 "미끄러지듯" 이동시키려 했고, 이는 방을 평면적이고 가짜처럼 보이게 만들었습니다.
SymphoMotion은 3D 지도(방의 형태를 나타내는 디지털 포인트 클라우드)를 사용하여 방의 구조를 이해합니다. 당신이 AI에게 카메라를 움직이라고 명령하면, AI는 이 3D 지도를 사용하여 벽과 가구가 마치 당신이 실제로 그 장면 속을 걷는 것처럼 현실적으로 변화하도록 만듭니다. 이를 통해 기하학적 구조를 안정적으로 유지하여, 영상이 녹아내리는 그림처럼 보이는 것을 방지합니다.
객체 제어 (배우 도구):
강아지가 들판을 가로질러 달리는 모습을 원한다고 가정해 봅시다. 기존의 도구들은 단순히 AI에게 "강아지를 오른쪽으로 움직여라"라고 말할 수 있습니다. 하지만 카메라도 함께 움직이고 있다면 AI는 혼란에 빠집니다. 강아지가 움직이는 것인가, 아니면 카메라가 움직이는 것인가?
SymphoMotion은 강아지에 대해 두 가지 종류의 지침을 제공함으로써 이 문제를 해결합니다.

2D 지침: 화면 위에 강아지가 어디에 있어야 하는지를 보여주는 간단한 그림(마치 창문에 붙인 포스트잇처럼)입니다.
3D 지침: 강아지가 공중에서 어떻게 움직이는지, 그리고 깊이(depth) 속에서 어떻게 이동하는지를 보여주는 실제 세계의 경로입니다.
이 둘을 결합함으로써, AI는 카메라와 대비하여 강아지가 어떻게 움직여야 하는지 정확히 알게 되며, 카메라가 주변을 회전하는 동안에도 강아지가 형태를 유지하며 자연스럽게 움직이도록 보장합니다.

2. 빠진 퍼즐 조각: 새로운 데이터셋

AI에게 이 기술을 가르치려면, 많은 예시를 가진 스승이 필요합니다. 문제는 카메라의 움직임과 사물의 움직임이 모두 정밀하게 측정되고 라벨링된 실제 세계의 비디오 라이브러리가 존재하지 않았다는 점입니다. 기존의 비디오들은 움직이는 카메라와 정적인 장면이 있거나, 혹은 움직이는 사물과 고정된 카메라가 있는 경우 중 하나뿐이었습니다.

연구진은 RealCOD-25K를 구축했습니다. 이것은 25,000개의 고품질 비디오 클립으로 구성된 거대한 라이브러리라고 생각하시면 됩니다. 모든 클립에 대해, 연구진은 단순히 비디오만 저장한 것이 아니라 카메라를 위한 "대본"(카메라가 어디로 갔는지)과 사물을 위한 "대본"(3D 공간에서 사물이 어디로 갔는지)을 함께 저장했습니다. 이를 통해 AI가 렌즈를 움직이는 것과 피사체를 움직이는 것 사이의 복잡한 관계를 이해하도록 훈련할 수 있었습니다.

3. 사용 방법

논문은 사용자 친화적인 인터페이스(디지털 아트 스튜디오와 같은)를 설명합니다.

사진 한 장을 업로드합니다.
AI가 그 사진의 3D 모델을 구축합니다.
당신은 3D 공간에서 객체를 드래그하여(마치 장난감 자동차를 경로를 따라 끌 듯이) AI에게 어떻게 움직이길 원하는지 알려줄 수 있습니다.
당신은 카메라가 따라갈 경로를 그릴 수 있습니다.
AI는 카메라가 당신의 경로를 따라 움직이고, 사물은 당신이 드래그한 위치로 정확히 움직이며, 이 모든 과정이 실제와 같은 일관된 장면처럼 보이도록 비디오를 생성합니다.

결과

테스트 결과, SymphoMotion은 기존 방식보다 훨씬 더 사실적인 비디오를 만들어냈습니다.

시각적 품질: 비디오가 훨씬 더 선명하고 왜곡이 적었습니다.
카메라 제어: 배경이 뒤틀리지 않고 요청한 대로 정확하게 움직였습니다.
객체 제어: 사물들이 부드럽게 움직였으며, 복잡한 움직임 중에도 카메라와의 상대적 위치를 올바르게 유지했습니다.

요약하자면, SymphoMotion은 AI가 카메라와 배우를 동시에 다루어 믿을 수 있는 움직이는 세계를 창조할 수 있는 '풀타임 영화 감독'이 될 수 있도록 성공적으로 가르쳐준 최초의 시스템입니다.

기술 요약: SymphoMotion

문제 정의

카메라의 움직임과 객체의 역학(dynamics)을 동시에 제어하는 것은 일관성 있고 표현력이 풍부한 비디오를 생성하는 데 필수적입니다. 그러나 현재의 방법론들은 다음과 같은 상당한 한계에 직면해 있습니다:

단일 모달리티 집중: 기존 접근 방식은 일반적으로 카메라 움직임(예: CameraCtrl, Uni3C) 또는 객체 역학(예: MotionCtrl, MagicMotion) 중 하나만을 분리하여 처리합니다.
2D 모호성: 두 가지를 결합하여 제어하려는 방법들은 대개 이미지 평면 내의 2D 단서(광학 흐름, 바운딩 박스)에 의존합니다. 이는 실제 객체의 움직임과 카메라로 인한 시차(parallax)를 분리하지 못하며, 특히 시점 변화가 큰 상황에서 비동기화된 동작과 낮은 현실성을 초래합니다.
데이터 부족: 카메라 포즈와 객체 수준의 3D 궤적이 쌍으로 주석(annotation)된 실제 데이터셋이 매우 부족합니다. 기존 데이터셋은 카메라 중심(정지된 장면)이거나 객체 중심(고정된 카메라)이며, 합성 데이터셋은 도메인 격차 문제를 겪습니다.

방법론: SymphoMotion

SymphoMotion은 단일 모델 내에서 카메라 궤적과 객체 역학을 공동으로 제어하도록 설계된 통합 디퓨전 기반 프레임워크입니다. 이 모델은 사전 학습된 Wan-I2V 아키텍처를 기반으로 하며, 두 가지 상호 보완적인 메커니즘을 도입합니다:

1. 카메라 궤적 제어 (CTC)

안정적이고 구조적으로 일관된 시점 전환을 보장하기 위해, CTC는 명시적인 카메라 경로를 기하학적 인지 단서와 통합합니다:

3D 기하학적 사전 정보: 단순히 Plücker 임베딩에만 의존하는 대신, 이 방법은 Depth-Pro를 사용하여 참조 이미지로부터 포인트 클라우드를 추정합니다.
시점 제어 모듈 (VCM): 이 모듈은 두 가지 인코딩된 입력을 융합합니다:
- 모션 표현 ( $c_{cam}$ ): 대상 카메라 포즈 시퀀스의 Plücker 임베딩으로부터 유도됩니다.
- 기하학 표현 ( $c_{pcd}$ ): Wan 인코더를 사용하여 대상 궤적을 따라 렌더링된 포인트 클라우드 프레임으로부터 추출됩니다.
통합: 이러한 특징들은 노이즈가 섞인 잠재 변수(latent)와 결합되어 디퓨전 모델에 명시적인 모션 단서로 추가되며, 이를 통해 공간적 일관성과 기하학적 충실도를 높입니다.

2. 객체 역학 제어 (ODC)

깊이 인지적이고 공간적으로 일관된 객체 조작을 가능하게 하기 위해, ODC는 2D 시각적 가이드와 3D 궤적 임베딩을 결합합니다:

2D 시각적 가이드: 3D 객체 궤적은 대상 카메라 포즈를 기반으로 이미지 평면에 투영됩니다. 프레임별 바운딩 박스가 피팅되어 포인트 클라우드 프레임 위에 렌더링되며, 이는 모델이 여러 프레임에 걸쳐 객체를 국지화하도록 안내하는 명시적인 공간 앵커 역할을 합니다.
3D 궤적 컨디셔닝: 객체 모션 모듈(OMM)은 3D 궤적(참조 카메라의 좌표계로 변환됨)과 시맨틱 엔티티 프롬프트를 인코딩합니다. 이들은 융합되어 크로스 어텐션(cross-attention)을 통해 디퓨전 트랜스포머 블록에 주입되며, 이를 통해 모델이 잠재 표현을 지정된 3D 경로와 정렬할 수 있도록 합니다.

학습 및 추론

학습 전략: 2단계 접근 방식이 사용됩니다. 먼저, CTC 모듈이 카메라 제어를 학습하도록 훈련됩니다. 그 다음, CTC를 고정(freeze)하고 ODC 모듈을 객체 모션 학습을 위해 훈련합니다.
추론 파이프라인: 사용자는 참조 이미지, 텍스트 프롬프트, 그리고 인터랙티브 입력을 제공합니다. 시스템은 3D 포인트 클라우드를 재구성하고, 사용자가 객체를 선택(SAM2 활용)하여 3D 공간에서 드래그함으로써 궤적을 정의하고 카메라 경로를 지정할 수 있게 합니다. 이후 모델은 이러한 제약 조건에 부합하는 비디오를 생성합니다.

주요 기여

통합 프레임워크: 단일 모델에서 카메라 움직임과 객체 역학을 공동으로 제어하여 일관되고 유연하며 깊이 인지적인 모션 사양을 가능하게 하는 최초의 프레임워크인 SymphoMotion을 제안했습니다.
RealCOD-25K 데이터셋: 동기화된 카메라 포즈와 객체 수준의 3D 궤적을 포함하는 25,000개 이상의 비디오 클립이 담긴 대규모 실제 데이터셋을 구축했습니다. 이는 통합 모션 제어 모델의 학습 및 평가를 위한 결정적인 데이터 공백을 해결합니다.
성능: SymphoMotion이 시각적 충실도, 카메라 제어 가능성, 객체 모션 정확도 측면에서 최신 기술(SOTA) 방법론들을 능가함을 광범 Assist 실험과 사용자 연구를 통해 입증했습니다.

실험 결과

본 논문은 선별된 100개의 실제 비디오 세트를 사용하여 SymphoMotion을 CameraCtrl, ViewCrafter, Uni3C, MotionCtrl과 같은 베이스라인과 비교 평가합니다.

정량적 지표:
- 시각적 품질: SymphoMotion은 가장 낮은 FID (70.47)와 FVD (332.50)를 달성하여, 베이스라인(예: MotionCtrl FVD: 738.41) 대비 우수한 이미지 품질과 시간적 일관성을 보여주었습니다.
- 카메라 제어: 가장 낮은 이동(0.37) 및 회전(0.05) 오차를 달성하여, 전용 카메라 제어 베이스라인들을 능가했습니다.
- 객체 제어: MotionCtrl(31.42)에 비해 현저히 높은 Box-IoU 점수(61.88)를 기록하여, 더 정확한 궤적 준수 능력을 입증했습니다.
사용자 연구: 블라인드 테스트(1-5 척도)에서 SymphoMotion은 시각적 품질(4.87), 텍스트 정렬(4.02), 카메라 모션(4.36), 객체 모션(4.58)의 모든 카테고리에서 가장 높은 점수를 받았습니다.
절제 연구(Ablation Studies): 3D 기하학적 사전 정보( $c_{pcd}$ ), 2D 시각적 가이드(바운딩 박스), 또는 3D 궤적 컨디셔닝을 제거했을 때 모든 지표에서 측정 가능한 성능 저하가 나타났으며, 이는 각 구성 요소의 필요성을 확인시켜 줍니다.

의의

본 논문은 SymphoMotion이 비디오 생성 분야에서 통합 모션 제어의 새로운 기준을 세웠다고 주장합니다. 3D 인지 표현을 통해 카메라로 인한 시차와 실제 객체 역학을 성공적으로 분리함으로써, 복잡하고 사용자가 정의한 카메라 및 객체 움직임을 충실히 반영하는 비디오 생성을 가능하게 합니다. RealCOD-25K의 도입은 2D 전용 제어나 합성 데이터 의존의 한계를 넘어 필요한 감독(supervision)을 제공한다는 점에서 기초적인 기여로 강조됩니다.