1. 연구 배경 및 문제 정의 (Problem)

최근 텍스트-to-비디오 (T2V) 생성 모델은 시각적 충실도와 다중 모달 제어 능력을 크게 향상시켰으나, 복잡한 영화적 장면 (cinematic scenes) 을 구성하는 데 필수적인 '모션 제어' 측면에서는 여전히 한계가 있습니다.

• 기존 방식의 한계: 현재 대부분의 인터페이스는 텍스트, 기존 비디오에서 추출된 주석, 또는 단순한 2D 스케치에 의존합니다. 이는 객체의 역동성 (object dynamics) 과 카메라 궤적 (camera trajectories) 을 동시에 정교하게 지시하는 데 부적합합니다.
• 핵심 문제: 사용자는 자연어만으로 "달리는 주자를 따라가면서 카메라가 좌우로 움직이고 회전한다"와 같이 객체와 카메라의 상호작용을 포함하는 복잡한 공간적 계획을 직관적으로 표현하기 어렵습니다. 기존 모델들은 주로 카메라 제어에 집중하거나, 객체와 카메라의 움직임을 분리하여 처리하여 영화적 일관성이 떨어집니다.
• 목표: 자연어 설명을 통해 객체와 카메라의 3D 궤적을 동시에 계획하고 생성할 수 있는 프레임워크가 필요합니다.

2. 제안 방법론: LAMP (Methodology)

저자들은 LAMP (Language-Assisted Motion Planning) 를 제안하며, 모션 제어를 '자연어에서 프로그램 합성 (program synthesis)' 문제로 재정의합니다.

A. 영화학 기반 도메인 특화 언어 (Cinematography-inspired DSL)

• 개념: 연속적인 좌표 회귀 (regression) 대신, 영화 촬영 기법 (pan, tilt, orbit, track 등) 에서 영감을 받은 구조화된 도메인 특화 언어 (DSL) 를 도입합니다.
• 구성:
  • 기본 원시 (Primitives): Free-form (자유로운 6DoF), Orbit track (대상 주변 회전), Tail track (대상 추적), Rotation track (제자리 회전) 등 4 가지 기본 모션.
  • 수식어 (Modifiers): 속도, 이징 (easing), 오프셋, 회전 축 등을 정의하는 키 - 값 쌍 (key-value pairs).
• 장점: 해석 가능 (interpretable), 구성 가능 (composable), 그리고 결정론적으로 3D 궤적으로 매핑 가능합니다.

B. LLM 기반 모션 플래너 (LLM-based Motion Planner)

• 구조: 대규모 언어 모델 (LLM) 을 모션 플래너로 활용하여 자연어 입력을 DSL 프로그램으로 변환합니다.
• 작동 원리:
  1. 입력 텍스트를 객체 중심 ($t_{obj}$) 과 카메라 중심 ($t_{cam}$) 성분으로 분해합니다.
  2. LLM 이 객체의 움직임을 먼저 생성하고, 이를 기반으로 카메라의 움직임을 생성하는 계층적 구조를 따릅니다 (주제 움직임이 장면의 역학을 정의하고, 카메라는 이를 따라가며 프레임을 유지함).
  3. 생성된 DSL 프로그램은 DSL-to-Trajectory Converter를 통해 물리적으로 일관된 3D 객체 및 카메라 궤적 ($x_{obj}, x_{cam}$) 으로 변환됩니다.

C. 대규모 절차적 데이터셋 (Procedural Dataset)

• 데이터 생성: 자연어 설명, DSL 프로그램, 3D 궤적의 쌍으로 구성된 40 만 개 (400K) 의 대규모 데이터셋을 자동으로 생성했습니다.
• 방법: 다양한 모션 원시와 수식어를 조합하여 3D 궤적을 생성하고, 이를 기반으로 자연어 설명을 생성 (또는 LLM 을 통해 재표현) 하여 학습 데이터를 확보했습니다. 이는 실제 데이터의 부족 문제를 해결하고 다양한 모션 패턴에 대한 일반화를 가능하게 합니다.

D. 궤적 기반 비디오 생성 (Trajectory-Conditioned Video Generation)

• 생성된 3D 궤적은 제어 비디오 (control video) 로 렌더링되어, 사전 학습된 비디오 생성 모델 (예: VACE) 에 조건부로 입력됩니다. 이를 통해 의도된 모션을 따르는 최종 비디오가 생성됩니다.

3. 주요 기여 (Key Contributions)

1. 영화학 기반 DSL: 카메라와 객체의 행동을 심볼릭 모션 프로그램으로 인코딩하고, 이를 결정론적으로 3D 궤적으로 매핑하는 새로운 언어 체계를 제안했습니다.
2. 대규모 절차적 데이터셋 및 프레임워크: 자연어 - 모션 쌍을 자동으로 생성하는 오픈 소스 프레임워크와 40 만 개의 텍스트 - 모션 데이터셋을 공개하여 언어 기반 모션 플래닝 연구의 기반을 마련했습니다.
3. 최초의 통합 프레임워크: 자연어 명세로부터 객체와 카메라의 움직임을 동시에 생성하는 첫 번째 프레임워크를 제시했습니다.
4. 반복적 정제 (Iterative Refinement): 모션 플래닝과 비디오 생성을 분리함으로써, 실제 비용이 큰 비디오 합성 전에 텍스트 명령 ("카메라를 더 낮게", "줌 아웃") 을 통해 모션을 반복적으로 수정하고 개선할 수 있는 유연한 인터페이스를 제공합니다.

4. 실험 결과 (Results)

LAMP 는 기존 최첨단 (SOTA) 방법론 (CCD, ET, Director3D, GenDoP 등) 과 비교하여 우수한 성능을 입증했습니다.

• 카메라 궤적 평가 (DataDoP, ET 데이터셋):
  • 텍스트 - 궤적 정렬 (Text-Trajectory Alignment) 을 측정하는 CLaTr 점수와 모션 태깅 정확도 (F1-Score) 에서 모든 베이스라인을 압도적으로 상회했습니다.
  • 특히, DataDoP 데이터셋에 직접 학습된 모델들보다 LAMP(자사 절차적 데이터로 학습) 가 더 높은 성능을 보였으며, 이는 DSL 표현 방식의 강력한 일반화 능력을 시사합니다.
• 객체 궤적 평가:
  • 객체의 이동 (coarse/fine translation) 과 회전 (rotation) 에 대해 매우 높은 F1-Score (0.99 이상) 를 기록하여 의도된 객체 움직임을 정확하게 재현함을 보였습니다.
• 사용자 연구 (User Study):
  • 16 명의 참가자를 대상으로 한 평가에서 카메라 정합성, 객체 정합성, 전반적인 비디오 품질 측면에서 기존 방법론 (Wan 2.1, GPT 기반 DSL/Traj) 보다 일관되게 높은 선호도를 받았습니다.
• Ablation Study:
  • DSL 을 사용하는 방식이 연속 좌표를 직접 회귀하는 방식보다 방향 정확도가 높고 회전 오류가 적음을 확인했습니다. 이는 구조화된 심볼릭 프로그램이 LLM 의 추론 능력을 더 효과적으로 활용함을 보여줍니다.

5. 의의 및 결론 (Significance)

• 영화적 통제력의 확장: LAMP 는 자연어만으로 복잡한 영화적 연출 (choreography) 을 가능하게 하여, 비디오 생성의 제어 가능성을 혁신적으로 확장했습니다.
• 해석 가능성과 편집성: 블랙박스 형태의 좌표 예측이 아닌, DSL 프로그램을 통해 모션을 명시적으로 표현하므로 사용자가 모션을 이해하고 수정하기 쉽습니다.
• 미래 지향성: 이 연구는 단순한 비디오 생성을 넘어, 자연어 지시를 통해 3D 공간에서의 객체와 카메라의 상호작용을 설계하는 언어 기반 영화 제작 (Language-driven Cinematography) 의 새로운 패러다임을 제시합니다.

요약하자면, LAMP 는 자연어 설명을 영화적 모션 언어 (DSL) 로 변환하고 이를 3D 궤적으로 구체화하여, 사용자가 직관적으로 복잡한 객체 및 카메라 움직임을 정밀하게 제어할 수 있는 새로운 비디오 생성 프레임워크입니다.