CT-1: Vision-Language-Camera Models Transfer Spatial Reasoning Knowledge to Camera-Controllable Video Generation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 카메라 제어 가능한 비디오 생성 (Camera-controllable video generation) 은 애니메이션, 상업용 영상 제작, 월드 모델 등 다양한 분야에서 중요한 기술로 부상하고 있습니다.
• 기존 방법의 한계:
  1. 텍스트 기반 제어 (High-level Semantic Control): 텍스트 프롬프트만으로 카메라 움직임을 지시하는 방식 (예: Wan2.2) 은 직관적이지만, 카메라의 구체적인 이동 경로를 정밀하게 제어하기 어렵고, 의도한 대로 움직이지 않거나 공간적 일관성이 떨어지는 경우가 많습니다.
  2. 수동 파라미터 제어 (Explicit Parameterized Control): 카메라 궤적 파라미터를 직접 입력하는 방식은 정밀하지만, 매번 수동으로 경로를 설계해야 하므로 노동 집약적이며 대규모 자동화 시나리오에 적용하기 어렵습니다.
• 핵심 문제: 사용자의 의도 (텍스트) 와 장면의 맥락 (이미지) 을 동시에 고려하여, 물리적으로 타당하고 의미론적으로 정합적인 (semantically aligned) 카메라 궤적을 자동으로 추론하는 모델의 부재.

2. 제안 방법론 (Methodology)

저자들은 **CT-1 (Camera Transformer 1)**이라는 새로운 비전 - 언어 - 카메라 (Vision-Language-Camera, VLC) 모델을 제안합니다. 이 모델은 공간 추론 (Spatial Reasoning) 지식을 비디오 생성 모델로 전이하여 정밀한 카메라 제어를 가능하게 합니다.

A. CT-1 아키텍처

1. 비전 - 언어 모듈 (Vision-Language Module):
   • 비전 인코더: DINOv2 와 SigLIP 를 병렬로 사용하여 세밀한 국소 특징과 고수준의 의미론적 정보를 모두 포착합니다.
   • 언어 모델: LLaMA-2 를 기반으로 하여 텍스트 지시를 처리합니다.
   • 카메라 컨텍스트 토큰 (): 비전과 언어 정보를 통합한 후, 특정 카메라 컨텍스트 토큰을 생성하여 다음 단계로 전달합니다. 이는 현재 시점의 시각적 및 언어적 정보를 집약한 글로벌 특징 벡터 역할을 합니다.
2. 카메라 트랜스포머 (Camera Transformer):
   • 확산 모델 (Diffusion Transformer, DiT): 단일 고정된 궤적이 아닌, 가능한 카메라 운동의 **분포 (Distribution)**를 모델링합니다. 이는 동일한 지시에도 장면 구성에 따라 여러 유효한 궤적이 존재할 수 있기 때문입니다.
   • 입력: 확산 단계 (timestep) 와 토큰이 결합된 조건부 토큰을 입력받아 노이즈가 제거된 카메라 궤적을 예측합니다.
3. 웨이브렛 기반 정규화 손실 (Wavelet-based Regularization Loss, WavReg):
   • 카메라 궤적은 저주파 (전체적인 부드러운 움직임) 와 고주파 (국소적인 급격한 변화) 성분으로 나뉩니다.
   • **1D 하라 (Haar) 이산 웨이브렛 변환 (DWT)**을 적용하여 궤적을 주파수 영역에서 분해합니다.
   • 목적: 저주파 성분의 에너지가 전체적인 운동 경향을 지배한다는 관찰에 기반하여, 저주파 성분에 더 큰 가중치를 두어 물리적으로 안정적이고 매끄러운 (Lipschitz continuous) 카메라 운동을 유도합니다. 이는 고주파 노이즈를 억제하면서도 의미 있는 움직임을 보존합니다.

B. 데이터 구축: CT-200K

• 문제: 기존 데이터셋에는 카메라 운동에 대한 정밀한 설명과 파라미터가 부족함.
• 해결: CT-200K라는 대규모 데이터셋을 구축했습니다.
  • 규모: 20 만 개 이상의 샘플, 4,700 만 개 이상의 프레임.
  • 구성: 일반 시나리오 (General Scenarios) 와 공간 추론이 필요한 시나리오 (Reasoning Scenarios, 예: 물체 조작에 따른 카메라 이동) 로 구성.
  • 파이프라인: Video-VLM, Image-VLM, LLM 을 협력시켜 비디오의 카메라 운동 설명과 콘텐츠 설명을 생성하고, VGGT 모델을 통해 카메라 포즈를 추정하여 라벨링합니다.

C. 통합 프레임워크

• CT-1 이 예측한 카메라 궤적은 CameraNoise와 같은 제어 가능한 비디오 확산 모델에 입력됩니다.
• 이 방식은 CT-1 이 공간 추론을 담당하고, 비디오 생성 모델이 이를 기반으로 고품질 영상을 합성하는 모듈형 2 단계 파이프라인을 형성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 VLC 모델 (CT-1): 시각적 관찰과 의미론적 지시를 결합하여 공간 인식 가능하고 시간적으로 일관된 카메라 궤적을 추론하는 최초의 모델 중 하나.
2. Diffusion Transformer 기반 궤적 모델링: 결정론적 회귀가 아닌 확률적 분포 모델링을 통해 다양한 유효한 카메라 움직임을 생성 가능하게 함.
3. WavReg Loss: 주파수 영역에서의 정규화를 통해 카메라 운동의 물리적 안정성과 매끄러움을 보장하는 새로운 손실 함수 제안.
4. CT-200K 데이터셋: 카메라 운동 추론 및 생성을 위한 대규모 고품질 데이터셋 공개.
5. 성능 향상: 기존 최첨단 방법론 대비 카메라 제어 정확도를 획기적으로 개선.

4. 실험 결과 (Results)

• 정량적 평가 (CameraBench100):
  • 성공률 (Success Rate): CT-1 은 기존 방법론 대비 평균 25.7% 향상된 성공률 (81.6%) 을 기록했습니다.
  • 비교 대상: 텍스트 기반 모델 (Wan2.2, CogVideoX 등) 과 궤적 입력 기반 모델 (CameraCtrl, MotionCtrl) 모두를 압도했습니다. 특히 복잡한 운동 (Complex Motion) 시나리오에서 우월한 성능을 보였습니다.
• 정성적 평가:
  • OOD (Out-of-Distribution) 시나리오에서 사용자의 의도에 부합하는 자연스러운 카메라 움직임을 생성하며, 기존 모델들이 겪는 정적 렌즈 (Static lens) 문제나 비일관된 움직임을 해결했습니다.
• 비디오 품질: VBench 지표를 통해 생성된 비디오의 미적 품질, 동적 정도, 움직임 매끄러움이 기존 SOTA 모델들과 유사하거나 더 우수함을 확인했습니다.
• Ablation Study:
  • 모델 스케일링: 파라미터 수가 증가할수록 성능이 비례하여 향상됨 (Scaling Law 준수).
  • WavReg 효과: β=0.1 일 때 최적의 성능을 보이며, 주파수 기반 정규화가 단순한 평활화 (Smoothing) 보다 효과적임이 입증됨.
  • 데이터 효율성: 추론 시나리오 (Reasoning Scenarios) 데이터가 모델의 공간 이해도와 복잡한 운동 모델링 능력을 크게 향상시킴.

5. 의의 및 결론 (Significance)

이 연구는 **시각적 공간 추론 (Visual Spatial Reasoning)**과 비디오 합성 (Video Synthesis) 간의 간극을 메우는 중요한 진전을 이루었습니다.

• 자동화 가능성: 수동 파라미터 입력 없이 텍스트와 이미지만으로 정밀한 카메라 제어가 가능해져, 자동화된 영상 제작 파이프라인에 적용 가능성이 높아졌습니다.
• 다중 모달리티 통합: 비전, 언어, 카메라 기하학을 하나의 통합된 모델 (VLC) 로 결합하여, 단순한 텍스트 - 비디오 매핑을 넘어 공간적 맥락을 이해하는 새로운 패러다임을 제시했습니다.
• 확장성: CT-1 은 CameraNoise 뿐만 아니라 CameraCtrl, MotionCtrl 등 다양한 기존 비디오 생성 모델에도 모듈식으로 적용 가능하여, 다양한 아키텍처에서 카메라 제어 능력을 향상시킬 수 있습니다.

결론적으로, CT-1 은 사용자가 의도한 대로 물리적으로 타당하고 시각적으로 일관된 카메라 움직임을 가진 고품질 비디오를 생성할 수 있는 강력한 프레임워크를 제시합니다.