Probing into Camera Control of Video Models

기술 요약: 비디오 모델의 카메라 제어 탐구

문제 제기
비디오 생성 모델은 공간 구조와 시간적 역학에 대한 풍부한 사전 지식을 보유하고 있으나, 제어 가능한 카메라 운동을 구현하는 것은 여전히 중요한 과제로 남아 있습니다. 기존 접근법들은 일반적으로 추가적인 카메라 모듈 (예: 어댑터, 임베딩, 또는 어텐션 수정) 을 사용하여 카메라-자세 쌍 데이터셋으로 비디오 모델을 미세 조정 (fine-tuning) 하는 방식에 의존합니다. 저자들은 이러한 패러다임에서 세 가지 근본적인 한계를 식별했습니다:

1. 암시적이고 해석 불가능한 매핑: 카메라 운동과 콘텐츠 간의 관계가 암시적으로 인코딩되어, 종종 기하학적 구조보다는 데이터셋 특유의 상관관계를 학습합니다.
2. 데이터 한계: 이용 가능한 카메라 주석 데이터셋은 규모, 다양성, 역동성 측면에서 제한적이며 (대개 합성 데이터 또는 구조로부터의 운동 (Structure-from-Motion) 에서 파생됨), 이는 현실적인 운동 패턴과 복잡한 장면으로의 일반화를 제한합니다.
3. 사전 지식의 저하: 전문 데이터셋에 대한 미세 조정은 모델을 더 좁은 출력 분포로 편향시켜, 대규모 사전 학습을 통해 학습된 다양한 사전 지식을 무효화하고 시각적 품질을 저하시킵니다.

또한, 기존 학습 없는 (training-free) 방법들은 종종 미분 불가능한 연산 (예: 포인트 클라우드 재구성, 인페인팅) 에 의존하여 엔드투엔드 최적화를 불가능하게 만듭니다.

방법론: CamProbe
본 논문은 카메라 제어를 생성 학습 문제로 재정의하는 것이 아니라, 변위장 (displacement fields) 을 통해 적용되는 기하학적 안내의 형태로 재구성하는 학습 없는 방법인 CamProbe를 제안합니다.

• 변위장 공식화: 카메라 궤적에서 비디오로의 매핑을 학습하는 대신, 이 방법은 주어진 카메라 궤적에 대해 변위장 집합 ($\mathcal{F}$) 을 구성합니다. 카메라 궤적 $T_f = (R_f, t_f)$가 주어지면, 이 방법은 첫 번째 프레임을 기준으로 상대적 변환을 계산합니다. 그런 다음, 상용 깊이 추정기 ($D_f$) 를 사용하여 잠재 픽셀 좌표를 의사 3D 포인트로 변환 (lift) 하고, 카메라 변환을 적용한 후 이미지 평면으로 다시 투영하여 밀집 와핑 그리드 (변위장) 를 유도합니다.
• 확산 모델 내 미분 가능한 리샘플링: 이러한 변위장들은 비디오 확산 모델의 탈노이즈 과정에 통합됩니다. 각 시간 단계 $t$ (특히 초기 단계 $t \in [T, 0.8T]$) 에서, 추정된 깨끗한 잠재 $\hat{z}_0$는 미분 가능한 리샘플링 연산자 ($\circ$) 를 통해 변위장으로 와핑됩니다.
  • 업데이트는 분류기 없는 안내 (classifier-free guidance) 형태를 따릅니다: $\hat{z}'_{0,f} = \hat{z}_{0,f} + \omega (\mathcal{F}_f \circ \hat{z}_{0,f} - \hat{z}_{0,f})$.
  • 수정된 추정치는 다음 샘플링 단계 전에 노이즈가 있는 잠재 $z_t$ (또는 흐름 매칭에서의 속도 $v_t$) 를 업데이트하는 데 사용됩니다.
• 학습 없는 특성: 이 방법은 추가 모듈, 미세 조정, 또는 쌍을 이룬 데이터를 필요로 하지 않습니다. 변위장은 이 작업에서 수행된 것처럼 깊이 기반 와핑과 같이 휴리스틱하게 정의되거나 학습될 수 있습니다.

주요 기여

1. 카메라 제어의 재정의: 저자들은 카메라 제어를 탈노이즈 과정에서 미분 가능한 리샘플링을 통해 적용되는 변위장 집합으로 취급할 것을 제안하여, 학습이나 아키텍처 변경 없이 제어를 가능하게 합니다.
2. 모델 분석을 위한 프로브: 이 방법은 기본 비디오 기반 모델의 고유한 카메라 제어 능력을 분리하고 분석하기 위한 표준화된 프로브 역할을 수행하며, 텍스트 조건부 또는 특정 학습 데이터셋에 의해 유발된 아티팩트와 모델 행동을 분리합니다.
3. 보편적 편향의 식별: 프로브를 사용하여 저자들은 대표적인 비디오 모델들 간의 체계적인 행동을 식별했습니다:
   • 능력 과소평가: 모델들은 종종 텍스트 프롬프트보다 기하학적 안내 하에서 더 잘 수행되는데, 이는 모델 자체보다는 안내 메커니즘에 한계가 있음을 시사합니다.
   • 비대칭 누출: 병진 운동은 회전 운동보다 생성하기 쉽습니다. 회전 명령은 종종 병진 운동으로 누출되지만, 그 반대는 덜 흔합니다.
   • 방향적 선호: 모델들은 수직 운동보다 수평 운동에 편향을 보입니다.
   • 모드 전환: 과도한 제어 강도는 부드러운 운동이 급격한 전환으로 저하되는 "모드 전환"을 유발할 수 있습니다.
4. 다중 뷰 벤치마킹: 본 논문은 다중 뷰 일관성을 평가하기 위한 다수준 평가 프로토콜 (2D, 2.5D, 3D) 을 도입하고 궤도 카메라 운동 하에서 다섯 가지 비디오 모델을 벤치마킹했습니다.

결과

• 미세 조정 베이스라인 대비 성능: 최첨단 미세 조정 방법 (예: Gen3C, TrajectoryCrafter, ReCamMaster) 과 비교하여 CamProbe 는 카메라 제어 정확도 (상대 자세 오차로 측정) 에서 약간 감소한 것으로 측정되지만 경쟁력 있는 시각적 품질을 달성합니다. 중요하게도, 이는 기본 모델의 생성적 사전 지식을 보존하여 미세 조정 접근법보다 이미지 품질과 운동의 부드러움 저하가 적습니다.
• 효율성: 이 방법은 GPU 메모리 오버헤드를 거의 증가시키지 않습니다. 주요 런타임 비용은 깊이 추정과 잠재 리샘플링에서 발생하며, 일정한 깊이를 사용하거나 특정 리샘플링 단계를 건너뛰어 줄일 수 있습니다.
• 프로브 발견:
  • 단일 뷰: 모델들은 운동 강도와 품질 간의 트레이드오프를 보입니다. HunyuanVideo-1.5 와 Wan2.2-I2V-A14B 가 가장 좋은 균형을 보여줍니다.
  • 다중 뷰: 일부 모델 (예: LTX-2.3) 은 고품질 정적 뷰를 생성하는 반면, 다른 모델들 (예: HunyuanVideo-1.5) 은 기하학적 일관성과 운동 정렬 사이의 더 나은 균형을 달성하여 3D/4D 작업에 대한 더 높은 잠재력을 나타냅니다.
  • CamTrol 과의 비교: CamProbe 는 단일 정적 참조를 전파하는 대신 내재적 모델 역학을 보존함으로써 학습 없는 방법인 CamTrol 보다 더 강력한 역동성을 생성하면서도 비교 가능한 시각적 품질을 유지합니다.

의의 및 주장
본 논문은 비디오 생성에서의 카메라 제어가 방대한 데이터셋과 미세 조정이 필요한 암시적 학습 문제로 취급될 필요가 없다고 주장합니다. 대신, 변위장 안내 생성을 통해 효과적으로 해결될 수 있습니다. 저자들은 휴리스틱하게 정의된 변위장조차도 기본 모델의 품질을 훼손하지 않고 카메라 운동을 유도하기에 충분히 강력한 신호로 작용한다고 주장합니다.

이 연구의 의의는 두 가지 영역에 있습니다:

1. 실용적 유용성: 기존 비디오 모델에서 카메라 운동을 제어하기 위한 간단하고 학습 없는 메커니즘을 제공하여, 그들의 고품위 생성 능력을 보존합니다.
2. 분석적 통찰: 기반 모델의 잠재 능력을 "탐구"할 수 있는 도구를 제공하여, 많은 모델들이 현재 평가 방법 (텍스트 프롬프트에 의존) 이나 학습 패러다임에 의해 종종 가려지는 고유한 기하학적 이해를 보유하고 있음을 드러냅니다. 이러한 발견들은 현재 카메라 제어의 한계가 모델이 기하학적으로 일관된 콘텐츠를 생성하는 능력 부족이 아니라, 유도 메커니즘에 기인한 경우가 많음을 시사합니다.

저자들은 현재 휴리스틱 변위장이 복잡한 공간 관계를 가진 장면에서는 덜 신뢰할 수 있으며, 기하학적 안내가 거칠 수 있음을 인정합니다. 그들은 향후 연구가 변위장을 학습하거나 더 높은 정밀도를 위한 확산 업데이트 전략을 정교화하는 데 초점을 맞출 수 있다고 제안합니다.