기술 요약: ParaScale

문제 정의

생성 비디오에서의 참조 기반 카메라 제어(reference-driven camera control)는 참조 클립의 시네마틱한 움직임을 새로운 생성 대상 장면으로 전이하는 것을 목표로 합니다. 그러나 임의의 참조 장면과 대상 장면 사이에는 근본적인 기하학적 불일치가 존재합니다. 즉, 이들은 서로 매우 다른 물리적 스케일(예: 은하계를 가로지르는 카메라의 휩쓸기 동작 vs 책상 위를 살짝 움직이는 동작)에서 작동하는 경우가 많습니다.

기존 방식들은 참조 영상으로부터 카메라 궤적(이동 $T$ 및 회전 $\omega$)을 추출하여 이를 대상 생성기에 직접 주입합니다. 이러한 "단순한(naive)" 전이는 실패할 수밖에 없는데, 단안 재구성(monocular reconstruction)은 미지의 글로벌 스케일 인자(유사 변환, similarity transformation)에 대해서만 이동량과 깊이를 복구하기 때문입니다. 결과적으로 절대적 이동 크기 $\|T\|$는 대응하는 깊이 스케일 $Z$ 없이는 의미가 없습니다. 참조 궤적이 대상의 스케일과 다를 때, 생성된 움직임은 시각적으로 거의 느껴지지 않거나(대상 장면이 참조보다 "클" 경우), 혹은 지나치게 과장되어(대상 장면이 참조보다 "작을" 경우) 생성의 시각적 충실도를 깨뜨리게 됩니다.

방법론: 파라락스 넘버(Parallax Number)와 ParaScale

이론적 토대

본 논문은 지각되는 이동의 강도가 단순한 이동 벡터가 아니라, 이동량과 깊이의 비율에 의해 결정된다는 점을 확립합니다. 깊이 $Z$에 있는 점에 대한 투영 방정식에 기초할 때, 이동에 의해 유도되는 이미지의 움직임은 $\|T\|/Z$에 비례합니다.

저자들은 무차원적이고 게이지 불변적인 기술자인 파라락스 넘버(Parallax Number, $\Pi$)를 다음과 같이 정의합니다:
$$\Pi_t = \frac{\|\Delta T_t\|}{\bar{Z}_t}$$
여기서:

• $\|\Delta T_t\|$는 프레임 간 카메라 베이스라인(이동 크기)입니다.
• $\bar{Z}_t$는 해당 프레임의 강건한 중앙값 장면 깊이입니다.

논문은 $\Pi$가 깊이 스케일 게이지(이동 $T$와 깊이 $Z$를 모두 $s$만큼 스케일링해도 $\Pi$는 변하지 않음)에 대해 불변임을 증명합니다. 따라서 원시 궤적 $T$가 아닌 $\Pi$가 스케일에 충실한 움직임 전이를 달 achieve 하기 위해 보존되어야 하는 유일한 양입니다.

ParaScale 모듈

ParaScale는 포즈 추출과 포즈 주입 사이에 삽입되는 플러그 앤 플레이(plug-and-play) 방식의 훈련 불필요(training-free) 모듈입니다. 이는 다음과 같이 작동합니다:

1. 추출(Extraction): 참조 영상으로부터 단안 SfM(Structure-from-Motion)과 깊이 추정기를 사용하여 카메라 궤적과 강건한 중앙값 깊이 $\bar{Z}^{ref}_t$를 추정합니다. 그 후 게이지 불변인 파라락스 넘버 $\Pi^{ref}_t$를 계산합니다.
2. 대상 추정(Target Estimation): 대상 장면에 대해, 조건부 이미지 또는 첫 번째 잠재 변수(latent)로부터 중앙값 깊이 $\bar{Z}^{tgt}_t$를 추정합니다.
3. 재실현(Re-realization): 참조 파라락스 넘버를 대상의 깊이에 맞추기 위해 프레임별 이동 이득(translational gain) $\alpha_t$를 계산합니다:
   $$\alpha_t = \frac{\bar{Z}^{tgt}_t}{\bar{Z}^{ref}_t}$$
   교정된 이동량은 $T^{cal}_t = \alpha_t T^{ref}_t$이며, 회전량 $R^{cal}_t$는 변경 없이 그대로 전달됩니다($R^{ref}_t$).
4. 주입(Injection): 교정된 외적(extrinsics)을 생성기에 필요한 형식(예: Plücker map 또는 원시 $RT$ 행렬)으로 변환하여 고정된 포즈 조건부 확산 모델에 입력합니다.

본 논문의 이론적 증명은 이러한 프레임별 적응이 시간적 파라락스 프로파일을 보존하기 위해 필요충분조건임을 보여줍니다. 반면, 글로벌 스케일링이나 스케일링을 하지 않는 방식은 장면의 깊이가 시간에 따라 변하거나 장면 간 차이가 클 때 실패합니다.

평가 지표: PCE

스케일 충실도를 정량화하기 위해 저자들은 파라락스 일관성 오차(Parallax Consistency Error, PCE)를 도입합니다:
$$\text{PCE} = \frac{1}{N} \sum_{t=1}^{N} \left| \log \frac{\Pi^{out}_t}{\Pi^{ref}_t} \right|$$
유사성 정렬(similarity alignment)에 의존하여 글로벌 스케일 불일치를 숨길 수 있는 TransErr와 같은 표준 지표와 달리, PCE는 스케일 대칭적이며 게이지 불변적입니다. 이는 지각되는 움직임 강도의 불일치를 직접적으로 드러냅니다.

주요 기여

1. 게이지 불변 원칙: 움직임 전이를 위한 올바른 불변량으로서 파라락스 넘버($\Pi$)를 식별하였으며, 원시 궤적을 보존하는 것이 기하학적으로 결함이 있음을 증명했습니다.
2. ParaScale: 생성 백본을 재학습할 필요 없이, 추론 시점에 대상 장면의 깊이에 맞춰 $\Pi$를 재실현하는 훈련 불필요, 생성기 불가지론적(generator-agnostic) 모듈입니다.
3. PCE 지표: 전통적인 지표들이 놓치는 스케일 충실도를 측정하고 장면 스케일 불일치를 드러내는 새로운 평가 지표입니다.
4. 경험적 검증: 네 가지 차수의 장면 스케일(탁상, 인간/방, 건축물, 우주) 및 다양한 백본 아키텍처에 걸친 검증을 수행했습니다.

결과

실험은 Plücker 컨디셔닝을 사용하는 Wan2.1 확산 트랜스포머 백본을 사용하여 ParaScale을 Raw transfer, Global-norm scaling, MotionMaster, 그리고 학습 시 스케일 교정을 수행하는 CameraCtrl II와 비교하여 진행되었습니다.

• 스케일 충실도: ParaScale은 모든 스케일 영역에서 실현된 파라락스 넘버를 항등 함수 라인(identity line)에 유지하는 유일한 방법입니다. Raw transfer는 우주 장면에서는 움직임을 과소 전달하고, 탁상 장면에서는 과하게 전달하는 경향을 보였습니다.
• 오차 감소: ParaScale은 보정되지 않은 Raw transfer에 비해 PCE를 3배 이상 감소시켰으며, Global-norm 및 학습 시 교정 방식보다 우수한 성능을 보였습니다.
• 시각적 충실도: 이 방법은 시각적 품질의 손실 없이 이러한 이득을 달성했습니다. FVD(Fréchet Video Distance) 및 CLIP-SIM 점수는 베이스라인과 비교하여 유지되거나 개선되었습니다.
• 범용성: 이 모듈은 재학습 없이 다양한 유형의 생성기(Plücker 조건부 및 행렬 조건부)에서 효과적으로 작동합니다.

의의 및 주장

본 논문은 참조 기반 컨트롤러의 "침묵하는 가정(silent assumption)", 즉 궤적 수치가 직접 재사용 가능하다는 가정을 다룹니다. 저자들은 이동에 의한 움직임이 깊이에 의존한다는 기하학적 사실을 공식화함으로써 스케일 불일치 문제에 대한 엄밀한 해결책을 제공합니다.

이 연구의 의의는 제작자들이 (매크로 규모에서 우주 규모에 이르기까지) 수동 개입이나 재학습 없이 매우 다양한 맥락에서 시네마틱한 카메라 움직임을 재사용할 수 있게 한다는 점에 있습니다. 논문은 ParaScale이 임의의 참조와 대상 사이에서 게이지 불변인 파라락스 넘버를 추론 시점에 노출하고 재실현하는 첫 번째 방법이라고 주장합니다.

한계점: 저자들은 이 방법이 단안 깊이 추정치에 의존하며(이로 인해 오차가 $\alpha_t$에 선형적으로 전파됨), 기본 투영 모델에 따른 강체 장면 기하학을 가정한다는 점을 언급했습니다. 이러한 접근법을 동적 장면 및 이방성 스케일 필드(anisotropic scale fields)로 확장하는 것을 향후 과제로 제시했습니다.