Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video

기술 요약: 워프-아-히스토리 (Warp-as-History)

문제 제기
카메라 제어 비디오 생성은 지정된 시점 궤적을 따르는 비디오를 합성하는 것을 목표로 합니다. 기존 접근법은 일반적으로 두 가지 범주로 나뉘며, 둘 다 중요한 한계를 지닙니다. 학습 기반 방법 (예: CameraCtrl, PRoPE) 은 전용 인코더, 제어 분기, 또는 위치 인코딩 수정을 통해 카메라 정보를 주입하며, 대개 대규모 카메라 주석 비디오 데이터셋에 대한 사후 학습을 요구합니다. 반면, 학습이 없는 방법들은 이러한 데이터 부담을 피하지만 종종 계산 비용을 추론 시간으로 전가하며, 테스트 시간 최적화, 노이즈 제거 시간 가이드, 또는 복잡한 워프 및 리페인팅 절차에 의존합니다. 본 논문은 최근 비디오 생성 모델들이 이미 잠재적 카메라 운동 능력을 보유하고 있으나, 무거운 아키텍처 변경이나 광범위한 재학습 없이 이를 노출하고 조종할 메커니즘이 부족하다고 주장합니다.

방법론: 워프-아-히스토리 (Warp-as-History)
저자들은 Warp-as-History를 제안합니다. 이는 카메라로 인한 기하학적 왜곡을 "카메라-왜곡된 가짜 역사 (camera-warped pseudo-history)"로 변환하여 동결된 비디오 생성 모델을 조건화하는 프레임워크입니다. 이 방법은 새로운 제어 분기를 도입하는 대신 모델의 고유한 시각적 역사 경로를 활용하여 세 가지 핵심 메커니즘으로 작동합니다:

1. 카메라-왜곡된 가짜 역사 구성: 목표 카메라 궤적이 주어지면, 이 방법은 오프더셸 모델 (예: Pi3X) 을 사용하여 장면을 재구성하고 목표 카메라 시점으로 투영하여 2D 워프 비디오를 생성합니다. 이를 하드 렌더링 목표나 별도의 조건부 신호로 취급하는 대신, 워프된 프레임은 모델의 표준 역사 구성 연산자 ($H$) 를 통해 처리됩니다. 패치화되고 인코딩되어 일반 시각적 역사 토큰으로 포장됩니다.
2. 목표 프레임 위치 정렬: 모델이 워프된 역사를 단순히 과거의 맥락이 아닌, 현재 노이즈 제거 중인 프레임에 대한 증거로 해석하도록 보장하기 위해, 이 방법은 워프된 토큰에 해당 노이즈가 있는 목표 잠재 변수와 동일한 시간적 회전 위치 임베딩 (RoPE) 인덱스를 할당합니다. 이 정렬을 통해 동결된 모델은 사전 학습된 "역사에서 미래로"의 연속 행동을 카메라로 유도된 운동 신호에 적용할 수 있습니다.
3. 가시 토큰 선택: 카메라 운동은 워프가 관찰할 수 없는 새로 나타나는 영역 (가려짐 해제, disocclusions) 을 생성하며, 기하학적 불완전성은 구멍이나 아티팩트를 만들 수 있습니다. 이 방법은 워프에서 유효하지 않거나 보이지 않는 영역에 해당하는 토큰을 제거하여 역사 스트림을 필터링합니다. 이는 모델이 신뢰할 수 있는 워프 영역을 운동 증거로 사용하면서도 이러한 영역들을 생성적 사전 지식에 의존하여 완성하도록 강제합니다.

학습 체계
이 프레임워크는 두 가지 설정에서 평가됩니다:

• Zero-Shot: 인터페이스는 동결된 사전 학습 비디오 생성 모델 (특히 Helios) 에 직접 적용됩니다. 이는 매개변수 업데이트 없이 워프된 역사가 제시될 때 모델이 카메라 궤적을 따르는 잠재적이고 비자명한 능력을 드러냅니다.
• 단일 학습 비디오 파인튜닝: 행동을 안정화하고 시각적 품질을 향상시키기 위해, 저자들은 단 하나의 별도의 카메라 주석 비디오에 대해 경량 오프라인 LoRA 파인튜닝을 수행합니다. 이 업데이트는 오프라인으로 학습되어 모든 테스트 비디오에 공유되며, 테스트 시간 최적화나 비디오별 적응을 포함하지 않습니다. 목표는 처음부터 카메라 제어를 학습하는 것이 아니라, 모델이 워프된 증거와 역동성 및 가려짐 해제를 위한 생성적 사전 지식 사이를 어떻게 균형을 맞추는지 조정하는 것입니다.

주요 기여

1. 잠재적 사전 지식 노출: 본 논문은 사전 학습된 역사 조건부 비디오 모델이 약하고 잠재적인 카메라 추종 사전 지식을 포함하고 있음을 보여줍니다. 특정 정렬 및 필터링을 통해 카메라-왜곡된 가짜 역사를 고유한 역사 경로로 라우팅함으로써, 이 능력을 제로샷 방식으로 활성화할 수 있습니다.
2. 저자원 활성화: 저자들은 단일 별도의 학습 비디오만으로도 이 행동을 안정화하고 일반화하기에 충분함을 보여줍니다. 이는 파인튜닝이 처음부터 새로운 카메라 제어 모듈을 학습하는 메커니즘이 아니라 기존 사전 지식을 위한 "행동 안정화제"로 작용함을 시사합니다.
3. 효율성과 일반화: 이 방법은 대규모 카메라 주석 데이터셋, 아키텍처 수정, 테스트 시간 최적화를 피합니다. 최첨단 베이스라인보다 훨씬 적은 학습 데이터로 다양한 데이터셋 (WorldScore, RE10K, DAVIS) 에서 경쟁력 있는 성능을 달성합니다.

결과
광범위한 실험은 이 접근법의 유효성을 확인합니다:

• 카메라 준수: WorldScore 에서 제로샷 설정은 텍스트 전용 베이스라인의 카메라 제어 점수를 26.42 에서 61.32 로 향상시켰으며, 원샷 파인튜닝 후 62.00 으로 추가 향상을 보였습니다.
• 시각적 품질 및 일관성: RE10K 와 DAVIS 에서 대규모 학습 베이스라인 (Gen3C, Voyager, ViewCrafter) 과의 비교에서, Warp-as-History(단일 비디오만 파인튜닝됨) 는 동등한 카메라 추종 정확도를 달성하면서도 종종 시각적 품질 지표 (FID, FVD, DOVER, Subject 및 Background Consistency 와 같은 VBench 축) 에서 베이스라인을 능가합니다.
• 정성적 성능: 이 방법은 이전 워프 기반 방법들보다 장면 내용과 전경 운동을 더 깔끔하게 보존하며, 흐림이나 왜곡된 객체와 같은 일반적인 아티팩트를 방지합니다.
• 애블레이션 연구: 목표 프레임 정렬 또는 가시 토큰 선택을 제거하면 성능이 크게 저하되어, 시간적 정렬과 증거 필터링의 필요성을 확인시켜 줍니다.

의의 및 주장
본 논문은 카메라 제어가 비디오 생성 모델 내의 고유한 잠재 능력일 수 있으며, 시각적 역사 인터페이스를 통해 해제될 수 있다고 주장합니다. Warp-as-History 의 의의는 모델의 기존 시각적 역사 해석 능력을 활용하여 최소한의 자원 (학습 비디오 하나, 테스트 시간 최적화 없음) 으로 강력한 카메라 제어를 달성하는 데 있습니다. 저자들은 이 방법을 새로운 생성 모델이 아닌 "저자원 카메라 제어 프레임워크"로 규정하며, 파인튜닝 단계가 새로운 제어 메커니즘을 학습하는 것이 아니라 기존 사전 지식을 증폭하고 안정화하는 역할을 한다고 강조합니다. 이 연구는 미래의 카메라 제어가 대규모 데이터셋이나 복잡한 아키텍처 변경을 필요로 하기보다는 사전 학습된 모델 내의 잠재적 기하학적 추론에 접근하기 위한 더 나은 인터페이스를 필요로 할 수 있음을 시사합니다.