기술 요약: 통합 카메라 제어 비디오 생성용 CRePE

문제 정의

카메라 조건부 비디오 생성은 모델이 특정 카메라 궤적과 렌즈 구성을 준수하는 비디오를 합성해야 합니다. 최근 접근법들은 뷰 변경 하에서 상대적 토큰 관계를 모델링하기 위해 어텐션 수준의 위치 인코딩을 향해 이동했으나, 기존 방법들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 레이 (Ray) 만의 한계: UCPE 와 같은 방법들은 시야 레이 방향을 인코딩하지만, 해당 레이를 따라 있는 장면 콘텐츠의 위치를 명시하지는 않습니다. 대응 관계가 레이 방향과 장면 깊이에 모두 의존하기 때문에 카메라가 이동할 때 토큰 대응 관계를 모델링하는 데는 불충분합니다.
2. 핀홀 편향: 많은 기존 인코딩들은 핀홀 카메라 기하학에 의존하는데, 이는 광각 및 어안 렌즈에 내재된 비선형 투영 기하학 (통합 카메라 모델 또는 UCM) 을 포착하지 못합니다.
3. 깊이 인식 부족: 현재 위치 인코딩들은 장면 기하학을 효과적으로 통합하지 못하여, 다양한 렌즈 모델을 처리하고 뷰 변경 중 토큰 관계를 정제하는 모델의 능력을 제한합니다.

방법론: CRePE

저자들은 각 이미지 토큰을 단순히 시야 레이로만 표현하는 것이 아니라, 해당 레이를 따라 있는 깊이 인식 위치 분포로 표현하는 통합 카메라 모델 (UCM) 호환 위치 인코딩인 **곡선 레이 기대 위치 인코딩 (Curved Ray Expectation Positional Encoding, CRePE)**을 제안합니다.

핵심 구성 요소

1. 곡선 레이 기대 RoPE:

   • 단일 종점을 가정하는 대신, CRePE 는 예측된 중심 ($\mu$) 과 간격 너비 ($\sigma$) 로 정의된 로그 방사 거리 ($z = \log r$) 에서 균일 분포로 토큰의 위치를 모델링합니다.
   • 이 분포는 $K$개의 분할점으로 이산화됩니다. 각 분할점은 소스 UCM 레이를 따라 들어 올려 (lifted), 쿼리 카메라 프레임으로 변환된 후 전방 투영됩니다.
   • UCM 투영은 소스 레이 간격에 대해 쿼리 뷰에서 곡선 경로를 유도하므로, CRePE 는 이 조각별 선형 곡선 경로에 대해 회전 위치 인코딩 (RoPE) 위상자를 분석적으로 적분합니다. 이는 비핀홀 투영 하에서 레이 - 위치 불확실성을 포착하는 기대 변조 계수를 산출합니다.
   • 기본 설정은 기하학적 정확성과 계산 효율성의 균형을 위해 $K=5$개의 분할점을 사용합니다.

2. 기하학적 어텐션 어댑터:

   • CRePE 는 고정된 비디오 Diffusion Transformer(DiT) 에 추가되는 기하학적 어텐션 어댑터를 통해 구현됩니다.
   • 공유 기하학 헤드 ($g_\phi$) 가 키 측 토큰 특징으로부터 로그 방사 거리 매개변수 ($\mu, \sigma$) 를 예측합니다.
   • 이러한 예측은 기대 RoPE 변조 계수로 변환되어 DiT 의 선택된 중간 레이어에서 키 특징을 변조합니다.
   • 이 설계는 초기 및 후기 레이어에서 안정적인 "레이 만" 카메라 신호를 유지하면서 (표준 UCPE 사용), 방사 거리 정보가 가장 회복 가능한 중간 레이어에서 깊이 인식 투영 경로 변조를 주입합니다.

3. 방사 거리 감독 및 방사 MixForcing:

   • 기하학 예측을 안정화하기 위해, 모델은 단안 기하학 기반 모델 (UniK3D) 이 생성한 의사 방사 거리 맵으로 감독됩니다.
   • 유효성 필터는 신뢰할 수 없는 예측 (예: 유한하지 않은 값, 20m 초과 거리) 을 제외합니다.
   • 방사 MixForcing: 학습 시 교사 대체 알고리즘은 추론 중 외부에서 공급된 방사 맵을 모델이 수용할 수 있게 합니다. 외부 맵이 유효하면 예측된 분포를 대체하고, 그렇지 않으면 모델은 자체 예측으로 되돌아갑니다. 이는 재학습 없이 외부 기하학 제어를 가능하게 합니다.

주요 기여

1. 깊이 인식 위치 인코딩: CRePE 는 레이 방향뿐만 아니라 레이를 따라 있는 가능한 장면 위치까지 고려하는 위치 인코딩을 도입하여, 통합 카메라 모델 하에서 곡선 투영 경로 기하학을 위한 깊이 인식 인코딩을 가능하게 합니다.
2. 어댑터 기반 구현: 저자들은 기하학적 어텐션 어댑터를 통해 CRePE 를 고정된 비디오 DiT 에 적용하여 토큰별 장면 거리를 어텐션 메커니즘에 통합하고, 의사 방사 거리 감독으로 예측을 안정화합니다.
3. 외부 기하학 제어: 위치 인코딩 경로를 확장함으로써, CRePE 는 Radial MixForcing 을 통해 장면 기하학 조건부 생성 및 소스 비디오 운동 전달을 위한 외부 방사 맵 제어를 지원합니다.

실험 결과

저자들은 핀홀, 광각, 어안 설정을 모두 아우르는 PanShot 데이터셋에서 ReCamMaster(외부 궤적 제어) 와 UCPE(통합 카메라 레이 인코딩) 를 포함한 베이스라인에 대해 CRePE 를 평가했습니다.

• 카메라 제어 및 기하학: CRePE 는 카메라 제어성 지표 (CamMC, 회전 오차, 이동 오차) 와 렌즈 왜곡 지표 ($k_1, k_2$) 에서 베이스라인을 크게 능가하며, 특히 핀홀 가정이 실패하는 광각 및 어안 조건에서 두드러집니다.
• 절대 실험 (Ablation Studies): 레이 간격을 두 개의 종점만으로 근사하는 RayRoPE 스타일 종점 PE 베이스라인과 CRePE 를 비교한 결과, CRePE 는 더 나은 전체 평균 순위를 달성했습니다. 이는 $K>2$개의 분할점을 통한 곡선 투영 경로에 대한 적분이 단순한 종점 근사 이상의 이점을 제공함을 확인시켜 줍니다.
• 비디오 품질: CRePE 는 기하학 인식 및 지각 지표 (VBench, 미적 품질) 를 개선하지만, 표준 비디오 품질 지표 (FVD, FID) 에서는 경쟁력을 유지합니다. 일부 전체 비디오 품질 지표 (예: FVD, Inception Score) 에서는 레이 만의 베이스라인 (UCPE) 이 여전히 약간 더 강력하여, 엄격한 기하학 준수와 분포적 비디오 품질 사이의 트레이드오프가 있음을 시사합니다.
• 레이어 배치: 실험 결과, CRePE 를 DiT 의 중간 10 개 블록에 적용하는 것이 기하학 제어와 생성 품질 사이의 최적의 균형을 제공하며, 모든 레이어나 초기/후기 레이어에만 적용하는 경우보다 성능이 우수함을 보여줍니다.

중요성 및 주장

이 논문은 CRePE 가 비핀홀 렌즈를 포함한 다양한 렌즈 구성에 걸쳐 견고한 통합 카메라 제어를 향한 중요한 단계라고 주장합니다. 레이 만의 인코딩에서 곡선 레이 기대로 이동함으로써, 이 방법은 광각 및 어안 카메라의 비선형 투영 기하학을 더 잘 포착합니다.

저자들은 CRePE 를 기하학 인식, 카메라 제어 가능 비디오 생성의 구성 요소로 위치 짓습니다. 그들은 이 방법이 추론 시 소스 비디오나 참조 이미지를 요구하지 않고도 카메라 궤적을 따르고 뷰 변경 하에서 장면 일관성을 유지하는 모델의 능력을 향상시킨다고 강조합니다. furthermore, Radial MixForcing으로의 확장은 단일 어댑터 프레임워크 내에서 카메라 제어와 외부 장면 기하학 제어를 통합하는 경로를 보여주며, 외부 방사 맵을 통한 운동 전달 및 장면 레이아웃 조작과 같은 작업을 가능하게 합니다.

이 작업은 프리린트로 발표되었으며, 저자들은 단안 기하학 모델의 의사 감독 품질에 대한 의존성 및 현재 롤링 셔터 또는 비중앙 모델이 아닌 중앙 카메라 모델 (UCM) 에 초점을 맞추고 있다는 한계를 인정합니다.