논문 제목: Unified Camera Positional Encoding for Controlled Video Generation (제어된 비디오 생성을 위한 통합 카메라 위치 인코딩)

요약:
이 논문은 텍스트 기반 비디오 생성 (Text-to-Video, T2V) 및 세계 모델 (World Models) 분야에서 카메라 기하학 (위치, 내재적 파라미터, 왜곡) 을 정밀하게 제어할 수 있는 새로운 프레임워크인 **UCPE (Unified Camera Positional Encoding)**를 제안합니다. 기존 방법들은 단순한 핀홀 (pinhole) 카메라 가정에 의존하거나 절대적인 좌표계에 종속되어 다양한 렌즈 왜곡과 시야각 (FoV) 을 가진 실제 카메라 환경에 일반화되지 못하는 한계가 있었습니다. UCPE 는 이러한 문제를 해결하기 위해 **상대적 광선 인코딩 (Relative Ray Encoding)**과 **절대적 방향 인코딩 (Absolute Orientation Encoding)**을 결합하여, 다양한 카메라 기하학을 통합적으로 표현하고 디퓨전 트랜스포머 (Diffusion Transformer) 에 효율적으로 주입합니다.

1. 문제 정의 (Problem)

• 기하학적 단순화: 기존 비디오 생성 모델의 카메라 인코딩 방법은 대부분 단순한 핀홀 카메라 모델을 가정합니다. 이는 어안 (fisheye), 와이드 앵글, 360 도 파노라마 등 비선형 투영과 강한 렌즈 왜곡을 가진 실제 카메라 기하학을 표현하는 데 한계가 있습니다.
• 절대적 방향의 모호성: 기존 카메라 제어 방법들은 첫 번째 프레임을 기준으로 상대적인 카메라 자세 (pose) 만을 정의합니다. 이로 인해 초기 뷰의 절대적인 방향 (특히 Pitch 와 Roll) 을 명시적으로 제어하거나 재현하는 것이 불가능하여, 중력에 정렬된 '위 (Up)' 방향을 가진 실제 비디오 생성에 제약이 생깁니다.
• 일반화 부족: 특정 세계 좌표계 (World Frame) 에 의존하는 절대적 인코딩 방식은 다양한 장면과 카메라 설정 간에 일반화 성능이 떨어집니다.

2. 방법론 (Methodology)

저자들은 UCPE를 통해 카메라의 6 자유도 (6-DoF) 자세, 내재적 파라미터 (Intrinsics), 렌즈 왜곡을 통합하여 트랜스포머 어텐션 메커니즘에 주입합니다.

A. 핵심 구성 요소

1. 상대적 광선 인코딩 (Relative Ray Encoding):

   • 기존 '카메라 단위' 인코딩을 '광선 (Ray) 단위' 인코딩으로 전환합니다.
   • 각 토큰 (픽셀) 을 해당 카메라 좌표계에서의 광선 원점과 방향을 기반으로 정의된 **국소 광선 좌표계 (Local Ray Coordinate System)**에 매핑합니다.
   • 이를 통해 어텐션 메커니즘이 카메라 프레임이 아닌 **광선 공간 (Ray Space)**에서 연산하도록 하여, 비선형 렌즈 왜곡과 시야각 변화에 관계없이 기하학적으로 일관된 조건부 생성이 가능해집니다.

2. 절대적 방향 인코딩 (Absolute Orientation Encoding):

   • 초기 프레임의 절대적인 Pitch 와 Roll 을 제어하기 위해 **Lat-Up Map (Latitude-Up Map)**을 도입합니다.
   • 각 광선의 위도 (Latitude) 각도와 중력 방향에 정렬된 '위 (Up)' 벡터를 인코딩하여, 생성된 비디오가 중력 방향과 일치하도록 합니다. 이는 텍스트 프롬프트와 카메라 파라미터 간의 모호성을 해소합니다.

3. 경량 공간 어텐션 어댑터 (Lightweight Spatial Attention Adapter):

   • UCPE 를 사전 학습된 비디오 Diffusion Transformer (예: Wan) 에 통합하기 위해 경량 어댑터를 설계했습니다.
   • 기존 어텐션 레이어와 병렬로 작동하며, UCPE 인코딩을 주입한 후 제로 초기화 (Zero-initialized) 된 선형 계층을 통해 원래 모델의 가중치를 보존합니다.
   • 1% 미만의 추가 학습 가능 파라미터만으로도 카메라 제어 능력을 획득하며, 기존 모델의 시각적 충실도 (Visual Fidelity) 를 유지합니다.

3. 주요 기여 (Key Contributions)

1. UCPE 프레임워크 제안: 6-DoF 자세, 내재적 파라미터, 렌즈 왜곡을 통합하여 트랜스포머에 주입하는 최초의 통합 프레임워크입니다. 이는 다양한 카메라 렌즈 (핀홀, 와이드, 어안 등) 에 대한 일반화를 가능하게 합니다.
2. 효율적인 통합 방법: 사전 학습된 Diffusion Transformer 를 미세 조정 (Fine-tuning) 할 때 추가 파라미터를 1% 미만으로 유지하면서 정밀한 카메라 제어를 실현하는 경량 어댑터 아키텍처를 제시했습니다.
3. 대규모 데이터셋 구축: 다양한 내재적 파라미터, 왜곡 프로필, 카메라 운동을 포함하는 대규모 합성 비디오 데이터셋을 구축하여, 카메라 제어 생성을 평가하기 위한 포괄적인 벤치마크를 제공했습니다.
4. 성능 입증: 다양한 카메라 설정에서 렌즈 제어, 방향 제어, 자세 정확도 및 생성 품질이 기존 방법들 (ReCamMaster, CameraCtrl 등) 보다 우수함을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 360 도 파노라마 비디오를 기반으로 다양한 가상 카메라 (xFoV 90°200°, 왜곡 계수 $\xi$ 0.02.3) 로 합성된 약 48k 개의 클립으로 구성된 데이터셋을 사용하여 학습 및 평가했습니다.
• 정량적 평가:
  • 카메라 제어 정확도: UCPE 는 상대적 자세 (Rotation/Translation Error) 와 절대적 방향 (Pitch/Roll Error) 제어에서 모든 베이스라인을 압도적으로 능가했습니다. 특히 렌즈 왜곡 (Distortion) 제어 오류가 현저히 낮았습니다.
  • 비디오 품질: FVD, FID, Q-Align 등의 지표에서 기존 방법과 동등하거나 더 높은 품질을 유지하면서 카메라 제어력을 크게 향상시켰습니다.
  • 파라미터 효율성: ReCamMaster 대비 학습 가능 파라미터를 90% 이상 줄였음 (약 35.5M 추가 파라미터) 에도 더 나은 성능을 보였습니다.
• 정성적 평가:
  • 생성된 비디오는 지정된 카메라 궤적을 정확하게 따르며, 어안 렌즈의 왜곡 효과나 와이드 앵글의 시야각을 시각적으로 일관되게 구현했습니다.
  • RealEstate10K 와 같은 외부 데이터셋에서도 미세 조정 없이도 뛰어난 일반화 성능을 보여주었습니다.
• 적용 분야: 자율 주행 (자율 주행 세계 모델), 임베디드 AI, 영화적 콘텐츠 생성 등 다양한 분야에 적용 가능함을 시연했습니다.

5. 의의 및 의의 (Significance)

이 논문은 비디오 생성 모델이 물리적으로 타당한 카메라 기하학을 이해하고 제어할 수 있는 중요한 전환점을 제시합니다.

• 실용성: 단순한 핀홀 모델을 넘어 실제 카메라 (어안, 왜곡 등) 를 고려함으로써, 자율 주행 시뮬레이션, 로봇 비전, VR/AR 콘텐츠 생성 등 실제 응용 분야에 직접적으로 활용 가능한 고품질 비디오 생성이 가능해졌습니다.
• 확장성: UCPE 는 특정 카메라 모델에 종속되지 않는 '광선 기반' 표현을 사용하므로, 향후 다양한 3D 비전, 멀티뷰 생성, 세계 모델 (World Models) 작업에 범용적인 인코딩으로 확장될 잠재력을 가집니다.
• 효율성: 거대한 모델의 재학습 없이 경량 어댑터만으로 정밀한 제어가 가능하다는 점은 생성 모델의 실용적 배포에 큰 장점이 됩니다.

결론적으로, UCPE 는 텍스트 기반 비디오 생성 분야에서 카메라의 물리적 속성을 통합적으로 이해하고 제어할 수 있는 새로운 표준을 제시하며, 향후 3D 인지 및 생성 모델의 발전에 기여할 것으로 기대됩니다.