CamDirector: Towards Long-Term Coherent Video Trajectory Editing

CamDirector 는 하이브리드 워핑 방식과 히스토리 기반 자기회귀 확산 모델을 통해 장기간의 시간적 일관성을 유지하면서 사용자 정의 카메라 경로를 정밀하게 반영하는 새로운 비디오 궤적 편집 프레임워크를 제안하고, 이를 검증하기 위한 새로운 벤치마크인 iPhone-PTZ 를 소개합니다.

핵심

🎥 '캠디렉터 (CamDirector)': 당신의 평범한 영상을 영화처럼 바꿔주는 마법사

이 논문은 **'캠디렉터 (CamDirector)'**라는 새로운 기술을 소개합니다. 쉽게 말해, 일반인이 찍은 흔들리는 영상을, 전문가가 찍은 것처럼 카메라가 부드럽게 움직이는 멋진 영화 장면으로 바꿔주는 기술입니다.

기존 기술들은 이 작업을 할 때 두 가지 큰 문제를 겪었습니다.

1. 카메라 제어가 서툴다: "여기서 저기로 이동해!"라고 명령해도 카메라가 제멋대로 움직이거나 원하는 대로 따라가지 못했습니다.
2. 긴 영상을 만들면 망가진다: 영상이 길어질수록 장면이 끊기거나, 물체가 갑자기 변하거나 (깜빡임), 배경이 어색하게 뭉개지는 현상이 발생했습니다.

캠디렉터는 이 두 가지 문제를 해결하기 위해 두 가지 똑똑한 비법을 사용했습니다.

---

🔑 비법 1: "전체 영상을 한눈에 보는 '세계 지도' (Hybrid Warping)"

기존 기술들은 영상을 만들 때 한 장의 사진 (프레임) 만 보고 다음 장을 그리는 방식을 썼습니다. 마치 눈을 감고 그림을 그리는 것과 비슷해서, 앞뒤 장면을 연결할 때 실수가 많았습니다.

캠디렉터는 반대로 영상 전체를 '세계 지도 (World Cache)'라는 거대한 지도로 먼저 만들어버립니다.

• 정적인 배경 (벽, 나무, 건물): 이 부분은 움직이지 않으므로, 영상 전체에서 필요한 부분만 모아서 **'세계 지도'**에 깔끔하게 저장해 둡니다.
• 동적인 물체 (사람, 차): 이 부분은 움직이므로, 원래 영상에서 그대로 잘라내어 새로운 위치로 옮깁니다.

이제 카메라를 움직일 때, 이 '세계 지도'를 보며 배경을 그리고, 움직이는 물체를 붙여넣습니다. 마치 건축가가 전체 설계도 (지도) 를 보고 벽돌을 쌓는 것처럼, 처음부터 끝까지 배경이 어긋나지 않고 완벽하게 맞춰집니다.

💡 비유:
기존 기술은 한 장의 퍼즐 조각만 보고 다음 조각을 맞추려다 보니, 전체 그림이 뒤틀리는 일이 많았습니다.
캠디렉터는 퍼즐 전체의 완성된 그림 (세계 지도) 을 먼저 보고, 그 위에 움직이는 조각들만 정확히 끼워 넣습니다. 그래서 그림이 일그러지지 않습니다.

---

🔑 비법 2: "과거를 기억하며 이어가는 '연속극 작가' (History-Guided Autoregressive)"

영상이 길어지면, 앞부분과 뒷부분이 서로 다른 스타일로 변해버릴 수 있습니다. 예를 들어, 1 분짜리 영상에서 주인공 옷 색깔이 10 분 뒤에는 달라지는 식이죠.

캠디렉터는 연속극 작가처럼 작동합니다.

• 과거를 기억합니다: 지금 장면을 그릴 때, **이전에 그린 장면 (역사)**을 계속 참고합니다. "아까 주인공이 파란 옷을 입었으니, 지금도 파란 옷을 입혀야지!"라고 생각하며 다음 장면을 그립니다.
• 지도를 업데이트합니다: 새로 그린 장면에서 배경이 더 선명해지면, 그 정보를 다시 **'세계 지도'**에 추가합니다. 그래서 다음 장면을 그릴 때 더 정확한 정보를 바탕으로 그릴 수 있습니다.

이 과정을 반복하면, 영상이 끝날 때까지 장면이 자연스럽게 이어지고, 물체나 배경이 갑자기 변하지 않습니다.

💡 비유:
기존 기술은 각 에피소드를 다른 작가가 따로따로 썼다가, 마지막에 편집해서 붙이는 방식이라 결이 달랐습니다.
캠디렉터는 한 명의 작가가 이전 에피소드를 계속 기억하며 다음 에피소드를 써내려갑니다. 그래서 스토리와 분위기가 끝까지 일관됩니다.

---

📱 새로운 시험장: '아이폰-PTZ' 데이터셋

이 연구팀은 기존에 쓰던 데이터셋이 너무 단순해서 (카메라가 거의 안 움직이거나, 장면이 단순함) 새로운 테스트용 데이터셋 **'아이폰-PTZ'**를 만들었습니다.

• 일반인이 손으로 들고 찍은 영상 (흔들림 있음) 을 입력으로 받습니다.
• 전문 촬영 장비 (PTZ) 로 찍은 것처럼 회전, 이동, 줌인/줌아웃 등 다양한 카메라 움직임을 요구합니다.
• 이 새로운 시험에서 캠디렉터는 **기존 최고 기술들보다 훨씬 적은 컴퓨터 자원 (파라미터)**으로 더 좋은 결과를 냈습니다.

---

🌟 결론: 왜 이 기술이 중요한가요?

캠디렉터는 **평범한 일상 영상을 영화 같은 장면으로 바꿔주는 '마법 지팡이'**입니다.

1. 정확한 카메라 제어: 원하는 대로 카메라를 움직여도 장면이 깨지지 않습니다.
2. 긴 영상도 완벽: 10 분, 20 분 영상을 만들어도 처음과 끝이 자연스럽게 연결됩니다.
3. 효율성: 무거운 컴퓨터 없이도 (적은 파라미터로) 고품질 영상을 만들 수 있습니다.

이제 누구나 스마트폰으로 찍은 평범한 영상도, 마치 할리우드 영화처럼 카메라가 유유히 움직이는 멋진 영상으로 만들 수 있는 시대가 왔습니다! 🎬✨

기술 요약

1. 문제 정의 (Problem)

**비디오 카메라 궤적 편집 (Video Trajectory Editing, VTE)**은 주어진 원본 비디오의 장면 내용을 유지하면서 사용자가 정의한 새로운 카메라 경로를 따라 새로운 비디오를 합성하는 기술입니다. 이는 아마추어 영상을 영화 같은 전문적인 스타일로 변환하는 데 핵심적입니다.

기존의 VTE 방법들은 다음과 같은 주요 한계를 가지고 있었습니다:

• 정밀한 카메라 제어 부족: 임베딩 레이어를 통해 목표 카메라 포즈를 주입하는 방식은 표현력이 제한되어, 생성된 비디오가 목표 궤적을 정확하게 따르지 못합니다.
• 장기적 일관성 (Long-term Consistency) 부재: 긴 비디오를 생성할 때 메모리 제약으로 인해 시퀀스를 잘게 나누어 처리해야 하는데, 이때 전체 시퀀스 (특히 미래 프레임) 에 대한 어텐션 (attention) 이 불가능해집니다.
  • 소스 정렬 (Source Alignment) 문제: 현재 프레임에서 생성된 콘텐츠가 원본 비디오의 다른 부분과 불일치할 수 있습니다.
  • 자기 일관성 (Self-Consistency) 문제: 새로 채워진 (inpainting) 영역이나 보이지 않았던 영역이 프레임 간에 드리프트되어 시간적 깜빡임 (flicker) 과 일관성 없는 외관을 초래합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 **하이브리드 워핑 (Hybrid Warping)**과 히스토리 가이드 오토레그레시브 (History-Guided Autoregressive) 생성을 결합한 새로운 프레임워크를 제안합니다.

가. 하이브리드 워핑 방식 (Hybrid Warping Scheme)

전체 소스 비디오의 정보를 명시적으로 집계하여 전역적으로 일관된 거친 프레임 (coarse frames) 을 생성합니다.

• 동적/정적 영역 분리:
  • 동적 영역 (Dynamic Regions): 모션 충실도를 유지하기 위해 각 프레임에서 목표 뷰포인트로 직접 워핑 (warping) 합니다.
  • 정적 영역 (Static Regions): 장면 전체에 걸쳐 일관되므로, **'월드 캐시 (World Cache)'**라는 통합된 3D 포인트 클라우드를 점진적으로 구축합니다.
• 작동 원리: 월드 캐시는 중복된 포인트를 제거하고 기하학적 레이아웃을 보존하도록 설계되어 메모리 효율이 높습니다. 동적으로 워핑된 콘텐츠와 렌더링된 정적 콘텐츠를 깊이 정보를 기반으로 융합하여, 원본 장면과 완벽하게 정렬된 거친 프레임을 만듭니다. 이는 기존 단일 프레임 워핑 방식보다 더 완전하고 정렬된 결과를 제공합니다.

나. 히스토리 가이드 오토레그레시브 생성 (History-Guided Autoregressive Generation)

긴 비디오 생성을 위해 **거친 비디오 제어 확산 모델 (CCDM, Coarse-Video-Controlled Diffusion Model)**을 기반으로 한 오토레그레시브 방식을 도입합니다.

• 히스토리 가이드: 생성된 비디오 세그먼트를 순차적으로 처리합니다. 이전 세그먼트의 마지막 프레임들 (히스토리) 을 현재 세그먼트의 생성에 가이드로 사용하여, 세그먼트 간 전환을 매끄럽게 하고 시간적 일관성을 유지합니다.
• 점진적 월드 캐시 업데이트: 각 세그먼트가 생성된 후, 새로 복원된 정적 영역을 월드 캐시에 추가하여 업데이트합니다. 이를 통해 후속 세그먼트는 이전 세그먼트에서 이미 채워진 콘텐츠를 참조할 수 있어 장기적인 일관성을 확보합니다.
• 모델 구조: 사전 학습된 비디오 확산 모델 (Wan-T2V) 을 기반으로 하며, ControlNet 을 통해 거친 비디오와 마스크를 조건으로 사용합니다. 또한 소스 비디오 토큰을 타겟 토큰과 연결하여 운동 및 외관 사전 지식 (priors) 을 제공합니다.

다. 새로운 벤치마크: iPhone-PTZ

기존의 iPhone 데이터셋은 카메라 운동이 제한적이고 시야각이 좁다는 한계가 있어, 저자들은 iPhone-PTZ라는 새로운 데이터셋을 구축했습니다.

• 10 개의 다양한 장면, 회전 (rotation), doll, 팬 (pan), 오비팅 (orbiting) 등 다양한 카메라 운동 포함.
• 더 넓은 시야각 (FOV) 과 큰 궤적 변화를 포함하여 VTE 방법론을 평가하기에 더 엄격하고 포괄적인 기준을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 VTE 프레임워크: 소스와 정렬되고 시간적으로 일관된 출력을 생성하는 프레임워크를 제안하며, 기존 최첨단 (SOTA) 방법들보다 **훨씬 적은 파라미터 (2.0B)**로 더 높은 성능을 달성했습니다.
2. 핵심 구성 요소 개발:
   • 완전하고 잘 정렬된 거친 프레임을 생성하는 하이브리드 워핑 방식.
   • 점진적 월드 캐시 업데이트를 통한 히스토리 가이드 오토레그레시브 모델.
3. 새로운 벤치마크: 다양한 카메라 운동과 큰 궤적 변화를 포함하는 iPhone-PTZ 데이터셋을 공개하여 향후 연구의 표준 평가 기준을 마련했습니다.

4. 실험 결과 (Results)

• 정량적 평가: iPhone 및 iPhone-PTZ 벤치마크에서 PSNR, LPIPS, FID 등 모든 지표에서 기존 방법 (RecamMaster, TrajectoryCrafter, Gen3C 등) 을 능가했습니다. 특히 파라미터 수가 5.3B~6.7B 인 기존 모델 대비 2.0B 로 효율성이 뛰어났습니다.
• 정성적 평가:
  • 소스 정렬: 바닥이나 자전거 뒷부분과 같은 원본 비디오의 가시 영역이 다른 프레임과 불일치하는 오류를 기존 방법들은 보였으나, CamDirector 는 정확한 공간 정렬을 달성했습니다.
  • 장기적 일관성: 전체 길이 비디오 생성 시, 기존 방법들은 흐릿하거나 구조적 불일치가 발생했으나, CamDirector 는 전체 시퀀스 동안 선명하고 일관된 구조를 유지했습니다.
• Ablation Study: 하이브리드 워핑, 히스토리 가이드, 점진적 캐시 업데이트, 소스/카메라 조건 제거 실험을 통해 각 구성 요소가 성능 향상에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 생성 분야에서 정밀한 카메라 제어와 장기적인 시간적 일관성이라는 두 가지 난제를 동시에 해결하는 효과적인 프레임워크를 제시했습니다.

• 효율성: 적은 파라미터로 SOTA 성능을 달성하여 실용적인 배포 가능성을 높였습니다.
• 품질: 아마추어 영상을 영화적인 스타일로 변환할 때 발생하는 시각적 결함 (깜빡임, 정렬 오류) 을 크게 개선했습니다.
• 데이터셋 기여: 제한적이었던 기존 데이터셋의 한계를 극복할 수 있는 새로운 벤치마크 (iPhone-PTZ) 를 제공함으로써, 향후 VTE 연구의 발전 방향을 제시했습니다.

결론적으로, CamDirector는 복잡한 카메라 운동을 가진 긴 비디오를 생성할 때 발생할 수 있는 일관성 문제를 해결하고, 원본 장면의 기하학적 정합성을 유지하는 데 있어 획기적인 진전을 이루었습니다.