기술 요약: EPiC: 정밀한 앵커 비디오 가이드를 통한 효율적인 비디오 카메라 제어 학습

문제 제기

최근 비디오 확산 모델 (VDM) 의 발전은 사실적인 비디오 생성을 개선했으나, 카메라 궤적을 제어하는 것은 여전히 중요한 과제로 남아 있습니다. 기존 접근법들은 일반적으로 원하는 카메라 운동을 근사한 "앵커 비디오 (rendered videos)"를 생성하여 확산 모델을 안내하는 데 의존합니다. 이러한 방법들은 대체로 소스 이미지를 3D 포인트 클라우드로 변환 (lifting) 한 후 카메라 궤적을 따라 다시 렌더링하는 과정을 포함합니다. 그러나 이 과정은 두 가지 중요한 한계에 직면해 있습니다:

1. 정확성 부족 및 불일치: 포인트 클라우드 재구성과 카메라 궤적 추정의 오류로 인해 앵커 비디오와 소스 비디오 간에 픽셀 수준의 불일치가 발생합니다. 이로 인해 모델은 렌더링 오류를 보정하고 불일치하는 콘텐츠를 복구해야 하므로, 비효율적인 학습, 높은 계산 비용, 그리고 낮은 품질을 초래합니다.
2. 데이터 및 추정 제약: 고품질 3D 데이터는 종종 고가의 모션 캡처 시스템을 필요로 하거나 부정확한 추정기에 의존합니다. 결과적으로 학습은 정적이며 다중 시점의 데이터셋 (예: RealEstate10K) 으로 제한되는 경우가 많아, 실제 세계의 동적인 ("in-the-wild") 비디오로의 일반화가 제한됩니다. 또한, 많은 기존 방법들은 백본 모델의 광범위한 전체 미세 조정 (full fine-tuning) 을 요구하여 파라미터 수와 학습 시간을 증가시킵니다.

방법론

저자들은 카메라 자세나 포인트 클라우드 추정이 없는 상태에서 잘 정렬된 학습 앵커 비디오를 구축함으로써 카메라 제어를 효율적으로 학습할 수 있도록 설계된 EPiC(Efficient and Precise Video Camera Control) 프레임워크를 제안합니다.

1. 가시성 기반 앵커 비디오 구축

추정된 3D 포인트 클라우드에서 렌더링하는 대신, EPiC 는 **첫 번째 프레임의 가시성 (first-frame visibility)**을 기반으로 소스 비디오를 마스킹하여 앵커 비디오를 구축합니다.

• 픽셀 추적: 이 방법은 RAFT 와 같은 밀집 광학 흐름 (dense optical flow) 을 사용하여 첫 번째 프레임으로부터 픽셀 궤적을 추정합니다.
• 마스킹: 각 후속 프레임에 대해, 첫 번째 프레임으로 신뢰성 있게 추적될 수 있는 픽셀만 보존됩니다. 유효한 대응 관계가 없는 픽셀 (새롭게 드러난 영역이나 가려짐을 나타냄) 은 마스킹됩니다.
• 아티팩트 주입: 학습 (마스킹된 소스) 과 추론 (불완전한 포인트 클라우드 렌더링 가능) 간의 격차를 메우기 위해, 저자들은 학습 중 마스킹된 앵커 비디오에 합성 "플라잉 픽셀 (flying-pixel)" 아티팩트를 주입합니다. 이는 추론 시 모델이 이러한 아티팩트를 무시하도록 가르칩니다.
• 이점: 이 과정은 가시 영역에서 정밀한 정렬을 보장하며, 3D 재구성이 필요 없이 앵커 비디오의 기하학적 속성 (새로운 콘텐츠를 제외함) 을 모방합니다.

2. 앵커-컨트롤넷 (Anchor-ControlNet)

EPiC 는 백본을 수정하지 않고 사전 훈련된 비디오 확산 모델 (특히 CogVideoX-5B-I2V) 에 앵커 비디오 가이드를 통합하는 경량 모듈인 Anchor-ControlNet을 도입합니다.

• 아키텍처: 이는 약 26M 개의 파라미터 (백본의 1% 미만) 만을 가진 DiT 기반 모듈입니다. 축소된 은닉 차원 (256 대 3072) 을 사용하여 백본의 처음 25% 레이어에 제어 신호를 주입합니다.
• 가시성 인식 출력 마스킹: 핵심 혁신은 컨트롤넷의 출력이 가시성 맵으로 마스킹된다는 점입니다. 컨트롤넷은 앵커 비디오에서 가시적인 콘텐츠만 복사하는 임무만을 수행하도록 설계됩니다. 가려지거나 보이지 않는 영역의 합성은 완전히 동결된 기본 확산 모델에 위임됩니다. 이러한 업무 분담은 보이지 않는 영역의 오류가 출력을 오염시키는 것을 방지하고 학습 작업을 단순화합니다.

3. 학습 및 추론

• 학습: 모델은 5,000 개의 in-the-wild 비디오 (Panda70M 에서) 로 500 스텝만 학습됩니다. 백본은 동결된 채로 유지되며, 오직 앵커-컨트롤넷만 학습됩니다.
• 추론 (I2V): 두 가지 모드를 지원합니다:
  • 전체 포인트 클라우드: 추정된 깊이에서 표준 렌더링.
  • 마스킹된 포인트 클라우드: 사용자는 GroundedSAM 을 사용하여 동적 객체 (예: 사람, 동물) 를 분할할 수 있습니다. 이러한 영역은 3D 포인트 클라우드 렌더링에서 제외되어, 배경이 카메라 운동을 주도하는 동안 전경 객체들이 생성된 비디오 내에서 자연스럽게 움직이도록 합니다.
• 추론 (V2V): 깊이 추정 (DepthCrafter) 을 사용하여 입력 비디오에서 동적 포인트 클라우드를 구축하고 목표 궤적을 상대적 변환으로 적용함으로써 비디오 대 비디오 제어를 지원합니다.

주요 기여

1. 새로운 앵커 비디오 파이프라인: 카메라 자세나 포인트 클라우드 추정 없이 완벽하게 정렬된 앵커-소스 쌍을 생성하는 가시성 기반 마스킹 전략으로, 다양한 in-the-wild 비디오에서의 학습을 가능하게 합니다.
2. 경량 앵커-컨트롤넷: 1% 미만의 추가 파라미터로 앵커 비디오에 조건을 부여하는 가시성 인식 어댑터입니다. 이 설계는 가시적 콘텐츠 복사 (컨트롤넷) 와 보이지 않는 영역 합성 (기본 모델) 의 작업을 분리하여 학습 효율성과 출력 품질을 향상시킵니다.
3. 효율성과 일반화: 이 프레임워크는 기존 방법들에 비해 훨씬 적은 파라미터, 학습 스텝, 데이터로 최첨단 성능을 달성합니다. 오직 이미지 대 비디오 (I2V) 데이터로만 학습되었음에도 비디오 대 비디오 (V2V) 작업에 대한 강력한 제로샷 일반화를 보여줍니다.

결과

• 성능: I2V 카메라 제어를 위한 RealEstate10K 및 MiraData 벤치마크에서 EPiC 는 비교된 방법들 (CameraCtrl, AC3D, ViewCrafter, Gen3C 등) 중 가장 낮은 회전 및 이동 오류 (예: RE10K 에서 0.40 ± 0.11 RotErr) 와 가장 높은 총체적 품질 점수를 달성합니다.
• 효율성: EPiC 는 5,000 개의 비디오와 500 개의 학습 스텝 (약 15 GPU 시간) 으로 수렴하며, TrajCrafter 나 ViewCrafter 와 같은 방법들에 비해 데이터 및 계산 비용 측면에서 한 자릿수 이상 더 효율적입니다. 일부 베이스라인의 수십억 개에 비해 학습 가능한 파라미터는 26M 개만 사용합니다.
• V2V 일반화: I2V 데이터로만 학습되었음에도 불구하고, EPiC 는 Kubric-4D 데이터셋에서 V2V 를 위해 특별히 학습된 방법들 (예: GCD, TrajectoryCrafter) 과 비교 가능한 성능을 달성하여 견고한 제로샷 일반화를 입증합니다.
• 정성적: 시각적 비교는 EPiC 가 불일치 영역을 과도하게 복구하는 방법들보다 가시적 콘텐츠의 충실도를 더 잘 보존하며, 오류가 있는 앵커 신호를 경직되게 따르는 방법들보다 보이지 않는 영역에서 더 일관된 콘텐츠를 생성함을 보여줍니다.

의의

본 논문은 EPiC 가 "불일치하는 콘텐츠를 복구하는" 학습 작업을 "가시 영역을 복사하는" 것으로 전환함으로써 현재 카메라 제어 방법들의 근본적인 비효율성을 해결한다고 주장합니다. 학습 중 정확한 3D 추정에 대한 의존성을 제거하고 경량이며 가시성 인식 컨트롤넷을 활용함으로써, EPiC 는 최소한의 계산 자원으로 정밀한 3D 정보 기반 카메라 제어를 가능하게 합니다. 이 접근법은 실제 세계의 동적 비디오에 대한 견고한 적용을 허용하며, 정적 및 동적 장면 요소 모두에 대한 유연한 제어를 지원하여 영화 재촬영 및 가상 영화 제작과 같은 응용 분야에서 제어 가능한 비디오 생성의 실용성을 높입니다.