Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

기술 요약: 희소 확산(Sparse Diffusion) 및 3D 렌더링을 통한 정적 장면의 효율적인 카메라 제어 비디오 생성

문제 정의

Sora나 Wan과 같은 확산 기반의 현대적 비디오 생성 모델은 높은 시각적 충실도를 달래지만, 극심한 계산 비효율성 문제를 겪고 있다. 단 몇 초의 클립을 생성하는 데에도 모든 프레임을 반복적으로 디노이징(denoising)해야 하므로 수 분의 GPU 시간이 소난다. 이러한 병목 현상은 VR/AR 및 동적 콘텐츠 생성과 같이 상호작용이 필요한 인터랙티브 또는 임바디드 AI(embodied AI) 분야의 실시간 배포를 가로막는다. 최근 연구들이 잠재 공간(latent space) 아키텍처나 증류(distillation)를 통해 효율성을 개선하려 시도했으나, 여iring 여전히 모든 프레임을 신경망을 통해 생성해야 한다는 점에서는 동일하며, 이는 다양한 관점에서 동일한 3D 장면을 묘사하는 비디오 신호의 내재적 중복성을 활용하지 못한다는 한계가 있다.

기존의 카메라 제어 비디오 생성 방식은 카메라 포즈를 생성 모델에 직접 인코딩하거나 3D 사전 지식(prior)을 내부 제약 조건으로 사용하지만, 여전히 모든 프레임을 확산 과정을 통해 생성한다. 결과적으로 이들은 효율성 장벽을 근본적으로 해결하지 못했다.

방법론: SRENDER

저자들은 SRENDER를 제안한다. 이 프레임워크는 확산을 통해 희소한 키프레임 세트를 합성한 후, 3D 재구성과 렌더링을 통해 조밀한 비디오를 합성함으로써 전체 비디오를 생성한다. 파이프라인은 네 가지 주요 단계로 구성된다.

1. 적응형 키프레임 선택 (Adaptive Keyframe Selection)

고정된 수의 프레임을 생성하는 대신, SRENDER는 키프레임 밀도 예측기(트랜스포머 기반 모델)를 사용하여 주어진 카메라 궤적과 장면 외형에 최적화된 키프레임 수를 결정한다.

• 입입력: 카메라 포즈 시퀀스와 입력 이미지에서 추출된 글로벌 특징 토큰(DINOv2를 통해 추출).
• 메커니즘: 모델은 필요한 키프레임 수(20초 비디오 기준 4~35개)를 예측한다. 단순하고 매끄러운 궤적은 더 적은 키프레임을 필요로 하며, 시점 변화가 큰 복잡한 움직임은 더 조밀한 샘플링을 요구한다.
• 학습: 정답 밀도는 투영된 포인트 클라우드 커버리지가 임계값 미만으로 떨어질 때까지 반복적으로 프레임을 선택하는 커버리지 기반 알고리즘(알고리즘 1)을 사용하여 자동으로 도출된다.

2. 희소 키프레임 확산 (Sparse Keyframe Diffusion)

히스토리 가이드 비디오 확산(History-Guided Video Diffusion) 모델이 선택된 희소 키프레임을 생성한다.

• 아키텍처: 모델은 각 프레임에 독립적인 노이즈 레벨을 할당하여 유연한 컨디셔닝을 허용하는 디퓨전 포싱(diffusion-forcing) 아키텍처를 활용한다.
• 학습 전략: 낮은 프레임 레이트에서의 큰 시점 변화로 인한 불안정성을 처리하기 위해, 모델은 먼저 고프레임 레이트 비디오로 학습된 후 추론 시 사용되는 희소 키프레임 간격에 맞춰 점진적으로 서브샘플링된다.
• 추론: 8개 이상의 키프레임(컨텍스트 윈도우 크기)이 필요한 궤적의 경우 2단계 체계를 사용한다. 먼저 궤적 전체를 아우르는 8개의 키프레임을 생성한 다음, 이전에 생성된 가장 가까운 키프레임들에 조건화되어 후속 키프레임들을 생성한다.

3. 3D 재구성 (3D Reconstruction)

생성된 희소 키프레임은 결정론적이고 피드포워드(feed-forward) 방식인 3D 재구성 모델(구체적으로 AnySplat)로 전달된다.

• 과정: AnySplat은 포즈 정보가 없는 키프레임으로부터 직접 3D 가우시안 스플래팅(3DGS) 표현을 예측한다.
• 정렬: AnySplat이 예측한 포즈가 입력된 궤적과 다를 수 있으므로, 3D 장면을 타겟 카메라 경로에 맞추기 위해 최소제곱 아핀 변환(least-squares affine transformation)을 계산한다.

4. 시간적 청킹 및 렌더링 (Temporal Chunking and Rendering)

글로벌 3D 일관성을 유지하기 어려운 긴 궤적(예: 10초 이상)에서의 드리프트(drift) 문제를 해결하기 위해 다음을 수행한다.

• 청킹(Chunking): 비디오를 시간적 청크(예: 10초)로 나눈다. 각 청크는 독립적인 3D 재구성을 거친다.
• 정렬: 인접한 청크들은 키프레임을 공유하며, 인접한 청크 간의 좌표계를 정렬하기 위해 아핀 변환을 추정하여 매끄러운 전환을 보장한다.
• 렌더링: 최종 조밀한 비디오는 표준 3DGS 래스터화를 사용하여 높은 프레임 레이트로 렌더링되며, 이는 확산 기반 합성보다 훨씬 빠르다.

주요 기여

1. 패러다임 전환: 본 논문은 모든 프레임을 신경망으로 생성하는 패러다임에 도전한다. 대신, 희소한 키프레임만을 생성하고 그 간극을 결정론적인 3D 렌더링으로 채움으로써 장면의 중복성을 활용한다.
2. 적응형 계산: 키프레임 밀도 예측기의 도입을 통해 시스템이 움직임의 복잡도에 따라 계산 자원을 동적으로 할당할 수 있게 하여, 단순한 장면에서의 불필요한 생성을 방지한다.
3. 3D 사전 지식의 통합: 3D 사전 지식을 내부 제약 조건으로만 사용하는 이전 연구들과 달리, SRENDER는 3D 재구성을 비디오 합성을 위한 주요 메커니즘으로 사용하여 기하학적 일관성을 강제하고 실시간 렌더링을 가능하게 한다.
4. 시간적 청킹: 문제를 일관된 로컬 3D 재구성으로 나누어 긴 범위의 생성 문제를 해결함으로써, 장기적 확산 모델에서 흔히 발생하는 드리프트 문제를 완화한다.

실험 결과

방법론은 RealEstate10K (RE10K) 및 DL3DV 데이터셋을 통해 히스토리 가이드(HG) 확산 베이스라인 및 Voyager 모델과 비교 평가되었다.

• 효율성: SRENDER는 DL3DV에서 HG 베이스라인 대비 43배 빠른 속도(20초, 30fps 비디오를 697초 대신 약 16초 만에 생성)를 달성했으며, RE10K에서는 23.7배 빠른 속도를 달성했다. DL3DV에서 실시간 성능(37 fps 생성 속도)을 구현한다.
• 품질: 정량적 지표(FID 및 FVD) 분석 결과, SRENDER는 이미지와 비디오 품질 모두에서 HG 베이스라인보다 우수한 성능을 보였다. 또한 5 fps 테스트 세트에서 Voyager보다 높은 FID 및 FVD를 기록했다.
• 2D 보간법과의 비교: SRENDER는 2D 보간법(FILM, RIFE)보다 FVD 측면에서 월등히 뛰어난 성능을 보였으며, 모핑 아티팩트(morphing artifacts)를 방지하고 기하학적 안정성을 유지하는 동시에 3DGS 렌더링의 효율성 덕분에 더 빠른 속도를 보여주었다.
• 어블레이션(Ablation): 시간적 청킹을 제거했을 때 긴 시퀀스에서 품질 저하(높은 FVD)가 발생하였으며, 이는 일관성을 위한 청킹 전략의 필요성을 입증한다.

의의 및 주장

본 논문은 명시적인 3D 추론과 적응형 희소 생성이 충실도를 희생하지 않으면서 비디오 합성의 계산 비용을 획기적으로 줄일 수 있다고 주장한다. 저자들은 SRENDER를 모든 비디오 생성 작업의 대체제가 아니라, 정적 장면의 카메라 제어 생성을 위한 매우 효과적인 솔루션으로 포지셔닝한다.

그 의의는 실시간 제어 가능한 비디오 합성을 향한 실질적인 경로를 제공한다는 데 있다. 장면의 외형 생성(희소 확산 활용)과 시간적 밀도 합성(3D 렌더링 활용)을 분리함으로써, SRENDER는 임바디드 AI 및 VR/AR과 같은 인터랙티브 애플리케이션의 배포를 제한하는 효율성 장벽을 극복한다. 저자들은 현재 방식이 정적 장면에 국한되어 있지만, 핵심 원리는 해당 모델들이 성숙해짐에 따라 동적 4D 재구성으로 전이될 수 있도록 설계되었다고 언급한다.