1. 문제 정의 (Problem)

최근 비디오 생성 모델은 시각적 품질과 사실성이 크게 향상되었으나, 동적 카메라 제어 하의 긴 영상 생성에서는 여전히 심각한 한계를 겪고 있습니다.

• 장기적 일관성 부재: 기존 방법들은 생성된 콘텐츠의 맥락 (Context) 을 장기적으로 기억하지 못해, 카메라가 복잡한 운동을 거쳐 이전에 보였던 장면으로 돌아왔을 때 동일한 장면에 대한 내용이 불일치하거나 (Scene Inconsistency), 과거의 내용이 망각되는 현상이 발생합니다.
• 기존 접근법의 한계:
  • CameraCtrl 등: 과거 콘텐츠에 대한 명시적인 기억 없이 카메라 정보에만 의존하여 장기 일관성을 유지하기 어렵습니다.
  • DFoT 등: 고정된 길이의 컨텍스트 윈도우를 사용하므로 긴 시퀀스에서는 초기 콘텐츠가 누락됩니다.
  • GeometryForcing 등: 3D 재구성을 활용하지만, 재구성 모델의 한계와 오차 누적 (Error Accumulation) 문제로 인해 성능이 저하됩니다.

2. 제안 방법론 (Methodology: MemCam)

저자들은 MemCam이라는 메모리 증강 (Memory-Augmented) 프레임워크를 제안하여, 이전에 생성된 프레임을 외부 메모리로 활용하고 이를 컨텍스트 조건으로 사용하여 높은 장면 일관성을 달성합니다.

A. 컨텍스트 압축 모듈 (Context Compression Module)

모든 과거 프레임을 직접 조건으로 사용하면 계산 비용이 과도하고 불필요한 정보가 혼입될 수 있습니다. 이를 해결하기 위해 다음과 같은 모듈을 설계했습니다.

• 압축 구조: 컨텍스트 부분을 처리하기 위해 합성곱 신경망 (CNN) 을 학습시켜 베이스 모델의 패치화 (Patchify) 레이어를 대체합니다.
• 압축 비율: 시간 차원은 유지하되, 공간 차원 (가로/세로) 을 2 배씩 압축하여 전체 토큰 길이를 1/4 로 줄입니다.
• 효과: 계산 비용을 크게 줄이면서도 더 많은 역사적 프레임을 동시에 참조할 수 있게 하여 컨텍스트 정보의 다양성을 확보합니다.

B. 카메라 제어 (Camera Control)

• Camera Encoder: 각 DiT(Diffusion Transformer) 블록에 단일 레이어 MLP 를 추가하여 카메라 정보를 인코딩합니다.
• 입력: 회전 행렬 ($R$) 과 이동 벡터 ($t$) 를 결합한 $3 \times 4$ 행렬을 평탄화하여 모델의 주 특징 (Main Feature) 에 더합니다.

C. 메모리 모듈 및 컨텍스트 선택 (Memory Module with Context Selection)

• 공시야 (Co-visibility) 기반 선택: 예측하려는 프레임의 카메라 시야각 (FOV) 과 역사적 프레임들의 FOV 간의 중첩 정도를 계산하여 가장 관련성 높은 과거 프레임을 동적으로 선택합니다.
• IoU 계산: 몬테카를로 샘플링을 통해 3D 점들의 가시성을 추정하고, 두 카메라 구성 간의 가시점 집합에 대한 **IoU(Intersection over Union)**를 계산하여 중첩 점수를 산출합니다.
• 동작 방식: 추론 시 각 예측 프레임에 대해 역사적 프레임 중 가장 높은 공시야 점수를 가진 프레임을 선택하여 컨텍스트로 입력합니다.

D. 학습 및 추론 전략

• 학습: 고정된 첫 번째 프레임을 컨텍스트로 사용하며, 나머지 예측 프레임에 대해서는 공시야 기반의 다른 프레임을 컨텍스트로 선택합니다.
• 추론: 세그먼트 단위로 영상을 생성하며, 각 세그먼트 생성 후 메모리를 업데이트하여 전체 영상을 완성합니다.

3. 주요 기여 (Key Contributions)

1. MemCam 프레임워크: 역사적 프레임과 위치 정보를 컨텍스트 단서로 활용하여 장면 일관성이 유지되는 인터랙티브 비디오 생성을 가능하게 하는 메모리 증강 구조를 제안했습니다.
2. 컨텍스트 압축 및 선택 모듈: 공시야 (Co-visibility) 기반 선택 전략을 통해 역사적 프레임 정보를 효과적으로 필터링하고 압축하여, 장기 비디오 예측을 위한 풍부하고 다양한 컨텍스트 지원을 제공합니다.
3. 성능 입증: 긴 인터랙티브 비디오 생성, 특히 큰 카메라 회전 (Large Camera Rotations) 이 포함된 시나리오에서 기존 베이스라인 및 오픈소스 SOTA 방법들을 압도적으로 능가함을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: Context-as-Memory 데이터셋 및 Zero-shot 일반화를 위해 RealEstate10K 데이터셋을 사용했습니다.
• 평가 지표: 90° 및 360° 왕복 (Round-trip) 생성 시나리오에서 PSNR, SSIM, LPIPS, FVD 를 측정했습니다.
• 양적 결과 (Quantitative):
  • 360° 회전 시나리오: MemCam 은 FVD(215.71 vs 557.661188.34) 와 PSNR(14.81 vs 8.9410.07) 에서 모든 기존 방법 (I2V, DFoT, GF) 보다 월등히 우수한 성능을 보였습니다. 특히 360° 회전 시 오차가 누적되는 GF 보다도 훨씬 안정적이었습니다.
  • RealEstate10K: 제로샷 일반화에서도 MemCam 이 가장 낮은 FVD(131.96) 를 기록하며 일관된 성능을 입증했습니다.
• 질적 결과 (Qualitative):
  • 카메라가 360° 회전하여 원래 위치로 돌아왔을 때, MemCam 은 원래 장면의 구조와 텍스처를 정확하게 재구성했습니다.
  • 반면, 기존 방법들은 장면의 불일치 (Drift) 나 콘텐츠의 할루시네이션 (Hallucination) 을 보였습니다.
• Ablation Study:
  • 선택 전략: 최근 프레임만 선택하는 방식 (Recent) 은 360° 회전 시 성능이 급격히 떨어졌으나, MemCam 의 공시야 기반 동적 선택이 가장 우수했습니다.
  • 압축 모듈: 압축 없이 컨텍스트를 늘리면 계산 비용이 기하급수적으로 증가하는 반면, 압축 모듈을 사용하면 계산 비용은 5 배 감소하면서도 품질은 유지되거나 오히려 향상되었습니다.

5. 의의 및 결론 (Significance)

MemCam 은 3D 재구성 모듈 없이도 생성된 프레임 자체를 메모리로 활용하여 장기적인 장면 일관성을 달성하는 새로운 패러다임을 제시합니다.

• 계산 효율성: 컨텍스트 압축 기술을 통해 긴 시퀀스 처리 시 발생하는 계산 과부하를 해결했습니다.
• 응용 가능성: 게임 장면 생성, 세계 시뮬레이션, 인터랙티브 콘텐츠 제작 등 긴 영상 생성이 필요한 분야에서 카메라 제어의 자유도를 크게 높일 수 있습니다.
• 향후 과제: 현재 양방향 어텐션으로 인한 추론 속도의 한계를 해결하기 위해 확산 모델 증류 (Diffusion Distillation) 등을 통해 가속화를 모색할 예정입니다.

이 논문은 긴 시간 동안 카메라가 크게 움직여도 장면이 일관되게 유지되는 고품질 비디오 생성을 위한 강력한 솔루션을 제시했다는 점에서 의의가 큽니다.