Memory-V2V: 메모리 증강 비디오-투-비디오 확산을 통한 일관된 다중 턴 편집

이 논문은 비디오 편집 워크플로우의 본질적인 반복성 (iterative nature) 을 해결하기 위해 제안된 Memory-V2V라는 새로운 프레임워크를 소개합니다. 기존 비디오 편집 모델은 단일 턴 (single-turn) 편집에서는 뛰어난 성능을 보이지만, 여러 번에 걸쳐 순차적으로 편집을 수행할 때 (다중 턴 편집) 이전에 생성된 영역의 일관성이 깨지거나 (drift), 덮어쓰이는 문제가 발생했습니다. Memory-V2V 는 이러한 문제를 해결하기 위해 이전 편집 결과를 구조화된 제약 조건으로 활용하는 메모리 증강 메커니즘을 도입했습니다.

1. 문제 정의 (Problem Statement)

• 다중 턴 편집의 비일관성: 실제 비디오 편집은 사용자가 여러 번 상호작용하며 출력을 점진적으로 수정하는 과정입니다. 그러나 기존 모델들은 각 턴을 독립적으로 처리하여, 이전 편집에서 생성된 영역이 후속 편집에서 일관성을 잃거나 시각적으로 다른 결과 (예: 같은 사과가 각 구간마다 다른 오렌지로 변함) 를 만들어냅니다.
• 기존 접근법의 한계:
  • 단순 조건부 (Naive Conditioning): 모든 이전 편집 결과를 입력으로 넣는 방식은 계산 비용이 기하급수적으로 증가하고 불필요한 맥락을 포함합니다.
  • 시간적 연속성 가정: 기존 장기 비디오 생성 모델들은 시간적 연속성을 가정하지만, 다중 턴 편집은 독립적으로 노이즈 제거 (denoising) 가 수행되므로 시간적 연속성만으로는 부족합니다.

2. 방법론 (Methodology)

Memory-V2V 는 **선택적 검색 (Selective Retrieval)**과 **관련성 인식 용량 할당 (Relevance-aware Capacity Allocation)**이라는 두 가지 설계 원칙을 기반으로 합니다.

2.1 외부 메모리 및 검색 메커니즘

• 외부 캐시 (External Cache): 각 편집 턴마다 생성된 잠재 비디오 (latent video) 를 외부 캐시 $\Omega$에 저장합니다.
• 작업 인식 검색 (Task-aware Retrieval): 현재 편집 턴에 가장 관련 있는 이전 비디오들만 검색하여 메모리로 사용합니다.
  • 비디오 신규 뷰 합성 (Video Novel View Synthesis): 카메라 시야각 (Field-of-View, FOV) 중첩도를 기반으로 기하학적 검색을 수행합니다. 목표 카메라 궤적과 캐시된 카메라 궤적 간의 겹치는 영역을 계산하여 관련성을 점수화합니다.
  • 텍스트 기반 장기 비디오 편집 (Text-guided Long Video Editing): 텍스트 유사성보다는 **시각적 유사성 (DINO 특징)**을 기반으로 소스 비디오 세그먼트 간의 유사도를 계산하여 관련 세그먼트를 검색합니다.

2.2 동적 토크나이제이션 (Dynamic Tokenization)

검색된 비디오들을 모두 동일한 해상도로 처리하면 계산 비용이 과도해집니다. 이를 해결하기 위해 관련성에 따라 토큰 수를 동적으로 할당합니다.

• 높은 관련성: 가장 관련 있는 상위 비디오 (예: Top-3) 는 고해상도 토큰 (1x2x2 압축) 을 사용하여 세부 정보를 보존합니다.
• 낮은 관련성: 나머지 비디오는 저해상도 토큰 (1x8x8 압축) 으로 강하게 압축하여 전체 토큰 수를 관리 가능한 수준으로 유지합니다.

2.3 적응형 토큰 병합 (Adaptive Token Merging)

DiT(Diffusion Transformer) 의 자기 주의 (self-attention) 연산 비용은 토큰 길이에 비례하여 제곱으로 증가합니다. 이를 줄이기 위해 적응형 토큰 병합을 도입했습니다.

• 반응도 기반 선택: 각 프레임이 현재 생성에 얼마나 중요한지 (attention responsiveness) 를 분석합니다.
• 병합 전략: 중요도가 낮은 (low-responsive) 프레임의 토큰들을 학습 가능한 합성곱 연산자를 통해 병합하여 압축합니다. 단순히 토큰을 삭제하는 것이 아니라, 구조적 일관성을 해치지 않으면서 불필요한 계산을 줄입니다.
• 적용 위치: 트랜스포머 블록의 초기 단계가 아닌, 중간 및 후기 단계 (Block 10, 20) 에서 병합을 수행하여 중요한 정보가 손실되지 않도록 합니다.

2.4 데이터 증강 파이프라인

장기 비디오 편집을 위한 학습 데이터가 부족하다는 문제를 해결하기 위해, 기존 짧은 소스 - 타겟 쌍 데이터셋 (Señorita-2M) 에서 타겟 비디오만 생성적 모델 (FramePack) 을 통해 시간적으로 확장하여 학습 데이터를 구성했습니다.

3. 주요 기여 (Key Contributions)

1. 문제 설정의 정립: 독립적으로 노이즈 제거가 수행되는 다중 턴 비디오 편집에서 '턴 간 일관성 (cross-turn consistency)'을 유지하는 것을 별도의 문제로 정의했습니다.
2. Memory-V2V 프레임워크: 이전 편집을 시간적 연속성이 아닌 **구조화된 제약 조건 (structured constraints)**으로 간주하는 메모리 증강 아키텍처를 제안했습니다.
3. 효율적인 검색 및 압축: FOV 기반 기하학적 검색과 의미적 세그먼트 검색을 통해 불필요한 컨텍스트 성장을 방지하고, 동적 토크나이제이션과 적응형 병합을 통해 계산 비용을 선형적으로 증가시키지 않으면서 확장 가능한 조건부 학습을 가능하게 했습니다.
4. 성능 입증: 반복적 신규 뷰 합성 및 장기 텍스트 기반 편집 작업에서 기존 최첨단 모델 (SOTA) 보다 뛰어난 일관성과 화질을 보여주었습니다.

4. 실험 결과 (Results)

• 비디오 신규 뷰 합성: ReCamMaster 및 TrajCrafter 와 비교 시, Memory-V2V 는 여러 턴에 걸쳐 생성된 영역 (예: 새로운 뷰 영역) 에서 기하학적 일관성 (MEt3R) 과 시각적 품질을 모두 유지하며, 특히 1 차와 3 차 턴 간의 일관성에서 큰 개선을 보였습니다.
• 장기 비디오 편집: 200 프레임 이상의 긴 비디오에서 LucyEdit, TokenFlow, RAVE 등 기존 모델들은 편집된 객체의 정체성 유지나 배경 일관성에서 실패하는 경우가 많았으나, Memory-V2V 는 모든 세그먼트에서 동일한 객체 (예: 모자, 오렌지) 와 배경을 일관되게 유지했습니다.
• 계산 효율성: 단순 컨텍스트 윈도우 확장 방식 대비 FLOPs 와 지연 시간 (latency) 을 90% 이상 감소시켰으며, 적응형 토큰 병합을 통해 추가적으로 30% 의 효율 향상을 달성했습니다.

5. 의의 및 결론 (Significance)

Memory-V2V 는 비디오 생성 모델이 실제 편집 워크플로우에서 요구하는 반복적이고 상호작용적인 작업을 수행할 수 있도록 하는 중요한 진전을 이루었습니다.

• 실용성: 사용자가 여러 번에 걸쳐 비디오를 수정할 때 발생하는 시각적 불일치 문제를 해결하여, 실제 편집 도구로서의 활용도를 높였습니다.
• 확장성: 메모리 양이 증가하더라도 계산 비용이 선형적으로 증가하지 않도록 설계되어, 매우 긴 비디오나 복잡한 편집 시나리오에도 적용 가능합니다.
• 한계 및 향후 과제: 현재 모델은 단일 샷 (single-shot) 비디오에 최적화되어 있어, 급격한 장면 전환이 있는 멀티샷 비디오에서는 약간의 한계가 있을 수 있습니다. 또한, 생성된 메모리 데이터의 미세한 떨림이 누적될 수 있는 문제가 존재합니다.

결론적으로, Memory-V2V 는 메모리를 단순한 컨텍스트가 아닌 일관성을 강제하는 제약 조건으로 활용함으로써, 차세대 비디오 편집 도구의 핵심 기술로 자리 잡을 잠재력을 가지고 있습니다.