ImVideoEdit: Image-learning Video Editing via 2D Spatial Difference Attention Blocks

1. 연구 배경 및 문제 제기 (Problem)

• 기존 방식의 한계: 현재 비디오 편집 모델들은 대부분 대규모의 페어된 비디오 데이터 (source-target video pairs) 에 의존하여 학습합니다. 이러한 데이터 구축은 비용이 매우 많이 들고 시간이 오래 걸려 확장성에 큰 제약이 있습니다.
• 3D DiT 의 구조적 문제: 최신 비디오 생성 모델인 3D Diffusion Transformer(3D DiT) 는 시공간 (Spatiotemporal) 정보가 강하게 결합되어 있습니다. 기존 비디오 편집 접근법들이 이러한 3D 어텐션 모듈을 직접 미세 조정 (Fine-tuning) 하거나 특징을 주입할 경우, 사전 학습된 모델이 가진 정교한 운동 선형 (Motion Priors) 이 파괴되어 배경이 흔들리거나 (Background Drift), 시간적 깜빡임 (Temporal Flickering) 이 발생하는 불안정성이 발생합니다.
• 데이터 부족: 비디오 편집을 위한 대규모 페어 데이터셋을 구축하는 것은 현실적으로 불가능에 가깝습니다.

2. 제안 방법론 (Methodology)

저자들은 비디오 편집의 본질이 "시간적 역동성은 유지하면서 공간적 콘텐츠만 선택적으로 수정하는 과정" 이라는 통찰을 바탕으로, 이미지 쌍 (Image Pairs) 만으로 비디오 편집 능력을 학습하는 ImVideoEdit 프레임워크를 제안합니다.

핵심 아키텍처 및 전략

1. 이미지 기반 비디오 편집 (Video-Free Training Paradigm):

   • 학습 데이터를 비디오가 아닌 단일 프레임 이미지로 간주합니다.
   • 사전 학습된 3D 비디오 생성 모델 (Wan2.1-T2V-1.3B) 의 백본을 동결 (Freeze) 시킵니다. 이를 통해 모델이 가진 강력한 시공간 운동 prior 를 보존합니다.
   • 오직 2D 공간적 특징 (Spatial Features) 만을 학습하는 모듈을 추가하여, 시간적 간섭 없이 공간적 재구성을 수행합니다.

2. 예측 - 업데이트 공간 차이 어텐션 모듈 (Predict-Update Spatial Difference Attention Module):

   • 이 모듈은 공간적 특징 추출을 2 단계 (Predict & Update) 로 분해합니다.
   • Predict 단계: 원본 latent 와 타겟 latent 간의 coarse-grained(대략적인) 공간 구조 정렬을 수행합니다.
   • Update 단계: Predict 단계에서 남은 고주파수 공간 잔차 (High-frequency Spatial Residuals) 를 정밀하게 포착하고 수정합니다.
   • 이 방식은 단순한 특징 주입보다 정교한 구조적 재구성을 가능하게 하며, 시간적 일관성을 해치지 않습니다.

3. 텍스트 가이드 동적 시맨틱 게이팅 (Text-Guided Dynamic Semantic Gating):

   • 외부 마스크 (Mask) 에 의존하지 않고, 텍스트 프롬프트에 기반한 적응형 시맨틱 게이트를 도입합니다.
   • 교차 어텐션 (Cross-attention) 을 통해 텍스트 임베딩을 참조하여, 어떤 공간 영역을 얼마나 수정할지 동적으로 결정합니다. 이는 편집 의도에 따라 구조적 잔차를 선택적으로 주입하게 하여 정밀한 편집을 가능하게 합니다.

4. 데이터 구축 파이프라인:

   • 장면 조건 기반 프롬프트 생성, 페어 이미지 합성 (Qwen-Image 등 활용), 자동/수동 데이터 필터링의 3 단계 파이프라인을 통해 13,000 개의 고품질 이미지 쌍 데이터셋을 구축했습니다.

3. 주요 기여 (Key Contributions)

1. 데이터 효율성: 대규모 비디오 데이터 없이 이미지 쌍 13K 개만으로 비디오 편집을 학습할 수 있는 새로운 패러다임을 제시했습니다.
2. 새로운 아키텍처: 3D 시공간 prior 를 보존하면서 2D 공간 특징을 계층적으로 추출/주입하는 Predict-Update Spatial Difference Attention 모듈을 개발했습니다.
3. 마스크 없는 제로샷 편집: 외부 마스크 없이 텍스트 프롬프트만으로 정밀한 의미론적 (Semantic) 편집을 수행하는 Text-Guided Dynamic Semantic Gating을 도입했습니다.
4. 성능: 적은 계산 비용과 데이터로 기존 13B~14B 파라미터 규모의 모델들과 경쟁 가능한 성능을 달성했습니다.

4. 실험 결과 (Results)

• 평가 지표: VLM(Gemini 3.1 Pro) 기반 평가 (지시 준수, 시간적 일관성, 시각적 충실도, 아티팩트 부재) 와 VBench 를 활용했습니다.
• 정량적 성능:
  • ImVideoEdit(1.3B 기반) 는 13B~14B 파라미터 모델 (VACE, DITTO 등) 과 비교해 전체 점수 (65.24) 에서 매우 경쟁력 있는 결과를 보였습니다.
  • 특히 5B 모델인 Kiwi-Edit(71.13) 다음으로 높은 점수를 기록했으나, ImVideoEdit 은 비디오 데이터 학습이 전혀 필요 없는 효율적인 방식이라는 점에서 의미가 큽니다.
  • 시간적 일관성 (Temporal Consistency) 과 물리적 역동성 유지 측면에서 뛰어난 안정성을 보였습니다.
• 정성적 성능:
  • 배경 교체, 비강체 객체 교체, 스타일 변환 등 다양한 작업에서 지시 사항을 정확히 따르면서도 원본 비디오의 구조와 움직임을 유지했습니다.
  • 기존 모델들이 겪는 배경 흔들림, 색상 깜빡임, 부분적 편집 실패 등의 문제를 해결했습니다.
• 사용자 연구: 인간 평가자 (MOS) 를 통한 평가에서도 VACE(1.3B) 를 크게 능가하며, Kiwi-Edit(5B) 와 유사한 수준의 편집 품질을 보여주었습니다.

5. 의의 및 결론 (Significance)

• 비용 효율성: 비디오 편집 모델 학습에 필요한 막대한 계산 자원과 데이터 구축 비용을 획기적으로 줄였습니다. 단일 RTX 3090 GPU 로도 학습이 가능할 정도로 경량화되었습니다.
• 패러다임 전환: 비디오 편집이 본질적으로 공간적 특징의 재구성 문제임을 증명하고, 이를 위해 이미지 데이터만으로도 충분히 학습 가능함을 입증했습니다.
• 실용성: 외부 마스크나 복잡한 전처리 없이 텍스트 프롬프트만으로 고품질의 비디오 편집이 가능해져, 실제 콘텐츠 제작 현장에서의 활용도가 높아질 것으로 기대됩니다.

요약하자면, ImVideoEdit는 "비디오 편집은 시간적 역동성을 보존한 채 공간적 특징만 바꾸는 작업"이라는 통찰을 바탕으로, 이미지 데이터만으로도 고품질 비디오 편집이 가능함을 증명하고, 이를 위한 효율적이고 정교한 아키텍처를 제안한 획기적인 연구입니다.