MLV-Edit: Towards Consistent and Highly Efficient Editing for Minute-Level Videos

MLV-Edit 는 분 단위 장편 비디오 편집의 계산 비용과 시간적 일관성 문제를 해결하기 위해 세그먼트 간 흐름 정렬과 전역 참조 프레임 기반 어텐션 메커니즘을 활용한 훈련 없는 프레임워크를 제안합니다.

핵심

이 논문은 **"긴 영상을 자연스럽게 편집하는 새로운 방법 (MLV-Edit)"**에 대한 내용입니다.

기존의 AI 영상 편집 기술은 짧은 영상 (몇 초~몇 분) 은 잘 만들지만, 1 분 이상의 긴 영상을 편집하려 하면 두 가지 큰 문제가 생깁니다.

1. 컴퓨터가 너무 지쳐버림: 영상을 한 번에 다 처리하려면 메모리와 계산 능력이 너무 많이 필요해서 실용적이지 않습니다.
2. 영상이 찢어지고 흔들림: 영상을 잘게 쪼개서 하나씩 편집했다가 다시 붙이면, 이어지는 부분에서 **깜빡임 (flickering)**이 생기거나, 주인공의 모습이 자꾸 변하는 (drift) 문제가 발생합니다.

이 논문은 이 문제를 해결하기 위해 **'MLV-Edit'**라는 새로운 시스템을 제안합니다. 마치 거대한 퍼즐을 맞추는 것처럼, 긴 영상을 잘게 나누어 편집하되, 이어지는 부분과 전체적인 흐름을 자연스럽게 이어주는 두 가지 비밀 무기를 사용했습니다.

---

🎬 MLV-Edit 의 핵심 아이디어: "조각내되, 자연스럽게 이어주기"

이 시스템은 긴 영상을 작은 조각 (세그먼트) 으로 나누어 하나씩 편집합니다. 하지만 단순히 잘라 붙이는 게 아니라, 두 가지 핵심 기술을 적용합니다.

1. 속도 블렌딩 (Velocity Blend) = "다리 연결하기"

• 문제 상황: 두 개의 영상 조각을 붙일 때, 한쪽은 빨리가고 다른 쪽은 느리게 움직이면 경계선에서 영상이 툭 끊기거나 떨리는 현상이 발생합니다.
• 해결책 (비유): 두 조각이 만나는 경계선 (중첩된 부분) 에서 두 조각의 '속도'를 섞어줍니다.
  • 마치 다리를 놓을 때, 양쪽 강둑 (영상 조각) 을 완전히 딱 붙이는 게 아니라, 중간에 겹치는 구간을 만들어서 부드럽게 이어주는 것과 같습니다.
  • 이 과정을 통해 영상이 끊기는 지점에서도 움직임이 매끄럽게 이어져, 깜빡임이나 떨림이 사라집니다.

2. 어텐션 싱크 (Attention Sink) = "나침반"

• 문제 상황: 영상을 조각내서 편집하다 보면, 1 분짜리 영상이라도 처음의 모습과 나중의 모습이 달라지는 현상이 생깁니다. 예를 들어, "고양이를 호랑이로 바꿔라"라고 했을 때, 처음엔 호랑이인데 1000 프레임 뒤엔 귀가 사라지거나 색이 변해버릴 수 있습니다.
• 해결책 (비유): 영상을 시작할 때의 '원본 모습'을 나침반 (기준점) 으로 삼아, 내내 그 방향을 잃지 않게 잡아줍니다.
  • 마치 긴 여행을 할 때, 처음 출발한 지점을 기억하고 **"우리는 항상 이 기준을 잊지 말자"**라고 계속 상기시키는 것과 같습니다.
  • 이 '나침반'을 통해 편집된 영상이 시간이 지나도 주인공의 모습과 특징이 일관되게 유지되도록 합니다.

---

🏆 왜 이것이 특별한가요?

기존 방법들은 긴 영상을 편집할 때 컴퓨터가 너무 무거워지거나, 영상이 조각조각 나 있는 것처럼 보였습니다. 하지만 MLV-Edit 은 다음과 같은 장점이 있습니다.

• 학습 불필요 (Training-Free): 새로운 AI 모델을 처음부터 가르칠 필요가 없습니다. 이미 잘 만들어진 기술을 똑똑하게 조합만 하면 됩니다.
• 아무 길이든 가능: 1 분, 10 분, 1 시간 영상이나 상관없이 같은 방법으로 편집할 수 있습니다.
• 완벽한 일관성: 실험 결과, 다른 최신 기술들보다 영상이 더 안정적이고, 편집 의도 (텍스트) 를 더 정확하게 반영하며, 시간이 지나도 모습이 변하지 않는 것으로 입증되었습니다.

💡 한 줄 요약

"긴 영상을 잘게 쪼개서 편집하되, 조각 사이의 경계는 부드럽게 이어주고 (속도 블렌딩), 처음부터 끝까지 주인공의 모습을 잊지 않게 나침반을 세워주어 (어텐션 싱크) 자연스럽게 만드는 혁신적인 기술입니다."

이 기술은 앞으로 유튜브, 영화 예고편, 긴 다큐멘터리 등 긴 영상을 AI 로 편집할 때 매우 유용하게 쓰일 것으로 기대됩니다.

기술 요약

MLV-Edit: 분 단위 비디오를 위한 일관성 있고 고효율 편집 프레임워크

1. 문제 정의 (Problem)

기존의 텍스트 기반 비디오 편집 기술은 주로 수 초 길이의 짧은 클립에 최적화되어 있습니다. 이를 분 단위 (Minute-level) 의 긴 비디오로 확장할 때 다음과 같은 근본적인 한계가 발생합니다.

• 계산 비용 및 메모리 문제: 기존 역전파 (Inversion) 기반 방법이나 Diffusion Transformer(DiT) 는 긴 시퀀스를 처리할 때 메모리 소모가 기하급수적으로 증가하거나, 고정된 컨텍스트 윈도우 제한으로 인해 긴 비디오 처리가 불가능합니다.
• 시간적 불일치 (Temporal Inconsistency): 긴 비디오를 단순히 여러 세그먼트로 나누어 편집한 뒤 이어붙이는 (Divide-and-conquer) 방식은 두 가지 주요 문제를 야기합니다.
  1. 경계 불연속성 (Boundary Discontinuity): 세그먼트 경계에서 깜빡임 (Flickering) 이나 흔들림이 발생합니다.
  2. 효과 드리프트 (Effect Drift): 각 세그먼트를 독립적으로 편집함에 따라 비디오 전체에 걸쳐 편집된 객체의 외형, 질감, 구조가 점진적으로 변형되거나 일관성이 떨어지는 현상이 발생합니다.

2. 방법론 (Methodology)

저자들은 MLV-Edit을 제안했습니다. 이는 추가적인 학습 (Training-free) 이 필요 없으며, 기존 짧은 비디오 편집 모델 (Wan-Edit) 을 분 단위 비디오에 적용할 수 있도록 설계된 확장 가능한 프레임워크입니다. 핵심은 세그먼트별 편집 (Segment-wise Editing) 전략과 이를 보완하는 두 가지 핵심 모듈입니다.

• 전체 파이프라인:

  • 원본 비디오를 잠재 공간 (Latent space) 으로 인코딩한 후, 시간적 중첩 (Overlap) 을 가진 여러 세그먼트로 분할합니다.
  • 각 세그먼트는 기존 Wan-Edit 모델을 통해 편집됩니다.

• 핵심 모듈 1: Velocity Blend (속도 블렌딩)

  • 목적: 세그먼트 간의 경계에서 발생하는 깜빡임과 불연속성을 해결.
  • 원리: 인접한 세그먼트 간의 중첩 영역 (Overlap region) 에서 속도 필드 (Velocity field, $\Delta V$) 를 가중 평균하여 부드럽게 혼합합니다.
  • 구현: 현재 세그먼트의 끝부분과 다음 세그먼트의 시작부분에 위치한 프레임들의 속도 차이를 삼각형 윈도우 (Triangular window) 기반 가중치로 블렌딩하여, 편집 방향의 급격한 변화를 방지하고 매끄러운 시간적 전환을 보장합니다.

• 핵심 모듈 2: Attention Sink (어텐션 싱크)

  • 목적: 비디오 전체에 걸친 글로벌 의미론적 일관성 유지 및 효과 드리프트 방지.
  • 원리: 비디오의 첫 번째 프레임 (가장 높은 의미론적 충실도를 가진 프레임) 의 Key 와 Value 쌍을 '글로벌 앵커 (Global Anchor)'로 캐싱합니다.
  • 구현: 이후 모든 세그먼트의 편집 과정에서, 현재 세그먼트의 어텐션 계산 시에 이 캐싱된 첫 번째 프레임의 정보를 선두에 추가 (Prepend) 합니다. 이를 통해 모든 디노이징 (Denoising) 단계에서 초기 프레임의 특성을 참조하게 하여, 시간이 지남에 따라 편집된 객체의 정체성이나 외형이 변형되는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. MLV-Edit 프레임워크 제안: 학습 없이 임의의 길이를 가진 비디오에 대해 일관성 있고 고품질의 편집을 가능하게 하는 확장 가능한 아키텍처를 제시했습니다.
2. 혁신적 모듈 도입:
   • Velocity Blend: 세그먼트 경계의 불연속성을 해결하여 시각적 아티팩트를 제거합니다.
   • Attention Sink: 글로벌 앵커 메커니즘을 통해 장기간의 편집 효과 드리프트를 억제합니다.
3. MLV-EVAL 벤치마크 구축: 분 단위 비디오 편집을 평가하기 위한 새로운 벤치마크 (75 개의 다양한 장편 비디오 포함) 를 구축하고, 다양한 시나리오에서 성능을 검증했습니다.

4. 실험 결과 (Results)

MLV-EVAL 벤치마크를 통한 정량적 및 정성적 실험 결과는 다음과 같습니다.

• 정량적 평가 (Quantitative Evaluation):
  • 시간적 일관성 (Temporal Consistency): Warp-Err, Seg.warperr, DOVER 등 시간적 안정성 지표에서 기존 최첨단 방법 (AdaFlow, TokenFlow, VACE 등) 보다 압도적으로 우수한 성능을 보였습니다. 특히 세그먼트 경계에서의 전환 매끄러움이 뛰어났습니다.
  • 의미론적 일관성 (Semantic Consistency): CLIP-T, ViCLIP-T 점수가 가장 높게 나타나, 텍스트 프롬프트와 편집 결과의 일치도가 뛰어났습니다.
  • 신뢰도 (Fidelity): 편집되지 않은 영역의 픽셀 수준 재구성 품질 (M.PSNR) 이 가장 높았습니다.
• 정성적 평가 (Qualitative Evaluation):
  • 긴 비디오 (1~2 분) 에서도 객체의 속성 (예: 회색 다람쥐 $\to$ 분홍색 다람쥐) 이 일관되게 유지되었으며, 다른 방법들에서 나타나는 깜빡임, 경계 아티팩트, 객체 변형 (예: 호랑이 머리 중복) 등이 MLV-Edit 에서는 관찰되지 않았습니다.
• 사용자 연구 (User Study):
  • 20 명의 참가자를 대상으로 한 A/B 테스트에서, 의미론적 일관성, 시간적 일관성, 전반적 선호도 모든 항목에서 다른 방법론 대비 압도적인 선호도를 보였습니다.
• Ablation Study:
  • Velocity Blend 없이 사용하거나 중첩 길이 (k) 를 너무 작게/크게 설정할 경우 시간적 일관성이 급격히 떨어지는 것을 확인했습니다.
  • Attention Sink 를 제거하거나 앵커를 첫 번째 프레임이 아닌 이전 세그먼트로 설정할 경우 의미론적 드리프트가 발생함을 입증했습니다.

5. 의의 (Significance)

MLV-Edit 은 기존 확산 모델 기반 비디오 편집 기술의 가장 큰 병목 현상이었던 **'긴 비디오 처리의 비효율성'**과 **'시간적 일관성 유지의 어려움'**을 동시에 해결했습니다.

• 실용성: 추가 학습 없이 기존 모델을 분 단위 비디오에 즉시 적용할 수 있어, 실제 응용 분야 (영화, 광고, 긴 형식의 콘텐츠 생성 등) 에 매우 실용적인 솔루션을 제공합니다.
• 기술적 진보: 세그먼트 분할 전략에 Velocity Blend 와 Attention Sink 를 결합함으로써, 장편 비디오 편집에서 발생하는 구조적 드리프트와 경계 아티팩트를 효과적으로 제어하는 새로운 패러다임을 제시했습니다.

결론적으로, MLV-Edit 은 분 단위 이상의 장편 비디오에 대해 고품질이며 일관된 편집을 가능하게 하는 현재까지의 가장 효과적인 방법론 중 하나로 평가됩니다.