1. 문제 정의 (Problem Statement)

기존의 비디오 편집 방법론은 두 가지 주요 접근법 사이에서 중요한 트레이드오프 (trade-off) 에 직면해 있습니다.

• 전문가 모델 (Expert Models): 마스크 (mask) 나 외부 조건을 사용하여 정밀한 지역 편집을 수행하지만, 작업별 사전 지식이 필요하고 통합이 어렵습니다.
• 통합 인-컨텍스트 학습 모델 (Unified In-Context Learning Models): 마스크 없이 텍스트 명령만으로 편집을 시도하지만, 명시적인 공간적 단서가 부족하여 '명령 - 영역' 매핑이 약하고, 다중 객체 인식이나 공간 추론이 필요한 경우 정밀도가 떨어집니다.

이러한 모순을 해결하기 위해 마스크 의존성 없이도 전문가 모델 수준의 정밀도와 통합 모델의 유연성을 모두 달성할 수 있는 방법이 필요했습니다.

2. 방법론 (Methodology)

저자들은 **Chain-of-Frames (CoF)**라는 새로운 접근법을 제안하며, 비디오 확산 모델 (Video Diffusion Model, VDM) 이 "보고 (See) → 추론 (Reason) → 편집 (Edit)"하는 과정을 따르도록 설계했습니다.

가. Chain-of-Frames (CoF) 프레임워크

• 개념: 대규모 언어 모델 (LLM) 의 Chain-of-Thought (CoT) 에서 영감을 받아, 비디오 생성 모델이 편집 영역을 먼저 '추론'한 후 편집을 수행하도록 강제합니다.
• 프로세스:
  1. See: 원본 비디오 토큰을 입력받습니다.
  2. Reason: 편집 명령에 따라 **추론 토큰 (Reasoning Tokens)**을 예측합니다. 이는 편집이 이루어질 영역을 시각적으로 나타내는 '회색 하이라이트'가 포함된 프레임입니다.
  3. Edit: 추론된 영역을 기반으로 목표 비디오 토큰을 생성합니다.
• 구현: 원본, 추론, 편집 프레임의 토큰을 시간 축 (temporal dimension) 에 연결하여 단일 시퀀스로 입력하고, 자기 주의 (self-attention) 메커니즘을 통해 컨텍스트 학습을 수행합니다.

나. RoPE 정렬 전략 (RoPE Alignment Strategy)

• 문제: 기존 인-컨텍스트 학습은 단순한 시간 축 연결을 사용하여, 훈련된 길이 (예: 33 프레임) 를 초과하는 긴 비디오로 확장 (extrapolation) 할 때 성능이 급격히 저하되거나 아티팩트가 발생합니다.
• 해결: 회전 위치 임베딩 (RoPE) 의 시간 인덱스를 재설계합니다.
  • 충돌 방지: 원본 비디오와 편집된 비디오의 인덱스를 [1, F]로 설정하고, 추론 프레임의 인덱스를 0 으로 고정합니다.
  • 효과: 추론 토큰과 편집 토큰 간의 인덱스 충돌을 방지하여 시각적 아티팩트를 제거하고, 훈련 길이보다 훨씬 긴 비디오 (예: 4 배~16 배) 로의 일반화를 가능하게 합니다.

다. 데이터 구축 파이프라인

• 데이터셋: 50,000 개의 고품질 비디오 쌍으로 구성된 커스텀 데이터셋을 구축했습니다.
• 생성 과정: Pexels 등 오픈 소스 데이터를 기반으로 Qwen-VL(다중 객체 식별), Grounding-SAM2(세그멘테이션), MiniMax-Remover(객체 제거), VACE-14B(객체 교체/스타일 변환) 등을 활용하여 '원본 - 추론 - 편집' 3 중항 (triplet) 데이터를 자동 생성 및 필터링했습니다.

3. 주요 기여 (Key Contributions)

1. VideoCoF 프레임워크 제안: 비디오 편집에 'Chain of Frames' 접근법을 처음 도입하여, 명시적인 마스크 없이도 정밀한 지역 편집과 다중 객체 추론을 가능하게 했습니다.
2. RoPE 정렬 및 길이 확장: 추론 토큰을 고려한 RoPE 인덱스 설계로, 훈련 길이 (33 프레임) 를 훨씬 초과하는 긴 비디오 (최대 513 프레임, 16 배 확장) 에도 품질 저하 없이 편집을 적용할 수 있게 했습니다.
3. VideoCoF-Bench 구축: 다중 객체 제거, 추가, 교체, 로컬 스타일 전환 등 복잡한 인스턴스 레벨 편집을 평가하기 위한 새로운 벤치마크를 구축했습니다.
4. 데이터 효율성: 100 만 개 이상의 데이터를 사전 학습한 기존 모델들과 달리, 단순히 50,000 개의 비디오 쌍으로만 미세 조정 (fine-tuning) 하여 최첨단 (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능 (VideoCoF-Bench):
  • 지시 준수 (Instruction Following): 기존 최상위 모델 (ICVE, LucyEdit 등) 대비 15.14% 향상된 점수를 기록했습니다.
  • 성공률 (Success Ratio): 18.6% 향상되어, 복잡한 다중 객체 편집에서 훨씬 높은 정확도를 보였습니다.
  • 데이터 효율성: 100 만 개 사전 학습 + 15 만 개 미세 조정 데이터를 사용한 ICVE 를 5 만 개 데이터만으로도 능가했습니다.
• 정성적 평가:
  • 다중 객체 제거/추가: 특정 객체 (예: "오른쪽의 녹색 셔츠 입은 남자") 를 정확히 식별하여 편집하고, 다른 객체는 보존하는 능력이 뛰어났습니다.
  • 길이 확장: 33 프레임으로 훈련된 모델이 141 프레임 (4 배) 및 513 프레임 (16 배) 의 긴 비디오에서도 모션 정렬과 일관성을 유지하며 편집이 가능했습니다.
• 추론 형식 분석: 검은색 마스크나 빨간색 하이라이트보다 **회색 투명도 하이라이트 (Gray Mask)**가 추론 토큰으로 가장 효과적임을 입증했습니다.

5. 의의 및 결론 (Significance)

VideoCoF 는 비디오 편집 분야에서 추론 (Reasoning) 기반의 패러다임 전환을 제시했습니다. 단순히 텍스트와 이미지를 매칭하는 것을 넘어, 모델이 "어디를 편집할지" 먼저 추론하는 과정을 거치게 함으로써 공간적 정밀도를 획기적으로 높였습니다. 또한, RoPE 설계의 혁신을 통해 비디오 생성 모델의 **길이 확장 한계 (Length Extrapolation)**를 극복하여, 짧은 클립으로 훈련된 모델이 긴 영상에서도 작동할 수 있음을 증명했습니다.

이 연구는 적은 데이터로도 고품질의 통합 비디오 편집이 가능함을 보여주었으며, 향후 더 복잡한 비디오 이해 및 생성 작업에 대한 새로운 방향성을 제시합니다.