IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment

1. 문제 정의 (Problem)

최근 자연어 지시 (Instruction) 에 따라 비디오를 편집하는 지시 기반 비디오 편집 (Instruction-Guided Video Editing, IVE) 기술이 급격히 발전하고 있습니다. 그러나 기존 벤치마크들은 IVE 평가에 다음과 같은 심각한 한계를 가지고 있습니다:

• 데이터 다양성 부족: 소스 비디오의 의미적 범위가 제한적이며, 장면과 편집 지시어의 다양성이 부족합니다.
• 편집 프롬프트의 제한: 편집 지시어가 단순하거나 세분화되지 않아 실제 복잡한 편집 요구사항을 반영하지 못합니다.
• 불완전한 평가 지표: 기존 평가는 주로 화질이나 기본적인 정렬에 국한되어 있으며, 멀티모달 대형 언어 모델 (MLLM) 을 활용한 심층적인 의미 이해나 지시 준수도를 종합적으로 평가하지 못합니다.
• 평가 대상의 부재: 대부분의 기존 벤치마크는 '소스 - 타겟' 프롬프트 기반 방법을 위해 설계되었으며, 지시 기반 (Instruction-based) 방법을 지원하지 못합니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 해결하기 위해 IVEBench라는 새로운 벤치마크 스위트를 제안했습니다. 이는 데이터 수집, 프롬프트 생성, 평가 프로토콜의 세 가지 핵심 혁신을 기반으로 합니다.

가. IVEBench 데이터베이스 (Diverse Video Collection)

• 규모 및 구성: 총 600 개의 고품질 소스 비디오로 구성되며, 32 프레임부터 1,024 프레임까지 다양한 길이를 포함합니다.
• 시맨틱 차원: 7 가지 주요 시맨틱 차원 (감정, 주제, 관점, 운동, 장면, 테마, 시간) 과 30 개의 세부 주제를 체계적으로 커버합니다.
• 선별 과정: Pexels, Mixkit, UltraVideo, OpenHumanVid 등에서 데이터를 수집한 후, 자동 필터링 (블랙 보더, 자막 제거) 과 수동 검수를 거쳐 편집에 적합한 고품질 비디오만 선별했습니다.
• 구조화된 캡션: Qwen2.5-VL-72B 를 사용하여 각 비디오에 대해 주제, 배경, 동작, 분위기 등을 포함한 구조화된 캡션을 생성하여 편집 가능한 요소의 어휘를 구축했습니다.

나. 포괄적인 편집 프롬프트 생성 (Comprehensive Editing Prompts)

• 작업 분류: 8 개의 주요 편집 작업 카테고리 (스타일, 속성, 주제, 양, 주제 운동, 시각 효과, 카메라 운동, 카메라 각도) 와 35 개의 세부 하위 카테고리로 구성됩니다.
• 생성 및 정제: LLM(Doubao-1.5-pro) 을 활용하여 소스 비디오에 맞는 편집 프롬프트, 타겟 프롬프트, 타겟 구절을 자동 생성한 후, 전문가의 검수를 통해 정제했습니다. 이는 기존 벤치마크가 누락했던 운동 편집, 카메라 편집 등 동적 특성을 반영한 작업을 포함합니다.

다. 3 차원 평가 프로토콜 (Three-Dimensional Evaluation Protocol)

IVEBench 는 12 가지 지표를 통해 3 가지 차원에서 비디오를 평가합니다. 기존 전통적 지표와 MLLM 기반 평가를 결합했습니다.

1. 비디오 화질 (Video Quality):
   • 시공간적 일관성: 주제 일관성 (SC), 배경 일관성 (BC), 시간적 깜빡임 (TF), 운동 부드러움 (MS).
   • 공간적 품질: 비디오 훈련 적합성 점수 (VTSS, 미학적 요소, 선명도 등 포함).
2. 지시 준수 (Instruction Compliance):
   • 의미적 일치: 전체 의미 일관성 (OSC), 구문 의미 일관성 (PSC).
   • 지시 만족도 (IS): Qwen2.5-VL 을 활용하여 편집 지시가 얼마나 정확하게 수행되었는지 5 점 척도로 평가.
   • 양 정확도 (QA): 객체 수의 정확성을 Grounding DINO 로 측정.
3. 비디오 충실도 (Video Fidelity):
   • 편집되지 않은 부분의 보존: 의미적 충실도 (SF), 운동 충실도 (MF, Cotracker3 활용), 콘텐츠 충실도 (CF, MLLM 을 활용한 비편집 영역 보존 평가).

3. 주요 기여 (Key Contributions)

1. 대규모 및 다양한 데이터셋: 600 개의 비디오와 35 가지 세부 편집 작업을 포함하는 최초의 포괄적인 IVE 전용 벤치마크를 구축했습니다.
2. MLLM 기반 평가 체계: 전통적인 메트릭과 MLLM 기반 평가를 통합하여, 인간의 인지와 높은 정합성을 가진 객관적이고 포괄적인 평가 프로토콜을 제시했습니다.
3. 새로운 평가 지표: 지시 준수도와 비디오 충실도를 정량화하기 위한 새로운 지표 (IS, CF, MF 등) 를 개발하고, 이들이 인간 평가와 높은 상관관계 (Spearman's Rho 0.72~0.99) 를 보임을 입증했습니다.
4. 오픈소스: 모든 데이터, 코드, 평가 결과를 공개하여 연구의 재현성과 투명성을 보장합니다.

4. 실험 결과 (Results)

저자들은 IVEBench 를 사용하여 InsV2V, AnyV2V, StableV2V, Lucy-Edit, Omni-Video 등 8 가지 최신 IVE 모델을 평가했습니다.

• 종합 성능: 모든 모델의 총점 (Total Score) 이 0.7 미만으로 낮게 나타났으며, 특히 지시 준수 (Instruction Compliance) 점수가 0.5 미만으로 매우 낮았습니다. 이는 현재 모델들이 복잡한 지시를 정확하게 따르는 데 큰 한계가 있음을 의미합니다.
• 세부 분석:
  • 장면 간 일관성: 프레임 간 일관성은 비교적 잘 유지되었으나, 단일 프레임의 화질 (텍스처 흐림, 경계 흐림 등) 이 낮아 충실도 점수가 저하되었습니다.
  • 작업별 한계: 주제 편집이나 스타일 변경은 어느 정도 수행하지만, 주제 운동 편집, 카메라 각도 변경, 양 편집 등 복잡한 작업에서는 성능이 현저히 떨어졌습니다.
  • 모델별 특징:
    • Lucy-Edit: 편집 속도가 가장 빠름.
    • Ditto & InsV2V: 지시 수행 능력과 시각적 무결성 보존 측면에서 상대적으로 우수함.
    • StableV2V: 지시는 잘 따르지만 과도한 수정으로 인해 원본 콘텐츠가 손상되는 경향이 있음.
• 인간 평가 정합성: 30 명의 평가자를 통한 인간 평가 결과, 제안된 자동 평가 지표들이 인간의 선호도와 높은 상관관계 (Spearman's Rho 평균 0.9 이상) 를 보임.

5. 의의 및 결론 (Significance)

• 표준 벤치마크 확립: IVEBench 는 지시 기반 비디오 편집 연구의 표준 평가 도구로 자리 잡을 것으로 기대됩니다.
• 연구 방향 제시: 현재 모델들의 주요 약점 (복잡한 지시 수행 불가, 단일 프레임 화질 저하, 긴 비디오 처리의 비효율성) 을 명확히 드러내어, 향후 연구가 집중해야 할 방향 (더 넓은 작업 범위 지원, 고해상도 처리, 효율적인 긴 시퀀스 처리) 을 제시했습니다.
• MLLM 의 역할: MLLM 을 평가 지표로 통합함으로써, 단순한 픽셀 단위 비교를 넘어 의미적 이해와 지시 준수도를 정밀하게 측정할 수 있는 새로운 패러다임을 제시했습니다.

결론적으로, IVEBench 는 현재 IVE 기술의 발전 수준을 객관적으로 진단하고, 보다 인간 친화적이고 정교한 비디오 편집 모델 개발을 위한 필수적인 인프라를 제공합니다.