기술 요약: VEBENCH

문제 제기

실제 세계의 비디오 편집은 영화 기법에 대한 전문 지식뿐만 아니라, 영상을 선택하고 정렬하며 결합하여 일관된 내러티브를 구성하기 위한 고급 멀티모달 추론을 요구하는 복잡한 인지 과정입니다. 최근의 대규모 멀티모달 모델 (LMM) 이 일반적인 비디오 이해 분야에서 상당한 진전을 보였음에도 불구하고, 다중 비디오 추론과 운영적 편집 워크플로우에 대한 능력은 여전히 largely 탐구되지 않은 상태입니다.

이 분야의 기존 벤치마크 (예: VEU-Bench, ShotBench) 는 두 가지 주요 한계를 겪고 있습니다:

1. 제한된 범위: 매우 짧은 클립 (평균 약 6 초) 에 대한 지식 기반 이해를 주로 평가하며, 오디오 - 비디오 동기화와 장거리 시간적 맥락을 간과한 채 시각적 단서에 거의 전적으로 의존합니다.
2. 운영적 추론의 부재: 내러티브를 구축하기 위해 여러 소스의 영상을 선택하고 정렬하며 결합하는 핵심 편집 워크플로우를 간과합니다. 이는 의도를 인지한 의사 결정과 교차 비디오 추론을 요구하며, 현재 모델들은 이러한 능력을 결여하고 있습니다.

방법론

이러한 격차를 해소하기 위해 저자들은 현실적인 시나리오에서 편집 지식 이해와 운영적 추론을 모두 평가하도록 설계된 최초의 포괄적인 벤치마크인 VEBENCH를 소개합니다. 이 벤치마크는 1,400 시간 이상의 작업 시간을 투입한 엄격한 3 단계 인간 - AI 협업 주석 파이프라인을 통해 구축되었습니다.

데이터셋 구성

VEBENCH 는 3.9K 개의 고품질 편집된 영상(257 시간 이상) 과 3,080 개의 인간 검증 QA 쌍으로 구성됩니다. 이 데이터셋은 영화 및 블로그 스타일 콘텐츠를 광범위하게 다루며, 평균 영상 길이는 213 초이고 클립당 평균 3.27 개의 주석 편집 컷이 포함되어 있습니다.

작업 정의

이 벤치마크는 인간의 편집 인지를 근사화하는 두 가지 상호 보완적인 QA 작업을 정의합니다:

1. 비디오 편집 기법 인식 (TechRec):

   • 목표: 멀티모달 단서 (시각 및 청각) 를 사용하여 7 가지 특정 편집 기법을 식별하는 모델의 능력을 평가합니다.
   • 기법: L-Cut, J-Cut, Jump Cut, Smash Cut, Cutaway, Invisible Cut, Match Cut.
   • 과제: 시간적 전환에 대한 세밀한 지각, 장면 간 오디오 연속성, 그리고 리드미컬한 템포 조절이 필요합니다.

2. 비디오 편집 작업 시뮬레이션 (OpSim):

   • 목표: 여러 후보 중 가장 적합한 영상을 선택하고 기준 영상에 삽입할 정확한 시간 구간을 국소화하도록 모델을 요구함으로써 실제 세계의 편집 워크플로우를 모방합니다.
   • 형식: 기준 클립 (A-Roll) 과 후보 영상 목록이 주어지면, 모델은 올바른 영상 (B-Roll) 을 선택하고 삽입할 시작/종료 타임스탬프 (기준 영상의 시작 또는 끝) 를 결정해야 합니다.
   • 과제: 다중 비디오 추론을 도입하여 모델이 편집 의도를 추론하고 독립적인 소스 간 내러티브 연속성을 구성하도록 요구합니다.

주석 파이프라인

• TechRec: 주석자들은 전환 지점을 찾아 특정 기법으로 레이블링합니다. 검증에는 교차 검증과 오디오 - 비디오 정렬에 대한 자동 확인이 포함됩니다.
• OpSim: LMM 지원 메타데이터 생성, A/B-Roll 페어링 (인과관계나 설명과 같은 8 가지 내러티브 관계 유형으로 분류), 후보 영상 선택, 그리고 오답 생성을 포함하는 다단계 프로세스입니다.

주요 기여

1. 통합 프레임워크: 지식 이해 (인식) 와 운영적 추론 (선택/국소화) 을 통합하는 새로운 비디오 편집 작업의 정립으로, 복잡한 멀티모달 및 다중 비디오 추론을 위한 실용적인 테스트베드를 제공합니다.
2. VEBENCH 벤치마크: 실제 세계 영상에서 수집된 다양하고 세밀한 편집 시나리오를 특징으로 하는 전문적으로 주석된 데이터셋으로, 3 단계 인간 - AI 협업 과정을 통해 검증되었습니다.
3. 포괄적인 평가: 주요 독점 모델 (예: Gemini-2.5-Pro, GPT-4o) 과 오픈소스 LMM (예: Qwen-VL, InternVL) 에 대한 광범위한 평가를 통해 향후 연구를 위한 기준선을 확립했습니다.

실험 결과

저자들은 VEBENCH 에서 최첨단 모델을 평가하여 현재 AI 능력과 인간 수준의 편집 추론 사이에 상당한 성능 격차가 있음을 밝혔습니다:

• 전체 성능: 가장 강력한 독점 모델인 Gemini-2.5-Pro조차도 크게 어려움을 겪습니다. 다른 모델들보다 성능이 우수하지만, 그 점수는 실제 편집 애플리케이션의 요구 사항에 비해 여전히 훨씬 낮습니다.
• TechRec: 오디오 단서가 필수임이 입증되었습니다. 오디오 이해가 없는 모델은 특히 장면 간 소리 연속성에 의존하는 J-Cut 과 L-Cut 에서 성능이 저조합니다.
• OpSim:
  • 영상 선택 (OpSim-FS): 모델들은 부분적인 추론 능력을 보여주며, Gemini-2.5-Pro 는 약 44% 의 정확도를 달성했습니다.
  • 시간적 국소화: 거의 모든 모델이 정확한 시간적 근거 설정에서 완전히 실패하여 tIoU 점수가 0 에 근접했습니다. 오직 Gemini-2.5-Pro 만이 비자명한 결과 (tIoU ≈ 0.11) 를 생성했지만, 이는 여전히 전문 워크플로우에는 부족합니다.
• 애블레이션 연구:
  • 자막: 자막의 존재는 일관되게 성능을 향상시키며, 의미적 근거를 위한 경량 교차 모달 브릿지 역할을 합니다.
  • 시각적 프롬프트: 스티치된 영상 입력에서 시간적 일관성을 유지하는 데에는 갑작스러운 구분자 (프레임 구분자) 보다 연속적인 시각적 단서 (화면 내 텍스트) 가 더 우수합니다.

식별된 한계

이 평가는 현재 LMM 의 세 가지 중요한 한계를 강조합니다:

1. 약한 오디오 - 비디오 통합: 모델들은 종종 비전과 오디오를 독립적으로 처리하여 J-/L-Cut 과 같은 기법에 필요한 동기화된 단서를 포착하지 못합니다.
2. 제한된 시간적 용량: 많은 모델이 짧은 시퀀스로 제한되어 수백 프레임에 걸친 세밀한 운동과 스타일적 변화를 놓칩니다.
3. 부정확한 시간적 국소화: 모델들은 영상의 시작 부분 근처의 타임스탬프를 예측하는 경향이 있어, 비디오 연속성과 편집 논리에 대한 견고한 내부 표현이 부족함을 나타냅니다.

의의

VEBENCH 는 비디오 이해와 창의적 운영적 추론을 연결할 시급한 필요성을 강조하는 진단 도구 역할을 합니다. 이 논문은 현재 모델들이 인간 수준의 편집 지능을 달성하는 데는 아직 멀었다고 주장합니다. 수동적인 비디오 이해에서 능동적이고 인간과 같은 편집으로의 진전을 체계적으로 평가함으로써, VEBENCH 는 실제 세계 비디오 편집 컨텍스트에서 복잡한 추론이 가능한 차세대 멀티모달 시스템 개발의 기초를 마련합니다. 저자들은 이 벤치마크를 지능형 비디오 편집 시스템 발전과 복잡한 멀티모달 추론에 대한 향후 연구를 주도하는 토대로 보고 있습니다.