VideoAgent: All-in-One Framework for Video Understanding and Editing

기술 요약: VideoAgent

문제 정의

비디오 편집은 디지털 미디어 제작의 초석이 되었으나, 현재의 자동화 시스템은 전문적인 품질의 롱폼(long-form) 콘텐츠 제작을 저해하는 두 가지 결정적인 한계에 직면해 있습니다:

1. 제한된 범위와 다양성: 기존 방식은 주로 짧은 세그먼트 처리에 국한되거나 특정 도메인 작업(예: 요약만 수행하거나 비트 싱크만 수행)에 제한되어 있습니다. 이들은 내러티브 구조화, 오디오 합성, 시각적 검색과 같이 실제 시나리오에서 요구되는 다양한 연산을 처리할 수 있는 능력이 부족합니다.
2. 롱 비디오 이해 및 계획 능력의 부재: 현재의 시스템은 긴 시간 동안 일관된 내러티브를 생성하는 데 어려움을 겪습니다. 이들은 복잡한 스토리 구조를 구체적인 샷 시퀀스로 분해하는 상위 수준의 계획(top-down planning) 능력이 부족하며, 이로 인해 충분한 길이와 내러티브 일관성을 갖춘 비디오 생성이 불가능합니다.

방법론

저자들은 비디오 이해와 편집을 통합하기 위해 설계된 올인원 에이전트 프레임워크인 VideoAgent를 제안합니다. 이 방법론은 두 가지 주요 혁신을 기반으로 구축되었습니다:

1. 자동 비디오 샷 생성 (Automated Video Shot Creation)

일관된 롱폼 계획의 과제를 해결하기 위해, VideoAgent는 **샷 플래닝 에이전트(Shot Planning Agent)**와 교차 모달 검색(Cross-Modal Retrieval) 시스템을 채택합니다:

• 샷 플래닝 (Shot Planning): 시스템은 각 샷의 시각적 내용을 정의하는 구조화된 자연어 스토리보드($S$)를 생성합니다. 이 과정은 가용 가능한 원천 자료($M$)로부터 시각적 컨텍스트($C$)를 먼저 압축한 후, 이를 사용자 지시사항($I$)과 결려 일련의 샷 설명($s_1, \dots, s_{|V|}$)을 생성하는 전역 인식 메커니즘을 포함합니다. 이는 실행 전 내러티브 구조가 계획되도록 보장합니다.
• 교차 모달 검색 (Cross-Modal Retrieval): 스토리보드가 생성되면, 시스템은 광범위한 라이브러리에서 의미론적으로 정렬된 시각적 콘텐츠를 검색합니다. ImageBind, CLIP과 같은 교차 모달 인코더를 활용하여 스토리보드 텍스트와 비디오 키프레임을 통일된 임베딩 공간으로 매핑하고, 스토리보드 설명과 코사인 유사도가 가장 높은 클립을 선택합니다.
• 세밀한 트리밍 (Fine-Grained Trimming): 내러티브 리듬과 대사에 맞추기 위해, **트리밍 에이전트(Trimming Agent)**는 시각-언어 모델(VLM)을 사용하여 검색된 원천 자료에서 정밀한 서브 세그먼트를 선택함으로써 스토리보드의 타이밍 요구사항과 시간적 정렬을 보장합니다.

2. 멀티 에이전트 그래프 오케스트레이션 (Multi-Agent Graph Orchestration)

복잡하고 다단계인 편집 워크플로우를 관리하기 위해, VideoAgent는 30개 이상의 특화된 에이전트(예: 오디오 추출, 리듬 감지, 페이스 스와핑, 음성 복제 등)를 통합하는 멀티 에이전트 오케스트레이션 프레임워크를 도입합니다.

• 에이전트 라이브러리: 시스템은 도구를 기초적인 프로세싱 유틸리티(예: 오디오 추출, 립싱크)와 창의적 생성 에이전트(예: 스크립트 작성, 밈 생성)로 분류합니다.
• 텍스추얼 그래디언트 그래프 최적화 (Textual-Gradient Graph Optimization): 단일 패스 방식의 일반적인 그래프 생성과 달리, VideoAgent는 워크플로우 구축을 반복적인 최적화 문제로 취급합니다. 이 시스템은 LLM이 현재 에이전트 그래프의 토폴로지와 품질 지표(구조적 유효성, 의도 커버리지, 엣지 일관성)를 분석하는 텍스추얼 그래디언트 그래프 최적화 방식을 사용합니다. LLM은 자연어로 된 "텍스추얼 그래디언트"를 생성하여, 워크플로우가 사용자의 의도와 구조적 제약 조건을 충족할 때까지 누락된 에이전트를 추가하거나, 유효하지 않은 의존성을 제거하거나, 실행 순서를 재정렬하는 방식으로 그래프를 반복적으로 정교화합니다.

주요 기여

1. 올인원 에이전트 프레임워크: VideoAgent는 비디오 이해와 편집을 하나의 프레임워크로 통합하여 다양한 장르(예: 뮤직 비디오, 스토리텔링, 뉴스 개요, 밈 편집)와 제작 워크플로우를 처리할 수 있습니다.
2. 새로운 기술적 솔루션:
   • 전역 인식 샷 생성 (Global-Aware Shot Creation): 고수준의 내러티브 지시사항과 세밀한 시각적 검색 사이의 간극을 메우는 일관된 롱 비디오 계획 메커니즘입니다.
   • 텍스추얼 그래디언트 그래프 최적화 (Textual-Gradient Graph Optimization): 정적 휴리스틱이 아닌 명시적인 품질 지표를 바탕으로 에이전트 그래프를 반복적으로 정교화함으로써 복잡한 편집 파이프라인을 적응적으로 조립하는 방법입니다.
3. 포괄적인 평가: 저자들은 고품질의 지시사항과 인간 정렬 평가 지표를 특징으로 하는 VideoEdit 벤치마크를 도입했습니다. 또한 30개 이상의 특화된 도구 에이전트 제품군을 공개했습니다.

실험 결과

VideoEdit 벤치마크와 공개 데이터셋(Shot2Story, VideoRepurpose)에 대한 광범한 실험은 VideoAgent의 우수성을 입증합니다:

• 오케스트레이션 성공률: VideoAgent는 다양한 백본 모델(예: Claude-Sonnet-4, GPT-4o)에 걸쳐 87%에서 95% 사이의 성공률을 달이는 것으로 나타났으며, 이는 기존의 멀티모달 LLM 및 에이전트 시스템보다 2~25% 더 높은 성능입니다.
• 비디오 이해: 본 프레임워크는 검색 지표를 크게 향상시킵니다. 예를 들어, GPT-4o를 백본으로 사용할 경우 Recall@1은 31.22%에서 **48.85%**로 증가하였고, IoU(Intersection over Union)는 18.53%에서 26.99%로 개선되었습니다.
• 비용 효율성: 전략적인 샷 플랜닝과 타겟팅된 검색을 채택함으로써, VideoAgent는 모든 후보 샷을 처리하는 베이스라인 대비 API 비용을 약 60% 절감합니다.
• 인간 평가: 18개의 트렌딩 비디오 카테고리를 평가한 26명의 참가자를 대상으로 한 연구에서, VideoAgent는 인간이 제작한 비디오와 품질 평가에서 단 4% 차이만을 보이며 전문가 수준의 성능에 근접한 콘텐츠를 생성했습니다.

의의

본 논문은 VideoAgent를 콘텐츠 제작에 대한 광범위한 수요와 전문적인 비디오 편집의 기술적 장벽 사이의 간극을 메우는 중요한 단계로 자리매김합니다. 에이전트 프레임워크가 자율적으로 일관된 롱폼 내러티브를 계획하고 복잡한 멀티모달 워크플로우를 오케케스트레이션할 수 있음을 입증함으로써, 저자들은 새로운 자동 비디오 제작의 표준을 세웠다고 주장합니다. 이 연구는 향후 비디오 편집 시스템이 고립된 작업 자동화를 넘어, 구조와 실행 모두에서 인간의 창의성에 필적하는 총체적이고 제품 수준의 콘텐츠 생성으로 나아갈 수 있음을 시사합니다.