DIRECT: Video Mashup Creation via Hierarchical Multi-Agent Planning and Intent-Guided Editing

논문 요약: DIRECT (계층적 다중 에이전트 계획 및 의도 기반 편집을 통한 비디오 매시업 생성)

1. 문제 정의 (Problem Definition)

기존의 자동화된 비디오 편집 프레임워크는 주로 의미론적 (semantic) 검색에 의존하여 대본에 맞는 장면을 선택하는 데 초점을 맞추고 있습니다. 그러나 비디오 매시업 (Video Mashup, 예: 영화 몽타주, 애니메이션 뮤직 비디오) 은 단순한 의미 일치 이상의 고도화된 창의적 편집을 요구합니다.

• 한계점: 기존 방법들은 시각적 연속성 (motion flow, framing), 음악적 리듬 (beat-cut synchronization), 그리고 감정적 흐름 (narrative flow) 간의 다중 모달 (multimodal) 조율을 간과합니다. 이로 인해 시각적 전환이 급격하거나 음악과 비동기적인 단절된 결과가 나옵니다.
• 핵심 문제: 비디오 매시업 생성은 단순한 샷 선택이 아니라, 다중 모달 일관성 만족 문제 (Multimodal Coherency Satisfaction Problem, MMCSP) 로 정의될 수 있습니다. 이는 고수준의 서사 구조 정렬, 로컬 세그먼트의 일관성, 그리고 저수준의 시각/청각 정밀 정렬을 동시에 만족시켜야 하는 복잡한 최적화 문제입니다.

2. 제안 방법: DIRECT 프레임워크

저자들은 MMCSP 를 해결하기 위해 DIRECT (Dynamic Intent for Retrieval & Editing for Cinematic Transitions) 라는 계층적 다중 에이전트 프레임워크를 제안했습니다. 이 시스템은 전문적인 영화 제작 프로세스 (시나리오 작가, 감독, 편집자) 를 모방하여 세 단계로 작업을 분해합니다.

A. 핵심 모듈 (3 단계 에이전트)

1. 시나리오 작가 (Screenwriter) - 글로벌 구조 정렬:

   • 역할: 거대한 원본 영상 라이브러리를 분석하고 음악 구조에 맞춰 전역적인 내러티브 아크를 설계합니다.
   • 작동 방식:
     • 소스 분석: 수천 개의 원본 샷을 의미론적 클러스터링과 캡셔닝을 통해 구조화된 '영상 요약 (Footage Summary)'으로 변환합니다.
     • 구조 고정 (Structure Anchoring): 음악의 구조 (Intro, Verse, Chorus 등) 와 영상 요약, 사용자 의도를 결합하여 각 음악 섹션에 맞는 전역적 구조 계획 (Global Structural Plan) 을 수립합니다. (예: 도입부는 긴장감 있는 클로즈업, 클라이맥스는 폭발 장면 매칭)

2. 감독 (Director) - 로컬 세그먼트 일관성 구체화:

   • 역할: 시나리오 작가의 추상적인 계획을 구체적인 편집 의도 (Intent) 로 변환하고, 편집 가이드를 생성합니다.
   • 작동 방식:
     • 의도 기반 가이드 생성: 각 음악 섹션을 더 작은 세그먼트로 나누어 검색 쿼리 (Semantic Query), 편집 휴리스틱 (Editing Heuristic, 예: 모션 연속성 우선 vs 의미 정확도 우선), 리듬 페이싱 (Rhythmic Pacing, 비트 단위 샷 길이) 을 정의합니다.
     • 폐쇄 루프 검증 (Closed-Loop Validation): 편집자가 생성한 후보 시퀀스를 평가합니다. 만약 가이드와 맞지 않거나 샷이 부족하면, 쿼리를 동적으로 완화하거나 변경하여 다시 시도합니다. 이는 편집 실패를 방지하고 최적의 결과를 보장합니다.

3. 편집자 (Editor) - 의도 기반 샷 시퀀스 편집:

   • 역할: 감독의 가이드에 따라 실제 샷을 검색하고 최적의 시퀀스를 구성하여 저수준 일관성 지표를 최적화합니다.
   • 작동 방식:
     • 제약 조건付き 경로 탐색 (Constrained Path Search): 미리 추출된 프레임 단위 특징 (광학 흐름, 세일리언시 맵 등) 을 기반으로 샷 그래프에서 최적 경로를 탐색합니다.
     • 동적 슬라이딩 윈도우 트리밍 (Dynamic Sliding-Window Trimming): 샷의 시작/끝을 프레임 단위로 정밀하게 조정하여 이전 샷과의 모션 연속성과 음악 비트와의 정렬을 극대화합니다.

B. 최적화 목표 (MMCSP)
시스템은 다음 세 가지 계층의 제약을 동시에 만족하도록 최적화합니다:

1. 글로벌 구조 정렬 (Global Structural Alignment): 내러티브 흐름과 음악 진행의 일치.
2. 로컬 세그먼트 일관성 (Local Segment Cohesion): 시각 콘텐츠와 편집 스타일의 적응적 조화 (예: 추격 장면은 빠른 컷, 감정 장면은 안정된 샷).
3. 저수준 일관성 (Low-Level Coherency):
   • 시각: 모션 연속성 (Optical Flow), 프레임 구성 일치 (Framing Consistency).
   • 청각: 비트 컷 동기화 (Beat-Cut Sync), 에너지 대응 (Energy Correspondence).

3. 주요 기여 (Key Contributions)

1. MMCSP 공식화: 비디오 매시업 생성을 의미 중심이 아닌, 다중 모달 일관성 (고수준 의도 + 저수준 메트릭) 을 만족하는 최적화 문제로 재정의했습니다.
2. DIRECT 프레임워크 개발: 계층적 다중 에이전트 (Screenwriter, Director, Editor) 를 도입하여 복잡한 편집 작업을 분해하고, 폐쇄 루프 검증을 통해 유연하게 대응하는 시스템을 구축했습니다.
3. Mashup-Bench 구축: 비디오 매시업 평가를 위해 시각적 연속성과 청각적 동기화를 측정하는 전용 메트릭과 데이터셋을 포함하는 새로운 벤치마크를 제안했습니다.

4. 실험 결과 (Results)

• 벤치마크: Mashup-Bench (다양한 장르의 15 개 영화 시리즈, 38 개 영상, 64,000 개 샷, 10 개 음악 트랙) 에서 실험 수행.
• 비교 대상: T2V (전통적 검색 기반), MMSC (최신 엔드 - 투 - 엔드 프레임워크), VideoAgent (최신 에이전트 기반 프레임워크) 와 비교.
• 정량적 평가:
  • DIRECT 는 시각적 연속성 (Motion Continuity, Framing Consistency) 과 청각적 정렬 (Beat-Cut Sync, Energy Correspondence) 지표에서 모든 베이스라인을 압도적으로 상회했습니다.
  • 특히 저수준 메트릭 ($m_3, m_4, m_5, m_6$) 에서 큰 개선을 보였습니다.
• 정성적 평가 (Human Evaluation):
  • 60 명의 참가자를 대상으로 한 블라인드 테스트에서 글로벌 구조 정렬, 로컬 세그먼트 일관성, 전체 품질 모두에서 가장 높은 점수를 받았습니다.
  • 특히 로컬 세그먼트 일관성 점수는 차기 최상위 모델 (VideoAgent) 보다 40% 높았습니다.
• 애블레이션 연구: Screenwriter 나 Director 를 제거할 경우 저수준 메트릭은 비슷하지만, 고수준의 구조적 일관성과 세그먼트 일관성이 급격히 하락하여 각 에이전트의 필수성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자동화된 비디오 편집이 단순한 콘텐츠 추출을 넘어, 전문가 수준의 예술적 조율 (Orchestration) 을 달성할 수 있음을 증명했습니다.

• 기술적 의의: 대규모 언어 모델 (LLM) 의 고수준 추론 능력과 저수준의 정밀한 시각/청각 최적화 알고리즘을 계층적으로 결합한 새로운 패러다임을 제시했습니다.
• 실용적 의의: 사용자가 간단한 텍스트 명령만으로 영화, 애니메이션 등 다양한 소스에서 고품질의 리듬감 있는 매시업 영상을 자동 생성할 수 있는 가능성을 열었습니다.
• 향후 과제: 에이전트의 환각 (Hallucination) 문제와 극단적인 시각 조건에서의 특징 추출기 한계를 해결하기 위해 더 견고한 소스 요약 및 도메인 적응 연구가 필요함을 지적했습니다.

요약하자면, DIRECT는 비디오 매시업 생성을 단순한 검색 문제가 아닌, 의도 기반의 계층적 계획과 정밀한 최적화가 결합된 복잡한 문제로 접근함으로써, 기존 자동 편집 시스템의 한계를 극복하고 인간 전문가에 버금가는 결과물을 만들어내는 획기적인 프레임워크입니다.