Co-Director: Agentic Generative Video Storytelling

다음은 "Co-Director: Agentic Generative Video Storytelling" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

확산 모델 (diffusion models) 이 고충실도 비디오 생성을 달성했음에도 불구하고, 이러한 클립을 일관된 장편 스토리텔링으로 변환하는 것은 여전히 큰 과제로 남아 있습니다. 기존 접근 방식은 세 가지 주요 한계에 직면해 있습니다:

• 의미적 편향 (Semantic Drift) 및 연쇄적 실패: 기존 에이전트 파이프라인은 독립적인 모듈들의 선형적, "폭포수 (waterfall)"형 체인 (예: 대본 $\to$ 스토리보드 $\to$ 비디오) 에 의존합니다. 초기 단계의 오류가 하위로 전파되어 캐릭터의 외형 변경 (정체성 편향) 과 서사적 불일치를 초래합니다.
• 전역 최적화 부재: 현재 시스템은 정적이며 수동으로 제작된 프롬프트를 사용합니다. 고차원적인 창의적 의도를 하위 생성 단계에 매핑하는 메커니즘이 부족하여, 새로운 서사 전략을 탐색하거나 탐색 (exploration) 과 활용 (exploitation) 사이의 균형을 맞추지 못합니다.
• 평가 간극: 기존 벤치마크는 분리된 하위 작업 (예: 텍스트 - 이미지) 에 초점을 맞추거나, 기억된 실세계 개체에 의존하여, 엄격한 제약 하에서의 진정한 엔드 - 투 - 엔드 스토리텔링 능력을 평가하지 못합니다.

2. 방법론: Co-Director 프레임워크

저자들은 비디오 스토리텔링을 전역 최적화 문제로 공식화하는 Co-Director라는 계층적 다중 에이전트 프레임워크를 제안합니다. 이 시스템은 전역 전략 선택을 위한 멀티 - 암 밴딧 (Multi-Armed Bandit, MAB) 과 지역적 자기 정제 루프를 통합합니다.

A. 계층적 다중 에이전트 아키텍처

이 시스템은 흐름과 전역 상태를 관리하는 중앙 **오케스트레이터 에이전트 ($\Phi_{orch}$)**에 의해 조정됩니다:

1. 전제작 에이전트 ($\Phi_{pre}$): 사용자 프롬프트와 참조 시각 자료를 구조화된 **스토리보드 ($S$)**로 변환합니다. 생성물은 다음과 같습니다:
   • 크리에이티브 브리프: 문맥적 풍부화.
   • 스토리라인 ($L$): 장면별 대본.
   • 시각 자산 ($V$): 누락된 캐릭터/소품 참조 생성.
   • 스토리보드: 카메라 운동 및 오디오 지시를 포함한 상세한 장면 설명서.
2. 제작 에이전트 ($\Phi_{prod}$): 스토리보드에서 멀티모달 아티팩트를 합성합니다:
   • 키프레임 에이전트 ($\Phi_{frame}$): 초기 프레임을 생성하여 시각적 사전 지식을 확립하고 정체성 편향을 방지합니다.
   • 비디오 에이전트 ($\Phi_{video}$): 키프레임을 기반으로 비디오 확산 모델을 조건화하여 클립 ($C$) 을 생성합니다.
   • 오디오 에이전트 ($\Phi_{audio}$): 전역 지시에 기반하여 내레이션과 음악을 합성합니다.
3. *포스트프로덕션 에이전트 ($\Phi_{post}$): 클립과 오디오를 조립하여 최종 비디오 ($F$) 를 완성합니다.

B. 멀티 - 암 밴딧 (MAB) 을 통한 전역 최적화

선형적 프롬프팅 대신, Co-Director 는 창의적 과정을 계층적 파라미터 공간($\theta$) 에 대한 탐색으로 간주합니다.

• 액션 공간: 세 가지 직교 축으로 정의됩니다:
  1. 크리에이티브 전략 ($\theta_{cs}$): 정보 제공형, 변형형, 또는 비교형.
  2. 서사 모드 ($\theta_{nm}$): 분석형, 비니에트 (Vignette), 또는 서사 드라마.
  3. 미적 원형 ($\theta_{aa}$): 명료성/에너지, 시네마틱 프리미엄, 미니멀리즘 초점, 또는 키네틱 그릿 (Kinetic Grit).
• 메커니즘: MAB(UCB1 알고리즘 사용) 는 각 반복마다 이러한 파라미터들의 조합 ($\theta^{(t)}$) 을 선택합니다. 오케스트레이터는 이를 하위 에이전트 프롬프트에 주입되는 구체적인 지시사항으로 합성하여, 모든 에이전트가 통일된 창의적 의도와 정렬되도록 합니다.
• 보상 신호: MLLM 심사관은 최종 비디오를 평가하여 분해된 보상 신호 $R = (r_{cs}, r_{nm}, r_{aa})$를 출력합니다. 이는 실행 품질로부터 창의적 전략의 평가를 분리하여, MAB 가 성공을 이끈 구체적인 파라미터를 격리할 수 있게 합니다.
• 웜 스타트 (Warm Start): LLM 이 제품 도메인에 기반하여 MAB 의 기대값을 초기화함으로써, 초기 탐색을 이론적으로 타당한 구성으로 편향시킵니다.

C. 에이전트 자기 정제를 통한 지역 최적화

오류 전파를 방지하기 위해 시스템은 피드백 하강 (feedback descent) 루프를 사용합니다:

• 스토리라인 정제: LLM 이 후크의 질, 일관성, 제품 통합 여부를 평가하여 점수가 임계값 미만일 경우 프롬프트를 재작성합니다.
• 키프레임 정제: MLLM 이 개별적으로가 아닌 키프레임 시퀀스를 공동으로 평가하여 정체성 편향과 환경적 불일치를 감지하고, 결함이 있는 프레임만 선택적으로 재생성합니다.

3. 주요 기여

1. Co-Director 프레임워크: MAB 기반 조정을 사용하여 생성적 스토리텔링을 전역 최적화 문제로 공식화한 최초의 시스템으로, 선형 파이프라인을 넘어 계층적이고 일관된 아키텍처로 이동했습니다.
2. 계층적 파라미터화: 고차원 전략을 하위 에이전트를 위한 구체적이고 실행 가능한 지시사항으로 분해하여 에이전트 간에 창의적 의도를 전파하는 새로운 방법으로, 의미적 충돌을 방지합니다.
3. GenAd-Bench: 200 개의 가상의 제품을 대상으로 한 400 개의 시나리오로 구성된 엄격한 새로운 벤치마크입니다. 모델의 암기 (memorization) 를 방지하기 위해 가상의 개체를 사용하며, 시각 자산 충실도, 인구통계학적 정렬, 마케팅 매력을 엄격하게 제약합니다.
4. 분해된 보상 메커니즘: 전략적 유효성을 실행 품질에서 분리하는 새로운 평가 접근법으로, 미분 불가능한 파이프라인에서 정밀한 크레딧 할당을 가능하게 합니다.

4. 실험 결과

저자들은 Co-Director 를 모놀리식 모델 (Veo 3.1, Wan 2.6), 상업적 플랫폼 (HeyGen, Creatify), 기타 에이전트 프레임워크 (AniMaker, MovieAgent) 를 포함한 최첨단 베이스라인과 비교하여 GenAd-Bench 에서 평가했습니다.

• 성능: Co-Director 는 평균 점수 (81.4/100) 를 기록하여 다음으로 높은 에이전트 베이스라인 (MovieAgent, 65.3) 과 모놀리식 모델 (Veo 3.1, 63.6) 을 크게 앞섰습니다.
• 주요 지표:
  • 시각 자산 충실도 (VAF): 82.1 (Wan 2.6 의 67.0 대비).
  • 인구통계학적 정렬 (DA): 91.4 (MovieAgent 의 81.3 대비).
  • 마케팅 매력도 (MA): 82.0.
  • 시각 품질 (VQ): 70.2.
• 애블레이션 연구 (Ablation Studies):
  • MAB 최적화 제거 (무작위 탐색) 시 평균 점수가 75.7 로 하락했습니다.
  • 지역적 자기 정제 (스토리라인 또는 키프레임) 제거 시 서사 일관성과 자산 충실도가 크게 하락했습니다 (예: 키프레임 정제 없이 VAF 가 약 9.8 점 하락).
  • "분해된 보상" 설계가 결정적이었으며, 이를 단일 스칼라로 축소하면 성능이 5.0 점 감소했습니다.
• 효율성: 웜 스타트가 포함된 MAB 는 처음 몇 번의 반복에서 고품질 결과에 수렴한 반면, 무작위 탐색은 동등한 구성을 찾기 위해 훨씬 더 많은 반복이 필요했습니다.

5. 의의

• 원칙적 창의 자동화: Co-Director 는 생성형 비디오가 단순한 프롬프트 추종을 넘어 전략적 창의적 추론으로 이동할 수 있음을 보여주며, 새로운 아이디어의 탐색과 검증된 스타일의 활용 사이의 균형을 맞춥니다.
• 독립 제작자를 위한 확장성: 대본, 시각적 일관성, 연출의 복잡한 조정을 자동화함으로써, 이전에는 대규모 팀에게만 접근 가능했던 고급 시네마틱 제작을 민주화합니다.
• 강건한 평가: GenAd-Bench 의 도입은 엔드 - 투 - 엔드 생성 워크플로우 평가에 대한 새로운 기준을 설정하며, 특히 현재 벤치마크의 "암기 편향" 문제를 해결합니다.
• 일반화 가능성: 광고 분야에서 입증되었지만, 이 프레임워크의 엄격한 제약 처리 및 정체성 유지 능력은 더 넓은 시네마틱 내러티브, 단편 영화, 개인화된 콘텐츠 제작에도 적용 가능함을 시사합니다.

요약하자면, Co-Director는 오류가 발생하기 쉬운 선형 생성 파이프라인에서 전역적으로 최적화되고 자기 수정이 가능한 에이전트 시스템으로의 패러다임 전환을 나타내며, 서사적 일관성, 시각적 일관성, 그리고 전략적 정렬 분야에서 최첨단 결과를 달성했습니다.