기술 요약: 대화 기반 영화적 비디오 생성을 위한 에이전트 프레임워크

1. 문제 제기

최근 비디오 생성 모델 (예: Sora2-Pro, Veo3.1, Wan2.5) 의 발전은 간단한 텍스트 프롬프트에서 고품질의 사실적인 비디오 클립을 합성할 수 있음을 입증했습니다. 그러나 대화와 같은 고수준 개념으로부터 장편의 일관된 내러티브를 생성하려는 시도는 여전히 상당한 '의미적 격차'에 직면해 있습니다. 현재 모델은 희소하고 거친 대화 (coarse-grained dialogue) 를 영화적 실행에 필요한 상세하고 실행 가능한 계획으로 변환하는 데 어려움을 겪습니다. 이러한 한계는 다음과 같은 세 가지 핵심 도전 과제로 나타납니다:

1. 문맥적 모호성: 풍부한 시각적 문맥 없이 희소한 대화에 내재된 모호성을 해소하는 것.
2. 도메인 지식: 기술적으로 유효한 카메라 사양, 무대 지시, 샷 구성을 생성하는 것.
3. 창의적 추론: 내러티브와 시간적 일관성을 유지하기 위해 말해진 것 (대화) 과 보여져야 할 것 (시각적 행동) 사이의 간극을 메우는 것.

기존 접근법은 종종 수동적 설명 (비디오 - 텍스트) 에 의존하거나 자동화된 영화 제작을 안내하는 데 필요한 세밀한 '대본'을 제공하지 못해, 장시간 생성 과정에서 정체성 드리프트, 일관성 없는 스타일링, 내러티브 연속성 상실을 초래합니다.

2. 방법론

저자들은 세 가지 전문 에이전트인 ScripterAgent, DirectorAgent, CriticAgent로 구성된 새로운 엔드 - 투 - 엔드 에이전트 프레임워크를 제안합니다. 이 파이프라인은 수동적 설명에서 실행 가능한 영화 제작 계획의 능동적 생성으로 이동함으로써 기존의 비디오 - 언어 관계를 반전시킵니다.

2.1 ScripterAgent: 대화 - 대본 생성

프레임워크의 핵심은 거친 대화를 세밀하고 구조화된 영화적 대본으로 변환하도록 설계된 ScripterAgent입니다.

• 데이터셋 (ScriptBench): 이 에이전트를 훈련시키기 위해 저자들은 고품질 영화적 컷신에서 파생된 대규모 벤치마크인 ScriptBench(1,750 건) 를 구축했습니다. 이 데이터셋은 풍부한 삼중 모달 컨텍스트 (대화, 오디오, 캐릭터 위치) 를 특징으로 하며, 새로운 전문가 주도 파이프라인을 통해 주석이 달렸습니다:
  1. 문맥 재구성: 다중 모달 입력으로부터 캐릭터 관계, 감정적 경향, 인과 관계를 추론.
  2. 샷 단위 의미 계획: 무결성, 지속 시간 (최대 10 초 제한), 의미적 일관성, 기술적 실현 가능성을 기반으로 내러티브를 샷으로 분할.
  3. 다중 라운드 적응형 오류 수정: 대화 완성도, 캐릭터 일관성, 장면 일관성, 물리적 합리성을 검증하는 자동화 루프를 전문가 감사를 통해 정제.
• 훈련 패러다임: ScripterAgent 는 Qwen-Omni-7B 기반 모델에서 두 단계 훈련 방식을 채택합니다:
  1. 지도 미세 조정 (SFT): 영화적 대본의 구조적 구문 (JSON 형식) 과 내러티브 완성도를 모델에 학습시킵니다.
  2. 강화 학습 (RL): 하이브리드 보상 함수를 사용한 **그룹 상대 정책 최적화 (GRPO)**를 활용합니다. 이 함수는 규칙 기반 구조 보상 (형식, 완성도) 과 인간 선호 보상 (드라마적 긴장감, 시각적 이미지, 템포에 대한 전문가 감독 점수로 훈련됨) 을 결합합니다. 이 단계는 모델을 전문적인 감독 미학과 정렬시킵니다.

2.2 DirectorAgent: 장시간 실행

DirectorAgent는 생성된 대본을 실행하기 위해 최첨단 비디오 생성 모델을 조정합니다. 이는 크로스 - 씬 연속 생성 전략을 통해 현재 모델의 시간적 제한 (일반적으로 8~12 초) 을 해결합니다:

• 지능형 샷 기반 분할: 스크립트는 샷 무결성, 내러티브 비트와 같은 영화적 경계를 존중하고 대상 모델의 생성 창에 맞도록 '장면'으로 분할됩니다.
• 프레임 고정 메커니즘: 장면 간 시각적 연속성을 보장하기 위해 이전 장면 ($N-1$) 의 마지막 프레임이 추출되어 후속 장면 ($0$) 의 첫 번째 프레임을 위한 시각적 앵커 (조건부 이미지) 로 사용됩니다. 이 '시각적 릴레이'는 캐릭터 정체성, 의상, 장면 배치를 유지하여 단순한 분할에서 흔히 발생하는 정체성 드리프트를 완화합니다.

2.3 CriticAgent: 평가 프레임워크

다면적 평가 시스템은 대본 생성과 비디오 생성 모두를 평가합니다:

• AI 평가: LLM(예: gemini-2.5-pro) 을 기반으로 카메라 표현, 신체 언어, 감정적 흐름과 같은 차원에서 구조적 정확성, 샷 합리성, 영화적 품질을 평가합니다.
• 인간 평가: 전문 감독 및 각본가 패널이 드라마적 긴장감, 시각적 이미지, 캐릭터 일관성을 포함한 예술적 품질을 평가합니다.
• 시각 - 대본 정렬 (VSA): 시간 - 의미 충실도를 정량화하기 위해 도입된 새로운 자동화 지표입니다. VSA 는 표준 지표가 콘텐츠의 유무만 확인하는 반면, 시각적 사건이 대본이 지정한 시간 간격 내에서 발생하는지 여부를 측정하여 '언제' 발생하는지 문제를 해결합니다.

3. 주요 결과

ScriptBench 테스트 세트에 대한 광범위한 실험은 이 프레임워크가 여러 최첨단 비디오 모델 (Vidu2, Seedance1.5-Pro, Kling2.6, Wan2.6, HYVideo1.5, Sora2-Pro, Veo3.1) 에서의 유효성을 입증했습니다.

• 대본 생성: 전체 ScripterAgent(SFT + RL) 는 CHAE, MoPS, SEED-Story 와 같은 베이스라인을 크게 능가합니다. 인간 전문가들은 드라마적 긴장감(4.1 대 3.7) 과 시각적 이미지(4.3 대 3.8) 에서 이 모델의 출력을 더 높게 평가했습니다. RL 단계는 구조적 정확성을 넘어 창의적 차원을 높이는 데 결정적인 것으로 확인되었습니다.
• 비디오 생성: ScripterAgent 의 대본을 입력으로 사용하면 모든 테스트된 비디오 모델에서 성능이 보편적으로 향상되었습니다.
  • 충실도: 대본 충실도 점수가 크게 증가했습니다 (예: Wan2.6 은 3.2 에서 4.0 으로; Sora2-Pro 는 3.6 에서 4.2 로).
  • 시간적 일관성: VSA 지표는 향상된 시간 - 의미 일관성을 확인했으며, 일부 경우 점수가 7 점 이상 향상되었습니다 (예: Veo3.1 은 51.4 에서 53.8 로).
  • 일관성: 프레임 고정 전략은 정체성 드리프트를 효과적으로 줄이고 캐릭터 일관성 및 내러티브 일관성을 향상시켰습니다.
• 트레이드오프 분석: 이 연구는 현재 최첨단 모델들의 근본적인 트레이드오프를 드러냅니다: 일부 (Sora2-Pro 등) 는 시각적 장관과 물리적 사실성에 뛰어나지만, 다른 일부 (HYVideo1.5 등) 는 대본 충실도와 내러티브 무결성을 우선시합니다. 이 프레임워크는 전자의 잠재력을 희생하지 않으면서 후자를 향상시킵니다.

4. 중요성과 기여

이 논문은 대화 기반 영화적 비디오 생성에 대한 최초의 엔드 - 투 - 엔드 솔루션을 제공하며, 자동화된 스토리텔링을 위한 새로운 패러다임을 제시한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 에이전트 프레임워크: 희소한 대화와 일관된 영화적 출력 사이의 의미적 격차를 메우는 새로운 3 에이전트 시스템으로, 단순한 프롬프트 엔지니어링을 넘어 구조적 계획으로 이동합니다.
2. ScriptBench 및 ScripterAgent: 고품질 전문가 주도 벤치마크의 도입과 전문 품질의 실행 가능한 영화적 대본을 생성하기 위해 2 단계 SFT+RL 패러다임으로 훈련된 모델의 도입.
3. 시간적 일관성 전략: 프레임 고정과 결합된 '대본 중심' 접근법이 현재 비디오 생성기의 고정된 지속 시간 제약을 극복하여 장시간 내러티브 일관성을 가능하게 한다는 증명.
4. 모델 한계에 대한 통찰: 주요 비디오 모델들 사이의 시각적 장관과 엄격한 대본 준수 사이의 중요한 트레이드오프를 식별하여 향후 모델 개발 및 응용 선택에 귀중한 지침을 제공.
5. 새로운 지표: 기존 표준 비디오 품질 지표가 간과해 온 차원인 시간 - 의미 충실도를 정량적으로 측정하기 위한 시각 - 대본 정렬 (VSA) 제안.

저자들은 이 작업이 단순한 프롬프트 기반 생성을 넘어 영화술, 템포, 장기적 일관성에 대한 추론이 가능한 정교한 자동화된 스토리텔링 시스템의 기초를 마련한다고 결론지었습니다. 향후 작업은 세밀한 제어 (예: 립 싱크) 와 적응형 스타일 생성에 초점을 맞출 것으로 제안됩니다.