기술 요약: DramaDirector: 기하학적 가이드를 통한 숏폼 드라마 생성

문제 정의

플롯 요약으로부터 숏폼 드라마를 생성하는 것은 현재의 텍스트-비디오 파이프라인이 해결하기 어려운 독특한 과제들을 제시합니다. 숏폼 드라마는 빠른 샷 리듬, 대사 중심의 포커스 전환, 그리고 특정 촬영 관습(예: 오버 더 숄더 샷, 중첩된 클로즈업)을 특징으로 하며, 이는 소설적 스토리텔링과는 확연히 다릅니다.

기존 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 샷 문법으로부터의 이탈: 대규모 숏폼 드라마 코퍼스에 대한 노출이 부족한 대규모 언어 모델(LLM)은 스토리보드를 소설적인 스타일로 생성하는 경향이 있습니다. 이들은 숏폼 드라마 제작에 내재된 빠른 컷과 특유의 정서적 리듬을 포착하지 못합니다.
2. 촬영 기하학의 미지정성: 텍스트 설명은 프레임을 정의하는 데 필요한 공간적 제약(예: 어깨 폐쇄, 시선 방향, 깊이 순서)이 부족한 경우가 많습니다. 이러한 세부 사항은 본질적으로 시각적이기 때문에, 하위 생성기가 모호한 텍스트 단서만을 전달받을 경우, 더 강력한 생성기나 풍부한 프롬프트가 있더라도 필요한 기하학적 충실도를 회복할 수 없습니다.

방법론: DramaDirector

저자들은 실제 숏폼 드라마 샷 갤러리로부터 촬영 기하학을 빌려와 내러티브 계획과 시각적 실현 사이의 간극을 메우는 기하학 기반 프레임워크인 DramaDirector를 제안합니다. 이 프레임워크는 구조화된 파이프라인을 통해 작동합니다.

1. 기하학 기반 생성 파이프라인

시스템은 생성 작업을 계획(planning)과 실현(realization) 단계로 분해합니다:

• 스토리보드 계획: LLM 플래너($g_\phi$)는 정적 시각 조건($q_j$)과 동적 내러티브 조건($d_j$)의 쌍으로 구성된 스토리보드 $Y$를 생성합니다.
  • $q_j$는 카메라 프레이밍, 장면, 피사체 상태를 포함하여 키프레임을 고정합니다.
  • $d_j$는 동작, 대사, 감정을 포함하여 시간적 전개를 유도합니다.
• 검색 증강 그라운딩(Retrieval-Augmented Grounding): 텍스트에만 의존하는 대신, 시스템은 사전 인덱싱된 실제 숏폼 드라마 샷 갤러리($G$)에서 깊이-포즈 참조(depth–pose reference, $I^r_j$)를 검색합니다. 이 검색은 학습된 텍스트-시각 정렬 모델에 의해 측정되는 텍스트 조건 $q_j$와 갤러리 샷 간의 기하학적 호환성을 기반으로 합니다.
• 합성:
  • 첫 번째 프레임 생성: 생성기($F_\xi$)는 $q_j$를 조건으로 하여 키프레임($I^0_j$)을 합성하되, 검색된 참조 $I^r_j$로부터 레이아웃, 포즈, 깊이를 상속받습니다.
  • 비디오 합성: 이미지-투-비디오 모델($H_\psi$)은 $I^0_j$를 시각적 앵커로, $d_j$를 시간적 지침으로 사용하여 샷을 전개합니다.

2. 학습 전략

플래너는 지도 미세 조정(SFT)과 강화 학습(RL)의 조합을 사용하여 학습됩니다:

• 스키마 제약 SFT: 실제 숏폼 드라마 스토리보드를 활용한 멀티태스크 지도 미세 조정을 통해 플래너를 적응시킵니다. 태스크에는 다음이 포함됩니다:
  • 스토리보드 연속 생성: 샷의 자기회귀적 예측.
  • 단일 샷 예측: 국소적 실현 개선.
  • 다중 필드 완성: 누락된 필드 복구.
  • 샷 순서 결정: 시간적 일관성 강화.
  • 재구성: 계획-샷 간의 그라운딩 강화.
• GRPO를 이용한 RL: 플래너는 멀티 오브젝티브 보상 함수를 사용하는 그룹 상대 정책 최 optimization(GRPO)을 통해 추가 최적화됩니다:
  • 시각적 검색 보상 ($R_{ret}$): 생성된 스토리보드의 정적 조건이 타겟 에피소드의 시각적 벡터와 기하학적으로 일치하도록 하는 대조적 보상.
  • 비디오 생성 준비도 보상 ($R_{vid}$): LLM 심판이 동적 내러티브 조건의 구체성, 일관성 및 페이싱을 점수화함.
  • 스키마 유효성 보상 ($R_{fmt}$): 누락된 필드나 파싱 불가능한 출력을 처벌함.
  • 이러한 보상들의 가중치는 스키마 유효성과 시각적 그라운딩을 우선시한 후 비디오 준비도에 집중하도록 선형적으로 어닐링(annealing)됩니다.

3. 기하학 인식 텍스트-시각 정렬

정적 텍스트 조건과 후보 샷 사이의 기하학적 일치도를 점수화하는 전용 정렬 모델이 학습됩니다.

• 입력: 텍스트 조건은 카메라, 장면, 피사체 상태로 분해됩니다. 시각적 증거는 외형과 정체성을 제거하고 순수하게 기하학에 집중하기 위해 **깊이 맵(depth maps)**과 **휴먼 포즈 맵(human-pose maps)**으로 구성됩니다.
• 학습: 모델은 **하드 네거티브 마이닝(hard negative mining)**을 포함한 양방향 대조 학습을 사용합니다. 네거티브 샘플은 인접하지 않은 샷, 다른 에피소드, 그리고 특히 동일한 드라마 내의 샷에서 추출되어 모델이 미세한 기하학적 차이를 학습하도록 하여 사소한 불일치를 방지합니다.

주요 기여

1. DramaDirector 프레임워크: 정적 시각 조건과 동적 내러티브 조건을 분리하고, 첫 번째 프레임 생성과 비디오 합성을 가이드하기 위해 실제 샷으로부터 깊이-포즈 참조를 검색하는 새로운 접근 방식을 제시합니다.
2. 학습 패러다임: 멀티태스크 스키마 제약 SFT와 GRPO 기반 RL을 결적으로 결합하여, 실제 샷의 실행 가능성을 위해 스토리보드를 최적화하는 하이브리드 학습 전략을 제공합니다.
3. DramaBoard 벤치마크: 구조화된 스토리보드, 정렬된 키프레임, 그리고 내러티브 품질, 지시 이행, 내재적 비디오 품질을 다루는 다차원 평가 프로토콜을 특징으로 하는 35개의 실사 드라마(2.8K 에피소드, 81K 샷)로부터 구축된 포괄적인 데이터셋입니다.
4. 성능 향상: 대표적인 멀티 에이전트 및 비디오 생성 베이스라인 모델들과 비교하여 충실도, 일관성 및 제어 가능성 측면에서 개선된 결과가 입증되었습니다.

실험 결과

실험은 DramaBoard 벤치마크에서 진행되었으며, DramaDirector를 8개의 베이스라인(SkyScript, MovieAgent, SkyReels-A2 포함)과 비교하였습니다.

• 스토리보드 내러티브 품질: DramaDirector는 관련성(0.7230)과 일관성(0.7732)에서 가장 높은 점수를 기록하며 UniVA 및 MovieAgent와 같은 베이스라인을 능가했습니다. 이는 멀티태스크 감독과 보상 최적화가 숏폼 드라마의 페이싱과 연속성을 효과적으로 포착함을 나타냅니다.
• 지시 이행: 모델은 가장 높은 유사도(0.6826)와 순도(0.9752)를 달성하여, 동적 내러티브 프롬프트와의 강력한 정렬을 보여주었으며 환각 요소(hallucination)를 줄였습니다.
• 비디오 내재적 품질: DramaDirector는 가장 높은 미학 점수(0.8189)와 가장 낮은 DIS(0.1549, 더 나은 시간적 안정성을 의미)를 기록했으며, 일관성(0.9003)에서는 2위를 차지했습니다.
• 어블레이션 연구(Ablation Studies):
  • 검색 보상을 제거했을 때 일관성에서 가장 큰 하락이 발생했습니다.
  • 깊이 맵이 지배적인 검색 단서임이 확인되었으며, 이를 제거하면 검색 성능이 거의 붕괴되었습니다.
  • 깊이와 포즈의 결합은 공간적 레이아웃과 캐릭터 역동성의 균형을 맞추는 데 필수적이었습니다.
• 검색 판별력: DramaDirector의 정렬 모델은 일반 목적의 비전-언어 인코더(예: Tongyi-Vision) 및 기타 RAG 방법(예: VidoRAG)보다 높은 검색 지표(R@10, N@10)를 기록하여, 명시적인 깊이-포즈 투영의 가치를 확인했습니다.

의의 및 주장

본 논문은 DramaDirector가 촬영 기하학적 그라운딩을 텍스트 프롬프팅 문제에서 검색 및 보상 문제로 성공적으로 전환했다고 주장합니다. 복잡한 공간적 제약을 언어화하려고 시도하는 대신 실제 세계의 기하학적 사전 지식(깊이 및 포즈)을 활용함으로써, 이 프레임워크는 고수준의 계획과 저수준의 시각적 합성을 연결합니다.

저자들은 이 작업이 AI 비디오 합성 분야에서 일관된 키프레임 생성과 영화적 리듬을 향한 단계라고 위치시킵니다. 그들은 이 접근 방식이 일반적인 텍스트-비디오 모델이 놓치기 쉬운 숏폼 드라마 특유의 "샷 문법"을 해결한다고 강조합니다. DramaBoard의 도입은 샷 수준의 주석과 평가 프로토콜을 갖춘 최초의 구조화된 벤치마크로서 이 분야에 대한 중요한 기여로 강조됩니다.

논문은 마지막으로, 검색 증강 그라운딩이 시각적 충실도를 개선하지만, 참조 갤러리에 유사한 공간 레이아웃이 없는 매우 복잡하거나 롱테일(long-tail) 상호작용에서는 여전히 어려움을 겪을 수 있음을 인정하며 겸허히 마무리합니다. 향후 연구로는 더 넓은 장르 확장, 더 긴밀한 시청각 동기화, 그리고 인터랙티브 스토리보드 편집 등이 제안되었습니다.