기술 요약: MUSE – 폐쇄 루프 인지 오케스트레이션을 통한 무제한 스토리 구상용 멀티 에이전트 프레임워크

1. 문제 정의

본 논문은 짧고 구조화되지 않은 사용자 프롬프트로부터 길고 일관된 오디오-비주얼 스토리를 생성하는 근본적인 과제를 다룹니다. 현재의 멀티모달 생성 시스템은 일반적으로 피드포워드(feed-forward) 파이프라인이나 프롬프트 기반의 정교화 방식에 의존합니다. 생성 범위가 확장됨에 따라, 이러한 접근 방식은 의도-실행 간극(intent–execution gap) 문제를 겪습니다. 즉, 고차원의 서사적 의도(캐릭터 정체성, 공간적 관계, 인과적 진행)가 수십 단계의 생성 과정 전반에 걸쳐 유지되지 못합니다. 이는 의미론적 표류(semantic drift), 정체성 불일치(캐릭터의 외형이나 목소리가 변함), 그리고 샷 사이의 시간적 불연속성으로 이어집니다. 저자들은 이러한 실패가 단순히 생성 모델의 불완전함 때문이 아니라, 추상적인 서사 의도와 확률적이고 국소적인 실행 사이를 연결하는 지속 가능하고 기계가 해석 가능한 제약 조건의 부재에서 기인한다고 주장합니다.

2. 방법론: MUSE 프레임워크

MUSE는 장기적인 스토리텔링을 단일 패스 생성 작업이 아닌, 폐쇄 루프 제약 조건 강제(closed-loop constraint enforcement) 문제로 재정의합니다. 이 프레임워크는 옴니모달 컨트롤러에 의해 조정되는 모듈형 멀티 에이전트 시스템을 채택하여, 반복적인 계획–실행–검증–수정(Plan–Execute–Verify–Revise) 루프를 실행합니다.

2.1 핵심 아키텍처

이 프레임워크는 고차원 계획과 저차원 실행을 분리하며, 단계 전반에 걸쳐 지속적인 정보(캐릭터 정체성, 샷 제약 조건, 수락된 레이아웃)를 저장하는 공유 상태 메모리($H$)를 유지합니다.

• 명시적 제어 표현(Explicit Control Representation): 자연어 재시도에 의존하는 대신, MUSE는 서사적 의도를 명시적이고 기계 실행 가능한 제어 신호(예: 정체성 앵커, 바운딩 박스 레이아웃, 시간적 경계)로 변환합니다.
• 구조화된 피드백(Structured Feedback): 검증은 휴리스틱한 자기 정교화가 아닌, 구조화되고 유형화된 멀티모달 신호(예: 정체성 불일치, 레이아웃 위반)를 통해 수행됩니다. 이를 통해 무제한적인 재샘플링이 아닌 타겟팅된 제한적 수정을 가능하게 합니다.

2.2 3단계 오케스트레이션

생성 과정은 서로 다른 에이전트 팀에 의해 관리되는 세 가지 전문화된 단계로 나뉩니다.

1. 프리 프로덕션 (정체성 앵커링 - Identity Anchoring):

   • 목표: 불변하는 글로벌 서사 상태(캐릭터 정체성, 스타일)를 구축합니다.
   • 메커니즘: 시스템은 스크립트를 분해하고 지속적인 멀티모달 정체성 상태($z_c = \{z^{(c)}_{vis}, z^{(c)}_{voc}\}$)를 구성합니다.
   • 혁신: 참조 오디오 없이도 의미론적 기술어(나이, 성별, 음색)로부터 안정적인 음성 특성을 도출하는 **음성 특성 합성(Vocal Trait Synthesis, VTS)**을 도입합니다. 이는 생성 전 단계에서 음향적 정체성을 "고정"하여 목소리 표류를 방지합니다.
   • 검증: 렌더링이 수행되기 전에 지시문 정렬 및 캐릭터 간 일관성을 확인합니다.

2. 프로덕션 (공간 구성 - Spatial Composition):

   • 목표: 공간 및 시네마틱 제약 조건을 준수하면서 샷 수준의 시각 및 오디오 자산을 합성합니다.
   • 메커니즘: 직접 생성과 레이아웃 가이드 합성 사이를 선택하는 **동적 라우팅(Dynamic Routing)**을 사용합니다. 공간 제어가 필요한 경우, 시각 생성기를 위한 강력한 구조적 사전 조건으로서 거친 레이아웃($L^{(i)}_{bbox}$)을 합성합니다.
   • 검증: 엔티티 존재 여부, 시각적 일관성 및 통합 품질을 평가합니다. 수정은 전체 샷을 재생성하는 대신 실패 영역(예: 레이아웃 조정 또는 생성 경로 수정)에 국한되어 이루어집니다.

3. 포스트 프로덕션 (시간적 합성 - Temporal Synthesis):

   • 목표: 정적 자산을 시간적으로 일관된 비디오 샷으로 조립합니다.
   • 메커니즘: 시간적 생성을 상태 조건부 프로세스로 모델링합니다. 각 샷은 현재 스크립트 세그먼트와 이전 샷의 종단 상태($Tail(v_{i-1})$)를 조건으로 생성됩니다.
   • 혁신: 상태 리셋과 모션 불연속성을 방지하기 위해 **컨텍스트 슬라이딩 윈도우(Context Sliding Window)**를 활용합니다.
   • 검증: 경계 준수 및 내러티브 누수(예: 다음 장면의 사건이 조기에 나타나는 현상)를 감사합니다.

3. 평가 프로토콜: MUSEBench

개방형 스토리텔링에는 정답(ground-truth) 참조가 없다는 점을 인식하여, 저자들은 MUSEBench라는 레퍼런스 프리(reference-free) 평가 프로토콜을 도입합니다.

• 범위: 다섯 가지 장르(스릴러, 일상, 시대극, SF, 판타지)에 걸쳐 다양한 복잡성을 가진 30개의 큐레이션된 내러티브 프롬프트를 포함합니다.
• 지표: 스크립트 품질, 시각적 일관성, 시각-스크립트 정렬 및 오디오 생성을 평가합니다. 인간의 판단과 검증된 대규모 멀티모달 모델(LMM)을 사용하여 점수를 매깁니다.
• 주요 지표: 내러티브 상태 해상도(NSR), 스토리 확장 풍부도(SER), 창의적 정교화 점수(CES), 그리고 오디오-비주얼 시너지를 측정하여 동어반복적 내레이션을 처벌하는 새로운 **내러티브 효과 점수(NES)**를 포함합니다.

4. 실험 결과

본 논문은 ViStoryBench(레퍼런스 의존형)와 MUSEBench(레퍼런스 프리형) 모두에서 대표적인 베이스라인(Vlogger, AnimDirector, MMStoryAgent, V-GOT, MovieAgent)과 MUSE를 비교합니다.

• 정량적 성능: MUSE는 장기적 내러티브 일관성과 교차 모달 정체성 일관성 측면에서 베이스라인을 실질적으로 능가합니다. MUSEBench에서 NSR, SER, CES와 같은 스크립트 품질 및 시각-스크립트 정렬에서 더 높은 점수를 기록했습니다.
• 정체성 일관성: MUSE는 특히 비인간 캐릭터 정체성을 유지하고 구조적 환각을 방지하는 데 있어 캐릭터 정체성 점수(CIDS)와 캐릭터 스타일 거리(CSD)의 유의미한 개선을 보여줍니다.
• 오디오-비주얼 시너지: 오디오가 결여되었거나 일반적인 TTS를 사용하는 베이스라인들과 달리, MUSE의 VTS 모듈은 텍스트 기반의 맞춤형 오디오 합성을 가능하게 하여, 연속 작업에서 CosyVoice2 및 F5-TTS와 같은 모델에 비해 나이, 감정, 억양의 일관성에서 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies): 실험을 통해 계획(Planning) 모듈(합리적 스크립트 분해를 위함)과 피드백(Feedback) 모듈(타겟팅된 수정을 위함)이 모두 필수적임을 확인했습니다. 피드백 메커니즘은 특히 정체성 보존과 스타일 일관성 개선을 주도합니다.

5. 의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. 문제의 재정의: 문제를 제약 없는 생성에서 폐쇄 루프 제약 조건 강제로 전환하여, 의도-실행 간극을 메우기 위해 내러티브 의도를 기계 실행 가능한 제약 조건으로 명시적으로 모델링했습니다.
2. MUSE 프레임워크: 구조화된 루프를 통해 글로벌 일관성을 강제하는 멀리 에이전트 시스템을 제안하며, 명시적 제어 표현과 유형화된 멀티모달 피드백을 사용하여 비전, 오디오, 시간에 걸친 타겟팅된 수정을 가능하게 합니다.
3. MUSEBench: 생성 범위를 미리 정의된 스크립트로 제한하지 않고도 개방형 스토리텔링 시스템을 총체적으로 평가할 수 있는 레퍼런스 프리, 다차원 평가 프로토콜을 도입했습니다.

저자들은 MUSE가 폐쇄 루프 오케스트레이션을 통해 글로벌 내러티브 제약 조건을 강제하는 것이 장기적인 오디오-비주얼 스토리의 영화적 품질과 일관성을 실질적으로 향상시킨다는 것을 입증했다고 결론짓습니다. 이들은 혼잡하거나 가려진 장면에서의 정체성 유지 어려움 및 표현력 있는 음성에 대한 더 풍부한 제어 필요성과 같은 한계를 인정하면서도, 이 접근 방식이 신뢰할 수 있는 장기 스토리텔링을 향한 확장 가능한 경로를 제공한다고 주장합니다.