テクニカル・サマリー：MUSE – 閉ループ型認知オーケストレーションによる制約のないストーリー・エンビジョニングのためのマルチエージェント・フレームワーク

1. 問題定義

本論文は、短く構造化されていないユーザープロンプトから、長編で一貫性のあるオーディオ・ビジュアル・ストーリーを生成するという根本的な課題に取り組んでいる。現在のマルチモーダル生成システムは、通常、フィードフォワードのパイプラインやプロンプトのみによる洗練に依存している。生成のホライゾン（時間軸）が延びるにつれ、これらのアプローチは意図と実行のギャップ（intent–execution gap）に直面する。すなわち、高レベルの物語的意図（キャラクターの同一性、空間的関係、因果的進行）が、数十ステップにわたる生成プロセス全体を通じて維持されないという問題である。これは、セマンティック・ドリフト（意味の漂流）、アイデンティティの不一致（キャラクターの外見や声の変化）、およびショット間の時間的不連続性を引き起こす。著者らは、これらの失敗は単に生成モデルが不完全であるためではなく、抽象的な物語の意図と確率的かつ局所的な実行との間を橋渡しする、機械解釈可能な持続的制約が欠如していることに起因すると主張している。

2. 手法：MUSEフレームワーク

MUSEは、長編のストーリーテリングを単発の生成タスクとしてではなく、**閉ループ型の制約遵守問題（closed-loop constraint enforcement problem）**として再定義する。これは、Plan–Execute–Verify–Revise（計画–実行–検証–修正）の反復ループを実行するオムニモーダル・コントローラーによって調整された、モジュール式のマルチエージェント・システムを採用している。

2.1 コア・アーキテクチャ

本フレームワークは、高レベルのプランニングと低レベルの実行を分離し、ステップを越えて持続的な情報（キャラクターのアイデンティティ、ショットの制約、受理されたレイアウト）を保存する共有状態メモリ（$H$）を保持する。

• 明示的な制御表現（Explicit Control Representation）: 自然言語によるリトライに頼るのではなく、MUSEは物語の意図を、明示的かつ機械実行可能な制御（例：アイデンティティ・アンカー、バウンディングボックス・レイアウト、時間的境界）へと変換する。
• 構造化されたフィードバック（Structured Feedback）: 検証は、ヒューリスティックな自己洗練ではなく、構造化され型定義されたマルチモーダル信号（例：アイデンティティの不一致、レイアウトの違反）を介して行われる。これにより、無制限な再サンプリングではなく、ターゲットを絞った限定的な修正が可能になる。

2.2 3フェーズのオーケストレーション

生成プロセスは、異なるエージェント・チームによって管理される3つの特化したフェーズに分割される。

1. プリプロダクション（アイデンティティ・アンカリング）:

   • 目的: 不変となるグローバルな物語状態（キャラクターのアイデンティティ、スタイル）を確立する。
   • メカニズム: システムはスクリプトを分解し、持続的なマルチモーダル・アイデンティティ状態（$z_c = \{z^{(c)}_{vis}, z^{(c)}_{voc}\}$）を構築する。
   • 革新性: Vocal Trait Synthesis (VTS) を導入し、参照音声を用意することなく、セマンティックな記述子（年齢、性別、音色）から安定した音声表現を直接導出する。これにより、生成前に「音声のアイデンティティ」を固定し、声のドリフトを防ぐ。
   • 検証: レンダリングが行われる前に、指示への整合性とキャラクター間の整合性をチェックする。

2. プロダクション（空間構成）:

   • 目的: 空間的および映画的な制約を強制しながら、ショットレベルの視覚および音声アセットを合成する。
   • メカニズム: 直接生成とレイアウト誘導型合成の選択を行う**ダイナミック・ルーティング（Dynamic Routing）**を使用する。空間制御が必要な場合、視覚生成器のハードな構造的事前分布として、粗いレイアウト（$L^{(i)}_{bbox}$）を合成する。
   • 検証: エンティティの存在、視覚的一貫性、および統合の質を評価する。修正は、生成全体を再生成するのではなく、失敗領域（例：レイアウトの調整や生成ルートの変更）に限定される。

3. ポストプロダクション（時間的合成）:

   • 目的: 静的なアセットを、時間的に一貫したビデオ・ショットへと組み立てる。
   • メカニズム: 時間的生成を、状態条件付きのプロセスとしてモデル化する。各ショットは、現在のスクリプトのセグメントと、前のショットの終端状態（$Tail(v_{i-1})$）を条件として生成される。
   • 革新性: 状態のリセットや動きの不連続性を防ぐために、**コンテキスト・スライディング・ウィンドウ（Context Sliding Window）**を利用する。
   • 検証: 境界の遵守状況と、物語のリーク（例：次のシーンのイベントが早すぎるタイミングで現れていないか）を監査する。

3. 評価プロトコル：MUSEBench

オープンエンドなストーリーテリングには正解（グラウンドトゥルース）となる参照が存在しないことを認識し、著者らは参照フリーの評価プロトコルである MUSEBench を導入した。

• 範囲: 5つのジャンル（スリラー、日常生活、時代劇、SF、ファンタジー）にわたる、多様な複雑さを持つ30の厳選された物語プロンプトを含む。
• 指標: スクリプトの質、視覚的一貫性、視覚とスクリプトの整合性、および音声生成を評価する。LMM（大規模マルチモーダルモデル）を用いたスコアリングを行い、人間による判断と比較して妥当性を検証する。
• 主要な指標: Narrative State Resolution (NSR)、Story Expansion Richness (SER)、Creative Elaboration Score (CES)、およびオーディオ・ビジュアルの相乗効果を測定するための新しい Narrative Effectiveness Score (NES)（トートロジー的なナレーションを罰する指標）が含まれる。

4. 実験結果

論文では、ViStoryBench（参照依存型）およびMUSEBench（参照フリー型）の両方において、代表的なベースライン（Vlogger, AnimDirector, MMStoryAgent, V-GOT, MovieAgent）とMUSEを比較している。

• 定量的パフォーマンス: MUSEは、長期間の物語の一貫性とクロスモーダルなアイデンティティの一貫性において、ベースラインを大幅に上回っている。MUSEBenchにおいて、MUSEはスクリプトの質（NSR, SER, CES）および視覚とスクリプトの整合性において高いスコアを獲得した。
• アイデンティティの一貫性: MUSEは、特に非人間キャラクターのアイデンティティの維持や構造的なハルシネーションの防止において、Character Identity Score (CIDS) の大幅な向上と Character Style Distance (CSD) の減少を示した。
• オーディオ・ビジュアルの相乗効果: オーディオを欠いているか汎用的なTTSを使用することが多いベースラインとは異なり、MUSEのVTSモジュールはテキスト駆動型のカスタマイズされた音声合成を可能にし、継続タスクにおいてCosyVoice2やF5-TTSなどのモデルよりも、年齢、感情、韻律における優れた一貫性を達成した。
• アブレーション研究: 実験により、プランニングモジュール（合理的なスクリプト分解のため）とフィードバックモジュール（ターゲットを絞った修正のため）の両方が極めて重要であることが確認された。特にフィードバック・メカニズムが、アイデンティティの保持とスタイルの一貫性の向上を促進している。

5. 意義と主張

本論文は、主に3つの貢献を主張している。

1. 問題の再定式化: 制約のない生成から、閉ループ型の制約遵守へとパラダイムを転換し、意図と実行のギャップを埋めるために、物語の意図を機械実行可能な制約として明示的にモデル化している。
2. MUSEフレームワーク: 明示的な制御表現と型定義されたマルチモーダル・フィードバックを用いて、構造化されたループを通じてグローバルな一貫性を強制するマルチエージェント・システムを提案し、視覚、音声、時間のすべてにわたってターゲットを絞った修正を可能にしている。
3. MUSEBench: 生成を定義されたスクリプトに限定することなく、オープンエンドなストーリーテリング・システムを包括的に評価することを可能にする、参照フリーで多次元的な評価プロトコルを導入した。

著者らは、閉ループ型のオーケストレーションを通じてグローバルな物語の制約を強制することが、長編のオーディオ・ビジュアル・ストーリーの映画的な質と一貫性を大幅に向上させることを示していると結論づけている。また、混雑した場面や遮蔽された場面でのアイデンティティ維持の困難さや、表現力豊かな音声に対するより豊かな制御の必要性といった限界も認めているが、彼らのアプローチが信頼性の高い長期間のストーリーテリングに向けたスケーラブルな道筋を提供すると主張している。