💻 computer science

MUSE: A Multi-agent Framework for Unconstrained Story Envisioning via Closed-Loop Cognitive Orchestration

本文介绍了 MUSE，这是一个多智能体框架，通过采用闭环认知编排过程来迭代地规划、执行、验证和修改内容，从而在长篇视听故事生成中解决挑战，确保长序列中的叙事连贯性和身份一致性。

原作者： Wenzhang Sun, Zhenyu Wang, Zhangchi Hu, Chunfeng Wang, Hao Li, Wei Chen

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenzhang Sun, Zhenyu Wang, Zhangchi Hu, Chunfeng Wang, Hao Li, Wei Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想向一位朋友讲述一个漫长而复杂的故事，但你只有一个句子作为开头：“一个男孩在森林里进行冒险。”

如果你要求一个标准的 AI 将这句话变成一部电影，它可能会制作出非常精彩的第一场戏。但到了第五场或第十场时，男孩的面孔可能看起来像另一个人，森林可能突然变成了沙漠，或者故事可能会忘记第一场戏发生了什么。AI 会因为过度专注于完成下一个画面的即时任务而变得“醉生梦死”，从而失去了对整个故事全局的掌控。

MUSE 是一个旨在解决这一问题的全新系统。不要把 MUSE 看作是一个单一的艺术家，而要把它看作是一个高度组织化的电影制作团队，他们协同工作，以确保故事从第一帧到最后一帧都保持一致。

以下是 MUSE 的工作原理，通过简单的部分进行拆解：

1. 问题所在：“醉酒的艺术家”

目前的 AI 视频生成器就像是一位才华横溢但目光短浅的艺术家。它们擅长根据提示词绘制出一张美丽的图片。但如果你要求它们画一部完整的电影，它们就会忘记规则。主角可能会换衣服，灯光可能会在白天和黑夜之间随机切换，或者角色的声音在下一场戏中听起来像是另一个人。这被称为“语义漂移”（semantic drift）。

2. 解决方案：一个“闭环式”电影剧组

MUSE 通过将讲故事视为一个闭环工厂而非单行道来解决这个问题。它使用一组专门的 AI 智能体（数字员工）不断地相互检查和纠正。

这个过程分为三个主要阶段，就像真实的电影制作一样：

前期制作（选角导演与编剧）：
在制作任何视频之前，MUSE 会创建一个“角色圣经”（Character Bible）。它会锁定主角的长相（年龄、服装、风格）以及声音特征（音调、语调）。它会创建一个数字“身份证”。这张“身份证”是贯穿整部电影必须遵守的规则手册。
- 类比： 想象一位选角导演，他拿着一张完美的照片和一段录音，并说道：“这就是我们要用的演员。不要做任何改变。”
中期制作（导演与美术指导）：
现在，系统开始生成场景。但它并不只是靠猜测。它利用“身份证”来确保角色形象的一致性。如果剧本说角色正拿着一把剑，MUSE 会检查布局，以确保剑确实在那里，而不是悬浮在半空中。
- 类比： 导演在摄像机开拍前不断大喊：“等等！那个演员看起来不一样了！修好它！”
后期制作（剪辑师与连续性监督）：
场景制作完成后，MUSE 会检查它们之间的“接缝”。角色的动作从上一镜头到这一镜头是否过渡平滑？情节是否逻辑通顺？如果 AI 不小心让角色穿过了墙壁，或者在悲伤的场景中声音听起来过于快乐，MUSE 都会捕捉到这些问题。
- 类比： 一位剪辑师观看电影并说道：“这一场戏与上一场不匹配。在给观众看之前，让我们修复这个过渡。”

3. “计划-执行-验证-修改”循环

MUSE 的核心秘诀在于它不仅仅是生成并寄希望于好运。它遵循一个严格的循环：

计划 (Plan)： 决定下一步需要发生什么。
执行 (Execute)： 生成视频/音频。
验证 (Verify)： 一个“评论家”智能体会检查结果是否符合计划和角色身份证。
修改 (Revise)： 如果出了问题（例如，角色的帽子不见了），MUSE 会仅针对该特定部分进行修复，而不是丢弃整个场景重新开始。

4. 新的测试标准：MUSEBench

如果不存在“正确答案”，你如何知道一个故事是否优秀？作者创建了一个名为 MUSEBench 的新测试场。
MUSEBench 并没有将 AI 的输出与完美的参考视频（这类视频在创意故事中并不存在）进行对比，而是使用一个聪明的 AI 评委，根据以下维度对故事进行评分：

一致性 (Consistency)： 角色是否保持不变？
故事流 (Story Flow)： 情节是否合乎逻辑？
视听和谐度 (Audio-Visual Harmony)： 声音是否与场景氛围相符？

结果

研究表明，在保持长篇故事连贯性方面，MUSE 比以往的方法表现得更好。它能让角色看起来和听起来始终如一，维持正确的氛围，并确保故事随着长度增加而不会崩溃。

简而言之： MUSE 就像是一个超级组织化的电影剧组，拒绝让故事变得混乱。它提前计划，不断检查自己的工作，并立即修复错误，确保一个简单的提示词可以转化为一部漫长、沉浸且连贯的电影。

技术摘要：MUSE —— 一种通过闭环认知编排实现不受限故事构思的多智能体框架

1. 问题定义

本文探讨了从短小、非结构化用户提示词生成长篇、连贯音视频故事的基础性挑战。目前的多模态生成系统通常依赖于前馈流水线或仅基于提示词的优化。随着生成跨度的延伸，这些方法会遭遇意图—执行差距（intent–execution gap）：高层级的叙事意图（角色身份、空间关系、因果演进）无法在数十个生成步骤中持续存在。这导致了语义漂移（semantic drift）、身份不一致（identity inconsistency）（角色外观或声音发生变化）以及镜头间的时间不连续性（temporal discontinuity）。作者认为，这些失败不仅源于生成模型本身的不完善，更源于缺乏能够连接抽象叙事意图与随机、局部执行的持久且机器可解释的约束机制。

2. 方法论：MUSE 框架

MUSE 将长篇故事讲述重新定义为不再是单次传递的生成任务，而是一个闭环约束强制执行问题。它采用了一个由全模态控制器协调的模块化多智能体系统，执行一个迭代的**“计划—执行—验证—修正”（Plan–Execute–Verify–Revise）**循环。

2.1 核心架构

该框架将高层规划与底层执行解耦，维护一个共享的状态记忆（ $H$ ），用于存储跨步骤的持久信息（角色身份、镜头约束、已接受的布局）。

显式控制表示： MUSE 不再依赖自然语言重试，而是将叙事意图转化为显式的、机器可执行的控制指令（例如：身份锚点、边界框布局、时间边界）。
结构化反馈： 验证是通过结构化的、类型化的多模态信号（例如：身份不匹配、布局违规）而非启发式自我优化来完成的。这实现了针对性的、有界的修正，而非无约束的重新采样。

2.2 三阶段编排

生成过程分为三个由不同智能体团队管理的专门阶段：

前期制作（身份锚定）：
- 目标： 建立保持不变的全局叙事状态（角色身份、风格）。
- 机制： 系统分解剧本并构建持久的多模态身份状态（ $z_c = \{z^{(c)}_{vis}, z^{(c)}_{voc}\}$ ）。
- 创新点： 引入了语音特征合成（Vocal Trait Synthesis, VTS），直接从语义描述符（年龄、性别、音色）推导出稳定的语音表示，无需参考音频。这种方法在生成前“锁定”了声学身份，防止了声音漂移。
- 验证： 在任何渲染发生前，检查指令对齐度和角色间的一致性。
制作阶段（空间构图）：
- 目标： 在强制执行空间和电影级约束的同时，合成镜头级的视觉和音频资产。
- 机制： 使用**动态路由（Dynamic Routing）在直接生成与布局引导合成之间进行选择。当需要空间控制时，它会合成一个粗略布局（ $L^{(i)}_{bbox}$ ），作为视觉生成器的硬结构先验。
  �� **验证：评估实体存在感、视觉连贯性和集成质量。修正被局部化到失败区域（例如：调整布局或修改生成路径），而非重新生成整个镜头。
后期制作（时间合成）：
- 目标： 将静态资产组装成具有时间连贯性的视频镜头。
- 机制： 将时间生成建模为一个状态条件过程。每个镜头的生成都以当前剧本片段和前一个镜头的终止状态（ $Tail(v_{i-1})$ ）为条件。
- 创新点： 利用**上下文滑动窗口（Context Sliding Window）**来防止状态重置和运动不连续。
- 验证： 审计边界合规性和叙事泄漏（例如：确保下一场景的事件不会过早出现）。

3. 评估协议：MUSEBench

意识到开放式故事讲述缺乏地面真值（ground-truth）参考，作者引入了 MUSEBench，一种无参考评估协议。

范围： 包含涵盖五种类型（惊悚、日常生活、时代剧、科幻、奇幻）的 30 个精心策划的叙事提示词，具有不同的复杂度。
指标： 评估剧本质量、视觉一致性、视觉—剧本对齐度以及音频生成。它利用大型多模态模型（LMMs）进行评分，并经过人类判断验证。
关键指标： 包括叙事状态分辨率（NSR）、故事扩展丰富度（SER）、创意阐述得分（CES）以及衡量视听协同效应的新型叙事有效性得分（NES）（用于惩罚同义反复式的旁白）。

4. 实验结果

论文在 ViStoryBench（依赖参考）和 MUSEBench（无参考）上将 MUSE 与代表性基线模型（Vlogger, AnimDirector, MMStoryAgent, V-GOT, MovieAgent）进行了对比。

定量性能： MUSE 在长程叙事连贯性和跨模态身份一致性方面显著优于基线模型。在 MUSEBench 上，它在剧本质量（NSR, SER, CES）和视觉—剧本对齐度方面取得了更高的分数。
身份一致性： MUSE 在角色身份得分（CIDS）和降低角色风格距离（CSD）方面表现出显著改进，特别是在维持非人类角色身份和防止结构性幻觉方面。
视听协同： 不同于往往缺乏音频或使用通用 TTS 的基线模型，MUSE 的 VTS 模块实现了文本驱动的定制化音频合成，在延续任务中，其在年龄、情感和韵律方面的稳定性优于 CosyVoice2 和 F5-TTS 等模型。
消融研究： 实验证实，**规划（Planning）模块（用于理性的剧本分解）和反馈（Feedback）**模块（用于针对性修正）对于系统都是至关重要的。反馈机制特别推动了身份保持和风格连贯性的提升。

5. 意义与主张

本文提出了三个主要贡献：

问题的重新定义： 它将范式从无约束生成转向闭环约束强制执行，通过将叙事意图显式建模为机器可执行的约束，来弥合意图—执行差距。
MUSE 框架： 它提出了一个通过结构化循环强制执行全局一致性的多智能体系统，利用显式控制表示和类型化多模态反馈，实现对视觉、音频和时间的针对性修正。
MUSEBench： 它引入了一种无参考、多维度的评估协议，使得在不限制生成内容必须遵循预设剧本的情况下，能够对开放式故事讲述系统进行整体评估。

作者总结道，MUSE 证明了通过闭环编排强制执行全局叙事约束，可以显著提升长篇视听故事的电影质感和连贯性。他们也承认了局限性，例如在拥挤/遮挡场景中维持身份的难度，以及对更具表现力的语音控制的需求，但同时断言其方法为可靠的长程故事讲述提供了一条可扩展的路径。