💻 computer science

Co-Director: Agentic Generative Video Storytelling

本文提出了 Co-Director，这是一个分层多智能体框架，它将视频叙事形式化为一个全局优化问题，利用多臂老虎机与局部自我精炼机制来克服语义漂移与级联故障，从而在生成连贯且高保真的叙事方面显著优于现有最先进基线。

原作者： Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy, Tomas Pfister

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想制作一部短片来宣传一款新产品。在过去，你需要一支由编剧、导演、摄影师和剪辑师组成的团队，协同工作数周。如今，人工智能可以生成视频片段，但要让它们讲述一个连贯的故事，却好比让一个机器人砌砖，再让另一个机器人粉刷墙壁，接着让第三个机器人安装屋顶，却无人告知他们最终的房屋应该是什么样子。结果往往是一堆杂乱的砖块，看起来毫无家的模样。

这篇论文介绍了 Co-Director，一种旨在解决该问题的新型人工智能系统。不妨将 Co-Director 视为一家由多个专用 AI 智能体在统一愿景下协同工作的层级化影视制作公司，而非单一机器人。

其工作原理可拆解为以下简单概念：

1. 问题：“断裂的链条”

当前的 AI 视频工具运作方式如同“瀑布”。你输入提示词，它生成剧本，接着另一个 AI 将剧本转化为图像，再由另一个 AI 将图像转化为视频。

问题所在：如果第一步出现微小错误（例如将本意是蓝色的车描述为红色），后续步骤会放大这一错误。最终，那辆车可能变成绿色、会飞，甚至由奶酪制成。这种现象被称为“语义漂移”。
类比：这就像玩“传话”游戏。信息在人与人传递过程中逐渐失真。

2. 解决方案：“指挥者”与“创意罗盘”

Co-Director 通过引入一位**指挥者（The Orchestrator）和一个创意罗盘（The Multi-Armed Bandit）**来解决这一问题。

指挥者：这是“导演”智能体。它不让 AI 智能体按直线顺序工作，而是在任何人开始工作之前，为整个项目设定全局的“基调”或策略。它确保编剧、艺术家和视频制作者都遵循同一份乐谱。
创意罗盘（多臂老虎机）：这是论文中最独特的构想。想象一台拥有三个拉杆的老虎机，但你拉动的不是金钱，而是创意策略（例如：“这则广告是侧重事实还是情感？”）、故事模式（例如：“是剧情片还是生活片段？”）以及视觉风格（例如：“是明亮充满活力，还是阴暗情绪化？”）。
- 系统会尝试这些拉杆的不同组合。
- 它观察哪种组合能生成最佳视频。
- 它能快速学习出针对特定产品的最佳“设置”，在尝试新想法（探索）与利用已验证的成功风格（利用）之间取得平衡。

3. 安全网：“自我修正”

即使有出色的导演，错误仍会发生。Co-Director 内置了一个自我修正循环。

类比：想象一位电影剪辑师观看每日样片（原始素材）后说道：“等等，演员的头发在第一场和第二场之间变色了。让我们重拍那一部分。”
Co-Director 自动执行此操作。在最终视频生成之前，它会检查剧本和关键图像。如果发现角色面部发生变化或产品消失，它会仅针对该特定部分重写提示词以修正错误，确保最终电影的一致性。

4. 测试："GenAd-Bench"

为了证明其有效性，研究人员创建了一项名为GenAd-Bench的新测试。

设置：他们虚构了 200 个假品牌和 400 种不同的广告场景（例如：“向东京一名 25 岁青年推销一把未来感雨伞”）。
为何使用假产品：使用假产品是为了防止 AI 仅通过记忆训练数据中的真实世界图像来“作弊”。它必须真正从头开始“创造”故事。
评委：他们使用了一个复杂的 AI“评委”（以及人类测试者），从以下四个方面对视频进行评分：
1. 保真度：假产品是否看起来像那个假产品？
2. 针对性：视频是否让人感觉是专为特定人群（例如青少年与老年人）制作的？
3. 吸引力：广告是否具有说服力？
4. 质量：视频是否流畅且专业？

5. 结果

Co-Director 击败了所有其他现有的 AI 视频系统。

它制作的视频不仅仅是“尚可”，而是让人感觉仿佛由人类团队执导。
它保留了产品的身份特征（标志没有融化或变形）。
与以往方法相比，它更深刻地理解了目标受众的“基调”。

总结

简而言之，Co-Director 是一个将视频创作视为全局优化问题而非线性装配线的系统。它利用“创意罗盘”寻找最佳艺术方向，借助“导演”使所有 AI 智能体保持一致，并通过“自我修正”循环即时修复错误。其结果是一个能将简单构思转化为连贯、高质量视频故事的系统，正如专业电影导演所做的那样。

以下是论文《Co-Director：代理式生成视频叙事》的详细技术总结。

1. 问题陈述

尽管扩散模型已实现高保真视频生成，但将这些片段转化为连贯的长篇幅叙事仍是一项重大挑战。现有方法面临三个主要局限：

语义漂移与级联故障：现有的代理流水线依赖于独立的模块构成的线性“瀑布”链（例如：脚本 $\to$ 故事板 $\to$ 视频）。早期阶段的错误会向下游传播，导致身份漂移（角色外观改变）和叙事不连贯。
缺乏全局优化：当前系统使用静态的、人工设计的提示词。它们缺乏将高层创意意图映射到下游生成的机制，无法探索新颖的叙事策略，也无法在探索与利用之间取得平衡。
评估缺口：现有基准测试侧重于孤立的子任务（例如：文本到图像）或依赖于记忆中的现实世界实体，无法在严格约束下评估真正的端到端叙事能力。

2. 方法论：Co-Director 框架

作者提出了Co-Director，这是一个分层多代理框架，将视频叙事形式化为全局优化问题。该系统集成了用于全局策略选择的多臂老虎机（MAB）与局部自我精炼循环。

A. 分层多代理架构

该系统由中央**协调器代理（ $\Phi_{orch}$ ）**编排，负责管理流程和全局状态：

前期制作代理（ $\Phi_{pre}$ ）：将用户提示和参考视觉转化为结构化的故事板（ $S$ ）。它生成：
- 创意简报：情境丰富化。
- 故事线（ $L$ ）：逐场剧本。
- 视觉资产（ $V$ ）：生成缺失的角色/道具参考。
- 故事板：包含镜头运动学和音频指令的详细场景描述符。
制作代理（ $\Phi_{prod}$ ）：根据故事板合成多模态产物：
- 关键帧代理（ $\Phi_{frame}$ ）：生成初始帧以建立视觉先验并防止身份漂移。
- 视频代理（ $\Phi_{video}$ ）：以关键帧为条件，利用视频扩散模型生成片段（ $C$ ）。
- 音频代理（ $\Phi_{audio}$ ）：根据全局指令合成旁白和音乐。
后期制作代理（ $\Phi_{post}$ ）：将片段和音频组装成最终视频（ $F$ ）。

B. 基于多臂老虎机（MAB）的全局优化

Co-Director 不再采用线性提示，而是将创意过程视为在分层参数空间（ $\theta$ ）上的搜索。

动作空间：由三个正交轴定义：
1. 创意策略（ $\theta_{cs}$ ）：信息型、转化型或对比型。
2. 叙事模式（ $\theta_{nm}$ ）：分析型、特写型或叙事戏剧型。
3. 美学原型（ $\theta_{aa}$ ）：清晰/活力、电影级高端、极简聚焦或动态粗砺。
机制：MAB（使用 UCB1 算法）为每次迭代选择这些参数的组合（ $\theta^{(t)}$ ）。协调器将这些参数合成为具体的指令，注入到子代理的提示词中，确保所有代理与统一的创意意图保持一致。
奖励信号：多模态大语言模型（MLLM）裁判评估最终视频，并输出分解的奖励信号 $R = (r_{cs}, r_{nm}, r_{aa})$ 。这将创意策略的评估与执行质量解耦，使 MAB 能够隔离出具体是哪些参数驱动了成功。
预热启动：LLM 根据产品领域初始化 MAB 的期望值，使早期探索偏向于理论上合理的配置。

C. 基于代理自我精炼的局部优化

为防止错误传播，系统采用反馈下降循环：

故事线精炼：LLM 评估叙事的吸引力、连贯性和产品整合度，如果分数低于阈值，则重写提示词。
关键帧精炼：MLLM 联合（而非单独）评估关键帧序列，以检测身份漂移和环境不一致性，仅选择性重新生成有缺陷的帧。

3. 主要贡献

Co-Director 框架：首个利用 MAB 驱动引导将生成式叙事形式化为全局优化问题的系统，超越了线性流水线，实现了分层、连贯的架构。
分层参数化：一种新颖的方法，通过将高层策略分解为子代理的具体、可操作的指令，在代理间传播创意意图，防止语义冲突。
GenAd-Bench：一个严格的基准测试，包含400 个场景，涵盖 200 种虚构产品。它使用虚构实体以防止模型记忆，并对视觉资产保真度、人口统计一致性和营销吸引力实施严格约束。
分解奖励机制：一种新颖的评估方法，将战略有效性与执行质量解耦，使得在非可微流水线中能够进行精确的功劳分配。

4. 实验结果

作者在 GenAd-Bench 上评估了 Co-Director，对比了最先进的基线，包括单体模型（Veo 3.1, Wan 2.6）、商业平台（HeyGen, Creatify）以及其他代理框架（AniMaker, MovieAgent）。

性能：Co-Director 取得了最高的平均分（81.4/100），显著优于次优的代理基线（MovieAgent 为 65.3）和单体模型（Veo 3.1 为 63.6）。
关键指标：
- 视觉资产保真度（VAF）：82.1（Wan 2.6 为 67.0）。
- 人口统计一致性（DA）：91.4（MovieAgent 为 81.3）。
- 营销吸引力（MA）：82.0。
- 视觉质量（VQ）：70.2。
消融研究：
- 移除 MAB 优化（随机搜索）使平均分降至 75.7。
- 移除局部自我精炼（故事线或关键帧）导致叙事连贯性和资产保真度显著下降（例如，没有关键帧精炼，VAF 下降了约 9.8 分）。
- “分解奖励”设计被证明至关重要；将其坍缩为单一标量使性能下降了 5.0 分。
效率：带有预热启动的 MAB 在前几次迭代中即收敛到高质量结果，而随机搜索需要更多迭代才能找到可比的配置。

5. 意义

原则性创意自动化：Co-Director 证明生成式视频可以超越简单的提示跟随，转向战略创意推理，在探索新想法与利用已验证风格之间取得平衡。
独立创作者的可扩展性：通过自动化脚本、视觉一致性和导演的复杂协调，该框架使高端电影制作民主化，此前这只有大型团队才能触及。
鲁棒的评估：GenAd-Bench 的引入为评估端到端生成工作流设立了新标准，特别解决了当前基准测试中的“记忆偏差”问题。
通用性：虽然在广告领域进行了演示，但该框架处理严格约束并保持身份一致性的能力，表明其适用于更广泛的电影叙事、短片和个性化内容创作。

总之，Co-Director代表了从线性、易出错的生成流水线向全局优化、自我修正的代理系统的范式转变，在叙事连贯性、视觉一致性和战略对齐方面取得了最先进的成果。