AnimeAgent: Is the Multi-Agent via Image-to-Video models a Good Disney Storytelling Artist?

本文提出了首个基于图像到视频（I2V）模型的自定义故事板生成框架 AnimeAgent，它借鉴迪士尼“逐帧与关键帧结合”的创作理念，通过利用 I2V 的隐式运动先验和混合主客观评估机制，有效解决了现有静态多智能体方法在动态表现力、迭代修正及风格化评估方面的局限，在一致性、提示词遵循度和风格化方面均达到了最先进水平。

要点

这篇论文介绍了一个名为 AnimeAgent 的新系统，它的目标非常宏大：让 AI 像迪士尼的动画大师一样，自动画出连贯、生动且角色不“变脸”的连环画故事。

为了让你轻松理解，我们可以把制作动画故事比作**“拍一部微电影”**。

1. 以前的 AI 画师遇到了什么麻烦？

在 AnimeAgent 出现之前，现有的 AI 画故事主要有三个“硬伤”：

• 像“复印机”而不是“导演”： 以前的 AI（基于静态图片模型）就像是一个只会“复制粘贴”的复印机。它画第一张图很完美，但画第二张时，为了保持角色一致，它往往只是把第一张图里的角色“搬”到第二张图里，导致动作僵硬，缺乏动态感。
• “一锤子买卖”： 以前的 AI 是一次性生成。如果它把角色的眼睛画错了，或者忘了画手里的剑，它就没有机会回头修改，只能硬着头皮继续，导致故事逻辑不通。
• “不懂行”的评委： 以前的系统里，负责检查画得好不好的“评委”（评估模型）往往很笨。它们分不清什么是“艺术夸张”，什么是“画错了”。比如，为了表现愤怒把脸画得很大，AI 评委可能觉得这是“画坏了”，从而给出低分。

2. AnimeAgent 的绝招：迪士尼的“老派智慧”

这篇论文的核心灵感来自迪士尼动画师们几十年前使用的经典工作流。他们画动画时，不是死板地一张一张画，而是结合两种方法：

• Pose-to-Pose（关键帧法）： 先画好故事里最重要的几个瞬间（比如“拔剑”、“摔倒”），确定骨架。
• Straight Ahead（逐帧法）： 在关键帧之间，顺着动作流畅地补全中间的细节，让动作自然生动。

AnimeAgent 把这种“人类智慧”变成了 AI 的多智能体协作系统：

🎬 角色一：总导演 (Director Agent)

• 任务： 它是你的“剧本翻译官”。
• 比喻： 当你只说“白雪公主在森林里迷路了”时，总导演会把它拆解成专业的“分镜脚本”（Dope Sheet）。它会详细规定：白雪公主穿什么衣服、手里拿什么、镜头是远还是近、光线是冷是暖。
• 作用： 确保 AI 不会“自由发挥”到离谱，给后续创作打下坚实的地基。

🎨 角色二：动画师 (Artist Agent)

• 任务： 它是真正的“画师”，但用的是**“视频生成”**（Image-to-Video）技术，而不是画单张图。
• 比喻： 以前的 AI 是画一张静止的画，现在的 AI 是**“拍一段短视频”**。
  • 它先根据总导演的脚本，画好第一帧（作为“视觉锚点”，锁定角色长相）。
  • 然后，它利用视频模型自带的“时间感”，自动推演接下来的动作。就像你推倒多米诺骨牌，AI 能自然地计算出角色走路时衣服怎么飘、头发怎么动，角色在视频里永远不会“变脸”或“换衣服”。
• 创新点： 它把“第一帧”当作一个**“视觉剧本”**，让后续的画面自动跟着这个剧本走，既保证了连贯性，又充满了动态美。

👀 角色三：挑剔的评审团 (Reviewer Agent)

• 任务： 它是“质检员”和“选片人”，负责把把关。
• 比喻： 动画师画出了一长串视频，评审团要做两件事：
  1. 找茬（一致性检查）： 检查角色有没有突然变成另一个人？手里的剑是不是消失了？如果有问题，就退回给“总导演”修改剧本，让动画师重画。这是一个**“反复打磨”**的过程。
  2. 选片（混合评审）： 视频里有很多帧，哪一帧最精彩？
     • 客观评委： 用数学算动作幅度大不大、画面美不美。
     • 主观评委（AI 大脑）： 像人类一样看故事，问“这一帧有没有传达出悲伤的情绪？”“剧情逻辑通顺吗？”
  • 最后，评审团会从视频里挑出最精彩、最有张力的那几帧（也就是动画里的“关键帧”），组合成最终的连环画故事。

3. 为什么它这么厉害？

• 不再“变脸”： 因为它是基于视频生成的，角色在运动过程中，长相、衣服、道具都死死地“锁”住了，不会出现上一张是红衣服，下一张变蓝衣服的尴尬。
• 像真人一样思考： 它不是死板地执行指令，而是像人类动画师一样，先定骨架，再补细节，最后挑精华。
• 自我纠错： 如果画错了，它会自己发现，改剧本，再重画，直到满意为止。

4. 总结

AnimeAgent 就像是给 AI 请了一位**“迪士尼老导演”做顾问。它不再让 AI 盲目地画单张图，而是让 AI 学会“拍视频、挑镜头、改剧本”**。

结果就是：AI 生成的故事不仅角色长得像（一致性高），而且动作流畅自然（动态表达好），还能听懂你复杂的指令（提示词遵循度高），真正做到了让机器讲出有灵魂的故事。

一句话概括： 以前的 AI 画故事像“拼积木”，容易散架；现在的 AnimeAgent 像“拍电影”，连贯、生动且充满戏剧张力。

技术摘要

AnimeAgent 技术总结

1. 研究背景与问题定义

自定义分镜生成（Custom Storyboard Generation, CSG） 旨在根据角色、场景和剧本自动生成高质量、多角色一致的故事叙述图像。然而，现有的基于静态扩散模型（Text-to-Image, T2I）的方法存在三大核心局限：

1. 缺乏动态表现力：静态模型往往采用“复制 - 粘贴”模式，难以生成具有动态张力的复杂动作和多角色互动，缺乏动画特有的生命力。
2. 单次推理的缺陷：One-shot（单次）生成模式无法迭代修正缺失的属性或提示词遵循度差的问题，导致关键动作缺失。
3. 评估机制的不足：现有的多智能体框架依赖的评估器（如 CLIP 分数或大语言模型评分）对风格化、非写实的动画内容不敏感，且缺乏稳定的参考标准，难以有效指导迭代优化。

2. 方法论：AnimeAgent 框架

为了解决上述问题，作者提出了 AnimeAgent，这是首个基于 图像到视频（Image-to-Video, I2V） 模型的多智能体 CSG 框架。其核心灵感来源于迪士尼经典的 “直画（Straight Ahead）”与“关键帧（Pose to Pose）”相结合 的动画工作流程。

2.1 核心架构

AnimeAgent 由三个主要智能体组成，形成一个闭环的迭代优化流程：

(1) 导演智能体 (Director Agent)

• 功能：将非专家的用户输入（文本剧本、参考图）转化为结构化的 文本动态表（Textual Dope-Sheet, TS）。
• 机制：
  • 利用多模态大语言模型（MLLM）解析输入，生成包含五个维度的结构化提示：角色（Characters）、镜头（Shots）、场景（Scene）、构图（Composition）和关系（Relationships）。
  • 引入二元链接标志（Linkage Flag），确保连续镜头间的身份和外观一致性。
  • 该结构化 TS 作为下游 I2V 生成的精确接口，减少自由文本的歧义。

(2) 艺术家智能体 (Artist Agent)

• 功能：基于 I2V 模型生成连续的运动轨迹。
• 创新点：
  • 视觉动态表（Visual Dope-Sheet）：利用 I2V 生成的第一帧作为视觉锚点，稳定地锁定角色身份和风格，并将其语义传播至后续帧。
  • 隐式时空推理：利用 I2V 的链式帧生成机制，隐式地支持时空推理。模型能根据第一帧的布局动态构建合理的多角色互动，避免了静态 T2I 模型僵硬的“复制 - 粘贴”构图。
  • 生成策略：先生成连续的“直画（Straight Ahead）”运动轨迹，捕捉动态细节。

(3) 评审智能体 (Reviewer Agent)

• 功能：评估生成结果并进行迭代优化，最终选择最具表现力的帧（Extremes）。
• 两阶段评估：
  1. 一致性评审（Consistency Reviewer）：从视频尾部采样关键帧，利用 MLLM 生成描述性动态表，并与原始 TS 进行语义相似度计算（余弦相似度）。若分数低于阈值，则反馈给导演智能体进行局部修正（迭代优化）。
  2. 混合评审（Mixed Reviewer）：用于从生成的轨迹中选择最具叙事张力的“极端帧（Extremes）”作为最终分镜。
     • 客观评审：结合美学评分（Aesthetic Score）和运动评分（Motion Score）。运动评分通过光流追踪关键点位移来量化动态强度，避免将相机运动误判为前景动态。
     • 主观评审：利用 MLLM 评估叙事维度（意图对齐、表现力、说服力），弥补纯视觉指标的不足。

2.2 工作流程总结

1. 导演解析剧本 -> 生成结构化文本动态表。
2. 艺术家基于文本动态表和参考图，利用 I2V 生成连续运动轨迹。
3. 一致性评审检查关键帧，若发现身份漂移或布局错误，反馈给导演进行修正。
4. 混合评审从优化后的轨迹中，结合客观指标和主观叙事评估，挑选出最具表现力的帧（Extremes）作为最终输出。

3. 关键贡献

1. 首个 I2V 多智能体 CSG 框架：提出了 AnimeAgent，利用 I2V 模型的隐式运动先验解决静态模型缺乏动态表现力和一致性的问题。
2. 分层文本动态表与混合评审机制：
   • 设计了分层文本动态表（Hierarchical Textual Dope-Sheet）来释放 I2V 的潜力。
   • 提出了混合评审机制（主观 + 客观），实现了可靠的迭代优化和最佳帧选择。
3. 构建带真值的 CSG 基准数据集：收集并标注了 AnimeBoard-GT 数据集，包含人工标注的真实分镜（Ground Truth），解决了现有基准缺乏真值参考的问题，支持更真实的评估。
4. SOTA 性能：在一致性、提示词遵循度和动画表现力方面达到了当前最先进水平。

4. 实验结果

作者在 ViStoryBench 和自建的 AnimeBoard-GT 数据集上进行了广泛评估，对比了 13 种 CSG 方法和 9 个商业平台。

• 定量结果：
  • 在 ViStoryBench 上，AnimeAgent 在所有指标（风格相似度 CSD、角色身份相似度 CIDS、提示词对齐 PA 等）上均优于所有基线方法。例如，CIDS 达到 0.785（Self），PA 达到 3.85。
  • 在 AnimeBoard-GT 上，AnimeAgent 取得了最高的 CLIP-I 分数（0.786），证明其生成内容与真实分镜的高度对齐。
  • 相比商业平台（如 Doubao, GPT-4o），AnimeAgent 在保持高美学质量的同时，显著提升了语义忠实度和角色一致性。
• 定性结果：
  • 在《爱丽丝梦游仙境》、《阿拉丁》等故事测试中，AnimeAgent 成功保持了角色服装和特征的一致性，避免了其他方法常见的角色漂移（Identity Drift）和背景重复问题。
  • 能够准确捕捉关键动作（如“弯腰进洞”、“伸手开门”），并呈现出合理的镜头推进（特写->广角->细节）。
• 用户研究：
  • 20 名标注员在角色一致性、提示词对齐和美学质量三个维度进行打分，AnimeAgent 在所有维度均排名第一（一致性 3.95/5，提示词对齐 3.70/5）。
• 消融实验：
  • 移除导演智能体导致所有指标下降，证明结构化动态表的重要性。
  • 移除混合评审中的主观或客观部分均会导致性能显著下降，证明两者缺一不可。

5. 意义与局限性

意义：

• 范式转变：将 CSG 从“单次静态生成”转变为“基于运动轨迹的迭代优化”，更贴近人类动画师的实际工作流。
• 技术突破：证明了 I2V 模型在保持角色一致性方面的潜力，并通过多智能体协作解决了提示词遵循和动态评估的难题。
• 资源贡献：提供的带真值基准数据集为未来研究提供了重要的评估标准。

局限性：

• 计算开销：依赖大型 MLLM 和 I2V 骨干网络，多轮交互导致计算成本高、延迟大。
• 未来方向：计划研究更高效的模型变体和轻量化设计，以降低推理成本并支持实时部署。

总结：AnimeAgent 通过模拟迪士尼动画师的工作流，结合 I2V 的动态生成能力和多智能体的迭代评估机制，成功解决了自定义分镜生成中的角色一致性、动态表现力和叙事逻辑等核心难题，为自动化动画制作提供了新的技术路径。