💬 NLP

CANVAS: Continuity-Aware Narratives via Visual Agentic Storyboarding

本文提出了 CANVAS 框架，通过多智能体视觉分镜规划显式解决长篇幅视觉叙事中的角色、背景及道具一致性问题，并在多个基准测试中显著优于现有基线模型。

原作者： Ishani Mondal, Yiwen Song, Mihir Parmar, Palash Goyal, Jordan Boyd-Graber, Tomas Pfister, Yale Song

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Ishani Mondal, Yiwen Song, Mihir Parmar, Palash Goyal, Jordan Boyd-Graber, Tomas Pfister, Yale Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 CANVAS 的新系统，它的核心目标是解决 AI 画故事时最大的痛点：“记性不好”和“逻辑混乱”。

想象一下，如果你让一个 AI 画一个多格漫画或分镜故事，现有的 AI 就像是一个**“只有 5 秒钟记忆的画家”**。

画第一格：它画了一个穿红衣服、戴蓝帽子的侦探，背景是博物馆。
画第二格：它可能把侦探的帽子画成了绿色的，或者把博物馆的地板画成了草地。
画第五格：当侦探再次出现时，他可能变成了另一个人，或者博物馆里凭空多出了一堵墙。

CANVAS 就是为了解决这个问题而生的“超级导演 + 场记 + 记忆库”组合。

下面我用几个生活中的比喻来解释它是如何工作的：

1. 核心问题：为什么以前的 AI 画不好长故事？

以前的 AI 画故事，就像是一个**“只盯着上一张画的人”**。

它画第二张图时，只看第一张图长什么样，然后照着画。
但它不知道整个故事的剧本。它不知道“那个金杯子在第 3 格被偷走了”，所以到了第 5 格，它可能又莫名其妙地把金杯子画在展柜里。
它也不知道“侦探换衣服了”，所以侦探的衣服颜色会忽红忽绿。

2. CANVAS 的解决方案：三步走策略

CANVAS 不再是一个简单的“画图机器”，它是一个多智能体协作团队，分三步走：

第一步：全局导演（Global Story Planning）—— “先写剧本，再动笔”

在开始画画之前，CANVAS 会先让一个 AI 当“总导演”，把整个故事的大纲理清楚。

角色管理：它会给每个角色建立“身份证”。比如，“侦探 Ethan 在第 1-2 格穿风衣，第 3-4 格换成了保安服，第 5 格又换回风衣”。
场景管理：它会给每个地点建“档案”。比如，“博物馆”这个场景，墙壁是白色的，地板是大理石。如果第 5 格又回到博物馆，它必须调用这个档案，确保墙壁还是白色的，而不是突然变成森林。
道具管理：它像**“场记”**一样记录道具的状态。比如，“金杯子”在第 3 格被偷走了，状态就是“不在展柜里”。如果第 5 格展柜是空的，那就对了；如果展柜里还有杯子，那就错了。

比喻：这就像拍电影前，导演会先画好详细的分镜脚本，并给每个演员发角色小传，给每个场景发场景说明书。演员和摄影师必须严格遵守，不能随便改。

第二步：记忆库与检索（Memory & Retrieval）—— “带着参考图去画画”

当需要画某一格时，CANVAS 不会凭空想象，而是先去它的**“记忆库”**里找参考图。

如果要画侦探，它会从库里调出侦探刚才穿的衣服照片，确保长相和衣服不变。
如果要画博物馆，它会调出之前画好的博物馆背景图，确保房间布局一模一样。
如果故事里发生了大事（比如杯子被偷了），它会更新记忆库，告诉下一张图：“注意！展柜现在是空的！”

比喻：这就像是一个**“拥有无限回忆的画师”**。每次动笔前，他都会翻出之前的画作和笔记，确保新画的一页和旧的一页能完美衔接，不会出现“昨天穿红鞋，今天穿蓝鞋”的穿帮镜头。

第三步：自我审查（QA-based Selection）—— “挑出最完美的一张”

AI 可能会一次画出好几张候选图（比如画了 5 张侦探图）。CANVAS 会像一个**“挑剔的质检员”**，拿着刚才制定的“剧本”和“规则”来检查这 5 张图：

“这张图里侦探的帽子颜色对吗？”
“这张图里的展柜是空的吗（因为杯子被偷了）？”
“这张图里的背景墙壁和上一张一样吗？”

最后，它只选出最符合逻辑、最连贯的那一张作为最终成品。

3. 成果如何？

研究人员做了一个很难的测试（叫 HardContinuityBench），专门找那些容易让 AI 晕头转向的长故事（比如：场景反复切换、角色换装、道具消失又出现）。

以前的 AI：经常画着画着，角色脸变了，背景换了，或者道具凭空消失/出现。
CANVAS：就像是一个经验丰富的老练导演，它画的每一格都严丝合缝。
- 背景连贯性提升了 21.6%（房间不会突然变样）。
- 角色一致性提升了 9.6%（侦探还是那个侦探）。
- 道具一致性提升了 7.6%（被偷的杯子真的不见了）。

总结

CANVAS 就像是给 AI 装上了一个“长期记忆大脑”和“逻辑检查员”。

它不再只是机械地根据上一张图猜下一张图，而是真正理解了故事的世界观：谁是谁，在哪里，什么东西还在，什么东西没了。这让 AI 生成的长故事不再是一堆支离破碎的碎片，而是一部真正连贯、逻辑通顺的“视觉电影”。

对于普通用户来说，这意味着未来我们可以用 AI 轻松生成长篇漫画、动态绘本甚至短视频，而不用担心角色“变脸”或场景“穿帮”了。

CANVAS 技术总结：基于视觉代理分镜的连续性感知叙事

1. 研究背景与问题定义

核心问题：长篇幅视觉故事讲述（Long-form Visual Storytelling）要求生成的图像序列在角色、环境和物体状态上保持高度的一致性（连续性）。现有的生成式模型（如自回归扩散模型或基于参考图像的方法）虽然能生成高质量的单帧图像，但在处理多镜头叙事时存在严重缺陷：

角色漂移（Character Drift）：角色的面部特征、服装或发型在后续镜头中发生非预期的变化。
环境不稳定（Unstable Environments）：当场景（如博物馆、房间）在故事后期重新出现时，背景布局、建筑结构或光影无法保持一致。
物体状态错误（Incorrect Object States）：物体（如被偷走的文物、破碎的杯子）的状态未能根据剧情逻辑进行更新，导致“幽灵物体”或状态回退。

现有方法通常仅关注短距离的帧间一致性（如通过注意力机制或参考图），缺乏对**叙事世界状态（World State）**的显式建模，导致随着镜头数量增加，不一致性不断累积。

2. 方法论：CANVAS 框架

CANVAS (Continuity-Aware Narratives via Visual Agentic Storyboarding) 是一个无需训练（Training-free）的多智能体框架。它将分镜生成建模为显式的世界状态跟踪过程，通过全局规划、记忆引导的序列生成和基于问答（QA）的候选选择三个核心阶段来确保连续性。

2.1 核心组件

全局故事规划 (Global Story Planning)：
- 在生成图像之前，系统首先分析剧本，构建一个全局连续性计划 $P = (C, L, O)$ 。
- 角色状态 ( $C$ )：定义每个角色在每个镜头中的外观状态（如：穿着风衣、换上保安服），确保身份一致性。
- 位置分配 ( $L$ )：对镜头进行聚类，识别重复出现的场景。系统会预先规划背景锚点，确保同一地点在不同镜头中保持空间结构一致。
- 物体状态 ( $O$ )：跟踪物体的状态演变（如：存在 $\to$ 被偷 $\to$ 消失），确保物体状态随剧情逻辑变化。
记忆引导的序列生成 (Sequential Generation with Memory)：
- 系统维护一个视觉状态记忆库 $M$ ，包含角色锚点 ( $M_c$ )、背景锚点 ( $M_l$ ) 和已生成帧 ( $M_f$ )。
- 锚点检索：在生成每个镜头时，系统根据全局计划检索相关的视觉锚点：
  - 如果是连续镜头，检索上一帧和角色锚点。
  - 如果是场景重现，检索该场景的存储背景锚点和当前角色状态。
  - 如果是新场景，仅使用角色锚点初始化。
- 候选生成：基于检索到的锚点和当前镜头描述，生成多个候选帧。
基于 QA 的候选选择 (QA-based Candidate Selection)：
- 利用视觉语言模型（VLM）作为评估器，针对全局计划中的约束条件（如：角色服装是否匹配？背景布局是否一致？物体状态是否正确？）对候选帧进行提问和评分。
- 选择得分最高的帧作为最终结果，并更新记忆库（提取新的角色/背景/物体锚点），供后续镜头使用。

2.2 工作流程

输入：故事剧本（一系列镜头描述）。
规划：提取角色、地点、物体，生成状态演变时间线。
循环生成：
- 检索记忆（角色、背景、物体）。
- 生成候选图像。
- VLM 评分与选择。
- 更新记忆（提取新锚点）。
输出：连贯的多镜头分镜序列。

3. 主要贡献

提出 CANVAS 框架：首个无需训练的多智能体框架，通过显式的世界状态建模（角色、环境、物体）和记忆机制，解决了长篇幅叙事中的连续性难题。
构建 HardContinuityBench 基准：针对现有基准（如 ViStoryBench, ST-Bench）缺乏长距离推理挑战的不足，提出了一个新的基准。该基准包含频繁的场景重现、长间隔的角色回归、复杂的物体状态转换，专门用于压力测试长距离叙事一致性。
提出 ContinuityEval 评估指标：设计了一个细粒度的 VLM 评估框架，从角色一致性（面部、服装、身体）、背景一致性（几何结构稳定性）和道具一致性三个维度量化叙事连贯性。

4. 实验结果

作者在 ViStoryBench、ST-Bench 和新提出的 HardContinuityBench 上进行了广泛评估，并与 AutoStudio、Story-Iter、Story2Board 等最先进（SOTA）的无训练基线进行了对比。

定量结果：
- 在 HardContinuityBench 上，CANVAS 相比最强基线（Gemini-CT），背景连续性提升了 21.6%，角色一致性提升了 9.6%，道具一致性提升了 7.6%。
- 在 ViStoryBench 和 ST-Bench 上，CANVAS 在背景、角色和道具的一致性指标上均显著优于所有基线。
- 消融实验表明，移除“角色记忆”会导致角色一致性大幅下降（约 39%），移除“背景记忆”会导致场景一致性下降 50% 以上，证明了记忆机制的关键作用。
定性结果：
- 在博物馆盗窃、火车站、实验室等长故事案例中，CANVAS 成功保持了角色身份（如侦探的 trench coat）、场景布局（如博物馆的拱门和展柜）以及物体状态（如被偷走的文物消失）的高度一致。
- 相比之下，基线方法常出现角色服装突变、背景几何结构错乱或物体凭空消失/出现的情况。
下游任务影响：
- 使用 CANVAS 生成的分镜作为种子帧进行视频生成（Image-to-Video），在 FilMaster 评估指标中（叙事连贯性、角色一致性等）显著优于其他方法生成的视频，证明了高质量分镜对长视频生成的关键作用。

5. 意义与影响

理论突破：将视觉故事生成从单纯的“图像序列生成”提升为“世界状态演化建模”，强调了显式记忆和逻辑规划在生成式 AI 中的重要性。
技术价值：提供了一种无需重新训练庞大模型即可显著提升长序列生成质量的架构，具有极高的实用性和可扩展性。
应用前景：为自动化电影制作、交互式故事讲述、游戏叙事生成等领域提供了强有力的工具，能够生成具有电影级连贯性的视觉内容。
局限性：目前依赖大型图像生成模型，推理成本较高；对物理交互和复杂运动动态的建模尚不完善；对模糊或高度抽象叙事的实体提取存在挑战。

总结：CANVAS 通过引入“代理（Agent）”式的规划与记忆机制，成功解决了长篇幅视觉叙事中的一致性难题，为生成式 AI 在复杂叙事任务中的应用树立了新的标杆。