🤖 AI

GroundShot: Visually Consistent Multi-Shot Long Video Generation via Entity-Grounded Shot Scheduling

GroundShot 是一个无需训练且与模型无关的框架，它通过动态调度镜头顺序并维护一个用于对实体引用进行锚定与验证的在线实体级视觉记忆，从而增强了视觉一致性的多镜头长视频生成，进而防止跨镜头的视觉漂移。

原作者： Yixuan Lai, Tianjia Shao, Kun Zhou, Weijia Dou, Siyu Zhu, Jingdong Wang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yixuan Lai, Tianjia Shao, Kun Zhou, Weijia Dou, Siyu Zhu, Jingdong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在执导一部电影，但你不是雇佣演员和摄影团队，而是要求一个神奇的 AI 根据你写的剧本画出每一个场景。

目前 AI 视频生成最大的问题是记忆缺失。如果你在第一场戏中要求 AI 画一个“穿着蓝色外套的红发女性”，然后在第十场戏中再次要求它画她时，AI 往往会忘记她长什么样。也许她的头发变成了棕色，外套变成了绿色，或者她突然换了一张脸。这是因为 AI 试图记住它刚刚画的最后一张图，而微小的误差会像玩“传声筒”游戏一样不断累积，直到角色变得面目全非。

GroundShot 是一个旨在解决这一问题的全新系统。它不仅仅是让 AI 按顺序画图；它更像是一个聪明的导演与一位细心的档案管理员在协同工作。

以下是它的运作方式，我们使用简单的类比来解释：

1. “最佳照片”规则（质量感知调度）

在普通的电影制作中，我们会按照故事发生的顺序拍摄场景。但 GroundShot 意识到，并非所有的镜头都适合用来记录角色的样子。

问题： 如果角色在故事中第一次出现时是一个模糊的小黑点（远景镜头），那么这是一个极其糟糕的记忆参考。如果 AI 使用这张模糊的照片作为后续整个电影的参考，那么这个角色可能会一直处于模糊或扭曲的状态。
GroundShot 的解决方案： 系统会先通读整个剧本。它会说：“等等，先不要按故事顺序拍摄了。让我们先拍下角色脸部的特写，即使这个场景发生在故事的后期。”
类比： 想象一下你正试图教别人辨认你的狗。你不会先给他们看一张在雨中、百码之外拍摄的狗的照片。你会先展示一张清晰、高质量的狗脸照片。GroundShot 会首先生成这张“清晰的面部照片”，将其锁定为主参考图（Master Reference），然后利用这张完美的图像来指导后续所有场景的绘制，无论这些场景出现在故事的哪个部分。

2. “专业化文件柜”（实体级记忆）

旧系统试图记住整个场景的全部内容。这就像是为了找一把特定的椅子，却试图记住整个房间的样子。这既混乱又容易出错。

GroundShot 的解决方案： GroundShot 将场景拆解为独立的个体：角色、物体（如夹克）和地点（如餐厅）。
类比： GroundShot 拥有的不是一本巨大的相册，而是三个独立的文件柜：
- 文件柜 A（角色）： 保存着“红发女性”的最佳照片。
- 文件柜 B（物体）： 保存着“蓝色夹克”的最佳照片。
- 文件柜 C（地点）： 保存着“餐厅”的最佳照片。
  当它需要绘制新场景时，它会提取特定的“红发女性”文件和“蓝色夹克”文件。它不会被背景或其他人的信息所干扰。

3. “质量控制检查员”（验证与锚定）

仅仅因为 AI 画出了东西，并不意味着它足以作为参考。

流程： 在 AI 绘制完一个场景后，GroundShot 会充当一名严格的剪辑师。它会检查：“脸部是否清晰？外套颜色对吗？角色消失了吗？”
过滤器： 如果画作是模糊的、被截断的或怪异的，GroundShot 会将其丢进垃圾桶。它只保留那些完美版本放入文件柜中。如果一个角色只露出背影，GroundShot 知道这无法作为脸部的良好参考，因此它会等待生成一张正面照之前，不会更新记忆。

4. “动态图书馆”（智能更新）

有时，角色需要呈现不同的状态（例如：微笑 vs 皱眉，或者侧脸视角）。

解决方案： GroundShot 会妥善保存并保持“主参考图”（完美的脸部）不变。但是，如果新场景需要一个侧视图，它会向文件柜中添加一个补充文件来展示侧视图，只要这个侧视图仍然符合主参考图的要求。
类比： 这就像是一个 3D 模型。你有一个主蓝图（主参考图）。如果你需要建造一面侧墙，你可以添加一个侧视图蓝图，但你永远不会修改主蓝图。这确保了角色永远不会因为“漂移”而变成另一个人。

结果

通过上述手段，GroundShot 可以创作出长篇视频，其中的角色、服装和场景从第一秒到最后一秒都能保持完全一致。它不需要重新训练或学习新技巧；它只是让过程变得更加智能化。

简而言之： GroundShot 阻止了 AI 与自己的记忆玩“传声筒”游戏。相反，它为每个角色和物体创建了一个“主参考图”，首先生成它们最完美的版本，然后利用这个完美版本来确保整部电影的一致性。

技术摘要：GroundShot

问题陈述

生成具有视觉一致性的多镜头长视频仍然是文本生成视频（T2V）领域的一个开放性挑战。虽然近期的模型可以生成连贯的短片，但在将其扩展到多镜头叙事时，会出现**视觉漂移（visual drift）**现象。随着镜头数量的增加，实体（角色、物体、场景）在面部特征、颜色、形状或空间连贯性方面往往会发生变化。

本文指出了现有多种多镜头方法的两个主要局限性：

全帧参考（Whole-Frame References）： 现有的方法通常依赖于帧级记忆或相邻帧。这导致了角色、物体和背景的纠缠，迫使生成器从混合的视觉上下文中推断实体的外观，随着场景变得复杂，这种方式变得不再可靠。
叙事顺序生成（Narrative-Order Generation）： 大多数方法按叙事顺序生成镜头。这迫使系统必须从早期可能质量较弱的视角（例如，远景建立镜头）开始初始化记忆，而不是等待故事稍后可能出现的更清晰、信息量更大的外观。这些早期低质量参考产生的错误会向前传播，导致累积性的身份漂移。

作者观察到，人类观众通过将后续每一次实体的出现与其首次清晰出现（即“规范参考”，canonical reference）进行对比来判断一致性。因此，一致性应当在实体层面进行管理，将生成顺序与叙事顺序解耦，从而优先创建高质量的规范参考。

方法论：GroundShot

GroundShot 是一个无需训练、与模型无关的智能体框架（agentic framework），旨在管理实体级的视觉记忆和镜头调度。它作为现有 T2V 或参考条件视频（Ref2V）后端的封装运行。该流水线由五个关键阶段组成：

1. 剧本解析与实体提取

LLM 解析器分析输入的文本剧本和可选的全局描述，以实现以下目标：

识别重复出现的实体（角色、物体、场景）。
跨镜头链接文本提及，为每个实体分配唯一的实体 ID。
分配优先级等级（角色 > 物体 > 场景）。
确定每个镜头中出现的实体集合。

2. 质量感知型镜头调度

GroundShot 不遵循叙事顺序，而是根据镜头作为参考源的预期效用来确定最佳的生成顺序 ( $\pi$ )。

参考质量估计： 对于每个实体 $e$ 和镜头 $s_i$ ，参考质量估计器 $Q_{ref}$ 会根据实体预期的清晰度（考虑尺度、遮挡和视角）预测得分 $q_{src}(s_i, e)$ 。
依赖图构建： 调度器构建一个有向图，其中边从选定的“源镜头”（即对该实体预测质量最高的镜头）指向包含该实体的其他镜头。
拓扑排序： 调度器通过优先考虑高优先级实体和较大的质量增益来解决循环冲突（不同实体间的偏好冲突），然后执行拓扑排序以产生生成顺序。这确保了高质量的参考镜头在依赖型镜头之前被生成。

3. 实体级视觉记忆

GroundShot 维护一个按实体而非按帧组织的动态视觉记忆 $R$ 。

规范参考（Canonical Reference）： 为每个实体保留的第一个足够高质量的参考被保护为规范参考 ( $r^*_e$ )。该锚点永远不会被覆盖。
补充参考（Supplementary References）： 系统仅在补充参考与规范身份一致（身份门控）且能提供非冗余视觉证据（如不同的表情、视角或场景扩展，即多样性门控）时才允许其进入。
落地与验证（Grounding & Verification）： 镜头生成后，系统执行实体级落地（使用如 ReferDINO 等模型）以提取候选裁剪区域。
- 角色/物体： 提取前景裁剪区域。
- 场景： 通过图像编辑模型对前景进行掩模处理并移除，以重建背景场景。
- 质量检查： 候选区域需经过特定类型的质量检查（如面部可见度、清晰度、重建安全性）。只有通过阈值 $\tau_{type}$ 的候选区域才会被纳入记忆。

4. 镜头生成

按照调度顺序对每个镜头进行操作：

参考检索： 系统默认检索规范参考。如果补充参考能更好地匹配目标镜头的特定视角、表情或场景覆盖范围，则通过 VLM 评分器进行选择。
生成模式：
- T2V： 如果不存在可用的前景参考，则根据文本生成镜头。
- Ref2V： 如果存在参考，则在以它们为条件的条件下生成镜头。
验证与修复： VLM 评论家（critic）根据提示词和参考资料验证生成的视频。如果检测到严重问题（身份不匹配、实体缺失），则尝试针对性修复（如加强约束、调整提示词、重新设置随机种子）。

5. 经验学习

GroundShot 维护一个生成经验日志 $X$ ，记录成功的修复动作和失败模式。这为类似的镜头提供指导，实现单次生成过程中的迭代改进。

核心贡献

GroundShot 框架： 一个新颖的、无需训练的智能体框架，将多镜头一致性形式化为实体级参考管理问题。它通过质量感知调度显式地将生成顺序与叙事顺序解耦，并维护一个精选的实体参考视觉记忆。
GroundBench： 一个旨在从实体层面评估多镜头一致性的诊断基准。它将剧本组织成受控的挑战模块（如尺度变化、多身份辨别、场景重访），以实现细粒度的失效分析，超越了整体性的帧级指标。
实证验证： 大量实验表明，GroundShot 在实体级一致性指标（ARC、WCI、XCD）上优于强力的基线模型（包括 HoloCine、MultiShotMaster 和 StoryMem），且无需额外的训练或模型修改。

结果

定量性能： 在 GroundBench 上，GroundShot 在锚点相对一致性（ARC）和最差情况身份（WCI）方面达到了最先进水平，表明其在跨镜头保持实体身份方面具有卓越能力。它还提升了跨角色辨别力（XCD），有效地分离了相似的身份。
后端无关性： 该框架提升了三种不同视频生成后端（Vidu、Kling 和开源的 Wan2.1+Phantom）的一致性，证明其收益源于智能体框架而非特定的后端模型。
人类评估： 在一项包含 48 名参与者的研究中，GroundShot 在身份一致性（4.18/5）、文本对齐度（4.23/5）和整体质量（4.21/5）方面获得了最高评分，超过了所有基线模型。
消融实验：
- 实体落地（Entity Grounding）： 若移除实体级落地（改用全帧），性能下降最为显著，证实了不相干实体参考的必要性。
- 调度（Scheduling）： 将生成方式恢复为叙事顺序会导致 ARC 和 WCI 显著下降，验证了优先生成参考源镜头的价值。
- 动态记忆： 研究表明，允许使用补充参考（超越单一规范锚点）对于处理视角变化和场景扩展（特别是场景）至关重要。

意义与主张

论文声称 GroundShot 通过将范式从序列化的帧级约束转向以实体为中心的参考管理，解决了长篇视频生成中的累积漂移根本限制。

规范参考优先： 通过优先生成能提供清晰、高质量实体外观的镜头，GroundShot 建立了一个“星形”一致性结构，使所有后续出现都回溯到单一、可靠的标准，而不是从一系列可能较弱的中间帧中发生漂移。
生产与叙事的解耦： 该框架证明了镜头的生成顺序并不需要与叙事顺序一致。这种灵活性允许系统在故事需要之前，“预计算”出角色和场景的视觉身份。
实用性： GroundShot 不需要对底层的视频生成模型进行额外的训练，使其能够立即应用于现有的 SOTA T2V 和 Ref2V 系统。

作者承认 GroundShot 受限于其底层视频生成后端的质量上限；如果后端在单次尝试中无法产生可识别的实体，该框架也无法完全解决问题。然而，该框架通过确保所使用的参考是现有最高质量的可用参考，显著提升了多镜头生成的质量天花板。