💻 computer science

Grounded Forcing: Bridging Time-Independent Semantics and Proximal Dynamics in Autoregressive Video Synthesis

本文提出了名为“Grounded Forcing"的新框架，通过双记忆 KV 缓存、双参考 RoPE 注入和非对称邻近重缓存三大机制，有效解决了自回归视频生成中的语义遗忘、视觉漂移及可控性丧失问题，显著提升了长视频生成的长期一致性与视觉稳定性。

原作者： Jintao Chen, Chengyu Bai, Junjun hu, Xinda Xue, Mu Xu

发布于 2026-04-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jintao Chen, Chengyu Bai, Junjun hu, Xinda Xue, Mu Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 "Grounded Forcing"（接地式强制） 的新方法，旨在解决让 AI 生成超长、连续且可交互视频时的三大难题。

想象一下，你想让 AI 像拍电影一样，连续生成一个小时的视频，而且中间你可以随时指挥它：“现在主角变成超人”、“场景切换到太空”、“让猫和狗一起跳舞”。

目前的 AI 做这件事时，就像是一个记性不好、容易迷路、且听不懂新指令的演员。这篇论文就是给这位演员装上了“超级大脑”和“导航仪”。

下面我用三个生动的比喻来解释它是怎么做到的：

1. 核心问题：AI 为什么拍不出好长视频？

在介绍解决方案前，先看看现在的 AI 会遇到什么麻烦：

记性差（语义遗忘）： 就像你读一本很厚的书，读到第 1000 页时，完全忘了第 1 页主角长什么样。AI 生成视频久了，就会忘记一开始设定的角色（比如把“爷爷”忘成了“陌生人”）。
迷路（视觉漂移）： 就像一个人一直往一个方向走，走得太远就超出了地图的范围，开始胡言乱语。AI 生成的视频时间越长，画面就越容易变形、抖动，最后变成一团乱码。
反应迟钝（控制力丧失）： 当你突然对 AI 说“现在变成超人”时，它要么完全听不懂，要么反应太剧烈，导致画面突然跳变，像断片了一样。

2. 解决方案：Grounded Forcing 的三大法宝

为了解决这些问题，作者设计了三个互相配合的机制，我们可以把它们想象成一个超级剧组的运作模式：

法宝一：双记忆库（Dual Memory KV Cache）

比喻：【随身速记本】+【核心人设档案】

以前的做法： 演员只带一个记事本，写满新台词。写满了就擦掉旧的，结果忘了主角是谁。
现在的做法（双记忆）：
- 局部记忆（LTM）： 就像演员手里的速记本，只记录最近几秒的动作和对话（比如“猫在跑”、“狗在叫”）。这个本子写满了就换新的，保证动作流畅。
- 全局记忆（GCM）： 就像放在保险柜里的核心人设档案（主角长什么样、穿着什么衣服、背景是什么）。这个档案永远不会被擦掉，除非剧情真的发生了大转折（比如主角真的变成了超人），才会更新档案。
效果： 无论视频多长，AI 永远记得“主角是爷爷”还是“主角是超人”，不会记混。

法宝二：双重参考罗盘（Dual-Reference RoPE Injection）

比喻：【绝对坐标】vs【相对路标】

以前的做法： 给视频里的每一帧都贴上绝对的时间标签（第 1 秒、第 1000 秒、第 10000 秒）。AI 只训练过看前 1000 秒，看到第 10000 秒的标签就懵了，画面开始扭曲。
现在的做法（双重参考）：
- 对“人设档案”（全局记忆）： 我们给它们贴上一个永恒不变的标签（比如“时间=0"）。不管视频演了多久，主角的“时间”永远是刚出场的那一刻，这样 AI 就能稳稳地认出他。
- 对“速记本”（局部记忆）： 我们只给它们贴相对标签（比如“当前场景的第 1 秒、第 2 秒”）。这样无论视频多长，局部动作都在 AI 熟悉的“安全区”内，不会迷路。
效果： 既保证了主角不“变脸”，又保证了动作不“抖动”。

法宝三：不对称近邻刷新（Asymmetric Proximity Recache）

比喻：【温和的换装术】

以前的做法： 当你让 AI 从“走路”变成“跑步”时，它会把之前的记忆全部清空，直接换一套新衣服。结果就是画面突然跳变，像视频卡顿了一样。
现在的做法（不对称刷新）：
- 离你最近的画面： 我们大力度地更新，让它立刻听你的新指令（马上开始跑步）。
- 离你较远的画面： 我们小力度地更新，保留原来的样子（保持主角还是那个人，背景还是那个背景）。
- 就像给视频加了一个渐变滤镜，让变化是平滑过渡的，而不是生硬的切断。
效果： 当你指挥 AI 切换场景或动作时，视频过渡自然流畅，不会出现“断片”或“鬼畜”现象。

3. 总结：它带来了什么？

这篇论文提出的 Grounded Forcing 方法，就像给 AI 视频生成器装上了：

超级记忆力（记得住主角是谁）；
防迷路导航（画面不抖动、不变形）；
平滑过渡技能（听指挥换场景不卡顿）。

最终成果：
作者用这个方法生成了长达 1 分钟 甚至更久的视频，里面有多个角色（奶奶、猫、狗），场景不断切换，但角色始终一致，画面非常稳定。这为未来制作无限时长的交互式电影或虚拟世界模拟器打下了坚实的基础。

简单来说，就是让 AI 从“只能拍几秒短视频的糊涂虫”，变成了“能拍长篇连续剧的靠谱导演”。

这篇论文提出了一种名为 Grounded Forcing 的新框架，旨在解决自回归（Autoregressive, AR）视频合成在生成长时间、交互式视频时面临的三大核心挑战：语义遗忘（Semantic Forgetting）、视觉漂移（Visual Drift）和可控性丧失（Controllability Loss）。

以下是该论文的详细技术总结：

1. 研究背景与问题定义

自回归视频合成因其支持无限时长的生成和实时流式交互而备受关注，但在生成长视频（如超过 1 分钟）时存在三个相互交织的瓶颈：

语义遗忘：由于上下文窗口限制，模型在生成长序列时会逐渐“忘记”初始帧中定义的角色身份和场景布局，导致身份切换或背景不一致。现有的“锚定首帧”方法过于僵化，无法适应动态的语义变化（如角色变身）。
视觉漂移：标准的旋转位置编码（RoPE）将 Token 绑定到绝对时间索引。在无限时长的生成中，时间索引超出训练分布（Out-of-Distribution），导致注意力机制退化，产生视觉伪影、抖动甚至质量崩塌。
可控性丧失：在交互式指令切换（如从“行走”变为“奔跑”）时，现有的 KV Cache 刷新策略通常采用均匀刷新或完全清空，导致语义突变（Semantic Shock）或无法遵循新指令，破坏了长程连贯性。

2. 核心方法论：Grounded Forcing

该框架通过三个相互锁定的机制，将“时间无关的语义”与“邻近动态”解耦，实现了稳定且灵活的生成。

A. 双重记忆 KV 缓存 (Dual Memory KV Cache)

为了解决语义遗忘，作者将 KV 缓存解耦为两个部分：

**局部时序记忆 **(LTM, Local Temporal Memory)：作为标准的滑动窗口，存储最近的帧，捕捉高频运动和邻近动态。随着新帧进入，旧帧会被淘汰，保证内存恒定。
**全局一致性记忆 **(GCM, Global Consistency Memory)：存储稀疏的关键帧（Keyframes），作为视频语义身份的持久锚点。这些帧受到保护，不会被滑动窗口淘汰。
多样性感知更新策略：GCM 不是静态的。当提示词切换导致语义变化（如角色从“人”变为“绿巨人”）时，系统计算新帧与现有 GCM 的潜在相似度。如果新帧具有高语义新颖性（低相似度），且现有锚点具有高冗余度，则用新帧替换冗余锚点。这确保了 GCM 能覆盖演变的语义空间，同时保持紧凑。

B. 双重参考 RoPE 注入 (Dual-Reference RoPE Injection)

为了解决视觉漂移，作者提出了一种动态注入位置编码的策略，而非在缓存前就固定位置编码：

全局记忆的时间不变性：对于 GCM 中的 Key，在注入 RoPE 时强制赋予固定的时间索引（如 $t=0$ ）。这使得模型将全局锚点视为“时间无关”的语义参考（如身份、风格），无论生成时间多长，其位置编码始终在训练分布内，防止漂移。
局部记忆的相对上下文：对于 LTM 中的 Key，注入相对于当前滑动窗口的相对时间索引（例如映射到 $[0, 21]$ 的安全范围内）。这确保了局部运动动态始终处于模型的最佳感知范围内。
多镜头支持：在场景切换时，可以重置 LTM 的索引，同时保留 GCM，从而实现无缝的多镜头叙事。

C. 非对称邻近重缓存 (Asymmetric Proximity Recache, APR)

为了解决指令切换时的可控性问题，提出了一种细粒度的 KV Cache 更新策略：

邻近加权插值：不同于均匀刷新，APR 根据时间邻近度计算权重系数 $\alpha_t$ $α_{t}$ 。
- 高邻近度（当前帧附近）：赋予较高的 $\alpha$ ，使新指令能迅速生效，确保动作立即响应。
- 低邻近度（历史帧）：赋予较低的 $\alpha$ ，保留旧缓存中的语义（如角色身份、背景），维持长程上下文。
这种非对称更新在“遵循新指令”和“保持旧身份”之间建立了平滑的语义桥梁，消除了语义冲击。

3. 主要贡献

问题解耦：首次系统性地识别并解耦了长视频生成中静态语义与动态运动的纠缠问题。
架构创新：提出了 Dual Memory KV Cache，通过分离局部动态和全局语义锚点，从根本上缓解了语义退化。
稳定性机制：设计了 Dual-Reference RoPE Injection，通过时间不变的全局锚点和相对局部的索引，消除了无限时长的位置漂移。
交互优化：开发了 APR 策略，实现了平滑的提示词切换，兼顾了即时响应和语义继承。
性能验证：在 Wan2.1 等基座上实现了 SOTA 的长视频生成效果，同时保持了实时性能。

4. 实验结果

定量评估：在 240 秒长视频生成任务中，Grounded Forcing 在 **背景一致性 **(0.9265) 和 **主体一致性 **(0.9163) 指标上均优于 LongLive、Rolling Forcing 和 Infinity-RoPE 等基线模型。同时，它在动态程度和美学质量上也保持了竞争力。
定性分析：
- 多镜头生成：成功实现了从“人”到“绿巨人”再到“银翼飞龙”的身份平滑过渡，而基线模型（如 Infinity-RoPE）出现了严重的身份遗忘或漂移。
- 单镜头交互：在提示词从"Iron Man"切换到"laser"再到"explosion"时，保持了动作和身份的连贯性，无突兀跳跃。
用户研究：在 5 分量表的用户研究中，该方法在主体一致性、背景一致性和文本遵循度上均获得最高分（3.66, 3.78, 3.72），显著优于现有方法。
消融实验：移除任一组件（Dual Mem, DR-RoPE, APR）均导致各项指标显著下降，证明了三个模块的协同必要性。

5. 意义与展望

Grounded Forcing 为构建沉浸式世界模拟器奠定了坚实基础。它证明了通过结构化的创新（而非单纯的推理时调整），可以有效解决自回归模型在无限时域下的不稳定性问题。该方法不仅提升了长视频生成的连贯性和可控性，也为未来开发更高效、支持无限交互的生成式模型提供了新的架构范式。