💻 computer science

MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens

MemRoPE 是一种无需训练的无限视频生成框架，通过引入持续压缩历史信息的记忆令牌和在线旋转位置索引机制，有效解决了长序列生成中的身份漂移、运动停滞及上下文丢失问题，实现了分钟至小时级的高保真视频生成。

原作者： Youngrae Kim, Qixin Hu, C. -C. Jay Kuo, Peter A. Beerel

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Youngrae Kim, Qixin Hu, C. -C. Jay Kuo, Peter A. Beerel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在让一个 AI 画家为你画一部无限长的电影。

现在的 AI 画家有个大毛病：他们记性不好。如果你让他画一部 1 小时的电影，画到第 10 分钟时，他可能已经忘了主角长什么样（主角的脸变了）；画到第 30 分钟，背景可能开始扭曲；画到 1 小时，整个画面可能变成了一团乱码。

这是因为传统的 AI 在画画时，为了省内存，会像**“只保留最近几页的记事本”**一样，把很久以前的画面直接扔掉（这就是论文里说的"FIFO 淘汰”）。

这篇论文提出的 MemRoPE，就像给这位 AI 画家装了一个**“超级智能记忆系统”，而且不需要重新训练**（Training-Free），直接就能用。

MemRoPE 是怎么做到的？它有两个核心“魔法”：

1. 记忆双通道：像“老照片”和“短视频”的结合

以前的方法要么只记开头（像把一张老照片死死贴在墙上，不管后面发生什么），要么只记最近（像只记得刚才说了什么，忘了以前的事）。

MemRoPE 把记忆分成了两条流，就像你脑子里同时保留着两种记忆：

长期记忆（Long-term）： 就像一本**“精华相册”。它把过去所有的画面压缩成一张“平均脸”。不管主角走了多远，这张“平均脸”始终提醒 AI：“主角长这样，别画歪了。”这保证了主角身份不变**。
短期记忆（Short-term）： 就像**“最近 5 分钟的短视频”**。它记录最近发生的动作和变化。如果主角突然从走路变成了跑步，这个通道能立刻捕捉到。

比喻： 想象你在写日记。

旧方法：每写一页就撕掉上一页，或者只保留第一页。
MemRoPE：它有一本**“核心摘要本”（长期记忆），里面记录了你从出生到现在的所有核心特征；同时还有一个“便签本”**（短期记忆），记录你刚才做了什么。两者结合，既记得住你是谁，又跟得上你的动作。

2. 动态定位：像“重新排座位”而不是“死记硬背”

这是最技术但也最巧妙的部分。
在 AI 的世界里，每个画面都有一个“位置编号”（比如第 1 帧、第 2 帧...）。以前的方法在把旧画面压缩进记忆时，会搞混这些编号，就像把第 100 页的内容硬塞进第 5 页的位置，导致 AI 晕头转向，画面崩坏。

MemRoPE 发明了一种**“在线座位重排”**（Online RoPE Indexing）的方法：

旧方法：把旧书里的页码撕下来，直接粘到新书上，结果页码乱了，故事接不上。
MemRoPE：它把旧书的内容**“去页码化”**（只存内容，不存页码），存进记忆库。等到需要画画时，它再根据当前的情况，现场给这些内容重新贴上正确的页码。

比喻： 想象你在开一个无限长的会议。

旧方法：把 1 小时前的人赶出会议室，或者把他们的名字牌固定死，导致新来的人不知道坐哪。
MemRoPE：它把所有人的名字牌都收起来（只记人，不记位置）。每当会议进行到下一轮，它就把所有人重新按顺序排好座次，确保每个人都知道自己该坐在哪里，故事才能顺畅地讲下去。

总结：为什么它很厉害？

不用重新训练（Training-Free）： 就像给现有的手机装了一个新的“内存管理插件”，不需要换手机，也不需要重新学习怎么用手机。
无限时长： 它可以连续画1 个小时甚至更久的视频，而画面不会崩坏，主角不会变脸，背景不会乱飘。
内存固定： 不管视频有多长，它占用的电脑内存是固定的。就像你的大脑，不管记了一辈子的事情，大脑的大小是不变的，因为它懂得如何“压缩”和“整理”记忆。

一句话总结：
MemRoPE 就像给 AI 装了一个**“既记得住初心（主角是谁），又跟得上变化（动作流畅），还能无限续杯（时长无限）”的超级大脑**，让 AI 画长视频从此不再“失忆”或“发疯”。

MemRoPE 技术总结：基于进化记忆 Token 的免训练无限视频生成

1. 研究背景与核心问题 (Problem)

随着自回归（Autoregressive）扩散模型在视频生成领域的进步，实现实时帧流生成已成为可能。然而，现有的长视频生成方法面临以下严峻挑战：

上下文丢失与身份漂移：传统的滑动窗口 KV Cache 机制在生成过程中会丢弃旧帧（FIFO 淘汰），导致模型逐渐“遗忘”初始内容，造成主体身份漂移（Identity Drift）、场景不一致以及运动停滞。
静态锚点的局限性：现有的改进方法（如 Deep Forcing）通过保留初始帧作为“注意力汇（Attention Sinks）”来维持上下文，但这些锚点是静态的，无法反映视频内容的动态演变。
缓存更新的不稳定性：基于注意力分数的动态 Token 选择机制（如 Participative Compression）往往导致缓存内容迅速收敛到一组固定的旧 Token，新 Token 难以进入；一旦缓存更新，新 Token 的高分会导致画面出现剧烈的视觉突变（Abrupt Visual Shifts）。
位置编码冲突：在长序列生成中，直接对带有旋转位置编码（RoPE）的 Key 进行平均（用于压缩记忆）在数学上是无效的，因为 RoPE 不满足加法分配律，这破坏了相对位置结构，导致时间聚合失效。

2. 方法论 (Methodology)

MemRoPE 提出了一种**免训练（Training-Free）**的框架，无需修改预训练模型即可实现无限时长的视频生成。其核心由两个协同设计的组件构成：

2.1 记忆 Token (Memory Tokens)

为了解决上下文丢失和缓存更新不稳定的问题，MemRoPE 引入了基于**指数移动平均（EMA）**的双流记忆机制：

双流结构：将过去的所有 Key 压缩为两个并行的流：
- 长期记忆（Long-term, $\mu_L$ ）：使用较小的衰减率（ $\alpha_L$ ），累积整个生成历史，维持全局主体身份和场景稳定性。
- 短期记忆（Short-term, $\mu_S$ ）：使用较大的衰减率（ $\alpha_S$ ），捕捉最近的动态变化。
连续进化：当局部滑动窗口的帧被移出时，其空间池化后的 Key 会平滑地更新这两个记忆流。这种机制避免了离散 Token 选择带来的突变，确保了缓存内容的平滑演变。
固定大小：无论生成视频多长，记忆 Token 的数量保持固定，从而在恒定内存预算下支持无限生成。

2.2 在线 RoPE 索引 (Online RoPE Indexing)

为了解决位置编码冲突并支持时间聚合，MemRoPE 重新设计了 KV Cache 的存储方式：

无位置编码存储（Position-free Caching）：所有 Key 在存入缓存时不应用 RoPE 旋转，仅存储原始 Key 向量。这使得不同时间步的 Key 可以在数学上进行有效的平均（EMA），而不会混合不兼容的旋转相位。
动态索引分配：在注意力计算时刻（Attention Time），根据当前缓存的总长度（Sink + 记忆 + 局部窗口），动态分配连续的块相对索引（Block-relative indices），然后即时应用 RoPE。
优势：这种方法不仅解决了长序列的位置外推（Positional Extrapolation）问题，还使得基于 EMA 的时间聚合成为可能，因为聚合发生在应用位置编码之前。

2.3 三层缓存架构

MemRoPE 的 KV Cache 由三部分组成：

Sink（锚点）：保留初始的高质量帧（无 RoPE）。
Memory（记忆）：包含长期和短期记忆 Token（无 RoPE）。
Local（局部窗口）：最近的滑动窗口帧（无 RoPE）。
在每次注意力计算时，这三部分被拼接，并统一应用块相对索引。

3. 主要贡献 (Key Contributions)

MemRoPE 框架：首个无需额外训练即可实现小时级视频生成的框架，同时解决了上下文保留和位置外推问题。
记忆 Token 机制：提出了一种基于 EMA 的双流记忆机制，能够在固定大小的缓存中连续压缩生成历史，平衡了全局一致性与局部动态性。
在线 RoPE 索引：通过解耦内容存储与位置编码，实现了干净的时间聚合，并消除了位置外推带来的误差，无需后处理修正。
性能突破：在从分钟级到小时级的生成任务中，MemRoPE 在视觉保真度、时间连贯性和主体一致性方面均优于现有的免训练方法（如 Deep Forcing, $\infty$ -RoPE）。

4. 实验结果 (Results)

实验基于 Wan2.1 架构，在 Self-Forcing 和 LongLive 两个基座模型上进行了评估：

定量评估 (VBench-Long)：
- 在 2 分钟、4 分钟及 1 小时的生成任务中，MemRoPE 在美学质量、成像质量和主体一致性等关键指标上均取得最高分。
- 相比基线模型，MemRoPE 在 1 小时生成任务中平均得分提升了约 0.94 分（基于 LongLive），而 Deep Forcing 和 $\infty$ -RoPE 在长序列下往往表现下降或仅维持基线水平。
- 随着视频时长增加，MemRoPE 的性能下降曲线远比其他方法平缓，证明了其记忆机制的有效性。
定性评估：
- 主体一致性：在长达 1 小时的生成中，MemRoPE 能完美保持人物身份、服装和背景结构不变；而基线方法会出现主体变形、颜色漂移或背景崩塌。
- 视觉稳定性：消除了 Deep Forcing 因缓存更新导致的画面闪烁和突变。
用户研究与 VLM 评估：
- 在包含 30 名参与者的用户研究（2AFC）中，MemRoPE 在颜色一致性、主体一致性、背景一致性等所有维度上均获得压倒性偏好（>90% 的偏好率）。
- 使用 Gemini 3.1-Pro 进行的视觉稳定性评分中，MemRoPE 得分最高。
效率：MemRoPE 是免训练的，且由于采用了更紧凑的三层缓存（替代了较大的滑动窗口），在某些基座模型上甚至提升了推理速度（FPS）。

5. 意义与影响 (Significance)

MemRoPE 的研究表明，长视频生成的关键不在于简单地保留更多帧，而在于如何更好地“记忆”这些帧。

理论突破：它证明了通过解耦位置编码与内容存储，可以安全地对历史特征进行聚合，为长序列 Transformer 的缓存管理提供了新的范式。
应用价值：作为一种即插即用（Plug-and-play）的免训练方案，MemRoPE 使得现有的视频扩散模型能够低成本地扩展到小时级生成，为连续世界模拟、电影级长镜头生成和合成数据制造提供了强有力的工具。
未来方向：虽然目前基于 EMA 的压缩是有损的，但 MemRoPE 为未来结合学习型记忆压缩机制奠定了基础，有望进一步提升长距离内容的精确召回能力。

总结：MemRoPE 通过“进化记忆 Token"和“在线 RoPE 索引”两个创新点，成功解决了自回归视频生成中的长程依赖和位置外推难题，实现了高质量、高一致性的无限时长视频生成。