💻 computer science

Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout

本文提出了 $\infty$ -RoPE 框架，通过引入块相对旋转位置编码、键值缓存刷新和旋转位置截断三项核心技术，在无需重新训练的情况下解决了现有自回归视频扩散模型在生成长度、动作控制及场景切换方面的瓶颈，实现了无限时长、精细可控且具有电影级转场的视频生成。

原作者： Hidir Yesiltepe, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Pinar Yanardag

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hidir Yesiltepe, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Pinar Yanardag

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ∞-RoPE（读作“无限罗普”）的新技术，它的核心目标是让 AI 能够生成无限长、动作可控且像电影一样有剪辑感的视频。

为了让你更容易理解，我们可以把现在的 AI 视频生成模型想象成一个**“只会讲短故事的记性不好的说书人”**。

1. 现在的困境：说书人的三个“死穴”

目前的 AI 视频模型（说书人）有三个主要问题：

记性只有“一集”那么长（时间限制）：
- 现状： 大多数模型只能连续生成很短的视频（比如 5 秒或 10 秒）。一旦超过这个长度，它们就会“失忆”，画面开始扭曲、人物变形，就像说书人讲着讲着忘了前面讲了什么，开始胡言乱语。
- 原因： 它们脑子里有一个固定的“时间坐标尺”，尺子只有那么长，尺子外面的故事它没法处理。
反应迟钝（动作控制难）：
- 现状： 如果你对着 AI 说：“现在让主角跳起来”，AI 往往反应很慢，或者跳不起来，因为它还沉浸在上一秒的“坐着”的状态里，很难瞬间切换。
- 原因： 它把过去所有的记忆都背得死死的，改一个指令，它得把整本旧账都翻一遍，太慢了。
不会“转场”（无法剪辑）：
- 现状： 如果你想让视频从“白天”突然变成“黑夜”，或者从“室内”突然跳到“室外”，AI 通常只能让你看着它慢慢变（像延时摄影），无法实现电影里那种干脆利落的“切镜头”。
- 原因： 它的逻辑是“时间必须连续流动”，无法理解“时间跳跃”。

2. ∞-RoPE 的解决方案：给说书人装上“三大法宝”

这篇论文提出了三个巧妙的技巧，不需要重新训练模型，直接在“讲故事的现场”就能解决问题。

法宝一：Block-Relativistic RoPE（相对论式时间尺）

通俗解释： 把“绝对时间”变成“相对时间”。
创意类比：
- 以前： 说书人手里拿着一把固定的尺子，从第 1 秒量到第 1024 秒。一旦超过 1024 秒，尺子就断了，故事就崩了。
- 现在（∞-RoPE）： 我们换了一种方式。不管故事讲了多久，说书人只关注**“当前这一刻”和“刚刚过去的几秒”**。
- 想象你在开车，你不需要知道地球自转了多少圈（绝对时间），你只需要知道**“我离刚才那个路标还有多远”**（相对时间）。
- 每当 AI 生成新的画面，它就把“时间尺”重新校准，让新画面永远处于尺子的“最佳位置”，而把很久以前的画面“折叠”起来，只保留它们的核心记忆（比如主角长什么样），而不纠结它们具体是第几分钟发生的。
- 结果： 故事可以无限讲下去，永远不会因为“尺子不够长”而崩坏。

法宝二：KV Flush（记忆大扫除）

通俗解释： 瞬间清空旧记忆，只留“定海神针”。
创意类比：
- 以前： 当你让 AI 从“走路”变成“跑步”时，它脑子里还塞满了“走路”的几千个细节，导致它转不过弯来。
- 现在（KV Flush）： 当新指令（比如“跑步”）进来时，AI 会立刻执行一次**“大扫除”**。
- 它把脑子里关于“走路”的几千个细节全部扔掉，只保留两样东西：
  1. 全局锚点（Global Sink）： 一个代表“整个场景基调”的定海神针（比如：这是一个公园）。
  2. 最后一帧（Last Frame）： 主角刚才站的位置。
- 结果： 就像你突然从“坐着”站起来，虽然你忘了刚才坐着的姿势细节，但你立刻就能开始“跑步”。AI 对指令的反应变得瞬间且精准。

法宝三：RoPE Cut（电影剪辑刀）

通俗解释： 在时间轴上直接“剪一刀”，实现场景跳跃。
创意类比：
- 以前： 想要从“白天”变“黑夜”，AI 必须让太阳慢慢下山，过程很漫长。
- 现在（RoPE Cut）： 我们允许 AI 在时间轴上直接跳跃。
- 想象你在看视频，突然画面“切”了一下，直接跳到了下一个场景。AI 不再试图平滑过渡，而是直接告诉它：“好了，刚才那段结束了，现在把时间坐标直接跳到 100 秒后，开始讲新故事。”
- 虽然时间跳了，但因为有了“法宝一”的相对时间机制，主角的脸和衣服依然保持不变，只是背景瞬间变了。
- 结果： 实现了像电影一样的多场景剪辑，可以在一个视频里无缝切换不同的地点和时间。

3. 总结：这带来了什么？

简单来说，∞-RoPE 就像给现有的 AI 视频模型装上了**“无限续航的电池”、“闪电般的反应神经”和“专业的剪辑师”**。

无限长： 它可以生成几分钟甚至几小时的视频，画面依然清晰稳定，不会像以前那样越往后越糊。
听指挥： 你让它“跳”，它就立刻跳；你让它“停”，它就立刻停。
像电影： 它可以轻松实现“上一秒在厨房，下一秒在月球”这种酷炫的转场。

最重要的是，这一切都不需要重新训练 AI，就像给旧手机升级了一个超级好用的“系统补丁”，让它瞬间拥有了生成好莱坞大片的能力。论文中的实验也证明，这种方法生成的视频在质量、连贯性和动态程度上都超过了目前最顶尖的模型。

这篇论文提出了一种名为 $\infty$ -RoPE 的新框架，旨在解决当前自回归视频扩散模型在生成长视频时面临的三大核心瓶颈。该方法无需重新训练模型，仅通过推理时的架构重参数化，即可实现无限时长、动作可控且具有电影级多镜头切换的视频生成。

以下是该论文的详细技术总结：

1. 研究背景与核心问题 (Problem)

现有的自回归视频扩散模型（如基于 Self-Forcing 的模型）虽然能生成连贯的短视频，但在扩展到长视频时面临三个主要限制：

时间视界受限 (Finite Temporal Horizon)：基础模型使用的 3D 旋转位置编码（3D-RoPE）通常限制在固定的帧数（如 1024 帧，约 5-10 秒）。超过此限制后，时间编码会失效，导致注意力机制退化，视频质量急剧下降。
动作控制响应慢 (Slow Prompt Responsiveness)：在长序列生成中，难以在保持细粒度动作控制的同时快速响应新的提示词（Prompt）。现有的 KV 缓存管理方法（如 KV Recache）往往存在语义滞后或计算开销大、延迟高的问题。
缺乏电影级转场 (Inability for Cinematic Transitions)：无法在单次生成流中实现不连续的场景切换（如镜头剪辑、时间跳跃），难以生成具有多镜头叙事的电影级视频。

2. 方法论 (Methodology)

$\infty$ -RoPE 通过三个相互关联的组件解决了上述问题，核心思想是将时间编码重构为“相对”而非“绝对”的参考系：

A. 块相对旋转位置编码 (Block-Relativistic RoPE)

这是实现无限生成的核心。

原理：将时间编码定义为移动局部参考系。每当生成新的潜在块（latent block）时，它相对于基础模型的最大帧视界（ $f_{limit}$ ）进行旋转，而较早的块则向后旋转以保持相对的时间几何结构。
固定缓存模式：当 KV 缓存未满时，新块的 RoPE 坐标基于当前窗口锚点动态调整，而非绝对索引。这使得模型可以在不超出训练时的 RoPE 范围的情况下，持续生成远超 1024 帧的视频。
无界缓存模式（语义化）：当缓存超过基础模型的时间视界时，早期的潜在帧经历“语义化”（Semanticization）。它们的时间坐标被坍缩到一个共享的最小索引，不再保留精确的时间位置，而是作为抽象的语义记忆（Contextual Priors）存在。这模仿了人类大脑将情景记忆转化为语义记忆的过程，允许时间轴无限扩展。

B. 键值缓存刷新 (KV Flush)

用于实现细粒度的动作控制。

机制：当接收到新提示词时，系统不重新编码整个上下文，而是将 KV 缓存重置为仅保留两个关键锚点：全局 Sink Token（用于稳定注意力归一化）和最后生成的潜在帧（用于保持局部时间连续性）。
优势：这种方法以恒定的内存开销实现了零延迟的提示词响应。新动作可以立即生效，同时避免了旧语义的干扰，解决了长视频生成中动作响应滞后的问题。

C. 旋转位置切割 (RoPE Cut)

用于实现电影级的多镜头场景切换。

机制：在时间 RoPE 坐标中引入受控的不连续性。通过设置一个时间偏移量 $\Delta$ ，将当前生成块的时间坐标重新锚定到未来的某个位置（即 $f \to f+\Delta$ ）。
效果：这允许在单次自回归生成流中实现“硬切”（Hard Cut）。模型可以瞬间跳转到新的场景、时间或地点，同时保持主角的身份一致性。由于采用了相对坐标，这种跳跃不会破坏模型的生成能力。

3. 主要贡献 (Key Contributions)

$\infty$ -RoPE 框架：提出了一种无需训练的方法，将现有的短时长自回归扩散模型转化为无限时长、动作可控的生成器。
Block-Relativistic RoPE：重新定义了时间结构，使其成为移动参考系，突破了 1024 帧的 RoPE 限制，实现了真正的无限生成。
推理时算子：开发了 KV Flush（实现即时动作控制）和 RoPE Cut（实现电影级转场），两者均在恒定内存下运行。
SOTA 性能：在 VBench 基准测试中，该方法在长视频的主体一致性、背景一致性、运动平滑度和动态程度等指标上均超越了之前的自回归模型。

4. 实验结果 (Results)

定量评估：
- 在 5 秒 生成中， $\infty$ -RoPE 保持了高动态度（Dynamic Degree），避免了因过度稳定导致的画面停滞。
- 在 60 秒、120 秒、240 秒 的长视频生成中， $\infty$ -RoPE 在主体一致性（Subject Consistency）和运动平滑度（Motion Smoothness）上显著优于 Self-Forcing++、Rolling-Forcing、SkyReels-V2 等基线模型。
- 即使在 240 秒的生成中，主体身份依然保持高度一致，未出现明显的漂移。
定性评估：
- 动作控制：能够流畅地执行“站立 $\to$ 跳跃 $\to$ 坐下 $\to$ 唱歌”等连续指令，动作响应即时且自然。
- 场景切换：成功实现了室内到室外、白天到黑夜等复杂的镜头剪辑，背景突变但主角特征连贯。
用户研究：在 50 名参与者的评估中， $\infty$ -RoPE 在整体质量和时间一致性方面的得分最高（3.91 / 3.71），优于所有对比模型。

5. 意义与结论 (Significance)

无需重新训练：证明了通过推理时的相对化重参数化，可以挖掘预训练模型（即使是仅在 5 秒视频上训练的模型）生成无限长视频的潜力，无需昂贵的长视频数据重新训练。
可控性与电影感：首次在一个统一的自回归框架中，同时实现了长视界生成、细粒度动作控制和电影级多镜头叙事，填补了当前视频生成模型在“长、控、剪”三个维度的空白。
未来方向：为构建用户可控的长视频生成系统和可扩展的时间鲁棒性视频模型奠定了实用基础。

总结： $\infty$ -RoPE 通过引入相对时间编码和智能的缓存管理策略，巧妙地绕过了现有自回归视频模型的架构限制，实现了高质量、无限时长且高度可控的视频生成，是视频生成领域的一项重要突破。