💻 computer science

InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter

本文介绍了 InfinityEdit，这是一种用于预训练视频生成器的轻量级适配器，它通过确保在无限序列的编辑请求中保持忠实的时序连续性和稳定的生成质量，实现了对流式视频进行无限制的、基于指令的编辑。

原作者： Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一场足球比赛的直播，突然间，你希望整个球场看起来像一幅水彩画，或者你希望摄像机突然从空中俯冲而下跟随足球。在人工智能的世界里，创造这样的变化通常是一个僵化的过程。现有的工具可以对一段简短的、已完成的视频剪辑进行修改，但它们将这段剪辑视为一个封闭的盒子。它们可以重写已经存在的内容，但无法轻易地触及未来去改变接下来会发生什么。如果视频继续播放，旧的规则就会失效，新的风格或摄像机角度也会随之消失。这种局限性使得编辑直播流或正在展开的故事场景变得非常困难。

一组研究人员通过开发一种全新的编辑“永不结束”视频的方法，解决了这一问题。他们将这种方法称为“无限视频编辑”。该方法不再强迫视频适应一个固定的时间段，而是允许人工智能应用一种变化——比如一种新的视觉风格或摄像机运动——然后生成自然延续这种变化的后续帧，使其能够永远持续下去。该系统不仅仅是在重写过去；它学会了将编辑向未来推进，确保即使在不断接收新指令时，视频也能保持一致性和高质量。

研究人员首先意识到，现有的视频编辑器基于一个简单的假设：视频已经完成了。它们获取一段源剪辑，并生成一个长度完全相同的编辑版本。这对于短片或社交媒体帖子效果很好，但对于连续的视频流（如一场现场比赛或监控摄像头画面）则会失效。在这些情况下，视频在不断增长。如果你想在视频播放中途改变风格，编辑必须延伸到出现的每一个新帧上。旧的方法无法做到这一点，因为它们旨在回顾静态剪辑，而不是面向开放式的流。

为了解决这个问题，团队首先构建了一种教计算机如何处理这一特定挑战的方法。他们创建了一个庞大的训练示例集。他们提取现有视频，并将其与如何改变视频的指令配对，例如“让这看起来像一本漫画书”或“让摄像机向下移动”。至关重要的一点是，他们不仅仅要求计算机改变现有的帧。他们生成了延续原始素材并应用了所请求变化的新视频片段。这教会了系统：编辑不仅仅是应用于快照的一个滤镜，而是一个故事走向的新方向。他们仔细过滤了这些数据，以确保生成的视频片段看起来真实，并且在不破坏场景流畅性的情况下正确应用了变化。

有了这些数据，他们引入了一个名为 InfinityEdit 的新系统。该系统的运作方式是在一个已经非常擅长制作长视频的强大视频生成器上，附加一个小型、轻量级的“适配器”。可以将主生成器想象成一位能够绘制连续图像的熟练艺术家，而适配器则是可以随时改变绘画风格的特殊画笔。主生成器保持“冻结”状态，这意味着它创建稳定、高质量视频的核心知识永远不会被改变。适配器是唯一学习的部分。它位于生成器和用户指令之间，准备在收到新的编辑请求时介入。

当用户发送指令时，适配器仅针对视频的一个短小片段激活。它获取指令和视频的近期历史，并生成一段应用了变化的新帧块。这个新生成的块充当了一个桥梁。一旦第一个编辑片段被创建，适配器就会关闭，由主生成器接管。因为主生成器现在将新编辑的帧视为其历史记录，它会自然地以新的风格或新的摄像机角度继续生成视频。编辑已经被“点燃”，系统会自动将其向前推进。这个过程可以无限重复。如果稍后收到第二个指令，适配器会再次唤醒以应用新的变化，然后生成器会从那里继续。

研究人员发现，这种方法解决了困扰长视频生成的两个主要问题。第一个是连贯性。在许多系统中，如果你尝试编辑一个正在生成的视频，变化往往会随着视频的进行而逐渐消失或丢失。新帧可能会漂移回原始的外观。InfinityEdit 通过在每次编辑发生时重置一个关键参考点来防止这种情况。这确保了视频始终锚定在最近的一次变化上，使风格或摄像机角度在视频持续进行期间保持稳定。

第二个挑战是质量。当计算机逐帧生成视频时，微小的错误可能会随时间累积，导致画面变得模糊或扭曲。研究人员训练他们的适配器来处理不完美的历史记录。他们刻意给系统提供了带有瑕疵的前序帧的示例，教会它如何恢复并产生清晰的结果，即使输入并不完美。这种训练使系统在经过多次编辑后仍能保持稳定，防止视频随着时间推移而退化。

在测试中，该系统成功地对正在进行的视频流应用了各种各样的编辑。它可以改变场景的视觉风格、改变摄像机运动或修改物体的外观，并随后在保持这些变化的同时继续生成视频。结果显示，视频能够忠实于指令，且不会漂移回原始状态。系统能够反复处理这些变化而不损失质量，证明了在视频进行时对其进行编辑是可行的，而无需等待视频结束。

这项工作为一种全新的视频交互方式打开了大门。用户不再是编辑一个成品，而是可以在视频创作的过程中引导它。无论是实时重新设计一场体育赛事的视觉风格，还是在长时录制过程中改变虚拟摄像机的视角，这项技术都提供了一种让编辑在故事展开时保持生命力的方式。研究人员通过展示将稳定的预训练生成器与灵活的轻量级适配器相结合，我们可以创造出不受时间限制的视频编辑工具，从而实现真正无限的创意可能。

技术摘要：InfinityEdit：通过轻量级编辑触发适配器实现无限视频编辑

1. 问题定义：无限视频编辑

现有的基于指令的视频编辑方法是在原地编辑假设（in-place editing assumption）下运行的。它们将编辑后的输出帧与固定时长的源剪辑进行逐帧对齐。虽然这种范式对于静态剪辑非常有效，但对于开放式视频流（例如：实时游戏风格重塑或对持续进行的镜头应用相机移动）而言，这种范式是失效的，因为新内容在不断涌入。

本文将**无限视频编辑（Infinite Video Editing）**定义为这样一个任务：给定前序视频段（ $V_{pcd}$ ）和编辑指令（ $c_{edit}$ ），模型必须生成一个后续段落（ $V_{tgt}$ ），该段落需满足：

忠实地执行 $c_{edit}$ 中请求的编辑。
自然地延续流，生成输入中不存在的未来帧，而非仅仅重写现有帧。
保持稳定性，在不受限的编辑序列中防止误差传播和质量退化，随着编辑的累积保持一致性。

识别出的核心挑战包括：

忠实延续（Faithful Continuation）： 模型不能仅仅转换输入帧；它必须生成一个连贯的延续，其中不受编辑影响的实体应与历史保持一致。
稳定性（Stability）： 随着每个生成的段落成为下一个段落的历史，误差可能会随时间累积。
与流式先验的冲突（Conflict with Streaming Priors）： 标准的流式生成器使用锚点帧和缓存历史等机制来防止漂移。然而，这些机制往往会将生成的内容拉回未编辑的原始状态，从而削弱或忽略新的编辑指令。

2. 方法论

数据收集流水线
为了训练用于此任务的模型，作者构建了一个三元组数据集 $(V_{pcd}, c_{edit}, V_{tgt})$ ：

源数据： 采样自 UltraVideo 数据集。
指令： 使用 Gemini 3 Flash，以源文本描述为条件，将抽象的编辑类型（来自 VAP）扩展为详细的自然语言提示词。
目标数据： 使用 Wan2.2-I2V-A14B 合成。该流水线采用编辑类型感知生成（edit-type-aware generation）：
- 风格/外观编辑： 在生成视频之前，先对连接帧进行编辑（使用 Qwen-Image-Edit）。
- 相机/运动编辑： 保留连接帧以确保场景一致性，仅对视角进行更改。
过滤： 对三元组在对齐度、一致性、合理性和视觉质量方面进行人工评分。

模型架构：InfinityEdit
所提出的方案是在一个冻结的流式视频生成器骨干网络（Helios-Distilled，一个 14B 自回归扩散 Transformer）上附加了一个轻量级的编辑触发适配器（Edit-Ignition Adapter）。该适配器是唯一的训练组件。

该适配器由插入每个 Transformer 层之后的三个注意力模块组成：

历史交叉注意力（History Cross-Attention）： 将新的去噪块锚定到提供的输入帧上。查询（Queries）被限制在当前块的前导帧，而键（Keys）和值（Values）则来自历史 Token。这确保了编辑尊重即时过去。
时间因果自注意力（Temporal Causal Self-Attention）： 在块内的早期帧到后期帧之间严格传播时间线索，维持流式生成所需的自回归流。
编辑交叉注意力（Edit Cross-Attention）： 将编辑指令（ $c_{edit}$ ）注入生成过程。当前块中的所有 Token 都会查询编辑提示词，使指令能够影响整个生成的段落。

训练策略

目标： 在冻结骨干网络的情况下使用流匹配（Flow-matching）目标。
历史损坏（History Corruption）： 为了减轻曝光偏差（即模型在推理时依赖自身不完美的输出），训练过程会对历史帧随机注入噪声。
噪声采样： 适配器没有使用骨干网络的金字塔调度，而是使用**混合高斯采样（Mixture-Gaussian sampling）**噪声水平（ $\sigma$ ），以实现编辑控制与特定分辨率阶段的解耦。
两阶段课程学习：
- 第一阶段： 均匀覆盖不同噪声水平，以学习基础编辑。
- 第二阶段： 专注于中低噪声水平和后期帧，以精细化细节并提升质量。

推理流水线：“触发后延续”（Ignite-Then-Continue）
推理过程通过特定的策略处理无限编辑：

触发（Ignition）： 当编辑指令到达时，适配器仅在第一个块（“触发块”）上激活。该块使用适配器和单阶段 Euler 调度进行生成（包括一个接近零噪声的步骤以进行细节精细化）。
延续（Continuation）： 后续块由冻结的骨干网络生成，此时适配器被禁用。由于第一个被编辑的块现在已成为历史窗口的一部分，骨干网络会自然地延续被编辑后的流。
状态管理：
- 锚点帧（ $x_0$ ） 被重置为新的触发块的第一帧，以防止模型退回到原始源内容。
- 场景提示词（Scene Prompt） 更新为当前的编辑指令。
- 使用滑动窗口管理内存，丢弃旧帧以保持成本受控。

3. 核心贡献

任务定义： 正式定义了无限视频编辑，将其与原地编辑区分开来，并识别了忠实延续和长期稳定性等特定挑战。
数据流水线： 开发了一种合成编辑类型感知训练三元组的流水线，弥合了静态编辑与流式生成之间的差距。
架构： 提出了 InfinityEdit，这是一种轻量级适配器，使冻结的流式生成器能够在不损害其长视频生成先验的情况下应用编辑。
推理策略： 引入了“触发后延续”方案，该方案在局部应用编辑的同时，利用骨干网络的稳定性机制来处理剩余的流。

4. 结果与主张

在分布外（out-of-distribution）案例中的广泛实验表明：

InfinityEdit 在每个编辑指令下都能忠实地延续流，成功地将请求的更改应用于未来的帧。
该系统在不受限的编辑序列中保持稳定，避免了简单重新提示模型时常见的漂移和质量退化问题。
该方法有效地平衡了应用新编辑与保留原始模型生成长且连贯视频能力之间的关系。

5. 意义

论文声称 InfinityEdit 解决了视频生成中的一个关键空白：无法动态编辑开放式的实时流。通过将编辑注入机制与长期生成先验解耦，该方法允许进行即时编辑（例如：重塑游戏画面或实时改变相机角度），而无需进行全模型重训或牺牲底层生成器的稳定性。这使得视频流是连续且编辑需求是动态变化的实际应用成为可能。