OSVE: One Step Video Editing with One Step Diffusion Models
OSVE 是一个新颖的框架，它通过利用可学习编码器实现单次反转的单步扩散模型、用于几何保持的结构感知编辑损失以及用于时序一致性的统一帧编辑，实现了高质量、实时的文本引导视频编辑，其性能可与最先进的多步方法相媲美，同时运行速度快了 155–171 倍。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一把神奇的画笔，只需轻声说一句“把它变成猫！”，就能瞬间将一张狗的照片变成猫。这就是 文本生成图像 AI（Text-to-Image AI） 的世界，计算机通过文字学习如何创造图像。但如果你想对一整部电影做这种操作呢？那就是 文本引导的视频编辑（Text-Guided Video Editing）。问题在于，目前的“神奇画笔”速度极其缓慢。为了编辑一段视频，它们必须将每一帧都“拆解”回模糊的混沌状态，然后一步步地重新“绘制”数百次。这就像是通过擦除每一个字母并逐个重写的方式来改写一部小说，一遍又一遍。编辑一段短片可能需要数天时间，这使得实时编辑变得不可能实现。
现在，想象一种新型的画笔，它只需轻轻一挥，就能完成整个工作。科学家们最近已经找到了如何制作这种“单步”图像画笔的方法，但没人知道如何将其用于移动的视频，而不让结果看起来像一场充满闪烁感的故障噩梦。这正是论文 OSVE 所要解决的谜题。研究人员想要看看，他们能否利用这种超快速的“单步”技术，并教会它如何编辑视频，同时保持角色和物体的稳定与一致，而不是让它们融化成数字汤。
单步革命：OSVE
该论文介绍了 OSVE（One Step Video Editing，单步视频编辑），这是一个像速度恶魔一样的全新视频编辑系统。OSVE 不再采用旧有的、缓慢的“擦除并重绘”视频数百次的模式，而是尝试仅用 一个步骤 就完成整个转换。作者发现，虽然这听起来很简单，但直接这样做会导致三个大灾难：视频失去形状、物体破碎，以及帧与帧之间无法匹配，从而产生类似频闪的效果。
为了解决这个问题，团队构建了一个聪明的由三部分组成的工具包：
1. “记忆”编码器（解决形状问题）
通常，为了编辑视频，计算机必须花费很长时间来计算出代表原始视频的“隐藏代码”（潜噪声）。OSVE 通过使用一个特殊的 可学习编码器（learnable encoder） 跳过了这一步。你可以把这个编码器想象成一个超级聪明的翻译官，它能观察一个视频帧并瞬间猜出重建该帧所需的精确“初始噪声”。
但诀窍在于：作者使用一种特殊的游戏训练了这个翻译官。他们向它展示了一对在结构上完全相同（例如姿势完全一致的狼和熊）但具有不同“个性”的图像。他们教会了编码器以一种能够保留图像骨架的方式来预测初始噪声。这样，当计算机生成新视频时，它确切地知道鼻子和耳朵应该放在哪里，即使它将动物从狼变成了熊。如果没有这一点，视频会遭受“结构坍塌”，比如动物的头可能会旋转飞走或腿部消失。
2. “集体拥抱”技术（解决闪烁问题）
当你逐帧编辑视频时，每一帧就像是一个人在自言自语。他们不知道旁边的人在说什么，因此可能会在中途改变主意，导致视频出现闪烁。OSVE 引入了 统一帧编辑（Unified-Frame Editing, UFE）。它不再是一帧一帧地处理，而是在生成视频之前，将所有帧粘合在一起，形成一条巨大的、长长的连续数据带。
想象一个合唱团，每个人同时歌唱，并倾听彼此的声音以保持和谐。通过一次性处理整条数据带，AI 可以看到第 1 帧中的“老虎鼻子”，并确保它与第 2、3、4 帧中的“老虎鼻子”相匹配。这让视频保持平滑且连贯，防止了快速编辑中常见的抖动和闪烁现象。
3. “锚点”策略（针对长视频）
将所有帧粘合在一起对于短片段效果很好，但对于长电影来说，计算机的显存（VRAM）会爆炸。为了解决这个问题，OSVE 使用了带有 锚点帧（anchor frame） 的 滑动窗口（sliding window） 技术。
这就像是按章节编辑一本长篇书籍。你挑选一个代表主要风格和角色的“锚点”页面。当你移动到后续章节时，你会始终手持这个锚点页面作为参考点。你每次只编辑一小块页面（窗口），并始终对照着这个锚点进行检查，以确保故事不会偏离原意。这使得 OS {VE 能够编辑任意长度的视频，而不会耗尽内存或丢失场景的全局一致性。
结果：速度 vs. 质量
作者将他们的系统与当前最优秀的方法进行了对比测试。结果令人震惊。虽然旧方法编辑一段短视频需要数小时（甚至数天），但 OSVE 只需不到一秒钟。具体而言，研究发现 OSVE 比之前的最快方法 RAVE 快了 155 到 171 倍。
尽管有了如此巨大的速度提升，质量却并未受损。事实上，在许多测试中，OSVE 生成的视频与那些缓慢的方法相比，质量持平甚至更优。它成功地保持了视频结构的完整，防止了闪烁，并准确遵循了文本指令。研究人员在短片（20 帧）和长视频（90 帧）上都展示了该系统的有效性，证明了无论你是要改变狗的颜色还是整个场景的背景，该系统都能表现出色。
这意味着什么
论文明确排除了这样一个观点：即你不能直接拿一个标准的单步图像生成器，通过简单的应用就将其用于视频；作者展示了如果不进行这些特殊修复，会导致“结构坍塌”和“过度转向（over-steering）”，即视频会崩坏。他们还指出，目前的单步视频生成器（文本生成视频）还不足以作为骨干，因为它们会产生模糊且闪烁的结果。这就是为什么 OSVE 是构建在一个高质量的单步图像生成器之上，并通过添加自己的“时间胶水”使其适用于视频。
简而言之，OSVE 表明我们不再需要在速度和质量之间做选择。通过教会 AI 在开始绘画前理解结构，并让帧与帧之间能够“对话”，我们终于可以像输入一句话那样快速地编辑视频。这一突破为实时视频编辑应用铺平了道路，将曾经缓慢且昂贵的过程，转变为在普通电脑上即可瞬间完成的操作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。