FREE-Edit: Using Editing-aware Injection in Rectified Flow Models for Zero-shot Image-Driven Video Editing

该论文提出了一种名为 FREE-Edit 的零样本图像驱动视频编辑框架,它利用新兴的整流流模型,并通过一种基于光流跟踪编辑区域的“编辑感知注入”(REE)策略来动态调节特征注入强度,从而在无需微调的情况下实现了比现有技术更高质量的视频编辑效果。

Maomao Li, Yunfei Liu, Yu Li

发布于 2026-03-03
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 FREE-Edit 的新技术,它的核心功能是:给你一段视频,再给你一张“修改后”的第一帧图片,它就能自动把整段视频都改成你想要的样子,同时保持原来的动作和节奏不变。

为了让你更容易理解,我们可以把视频编辑想象成**“拍电影”“修图”**的过程。

1. 核心难题:既要“变”,又要“不变”

想象你在拍一部电影,主角穿了一件红衣服。现在你想把红衣服改成蓝衣服(这是编辑),但主角走路、跑步的动作(这是运动)必须保持原样,不能变成他在跳舞或者突然瞬移。

  • 以前的方法(像是一个笨拙的替身演员):
    以前的技术(论文中称为"Vanilla Injection")就像是一个只会死记硬背的替身。它试图把原视频的动作“复制”到新视频里。
    • 问题: 它太“用力”了。它把原视频里红衣服的动作也强行复制到了新视频里,结果就是:衣服变成了蓝色,但衣服上却还残留着红色的影子,或者动作变得很怪异(就像你穿蓝衣服却做着红衣服的动作,很违和)。
    • 或者它太“保守”: 如果它不敢复制动作,那主角就会像木偶一样僵硬,完全失去了原本流畅的走路姿态。

2. 解决方案:FREE-Edit 的“智能导演”

这篇论文提出的 FREE-Edit 就像是一位聪明的导演,它手里有一个特殊的“指挥棒”(论文中称为 REE 注入)。

第一步:画出“修改地图” (Editing Mask)

导演先看着你修改好的第一帧图片(比如把红衣服改成蓝衣服),然后拿原图和新图一比对。

  • 哪里变了? 衣服区域。
  • 哪里没变? 背景、走路的人、桌子。
    导演立刻画出一张**“修改地图”**,标出哪些地方是“禁区”(不能动),哪些地方是“安全区”(可以动)。

第二步:让地图“动起来” (Optical Flow)

视频是连续的,衣服在下一帧可能会移动到左边。

  • 以前的方法可能不知道衣服移到了哪,导致修改错位。
  • FREE-Edit 使用了一种叫**“光流” (Optical Flow)** 的技术。这就像给导演戴上了一副**“动态追踪眼镜”**。它能精准地计算出每一帧里,那个“被修改的衣服”移动到了什么位置。
  • 于是,那张“修改地图”不再是静止的,而是像液态水银一样,紧紧跟随衣服的运动轨迹,覆盖在整个视频的每一帧上。

第三步:智能“指挥” (Modulation Weight)

这是最精彩的部分。导演手里拿着“指挥棒”,对视频里的每一个像素(Token)发号施令:

  • 在“修改区域”(比如衣服): 导演大喊:"停!不要动!"(抑制注入)。这里完全听从你修改后的图片,确保衣服是纯净的蓝色,没有原视频红衣服的残留。
  • 在“未修改区域”(比如背景、走路的人): 导演说:"继续!保持原样!"(注入原视频特征)。这里完全保留原视频的动作和光影,确保走路姿势自然流畅。

3. 为什么它叫 FREE-Edit?

  • FREE 代表 Feature Recognition Editing Enhancement(特征识别编辑增强),同时也暗示它是 Free(免费/无需训练)的。
  • 它不需要像以前的方法那样,花几天几夜去“训练”一个新的模型。它就像是一个即插即用的插件,直接利用现有的强大 AI 模型(Rectified Flow 模型),就能瞬间完成编辑。

4. 总结:它好在哪里?

  • 以前的方法: 要么改得不像(衣服颜色不对),要么动得不自然(人走路像僵尸),要么两者都有(衣服颜色对了但人飘在空中)。
  • FREE-Edit:
    • 改得准: 衣服就是你要的蓝色,干干净净。
    • 动得顺: 人走路、背景流动,和原视频一模一样,丝滑自然。
    • 速度快: 不需要重新训练,拿来就能用。

一句话比喻:
以前的视频编辑像是在强行给玩偶换衣服,换完衣服玩偶可能会僵硬或者衣服穿反;而 FREE-Edit 像是给玩偶施了一个**“魔法咒语”**,只改变衣服的颜色,而让玩偶的每一个动作、每一块肌肉的颤动都完美保留,仿佛它天生就穿着那件新衣服一样。

在收件箱中获取类似论文

根据您的兴趣定制的每日或每周摘要。Gist或技术摘要,使用您的语言。

试用 Digest →