🤖 machine learning

Memory-V2V: Memory-Augmented Video-to-Video Diffusion for Consistent Multi-Turn Editing

本文提出了 Memory-V2V，一种通过外部记忆机制将历史编辑作为结构化约束引入视频扩散模型的框架，有效解决了多轮视频编辑中跨轮次一致性的难题，在保持视觉质量的同时显著提升了迭代编辑的连贯性。

原作者： Dohun Lee, Chun-Hao Paul Huang, Xuelin Chen, Jong Chul Ye, Duygu Ceylan, Hyeonho Jeong

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Dohun Lee, Chun-Hao Paul Huang, Xuelin Chen, Jong Chul Ye, Duygu Ceylan, Hyeonho Jeong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Memory-V2V 的新系统，它解决了视频编辑中一个非常令人头疼的问题：“记性不好”。

想象一下，你正在用 AI 编辑一段很长的视频。你想把视频里的苹果变成橙子。

第一轮：你把前 10 秒的苹果变成了橙子，效果很好。
第二轮：你想把中间 10 秒的苹果也变成橙子。
第三轮：你想把最后 10 秒的苹果也变成橙子。

现在的 AI 模型（旧方法）就像是一个“金鱼记忆”的画家：
当你画第二轮时，它只盯着你给的指令（“把苹果变橙子”），却完全忘了第一轮画出来的橙子长什么样。结果，第二轮的橙子可能变成了红彤彤的，第三轮的又变成了青绿色的。虽然它们都是“橙子”，但看起来完全不像是同一个东西，视频看起来支离破碎，非常奇怪。

Memory-V2V 就像是一个“拥有超级记忆和整理术的资深剪辑师”：
它不仅能听懂你的指令，还能记住之前每一轮编辑出来的样子。当你开始第二轮编辑时，它会回头看看：“哦，上一轮我画的是这种橙色的橙子，这一轮我也得画成一样的。”

核心功能：它是如何做到的？

为了不让这个“剪辑师”累死（因为视频数据量太大，全记下来算不过来），Memory-V2V 用了两个聪明的招数：

1. 聪明的“找资料” (智能检索)

如果每次编辑都要把以前所有的视频片段都翻出来看，效率太低了。

比喻：想象你在图书馆找书。如果你要写关于“苹果”的文章，你不需要把图书馆里所有关于“水果”的书都搬过来，你只需要找最相关的那几本。
做法：
- 如果是改视角（比如从左边看变成从右边看）：系统会计算“视野重叠度”。就像你转头看风景，系统会问：“刚才那个角度和现在这个角度，看到的景色有多少是重合的？”只把重合度高的旧视频找出来参考。
- 如果是改内容（比如把苹果变橙子）：系统会看“长得像不像”。它会把当前要编辑的片段和以前编辑过的片段做对比，只把长得最像的片段找出来参考。

2. 灵活的“记笔记” (动态压缩)

找出来的旧视频也不能全部原封不动地塞给 AI，那样会把它“撑爆”（计算量太大）。

比喻：想象你在做笔记。
- 对于非常重要的参考片段（比如刚才那个完美的橙子），你把它详细地画下来，连纹理都画清楚（高分辨率）。
- 对于不太重要的片段（比如背景里模糊的树），你只画个大概的轮廓或者写几个关键词（低分辨率/压缩）。
做法：系统会自动判断哪些旧视频片段对当前任务最重要。重要的保留细节，不重要的就“压缩”一下。这样既省了算力，又保证了关键信息不丢失。

3. 自动“合并同类项” (自适应合并)

比喻：如果你有一堆完全一样的旧照片，你不需要把它们全部贴在本子上，只需要贴一张，然后在旁边备注“这里还有 10 张一样的”就够了。
做法：系统发现某些旧视频片段对当前的生成没什么影响（AI 的注意力机制显示它们不活跃），就会把它们“合并”成一个更小的数据包，进一步减少计算负担。

这个系统有什么用？

论文里主要展示了两个场景：

360 度全景视频编辑（视频新视角合成）：
- 场景：你拍了一段视频，想看看如果摄像机从左边、右边、上面拍会是什么样。
- 效果：以前，AI 每次换个角度拍，生成的画面里物体可能会“变脸”（比如刚才的杯子是圆的，换个角度变成方的了）。现在，Memory-V2V 能确保不管怎么转，杯子的形状和颜色都始终如一。
超长视频的文字编辑：
- 场景：你想把一段 5 分钟的视频里所有的“苹果”都变成“橙子”。
- 效果：以前，AI 只能一段一段地改，导致视频前半段是红橙子，后半段是青橙子。现在，Memory-V2V 能像一条连贯的流水线，确保整段视频里的橙子长得一模一样，而且背景也不会乱跳。

总结

Memory-V2V 的核心思想就是：把“过去的编辑结果”变成“未来的约束条件”。

它不再把每一次编辑看作是一次全新的、孤立的创作，而是看作一个连续的、有记忆的对话过程。通过“只找最相关的旧资料”和“聪明地压缩记忆”，它让 AI 在编辑长视频或多次修改时，既能保持极高的画质，又能保证前后风格的一致性，就像一位真正记得住所有细节的顶级剪辑师。

这篇论文提出了一种名为 Memory-V2V 的框架，旨在解决视频到视频（Video-to-Video, V2V）扩散模型在多轮迭代编辑（Multi-turn Editing）场景下的跨轮次一致性（Cross-turn Consistency）问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

现状：现有的视频编辑扩散模型（如 ReCamMaster, LucyEdit）在单次编辑（Single-turn）中表现优异，但在实际工作流中，用户通常需要多次交互来逐步细化编辑结果（多轮编辑）。
核心痛点：现有的多轮编辑方法通常将每一轮视为独立任务，或者简单地按时间顺序连接。这导致：
- 漂移（Drift）：随着编辑轮次增加，之前生成的区域（如新视角下的物体、长视频中的特定物体）外观逐渐发生变化。
- 覆盖（Overwriting）：后续编辑可能无意中覆盖或破坏前一轮生成的合理内容。
- 计算瓶颈：如果将之前所有的编辑历史都作为条件输入，计算量会随轮次线性增长，导致不可行。
问题定义：作者将“多轮视频编辑”定义为一个独立的问题设置，核心挑战在于如何在独立去噪的编辑过程中，保持跨轮次的一致性，同时避免计算成本的线性爆炸。

2. 方法论 (Methodology: Memory-V2V)

Memory-V2V 是一个记忆增强（Memory-Augmented）框架，其核心设计理念是将先前的编辑结果视为结构化的约束（Structured Constraints），而非简单的时序上下文。

2.1 核心组件

外部记忆缓存 (External Memory Cache, $\Omega$ )：
- 存储每一轮编辑生成的潜在视频（Latent Videos）及其对应的元数据（如相机轨迹或源视频片段）。
- 在每一轮编辑 $i$ 时，模型从缓存中检索最相关的历史视频 $\tilde{\Omega}$ 作为条件输入。
任务感知检索机制 (Task-Aware Retrieval)：
- 视频新视角合成 (Novel View Synthesis)：提出 VideoFOV 检索算法。基于几何重叠度，计算目标相机轨迹与缓存中相机轨迹的视场（Field-of-View）重叠率。通过计算重叠（Overlap）和包含（Containment）指标，选择几何视角最接近的历史视频。
- 文本引导长视频编辑 (Text-guided Long Video Editing)：基于语义相似性检索。由于文本指令可能模糊，系统使用 DINO 特征计算当前输入视频片段与历史源视频片段的视觉相似度，选择最相关的片段。
动态 Tokenization (Dynamic Tokenization)：
- 为了解决长序列 Token 带来的计算压力，系统根据检索视频的相关性分配不同的 Token 预算。
- 高相关性视频：使用低压缩率（如 $1\times2\times2$ ），保留精细细节。
- 低相关性视频：使用高压缩率（如 $1\times8\times8$ ），大幅减少 Token 数量。
- 这种机制实现了可扩展的条件输入，避免了计算量随记忆数量线性增长。
自适应 Token 合并 (Adaptive Token Merging)：
- 原理：利用 DiT（Diffusion Transformer）注意力图的稀疏性。通过分析 Query 对 Key 的注意力响应（Responsiveness），识别出对当前生成任务贡献较小的帧。
- 操作：在 Transformer 的中间层（Block 10 和 20），对低响应帧的 Token 进行可学习的卷积合并（Merging），而不是直接丢弃。
- 优势：在显著降低计算成本（FLOPs）的同时，保留了必要的结构信息和视觉线索，避免了直接丢弃导致的伪影。
训练策略：
- 对于长视频编辑，提出了一种数据增强流水线：利用现成的视频扩展模型，仅将短源 - 目标对中的目标视频在时间上延伸，构建长视频训练数据，无需收集昂贵的长视频配对数据。

3. 主要贡献 (Key Contributions)

问题定义：首次明确将“多轮视频编辑”定义为独立问题，强调了在独立去噪过程中保持跨轮次一致性的挑战。
框架创新：提出了 Memory-V2V，将先前的编辑结果作为结构化约束，而非时序延续，有效解决了漂移问题。
高效机制：
- 设计了任务感知的检索机制（几何 FOV 检索和语义片段检索）。
- 开发了动态 Tokenization 和自适应 Token 合并技术，实现了在不增加线性计算成本的前提下进行大规模记忆条件化。
数据与实验：构建了长视频编辑的训练数据增强方案，并在视频新视角合成和长视频文本编辑两个任务上取得了 SOTA 性能。

4. 实验结果 (Results)

论文在两个代表性任务上进行了评估：

多轮视频新视角合成：
- 对比基线：ReCamMaster (独立模式/自回归模式), TrajCrafter。
- 指标：多视角一致性 (MEt3R), 相机准确性，视觉质量 (VBench)。
- 结果：Memory-V2V 在保持高视觉质量的同时，显著提升了跨轮次（如第 1 轮与第 3 轮）的几何一致性。基线模型随着轮次增加，一致性迅速下降。
文本引导长视频编辑：
- 对比基线：LucyEdit (独立/FIFO), TokenFlow, RAVE, CCEdit。
- 指标：主体一致性 (Subject Consistency), 背景一致性，美学质量，时间闪烁等。
- 结果：Memory-V2V 在长视频（>200 帧）编辑中，能够保持编辑对象（如将苹果变为橙子）在整个视频中的外观一致性，而基线模型（如 LucyEdit）会出现不同片段间物体外观不一致的问题。
消融实验：
- 证明了 VideoFOV 检索对长期一致性至关重要。
- 证明了自适应 Token 合并能在减少约 30% 计算量的同时，不牺牲生成质量。
- 证明了直接丢弃低响应 Token 会导致视觉伪影，而合并策略则能保持质量。

5. 意义与局限性 (Significance & Limitations)

意义：
- 为实际的视频编辑工作流（通常是迭代的）提供了可行的技术解决方案。
- 提出了一种通用的“记忆即约束”范式，不仅适用于视频，也可能启发其他生成式 AI 的长程一致性任务。
- 通过高效的检索和压缩机制，解决了长上下文生成的计算瓶颈问题。
局限性：
- 继承了底层单轮编辑模型的局限性（如大视角变化时的表现）。
- 训练数据主要基于连续的单镜头视频，因此在处理包含剧烈场景切换（多镜头）的长视频时，可能会出现物体或纹理的错误传播。
- 生成的扩展视频在连接处可能存在轻微的时间不一致或闪烁，累积在多次去噪后可能影响外观。

总结：Memory-V2V 通过引入外部记忆、智能检索和动态压缩技术，成功解决了视频扩散模型在多轮编辑中的“遗忘”和“漂移”问题，实现了高质量、高一致性的交互式视频编辑。