VINCIE: Unlocking In-context Image Editing from Video

本文提出了一种名为 VINCIE 的模型，通过从视频中学习并采用块因果扩散变换器架构，实现了无需依赖专家模型或特定任务流程的强大多轮上下文图像编辑能力，并在多项基准测试中取得了最先进成果。

要点

这篇论文介绍了一个名为 VINCIE 的新 AI 模型，它的核心能力是**“看图说话，连续修改图片”**。

为了让你轻松理解，我们可以把这项技术想象成**“教 AI 看连环画”**，而不是传统的“教 AI 做填空题”。

1. 以前的做法：死记硬背的“填空题”

以前的图片编辑 AI（比如 InstructPix2Pix），就像是一个只会做**“填空题”**的学生。

• 老师（训练数据）：给出一张“修改前”的图，一张“修改后”的图，还有一句指令（比如“把猫变成狗”）。
• 学生（AI）：死记硬背这种“输入 A -> 输出 B"的对应关系。
• 缺点：如果老师让它连续改五次（比如先加个帽子，再换件衣服，再换个背景，再换表情，再换姿势），这个学生就晕了。因为它只记得“单步”怎么改，一旦步骤多了，它就开始胡编乱造，画面变得乱七八糟（这就是论文里说的“伪影积累”）。而且，收集这种“修改前/后”的配对数据非常昂贵且困难。

2. VINCIE 的做法：看“视频”学“连环画”

VINCIE 的聪明之处在于，它不再看“填空题”，而是去看“视频”。

• 核心直觉：视频是什么？视频就是一连串连续变化的画面。
  • 想象你在看一部电影：一个人走进房间（画面变了），他坐下（画面又变了），他拿起杯子（画面再变）。
  • 这些变化是自然发生的，而且包含了“前因后果”。
• 学习方法：
  • 研究人员把视频切成一段一段的“小片段”（比如 5 帧画面）。
  • 他们用大语言模型（LLM）给这些变化“写旁白”：“第 1 帧有个杯子，第 2 帧杯子被拿起来了，第 3 帧杯子被放到了桌上。”
  • 同时，它们还标注了**“哪里变了”**（就像给视频里的物体画个圈，告诉 AI 只有这个圈里的东西在动，其他背景不动）。
  • 这样，AI 学到的不是死板的“把 A 变成 B"，而是**“在什么背景下，发生了什么动作，导致了什么结果”**。

3. 三个“特训”任务（Proxy Tasks）

为了让 AI 真正学会这种“连环画”逻辑，研究人员设计了三个特训游戏：

1. 猜下一张图（Next-Image Prediction）：
   • 游戏：给你前几张图，让你猜下一张图长什么样。
   • 目的：这是核心任务，让 AI 学会根据上下文生成新图片。
2. 找不同（Current Segmentation Prediction）：
   • 游戏：给你两张图，让你圈出哪里变了。
   • 目的：让 AI 学会“聚焦”。它必须知道哪些地方该动，哪些地方要保持原样（比如背景不能乱跑）。
3. 预判未来（Next Segmentation Prediction）：
   • 游戏：还没发生呢，让你先猜猜下一张图里，哪个物体可能会动？
   • 目的：让 AI 学会“规划”。就像下棋一样，提前想好下一步棋子会落在哪。

4. 惊人的效果：从“单步”到“多步”

因为是从视频里学的，VINCIE 拥有了**“上下文理解能力”**。

• 多轮对话编辑：

  • 用户：“把猫变成狗。” -> AI 改好了。
  • 用户：“给这只狗戴个帽子。” -> AI 知道刚才那是只狗，现在给它加帽子，不会把帽子加到原来的猫身上，也不会把背景里的树给改了。
  • 用户：“把背景换成雪山。” -> AI 依然记得那是只戴帽子的狗。
  • 结果：即使连续修改 5 次，画面依然清晰、连贯，不会像以前的模型那样越改越糊。

• 意想不到的超能力：

  • 故事生成：因为它看过很多视频，它知道故事是怎么发展的。你可以让它：“画一个男孩在跑步，然后他摔倒了，然后他哭了，然后有人扶他起来。”它能生成这一系列连贯的图，就像在画连环漫画。
  • 组合创意：它能把“一只穿着宇航服的猫”和“一个在火星上的冰淇淋店”组合在一起，而且逻辑通顺。

5. 总结：为什么这很重要？

这就好比：

• 以前的 AI 是背了字典的翻译官，你给它一个词，它翻一个词，但不懂整篇文章的语境。
• VINCIE 是读了很多小说的作家，它理解情节的流动、人物的关系和场景的转换。

VINCIE 的最大突破在于： 它不需要昂贵的“修改前/后”配对数据，只需要海量的普通视频就能学会复杂的图片编辑。这意味着未来我们可以用更少的成本，训练出更聪明、更能理解人类意图的 AI 艺术家，让我们能像导演一样，通过简单的对话，一步步指挥 AI 创作出完美的故事画面。

技术摘要

这是一篇关于 VINCIE (Video-driven IN-Context Image Editing) 的论文技术总结，该论文发表于 ICLR 2026。

1. 研究背景与问题 (Problem)

• 现有挑战： 上下文图像编辑（In-Context Image Editing）旨在根据包含文本和图像的上下文序列来修改图像。现有的方法通常依赖特定的任务流水线（如分割、修复）和专家模型来构建“编辑前 - 编辑后”的成对图像数据。
• 数据瓶颈： 获取高质量的、具有连贯性的多轮编辑上下文数据（Coherent sequences of text and images）非常困难。现有的单轮编辑数据收集方法难以构建能够捕捉多轮编辑中依赖关系和意图演变的长序列内容。
• 核心问题： 能否仅从视频数据中学习到一个有意义的上下文图像编辑模型，而无需使用任何独立的成对图像数据？

2. 方法论 (Methodology)

VINCIE 提出了一种直接从原生视频数据中学习上下文编辑能力的框架，主要包含以下三个核心部分：

A. 交错多模态序列构建 (Interleaved Multimodal Sequence Construction)

为了将视频转化为适合训练的上下文数据，作者设计了一个可扩展的标注流水线：

1. 帧采样： 从视频中稀疏采样 $K$ 帧（$I_0, ..., I_K$），采用等间隔采样和固定帧数采样相结合的策略，以捕捉细微的物体变化到显著的场景转换。
2. 视觉转换标注： 利用预训练的大规模多模态模型（VLM），通过思维链（Chain-of-Thought）提示，生成描述帧与帧之间视觉变化的文本指令（$T_i$）。
3. 感兴趣区域（RoE）与分割标注： 利用 Grounding-DINO 和 SAM2，根据文本描述提取变化区域的分割掩码（$M_i$）。
4. 序列构建： 最终构建出交错的多模态序列：$(I_0, T_0, M_0, I_1, T_1, M_1, ..., I_K)$，其中包含图像、文本指令和分割掩码。

B. 模型架构 (Model Architecture)

• 基础模型： 基于扩散 Transformer（DiT）架构，并初始化为视频基础模型（Video Foundation Model），利用其内在的时序一致性先验。
• 注意力机制： 提出了两种变体：
  1. 全注意力（Full Attention）： 所有 Token 之间双向交互，计算成本高但交互全面。
  2. 块级因果注意力（Block-wise Causal Attention）： 模态内部双向，模态间因果，兼顾效率与因果结构。
• 特殊 Token： 引入可学习的 <TURN> Token 来标记编辑轮次的边界。

C. 上下文组合学习 (Context Composition Learning)

为了增强模型对上下文依赖的学习，设计了三个代理任务（Proxy Tasks）进行联合训练：

1. 下一帧图像预测 (Next-Image Prediction, NIP)： 主要任务，根据上下文预测下一帧图像。
2. 当前分割预测 (Current Segmentation Prediction, CSP)： 预测当前帧中发生变化的区域掩码，增强模型对“哪里需要编辑”的落地能力（Grounding）。
3. 下一帧分割预测 (Next Segmentation Prediction, NSP)： 预测下一帧的掩码，帮助模型预判变化趋势，支持动态布局调整。

• 训练策略： 在训练过程中对上下文（图像和文本）进行随机 Dropout，强制模型学习从不同上下文组合中生成目标的能力。

3. 主要贡献 (Key Contributions)

1. 首个纯视频驱动的上下文编辑模型： 证明了仅利用原生视频数据（无需成对编辑数据）即可训练出强大的上下文图像编辑模型。
2. 可扩展的数据构建流水线： 提出了一种利用 VLM 和分割模型自动将视频转化为交错多模态序列的方法，能够利用海量的网络视频数据（构建了约 10M 个会话实例）。
3. 多轮编辑基准 (MSE-Bench)： 提出了一个新的基准 MSE-Bench，包含 100 个连贯的 5 轮编辑测试用例，涵盖了姿态调整、物体交互、视角变化等复杂场景，填补了现有基准（如 MagicBrush）仅支持短轮次和简单编辑的不足。
4. 涌现能力 (Emergent Abilities)： 模型展现出意想不到的能力，包括多概念组合（Multi-concept Composition）、故事生成（Story Generation）和链式编辑（Chain-of-Editing）。

4. 实验结果 (Results)

• 基准测试表现：
  • 在 MagicBrush（多轮编辑）上，VINCIE 的表现与依赖成对数据的 SOTA 方法（如 UltraEdit, OmniGen）相当，甚至在多轮编辑中随着轮次增加优势更明显。
  • 在 MSE-Bench 上，经过监督微调（SFT）的 VINCIE (7B) 在 5 轮编辑中的成功率达到 48.7%，显著优于其他开源学术模型（通常<20%），虽然仍低于专有模型（如 GPT-4o 的 64%），但证明了视频数据的有效性。
• 可扩展性 (Scalability)： 实验显示，随着训练数据量从 0.25M 增加到 10M，模型在 5 轮编辑任务上的成功率从 5% 提升至 22%，呈现出显著的 log-linear 增长，证明了该方法的扩展性。
• 消融实验：
  • 引入分割预测（CSP/NSP）显著提升了多轮编辑的一致性和成功率。
  • 使用视频序列数据预训练比仅使用成对数据训练效果更好，且结合 SFT 后性能最佳。
• 应用展示： 模型能够处理复杂的链式编辑（Chain-of-Editing），并在故事生成和多概念组合任务中展现出良好的连贯性和一致性。

5. 意义与影响 (Significance)

• 范式转变： 打破了图像编辑模型必须依赖昂贵且难以规模化的“成对图像数据”的传统，开辟了利用海量原生视频数据学习复杂编辑逻辑的新路径。
• 解决累积误差： 通过上下文感知（In-Context）机制，有效缓解了多轮编辑中常见的“伪影累积”问题，保持了视觉一致性。
• 通用性潜力： 该方法不仅限于编辑，还展示了在故事生成、可控生成（通过分割掩码）和复杂场景理解方面的潜力，为构建通用的视觉创作智能体提供了新思路。
• 未来方向： 为利用视频数据训练多模态思维链（Multimodal Chain-of-Thought）和检索增强生成（RAG）在视觉创作中的应用奠定了基础。

总结： VINCIE 通过创新的数据构建策略和代理任务设计，成功证明了视频是学习上下文图像编辑的富矿。它不仅提升了多轮编辑的性能，还解锁了多种高级创作能力，为未来的通用图像生成与编辑模型提供了重要的技术参考。