💻 computer science

Reasoning to Align: Implicit Reasoning in Diffusion Transformers for Video Editing

本文提出了 RVEDiT，这是一种基于指令的视频编辑新型扩散 Transformer 框架，通过实施粒度路由的令牌条件化以实现从粗到细的处理，并采用参考锚定的注意力对齐来规范隐式推理，从而在不增加推理成本的情况下提升性能。

原作者： Yan Li, Lin Liu, Xiaopeng Zhang, Qi Tian

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yan Li, Lin Liu, Xiaopeng Zhang, Qi Tian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Reasoning to Align: Implicit Reasoning in Diffusion Transformers for Video Editing》（对齐即推理：视频编辑扩散 Transformer 中的隐式推理）的通俗解释，辅以生动的类比。

宏观图景：教机器人剪辑电影

想象你有一段家庭野餐的视频，你想告诉电脑：“把狗换成柯基犬，但让孩子们和背景保持原样。”

这被称为基于指令的视频编辑。听起来很简单，但实际上对人工智能来说是一个巨大的思维难题。电脑必须同时搞清楚三件事：

改什么：（那只狗）。
留什么：（孩子们、草地、天空）。
如何保持运动：（柯基犬需要与原始狗的运动同步奔跑，且背景不应闪烁）。

该论文的作者认为，当前的人工智能视频编辑器就像过度劳累的实习生，被同时塞进了一堆杂乱无章的指令和一堆杂乱无章的照片，却没有任何清晰的方法来组织思路。它们经常搞砸，改错了东西，或者让视频看起来充满故障。

这篇论文介绍了一个名为RVEDiT（Reasoning Video Editing Diffusion Transformer，推理视频编辑扩散 Transformer）的新系统，它教导人工智能在开始编辑之前以结构化的方式“思考”。

问题所在：为何当前人工智能举步维艰

作者指出，当前的人工智能模型存在两个主要的结构性缺陷：

1. “一刀切”的大杂烩

类比：想象一位厨师试图烹饪一道复杂的菜肴。当前的人工智能在开始时，将食谱（文本指令）、原材料（视频像素）和烹饪说明全部扔进同一个搅拌机里。
结果：人工智能感到困惑。它试图在理解宏观目标（例如“让它看起来像梵高的画”）的同时，去弄清楚微观细节（例如“这个特定的像素是一片叶子”）。因为所有东西都混在一起，人工智能往往会丢失主要意图，或者搞砸细节。

2. “蒙眼”练习

类比：想象一个学生学习绘画。老师让他们画一幅画，却只根据最终结果（像素）来评分。老师从不查看学生是如何混合颜色的，也不看他们在画布上的视线落在哪里。
结果：人工智能学会靠运气猜对像素，但它并没有真正学会视频中特定部分为何要改变的逻辑。这就像一个死记硬背答案的学生，却不懂数学原理。

解决方案：RVEDiT

作者构建了一个包含两个巧妙技巧的新框架，以解决这些问题。

技巧一：“行政助理”与“细节工人”（粒度路由令牌条件化）

RVEDiT 不再将所有信息扔进搅拌机，而是根据人工智能大脑层级的“深度”来分离工作。

类比：把人工智能想象成一家建筑公司。
- 浅层（管理层）：这些层级只看到来自一位聪明助理（多模态大型语言模型）的“摘要笔记”。笔记写道：“我们要把狗换成柯基犬。”管理层专注于宏观计划。他们暂时不会被草地的纹理或天空的颜色分散注意力。
- 深层（执行层）：一旦计划确定，“工人”就会获得完整细节。他们看到实际的视频像素和具体文本。他们采纳管理层的计划，并将其应用到视频的具体位置。
优势：这创造了一个由粗到细的过程。人工智能首先决定做什么，然后弄清楚怎么做。这防止了人工智能因试图同时做两件事而感到困惑。

技巧二：“影子教练”（参考锚定注意力对齐）

这个技巧帮助人工智能学习编辑的逻辑，而不仅仅是最终画面。

类比：想象一位舞蹈教练在教学生。
- 学生（编辑分支）：试图跟着音乐（指令）跳舞。
- 影子教练（参考分支）：在练习期间，教练观看一段完美舞者做完全相同动作的视频。教练不跳舞，只是观看。
- 对齐：老师强迫学生模仿完美舞者移动眼睛和身体的方式（即“注意力”），而不仅仅是最终的姿势。
论文中的运作方式：
- 人工智能在成对的视频上进行训练：原始视频和完美的编辑版本。
- 它运行一个“影子教练”分支来观察完美视频。
- 它迫使“学生”分支将其内部的“视线”（注意力）与“教练”对齐。
- 关键点：影子教练仅在训练期间使用。当人工智能实际被客户使用时，教练就会消失。人工智能已经学会了逻辑，因此不再需要教练。这意味着该系统运行快速且免费。

结果：它有效吗？

作者在名为OpenVE-Bench的标准基准上测试了 RVEDiT。

得分：RVEDiT 击败了所有其他开源视频编辑工具。
亮点：它在以下方面表现尤为出色：
- 局部修改：在不破坏场景其余部分的情况下，将一个物体替换为另一个物体。
- 局部添加：将新物体（如一个漂浮的花瓶）放入视频中，使其看起来真正属于那里（阴影、运动等）。
- 一致性：当相机移动时，视频不会闪烁或出现故障。

一句话总结

RVEDiT 通过赋予视频编辑人工智能一个两步思考过程（先计划，后执行）以及一种训练方法（教导它如何观看视频，而不仅仅是最终画面应该是什么样子），从而修复了视频编辑人工智能，实现了更清晰、更合乎逻辑的编辑。

技术摘要：RVEDiT——面向视频编辑的扩散 Transformer 中的隐式推理

问题陈述

基于指令的视频编辑要求根据自然语言指令对源视频进行转换，同时保留无关内容并维持时间连贯性。作者认为，现有的扩散 Transformer（DiT）编辑器在处理此任务时面临困难，原因在于当前流程中存在两个结构性局限：

无差别的条件输入：在标准 DiT 中，文本指令和视觉标记被拼接成单一的联合序列，由每个 Transformer 块统一处理。这迫使单个标记流同时编码高层编辑意图和低层视觉目标，导致没有专用的“工作空间”用于推理。
无监督的内部推理：控制编辑的交叉注意力模式仅通过像素级重建损失（例如流匹配）进行间接监督。因此，模型内部的推理轨迹（编码哪些文本标记读取哪些视觉区域的注意力图）受到约束不足。模型学会最小化重建误差，但并未被明确教导建立指令忠实编辑所需的细粒度对应关系。

本文提出，基于指令的视频编辑本质上是一个潜在推理问题，必须在 DiT 骨干网络内部原生解决，而不是将推理外包给可能引入幻觉的外部多模态大语言模型（MLLM），或将骨干网络视为黑盒。

方法论：RVEDiT

作者提出了RVEDiT（推理视频编辑 DiT），这是一个旨在结构化条件输入流并监督内部推理过程的框架。它包含两个互补组件：

1. 粒度路由标记条件输入（GRTC）

该组件通过引入深度感知路由机制来解决无差别条件输入的瓶颈：

可学习的编辑标记：给定源视频和指令，从 MLLM（具体为 Qwen2.5-VL）中蒸馏出一组 $K$ 个可学习的编辑标记（ $X_e$ ）。这些标记充当抽象的、具有全局上下文的编辑意图载体。
基于深度的路由：根据语义粒度，将标记路由到 DiT 的不同层：
- 浅层（ $\ell_{idx} \le L_s$ ）：仅关注可学习的编辑标记（ $X_e$ ）。这使得早期块能够在不被数千个像素级标记稀释的情况下建立全局编辑意图。
- 深层（ $\ell_{idx} > L_s$ ）：关注完整序列 $[X_e; X_v; X_\ell]$ ，其中 $X_v$ 是原生视觉标记， $X_\ell$ 是文本标记。这使得深层块能够将全局意图锚定到特定区域、纹理和运动上。
效果：这在骨干网络内部创建了一个从粗到细的编辑过程，将全局意图的形成与局部细化分离开来。

2. 参考锚定注意力对齐（RAAA）

该组件通过引入一种不产生推理成本的训练时正则化项，来解决无监督推理的瓶颈：

参考分支：在训练期间，执行第二次前向传播，通过同一个 DiT（权重共享），以真实目标视频（ $v^*$ ）及其描述（ $\ell^*$ ）为条件。该分支生成一个“成功”的推理轨迹（交叉注意力图），作为锚点。
互信息最大化：该方法最大化编辑分支（以源视频 + 指令为条件）的交叉注意力特征与参考分支（以目标视频为条件）之间的互信息。
目标：使用对称的 InfoNCE 估计器，鼓励模型在随机采样的深度处，将编辑分支的注意力几何结构与参考分支对齐。这教导模型在哪里以及如何进行注意力聚焦以反映成功的编辑，而不仅仅是最小化像素重建误差。
推理：参考分支在训练后被丢弃，不会给部署增加任何计算开销。

最终的训练目标将标准的流匹配损失（ $\mathcal{L}_{fm}$ ）与对齐项（ $\mathcal{L}_{align}$ ）相结合：
$\mathcal{L} = \mathcal{L}_{fm} + \lambda_{align} \mathcal{L}_{align}$

主要贡献

问题形式化：本文识别并形式化了现有 DiT 流程中阻碍视频编辑隐式推理的两个结构性瓶颈（无差别的条件输入和无监督的推理）。
RVEDiT 框架：一个 DiT 原生框架，通过以下方式将推理内部化：
- 粒度路由标记条件输入：通过将 MLLM 衍生的标记路由到浅层、原生标记路由到深层，建立从粗到细的编辑过程。
- 参考锚定注意力对齐：通过最大化编辑和参考注意力轨迹之间的互信息，主动监督推理路径。
实证验证：大量实验表明，RVEDiT 在局部化、组合性和保真度敏感的编辑任务中，性能优于最先进的开源基线。

实验结果

作者在 OpenVE-Bench 上评估了 RVEDiT，对比基线包括 VACE、OmniVideo、ICVE、Lucy-Edit、DITTO 和 Kiwi-Edit。评估采用 MLLM 作为裁判的协议（Gemini-3.1-Pro 和 Qwen3.5-VL-35B），对三个维度进行评分：指令遵循度（IC）、一致性保真度（CF）和视觉质量（VQ）。

定量性能：RVEDiT 在两位裁判下均取得了最佳总体得分（Qwen3.5-VL-35B 为 77.42，Gemini-3.1-Pro 为 62.48）。
具体增益：该模型在局部添加和局部更改任务上表现出特别强劲的性能，这些任务需要精确修改并保留周围内容。它在全局风格迁移方面也表现良好。
消融研究：
- 移除 GRTC 会降低需要清晰全局意图的任务（局部添加、全局风格）的性能。
- 移除 RAAA 会导致需要细粒度位置对应关系的任务（局部添加、CF 和 VQ 指标）性能下降。
- 移除这两个组件会导致显著失败，特别是在局部移除任务中（与完整模型相比，IC 下降了近 17 分）。
机制分析：注意力质量分析证实，浅层专注于编辑标记（全局意图），而深层转向原生标记（局部细化），验证了从粗到细的设计。

意义与主张

本文主张，RVEDiT 成功证明了显式塑造生成骨干网络的内部推理过程是实现稳健且可控视频编辑的可行路径。通过将任务视为潜在推理问题并解决标准 DiT 的结构性瓶颈，该方法实现了：

指令忠实度：更好地遵循复杂的自然语言指令。
源内容保留：改进了非编辑内容和场景结构的保留。
时间连贯性：减少了帧间的闪烁和伪影。

作者强调，这些改进是在没有外部规划模块或额外推理成本的情况下实现的，这表明端到端的生成过程可以通过架构设计和针对性的训练目标被赋予隐式推理能力。