Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner

本文提出了 AVI-Edit 框架，通过粒度感知掩码细化器和自反馈音频代理，实现了具备高保真音画同步与细粒度时空控制能力的视频实例编辑，并构建了相应的大规模数据集以验证其优越性。

要点

这篇论文介绍了一个名为 AVI-Edit 的新工具，你可以把它想象成视频编辑界的“全能魔法棒”，但它有一个最厉害的本领：它能听懂声音，并且让画面和声音完美同步地发生变化。

为了让你更容易理解，我们把视频编辑比作**“给电影里的角色换装和改台词”**。

1. 以前的痛点：只有“视觉”没有“听觉”

想象一下，你以前用普通的视频编辑软件想给电影里的主角换件衣服。

• 普通软件：就像是一个只会画画的画家。你让他把主角的衣服从“蓝色”改成“红色”，他确实能把衣服涂红，但他完全不管主角嘴里在说什么。结果就是，画面变了，但声音还是原来的，或者声音和画面完全对不上（比如嘴巴在动，声音却是风声），看起来很假。
• 现有的高级软件：有些能处理声音，但通常只能处理整个场景（比如把整个房间的嘈杂声都关掉），或者只能处理整个视频，没法精准地只改“某一个人”的声音和形象。

2. AVI-Edit 的三大“超能力”

AVI-Edit 就像是一个懂心理学的导演 + 一个精明的裁缝 + 一个声音魔术师的组合。它主要解决了三个问题：

超能力一：把“粗略的草图”变成“精准的轮廓” (Granularity-Aware Mask Refiner)

• 场景：你想修改视频里的一只猫。但你给软件画的圈（遮罩）很粗糙，可能把猫旁边的桌子也圈进去了。
• 以前的做法：软件会傻乎乎地把桌子也一起改了，或者把猫的边缘切得很难看。
• AVI-Edit 的做法：它有一个**“智能修图师”。你给它一个粗略的圈，它会结合画面里的细节（猫毛的纹理）和声音（猫叫的位置），自动把圈修得严丝合缝**，只圈住猫，不碰桌子。
• 比喻：就像你给厨师一个大概的“切这块肉”的指令，厨师不仅切得准，还能自动避开骨头和肥肉，只切出最完美的肉块。

超能力二：让声音和画面“跳双人舞” (Self-Feedback Audio Agent)

• 场景：你想把视频里男人的声音改成女人的声音，或者把狗叫声改成猫叫声。
• 以前的做法：直接替换声音，结果发现嘴巴还在动原来的口型，或者新声音和背景音（比如风声、掌声）混在一起很刺耳。
• AVI-Edit 的做法：它有一个**“声音导演”**，工作流程是：
  1. 分离：先把原视频里的声音像剥洋葱一样剥开，把“要保留的背景音”（如掌声）和“要修改的声音”（如男人的说话声）分开。
  2. 生成：根据你写的文字（比如“改成温柔的女声”），生成新的声音。
  3. 混合与试错：把新声音和保留的背景音混在一起。
  4. 自我批评（关键步骤）：这个“声音导演”会自己听一遍混好的声音，问自己：“这听起来自然吗？背景音还在吗？新声音符合要求吗？”如果不好听，它就自动重写指令，重新生成，直到完美为止。
• 比喻：就像你点了一杯特调咖啡，调酒师（AI）调好后，自己先尝一口，觉得太苦了，就自动加糖再调一次，直到你觉得“完美”才端给你。

超能力三：精准控制“谁在动，谁在叫”

它不仅能改声音，还能改画面。

• 例子：视频里一个人在说话，你可以只改他的台词（声音变了，但脸没变）；或者只改他的长相（脸变了，但声音还是原来的）；甚至可以把一只狗变成猫，同时把“汪汪”声变成“喵喵”声。

3. 它是怎么做到的？（简单版原理）

1. 大模型打底：它基于一个很强大的视频生成模型（Wan2.2），这个模型本身就很会“无中生有”地生成视频。
2. 数据训练：作者专门造了一个巨大的“题库”（AVISET 数据集），里面有 7 万多段视频，每一段都标注了“谁在说话/发声”以及对应的声音。这让 AI 学会了“谁在动，谁就发声”的规律。
3. 双重保险：
   • 视觉端：用那个“智能修图师”把你要改的地方圈得死死的。
   • 听觉端：用那个“自我批评的声音导演”确保声音既符合你的要求，又和画面完美同步。

4. 总结：这有什么用？

想象一下未来的应用场景：

• 电影修复：老电影里演员的台词听不清，你可以直接让 AI 根据画面重新生成清晰的台词，而且口型完全对上。
• 创意视频：你想让视频里的猫开口说人话，或者让视频里的雨声变成雷声，AVI-Edit 都能轻松搞定，而且看起来非常自然，不会像以前那样“假假的”。
• 无障碍辅助：把视频里的外语自动翻译成母语，同时让说话人的口型也自动调整成说中文的样子。

一句话总结：
AVI-Edit 就像是一个既懂画画又懂录音的超级助手，它能精准地找到视频里的某个物体，根据你的要求，同时修改它的样子和声音，并且保证它们看起来、听起来都天衣无缝，就像原本就是那样拍的一样。

技术摘要

AVI-Edit：基于粒度感知掩码精修器的音视频同步视频实例编辑技术总结

1. 研究背景与问题定义 (Problem)

随着视频生成模型（如 Sora、Veo）的发展，音视频同步（Audio-Visual Synchronization） 已成为构建沉浸式内容的关键。然而，现有的视频编辑方法存在以下主要局限性：

• 忽视音频同步：大多数现有方法（如基于扩散模型的编辑）仅关注视觉特征，导致编辑后的视频破坏了原有的音视频同步关系。
• 缺乏细粒度控制：现有方法难以在实例级别（Instance-level） 进行精确编辑。例如，难以在保留背景和其他声音的同时，仅修改特定人物的说话内容或改变特定物体的外观及其伴随声音。
• 时空控制不足：现有的音视频编辑方法（如 AvED）主要关注场景级对齐，缺乏对事件发生时间的精确控制；而基于对象的方法（如 Object-AVEdit）往往缺乏时间可控性。

核心问题：如何在一个统一的框架中，实现基于粗粒度掩码（如边界框）的实例级视频编辑，同时保持精细的时空控制和完美的音视频同步？

2. 方法论 (Methodology)

作者提出了 AVI-Edit 框架，该框架基于预训练的 Wan2.2-5B 视频扩散模型，包含三个核心组件：

2.1 音视频同步视频骨干网络 (Audio-Sync Video Backbone)

• 基础架构：基于 Wan2.2 的扩散 Transformer (DiT) 架构。
• 输入处理：接收原始视频、实例掩码、文本描述以及精选的音频 Token。
• 背景保持：通过下采样实例掩码，在潜在空间中将编辑区域（噪声）与非编辑区域（原始视频 Token）进行插值混合，确保背景不变。
• 帧级交叉注意力 (Frame-wise Cross-Attention)：在 DiT 块中引入帧级交叉注意力机制，使视频生成过程能够直接接收并理解音频 Token，从而实现帧级别的音视频对齐。

2.2 粒度感知掩码精修器 (Granularity-Aware Mask Refiner, GAMR)

针对用户提供的掩码通常不精确（如仅为边界框）的问题，设计了 GAMR 进行迭代精修：

• 精度因子 (Precision Factor, $p$)：引入一个参数 $p \in [0, P]$ 来量化掩码的粒度。$p=P$ 代表最粗糙（如边界框），$p=0$ 代表精确轮廓。
• 架构设计：采用与视频骨干相似的 Diffusion Transformer 架构。
  • 将精度因子 $p$ 线性编码并注入到 AdaLN 和门控机制中，指导模型理解当前的掩码粒度。
  • 利用视频 Token 替代文本 Token 进行多模态交叉注意力，使模型能基于视觉语义推理实例边界。
  • 利用音频 Token 进行帧级交叉注意力，确保掩码精修与事件发生的时间点同步。
• 迭代推理：在 ODE 求解过程中，GAMR 根据预设的退化调度（如瞬时退化策略），逐步将粗糙掩码 refine 为精确的实例掩码，指导视频生成。

2.3 自反馈音频代理 (Self-Feedback Audio Agent)

为了生成高质量的伴随音频并提供显式的时间控制，设计了一个 "分离 - 生成 - 混音 - 重做" (Separate-Generate-Remix-Rework) 的闭环流程：

1. 分离 (Separation)：利用视觉语言模型 (VLM) 分析编辑计划，选择专门的分离模型（针对人声或非人声事件），从原始音频中分离出需要保留的背景音。
2. 生成 (Generation)：根据文本指令，选择文本转语音/音乐/音效模型生成新的目标音频。
3. 混音 (Remix)：将分离的背景音与生成的新音频混合。
4. 重做与评估 (Rework & Judgment)：利用多模态大语言模型 (MLLM) 作为裁判，从分离准确性、生成准确性、声学和谐度、指令遵循度和音频保真度五个维度评估混音质量。
   • 若评分低于阈值，MLLM 生成改进指令，反馈给分离和生成模型进行迭代优化，直到质量达标。

3. 数据集构建 (Dataset)

为了训练和评估该任务，作者构建了 AVISET 数据集：

• 规模：包含 71k 训练集、1k 验证集和 1k 测试集，总时长约 197 小时。
• 筛选标准：严格过滤，确保每个片段仅包含一个主要的发声实例（人声或非人声事件），并去除多说话人或无声片段。
• 标注：包含实例掩码、场景级文本描述，测试集额外包含“原始 - 编辑”成对的文本指令。
• 来源：整合了 MovieBench、Condensed Movies、Short-Films-20K、VGGSound 及 YouTube 公开视频。

4. 实验结果 (Results)

4.1 定量评估

在 AVISET 和 AvED-Bench 数据集上，AVI-Edit 在以下指标上均优于 SOTA 方法（AvED, Ovi, VACE-Foley）：

• 视觉质量：FVD (Fréchet Video Distance) 更低，IS (Inception Score) 更高。
• 一致性：帧间一致性 (FC) 和文本 - 视频对齐 (TC) 表现最佳。
• 音视频同步：在音频 - 视频对齐 (AC) 和唇部同步 (Sync-C/D) 指标上显著领先，证明了其保持音视频同步的能力。

4.2 定性评估与用户研究

• 视觉效果：相比基线方法，AVI-Edit 能生成更自然的视频，无闪烁伪影，且能完美保留背景。
• 用户偏好：在音频 - 视觉同步、文本对齐和整体偏好三项指标中，AVI-Edit 获得了近 50% 的最高偏好率，远超其他方法。
• 音频质量：自反馈音频代理生成的音频在保真度、背景保留和文本一致性方面，"Acceptable" 或 "Perfect" 的评分占比超过 85%。

4.3 消融实验

• 移除精度因子 (w/o PF)：导致掩码估计不精确，无法准确定位实例边界。
• 移除掩码精修器 (w/o MR)：模型依赖粗糙掩码，导致背景区域被错误修改。
• 移除音频代理 (w/o AA)：音频指导变得嘈杂，音视频同步性能显著下降。

5. 关键贡献 (Key Contributions)

1. 首个音视频同步实例编辑框架：提出了 AVI-Edit，实现了细粒度的空间（实例级）和时间（事件级）控制，同时保持完美的音视频同步。
2. 粒度感知掩码精修器 (GAMR)：创新性地引入精度因子，通过迭代机制将用户提供的粗糙掩码（如边界框）自动精修为精确的实例轮廓，解决了输入不精确的痛点。
3. 自反馈音频代理：设计了“分离 - 生成 - 混音 - 重做”的闭环管道，利用 MLLM 进行质量评估和指令优化，确保了生成音频的高质量和时间可控性。
4. 大规模专用数据集 (AVISET)：构建了包含实例级对应关系和丰富标注的大规模音视频编辑数据集，填补了该领域的资源空白。

6. 意义与展望 (Significance)

• 技术突破：AVI-Edit 解决了视频编辑中“视觉修改”与“听觉同步”割裂的难题，为生成式视频编辑树立了新的基准。
• 应用广泛：支持多种应用场景，包括修改说话人台词、改变人物外观、语义类别转换（如狗变猫）、仅通过音频调整动态等。此外，还支持实例插入、移除及长视频编辑。
• 未来方向：当前版本主要处理单实例编辑，未来工作将探索同时编辑多个目标实例的并行处理能力。

总结：AVI-Edit 通过结合先进的扩散模型、粒度感知的掩码精修技术以及自反馈的音频代理，成功实现了高质量、高同步性且具备细粒度控制能力的视频实例编辑，是音视频多模态生成领域的重要进展。