InstructAV2AV: Instruction-Guided Audio-Video Joint Editing
本文介绍了 InstructAV2AV，这是首个用于指令引导的音视频联合编辑的端到端框架，它利用新构建的大规模数据集（InsAVE-80K）和专门的两阶段训练策略，在生成同步且高质量的编辑内容方面优于现有方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一段朋友发表演讲的家庭录像。现在，设想你想要改变他们所说的话，甚至将他们完全替换成另一个人，但同时希望背景噪音、光线和节奏保持完美自然。
通常，视频编辑和音频编辑是两项独立的工作。如果你修改了视频，音频往往会不同步或听起来很奇怪（比如画外音与嘴唇动作不匹配）。本文介绍了InstructAV2AV，这是一种新工具，它将视频和音频视为一个不可分割的整体。你只需输入一条简单的文本指令，它就能同时重写画面和声音，瞬间完成。
以下是其工作原理，分解为几个简单概念：
1. “魔法食谱”（数据问题）
要教会计算机完成这项任务，你需要成千上万个“修改前”和“修改后”的视频示例。但没有人拥有一个视频库，其中包含某人先说“你好”，然后神奇地变成说“再见”，而背景保持不变的视频。
作者建立了一个数据工厂（称为InsAVE-80K）。这就像一间高科技厨房：
- 他们从互联网上获取原始视频。
- 利用“掩码引导”的机器人厨师切割出特定部分（例如人脸或汽车）。
- 基于文本指令（例如“将男子改为女子”），使用人工智能为这些特定部分生成新的音频和视频。
- 随后，他们将这些新部分放回原始视频中，保持背景 untouched。
- 最后，他们让人类和智能计算机对结果进行“品尝测试”，以确保其看起来和听起来都真实。由此创建了一个包含 80,000 个训练示例的庞大“食谱库”。
2. “智能编辑器”（模型）
系统的核心是一个双流大脑。想象一位指挥家同时引领两支乐团：一支负责视觉场景（视频），另一支负责声音（音频）。
- 锚点：当你请求编辑时，系统不会凭空猜测。它将原始视频和音频视为“安全锚点”，以确保不会意外改变天空、树木或背景噪音。
- 指令：你输入一条命令，例如：“将男子改为一名棕发年轻女子，并让她说‘我认为我们应该再试一次’。”
- 门控注意力（SIGA）：这是本文的秘诀。想象视频中的每一帧都有一个调光开关或交通信号灯。
- 如果灯是红色，系统会说：“完全保持原始视频/音频不变”（保留背景）。
- 如果灯是绿色，它则说：“修改此部分以匹配指令。”
- 这个开关会自动调整，因此系统确切知道什么需要修改，什么需要保留，从而确保新声音与新面孔完美匹配。
3. “两步舞”（训练策略）
教会计算机同时编辑视频和音频非常困难。如果你试图一次性教会它所有事情，它会感到困惑。
作者采用两阶段训练策略：
- 第一步（单独练习）：首先，他们分别训练视频部分如何编辑，以及音频部分如何编辑。它们在无需担心对方的情况下学习各自的动作。
- 第二步（二重奏）：一旦它们擅长单独表演，就被教导一起共舞。它们学习完美同步，以便当视频显示汽车引擎启动时，音频在完全相同的毫秒播放引擎轰鸣声。
它能做什么？
本文仅使用文本指令演示了四种主要“动作”：
- 身份替换：将男子改为女子（或反之），同时保持声音和嘴唇动作同步。
- 语音重写：保留人物的面部和声音，但将其所说的话改为新的内容。
- 插入：添加一个新物体（例如一辆驶过的复古汽车），并生成匹配的引擎声。
- 移除：擦除一个物体（例如岩石上的一只松鼠），并消除其吱吱声，使其看起来从未存在过。
总结
简而言之，InstructAV2AV是首个允许你仅通过文本提示同时编辑视频故事及其配乐的系统。它不仅仅是将新声音粘贴到旧视频上；它理解，如果你改变了视觉，声音也必须随之改变；如果你改变了声音，视觉也必须匹配。它通过从庞大的自创示例库中学习，并利用智能“调光开关”来决定确切保留什么和修改什么，从而实现这一目标。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。