Token-Based Audio Inpainting via Discrete Diffusion
本文提出了一种基于离散扩散的音频修复方法，通过利用预训练音频令牌化表示并结合导数正则化与跨度吸收转换训练策略，有效解决了现有扩散模型在处理长时音频缺失区域时的性能瓶颈，实现了语义连贯且稳定的音乐修复。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这是一篇关于**“如何像修补名画一样修补破损录音”**的论文。
想象一下，你有一张珍贵的老唱片，或者一段珍贵的家庭录音，但中间有一段因为划痕、信号干扰或编辑失误而完全消失了（变成了静音）。传统的修补方法就像是用胶水硬粘，或者用旁边的声音“猜”着填进去，如果缺口太大，填出来的声音就会很假，像机器人说话，或者完全跑调。
这篇论文提出了一种全新的方法，叫 AIDD。我们可以把它想象成一位**“拥有超能力的音乐修复大师”**。
以下是用通俗语言和比喻对这篇论文核心内容的解读：
1. 核心思路：从“画像素”变成“拼乐高”
以前的修复方法（比如直接处理声波或频谱图），就像是在修补一幅巨大的油画。如果画布中间缺了一大块，画家很难凭空猜出那里原本画的是什么，尤其是当缺口很大时，很容易画歪。
AIDD 的做法完全不同：
它先把声音“翻译”成乐高积木块（Token/令牌）。
- 传统方法：试图直接修补连续的声波曲线（很难，因为太复杂）。
- AIDD 方法：先把声音变成一串离散的“积木代码”。比如，一个音符是红色积木，另一个是蓝色积木。
- 比喻：如果一段音乐缺失了，我们不是去画波形，而是去猜：“这里原本应该是‘红色积木’还是‘蓝色积木’？”
- 优势：因为声音被简化成了积木序列，模型更容易理解音乐的结构和逻辑（比如旋律走向、和声规律），即使缺口很大（比如 750 毫秒，相当于半秒多），它也能根据上下文“猜”出最合理的积木组合，让音乐听起来连贯自然。
2. 两大独门秘籍
为了让这位“修复大师”修得更好，作者给它加了两个特殊的训练技巧：
秘籍一：平滑过渡训练（导数正则化损失）
- 问题：有时候模型猜出的积木虽然逻辑对，但接起来很生硬，像突然变了一个调子，听起来很刺耳。
- 比喻：就像你在走路，如果每一步都突然从平地跳到悬崖再跳回来，你会晕。我们需要走路是平滑的。
- 做法：作者给模型加了一个规则，要求它预测的“积木”必须和前后邻居平滑过渡。就像要求修复师在填补空缺时，必须让声音的“坡度”自然变化，不能突兀。这保证了修补后的声音听起来像原本就在那里，而不是硬拼上去的。
秘籍二：大块头破坏训练（基于跨度的掩码）
- 问题：以前的训练方法可能只是随机把几个积木藏起来，模型只学会了补小洞。但现实中的录音往往是大段缺失。
- 比喻：如果你只练习修补衣服上的小破洞，当衣服被撕开一大块时，你就不会修了。
- 做法：作者在训练时，故意连续地、大块地把积木藏起来（比如一次藏掉 10 块连在一起的积木）。这强迫模型必须学会“举一反三”，根据前后的音乐逻辑，去推断一大段缺失的内容，而不仅仅是填补缝隙。
3. 实战效果：比谁修得更好？
作者用两个著名的音乐数据集（一个是古典乐，一个是钢琴独奏）做了测试，把缺口设得很大（从 150 毫秒到 750 毫秒）。
- 结果：
- 听感：人类听众觉得 AIDD 修出来的声音最自然，最不像“修过的”。
- 数据：在衡量声音失真度的指标上，AIDD 全面击败了之前的顶尖方法（包括那些基于扩散模型的老前辈）。
- 效率：它的模型更小，训练速度更快，而且不需要像其他方法那样把输入音频强行切成固定长度，非常灵活。
4. 总结：为什么这很重要？
这就好比以前修补录音是“盲人摸象”，只能猜局部；而 AIDD 是“全知视角”，它把声音变成了乐高积木，利用扩散模型（一种能凭空创造图像和声音的 AI 技术）来重建缺失的部分。
一句话总结：
这篇论文教 AI 把声音变成“乐高积木”，通过让它练习修补“大块缺口”和保持“平滑过渡”，成功解决了长段录音缺失难以修复的世界级难题，让破损的录音能奇迹般地恢复原貌。
给普通人的启示：
如果你以后听到一段录音中间突然“卡”了一下，别急着扔掉。未来的 AI 工具可能就像这位“乐高修复大师”，能帮你把那段丢失的音乐完美地“补”回来，让你听不出任何破绽。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。