How Much AI Is in This Track? Quantifying the Proportion of AI-Generated Stems in Hybrid Music Mixtures
本文提出了一种基于回归的方法，用于量化混合音乐混合物中 AI 生成素材的比例，证明了虽然标准的二元检测器对于混合内容存在校准失准的问题，但专门的模型可以准确估计 AI 能量占比，并揭示了检测灵敏度在不同乐器类型之间存在显著差异。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你置身于一个嘈杂巨大、人人都在烹饪的厨房里。多年来，辨别一道菜是“真实的”（由人类厨师烹饪）还是“虚假的”（由机器人制作）的唯一方法，就是尝一口，然后大喊：“这是机器人做的！”或者“这是人类做的！”但现在，情况发生了变化。厨师们开始使用机器人助手来切洋葱或搅拌酱汁，而他们仍然亲自动手煎牛排和调味汤。结果出现了一种“混合型”菜肴：部分由人制成，部分由机器制成。旧有的“非黑即白”检测器感到很困惑，因为它们最初只被训练用来识别完全由机器人制作的菜肴。它们无法告诉你这顿饭中有多少比例是由机器完成的。这就是音乐技术领域的新谜题：随着人工智能（AI）成为录音室中常见的工具，我们不仅需要知道 AI 是否存在，还需要准确知道一首歌中有多少比例是由 AI 生成的。
这篇论文正是针对这一问题展开研究的。研究人员费尔南多·加西亚·德拉克鲁斯（Fernando Garcia de la Cruz）及其团队意识到，目前的 AI 音乐检测器就像是二进制的灯光开关：要么是“开”（AI），要么是“关”（人类）。但在现实世界的音乐制作中，这个开关实际上是一个调光器，在 0% 到 100% 之间平滑滑动。该团队想要看看他们是否能制造出一个能够读取调光器，而非仅仅读取开关按钮的检测器。
为了测试这一点，他们并没有仅仅凭空猜测；他们建立了一个实验室厨房。他们提取了真实的、由人类录制的歌曲，并使用一种特殊的 AI 工具（称为神经音频编解码器）来“重构”音乐的各个组成部分，即“分轨”（stems）。把一首歌想象成一个分层的蛋糕：鼓点是底层，贝斯是中间层，而人声则是顶层的糖霜。研究人员将这些层级通过 AI 机器处理，得到了一个听起来几乎完全相同，但却带有机器齿轮留下的微小、隐形的“指纹”的版本。随后，他们将这些层级进行混合与搭配，创造出数千首新歌，其中他们清楚地知道 AI 内容的确切百分比。有些歌是 100% 人类制作，有些是 100% AI 制作，而大多数则是两者混合而成的、具有现实感的复杂作品。
当他们将这些混合后的歌曲输入到一个标准的“二进制”检测器（那种旧式的开关类型）时，机器不仅失败了，还给出了一个奇怪且模糊的答案。它并没有说“我不知道”，而是随着歌曲中 AI 含量的增加，检测器的得分也随之缓慢上升。这就像是一个没有校准好度数的温度计，它并不显示具体的度数，只是随着火势变大而变得越来越热。研究人员发现，这种旧的检测器实际上是一个“充满噪声且未经过校准”的猜测者。它能感觉到 AI 的存在，但无法告诉你确切的数量。
真正的突破在于他们训练了一个专门作为“调光器”的新模型。与其问“这是 AI 吗？”，不如问“这其中百分之多少是 AI？”他们教会计算机去观察混合物并预测一个 0 到 1 之间的数字。结果非常令人振奋。对于计算机从未见过的歌曲，这个新模型预测 AI 百分比的平均误差仅为 0.076（这意味着如果歌曲是 50% AI，它在大多数情况下预测的结果会在 42% 到 58% 之间）。这表明，虽然旧的检测器仍停留在过去，但一种新的方法确实可以测量出一首歌的“AI 特质”。
然而，对于每种乐器来说，故事并不完全是顺畅的。研究人员发现，AI 的“指纹”会根据所演奏的乐器不同而呈现不同的特征。鼓和吉他就像霓虹灯招牌一样；AI 的签名清晰可见，极易识别。但人声和贝斯则像是幽灵；AI 的指纹如此微弱，以至于即使是最聪明的检测器也难以捕捉。事实证明，AI 机器在音调高、节奏感强的声音上留下的痕迹，比在低沉、平滑的声音上要强烈得多。
那么，这一切意味着什么？论文指出，我们正在从一个仅仅询问“这是假的吗？”的世界，转向一个可以询问“这其中有多少是假的？”的世界。这是实现透明度的关键一步，有助于听众和艺术家理解他们喜爱的音乐中人类与机器的真实比例。虽然这项研究是在使用特定工具的受控环境下进行的，但它为未来能够处理现代音乐制作中复杂、混合现实情况的检测器指明了方向。旧的二进制开关正在熄灭；而调光器才刚刚开始发光。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。