STRUM: A Spectral Transcription and Rhythm Understanding Model for End-to-End Generation of Playable Rhythm-Game Charts
STRUM 是一个多阶段混合音频转乐谱流程，它将原始音乐录音转换为适用于鼓、吉他、贝斯、人声和键盘的可玩节奏游戏乐谱，无需元数据，并通过专用神经检测器和分类器在精心策划的基准测试中实现了强劲性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一首最喜欢的歌曲正在收音机里播放，而你希望将它制作成一款像《Clone Hero》或《Rock Band》那样的视频游戏。在这些游戏中，你不仅仅是聆听；你需要按照音乐的节奏，精准地按下控制器上形似鼓面、吉他弦或钢琴键的按钮。
目前，制作这些“谱面”（即指示何时按下按钮的映射图）就像手写一份复杂的乐谱。熟练的人类需要数小时甚至数天来聆听一首歌曲，确定每一个鼓点或吉他音符的确切时刻，并将所有内容输入计算机。这个过程既缓慢又昂贵，而且初学者难以掌握。
STRUM 应运而生。
将 STRUM 想象成一个超级智能的自动化“音乐翻译器”。它的任务是将原始音频文件（如 MP3 或 YouTube 下载音频）瞬间转换为可用于鼓、吉他、贝斯、人声和键盘的游戏谱面，而无需原歌曲创作者的任何协助（即不需要“神谕”数据）。
以下是 STRUM 的工作原理，分解为几个简单的部分：
1. “去混音器”（分离汤料）
想象一碗汤，你无法分辨其中的胡萝卜和面条。STRUM 首先使用一种名为 Demucs 的工具，将歌曲分离为六个独立的“分轨”（音轨）：一条鼓轨、一条贝斯轨、一条人声轨、一条吉他轨、一条钢琴轨，以及一条“其他所有声音”的轨道。现在，它不再需要聆听整个乐队，而是可以专注于鼓手或歌手。
2. 专业侦探
一旦音轨被分离，STRUM 就会使用五个不同的“侦探”，每个都专门针对其对应的乐器进行训练：
- 鼓侦探： 这是最复杂的一个。它聆听鼓轨，并采用两步流程。首先，它找出鼓被击打的时间（类似于运动传感器）。其次，它确定是哪一面鼓被击打（军鼓、底鼓、镲片等）。它使用一个由六个不同 AI 模型组成的团队进行投票表决，如果它们意见不一，一位“裁判”会检查声音的能量以做出最终裁决。它甚至拥有特殊规则来修正常见错误，例如将快速的鼓滚奏误判为镲片撞击。
- 吉他与贝斯侦探： 这些侦探负责识别音符的起始点，然后确定音高（音符的高低）。接着，它们将该音高映射到游戏的 5 个品丝轨道上，有点像将乐谱音符翻译成特定的彩色按钮。
- 人声侦探： 这个侦探使用语音识别技术（如 Siri 或 Alexa）来定位单词被说出的时刻。随后，它将人声的音高与乐谱音符相匹配，将歌唱转化为游戏中的“人声音符”流。
- 键盘侦探： 它通过检测钢琴声音的峰值来确定哪些琴键被按下。
3. “操作范围”（质量控制）
作者们非常谨慎地测试了他们的系统。他们意识到，如果原始歌曲是在嘈杂的房间中录制或听起来浑浊不清，AI 将会难以应对。
因此，他们设定了一条规则：STRUM 仅承诺在鼓声足够响亮且分离后清晰可闻的歌曲中表现良好。 他们测试了 65 首歌曲，但其中 24 首过于“浑浊”或音量太小，因此被剔除。他们仅在通过质量检查的 30 首歌曲上报告了成功率。这就像说：“我们的汽车每加仑燃油可行驶 40 英里，但前提是你必须在平坦的高速公路上行驶，而不是在泥泞的越野路上。”
4. 结果：表现如何？
在他们测试的 30 首高质量歌曲中，STRUM 的表现如下（通过其在 0.1 秒微小窗口内正确把握时机的频率来衡量）：
- 鼓： 约 84% 的击打点准确。这是该系统最强的部分。
- 贝斯： 约 69% 的准确率。
- 吉他： 约 65% 的准确率。
- 人声： 约 54% 的准确率。
为什么数字不是 100%？
论文发现了一个令人惊讶的“天花板”或限制。即使 STRUM 在聆听音频方面完美无缺，它也无法针对社区中使用的人工制作谱面达到 100% 的准确率。为什么？因为人工谱面制作者往往会稍微调整时机，以使游戏手感更好，或者添加音频中实际上并不存在的音符（例如视觉填充音符）。在游戏谱面中，约 11% 的“正确”音符实际上并不匹配歌曲中的真实声音。因此，STRUM 遇到的障碍是由人类游戏设计造成的，而不仅仅是其自身的听辨能力。
5. “消融实验”（拆解引擎）
为了证明其系统的有效性，作者们将鼓探测器拆解开来，逐一测试。他们逐个关闭特定功能（如“裁判”或“规则修正器”），以观察会发生什么。
- 他们发现三个特定部分（裁判、修正步骤以及禁止镲片双重标记的规则）至关重要。移除它们会使系统性能明显下降。
- 其他部分在这个特定的测试集上似乎帮助不大，但作者们仍然保留了它们，因为它们可能适用于不同类型的歌曲。
总结
STRUM 是一个能将原始音乐自动转换为可玩节奏游戏谱面的工具。它尚未完美——仍需要人类对最终产品进行清理——但它承担了繁重的工作。人类不再需要花费 10 小时来转录一首歌曲，现在他们可以使用 STRUM 在几分钟内获得“初稿”，然后再进行润色。
作者们已发布了代码和测试数据供任何人使用，希望能帮助社区更快地创作更多游戏。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。