⚡ electrical engineering

MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music

本文介绍了 MIDI-RAE-JEPA，这是一个结合了 Swin Transformer V2 编码器与音高和时移等变性目标的自监督框架，旨在学习具有层级性且语义丰富的符号音乐表示，从而在情感分类等下游任务中表现出色，并实现高质量的生成建模。

原作者： Scott H. Hawley

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Scott H. Hawley

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人理解音乐，不仅是通过聆听声波，更是通过阅读乐谱本身。在人工智能的世界里，这就像是在教计算机阅读一张由音符组成的地图。通常，AI 通过观察数百万张猫或狗的照片来学习，从而了解到无论放大还是缩小，一只“猫”始终是一只猫。但音乐不同。如果你放大一份乐谱，你看到的不仅仅是一个更大的音符；你看到的是完全不同的节奏或音高。适用于照片的规则在音乐面前失效了。

为了解决这个问题，科学家们使用了一个被称为“自监督学习”的巧妙技巧。他们没有雇佣人类老师来标注每一个音符，而是让 AI 玩一场“填空游戏”。他们隐藏部分音乐，并要求 AI 猜出缺失的部分。如果 AI 能正确猜出，就意味着它已经掌握了音乐是如何构建的内在规则。这个大问题探讨的是：我们能否在不展示任何一个带标签示例的情况下，教会 AI 理解音乐的“结构”——即一段小旋律是如何融入一首大曲子的？如果我们做到了，那个 AI 是否能写出好听的原创音乐？

见识一下 MIDI-RAE-JEPA，这是一个旨在学习符号音乐（以数字指令形式呈现的音乐，如钢琴卷帘）之秘密语言的新型 AI 系统。把钢琴卷帘想象成一个巨大的二进制网格：对于每一个可能的钢琴键，宽度为 128 个方格；对于时间，高度为 128 个方格。黑色的方块表示音符正在播放；白色的方块表示静止。这个项目的目标是教会 AI 观察这些网格，并理解音乐深层的层级关系——即单个音符如何构建乐句，乐句如何构建段落，以及段落如何构建一整首完整的歌曲。

研究人员构建了一个表现得像“音乐侦探”一样的系统。他们使用了一种特殊的 AI 架构，称为 Swin Transformer V2，它就像一组放大镜，可以从微小的单个音符到整个歌曲结构，在不同的细节层级上观察音乐。但真正的魔力在于他们如何进行教学。他们并没有仅仅让 AI 去猜测缺失的音符，而是教会了它一场“音乐翻译”的游戏。

想象你有一段旋律。如果你将这段旋律向上移动几个音符（音高偏移）或在时间上向前移动（时间偏移），音乐的“结构”依然保持不变，尽管音符变了。AI 被训练去识别这些偏移版本之间的关联性。如果你将一首歌向上移动一个音符，该歌曲的内部“指纹”应该只发生微小的移动。如果你将其向上移动一个八度，指纹的移动距离应该大得多。这被称为等变性（equivariance）。这就像是在教一个孩子：无论红球是在地板上还是在桌子上，它仍然是一个红球；AI 学习到即使一个音乐创意处于不同的调性或不同的时间，它仍然是同一个创意。

为了确保 AI 不仅仅是死记硬背答案或产生混乱，研究人员添加了一些安全网。他们使用了一个“掩码嵌入预测器（masked embedding predictor）”，这就像遮住部分乐谱，并根据歌曲的其余部分让 AI 预测被遮盖的内容。他们还增加了一个名为 SIGReg 的特殊规则，以防止 AI 变得懒惰并对每首歌都给出相同的答案（这种问题被称为“崩溃/collapse”）。

结果非常成功。当他们冻结了 AI 的大脑（停止让它学习新知识）并连接一个简单的解码器时，该系统能够以惊人的准确度重建原始的钢琴卷帘，得分高达 F1 为 0.995。这几乎是完美的。这意味着 AI 确实在其内部记忆中捕捉到了音乐的本质。

但真正的测试在于生成。研究人员提取了这些内部“指纹”表示，并将它们输入到一个生成模型（一种能够创造新事物的 AI）中。当他们给模型一个特定的音乐片段作为“调节条件（condition）”时，AI 生成的新音乐能够匹配原曲的音高音域（pitch register）（音的高低）和节奏密度（rhythmic density）（音符的繁简）。如果他们给出的调节条件不匹配，AI 仍然会生成听起来合理的音乐，但与提示词无关。这表明 AI 不仅仅是在复制，它理解输入的风格和结构。

论文还测试了这些学习到的表示是否能帮助处理其他任务。他们尝试利用 AI 的内部指纹来猜测歌曲的情绪（如“快乐”或“悲伤”）。结果表明，这种方法比旧的、更简单的技术（如 Haar 散射变换）效果更好，证明了该 AI 在没有被明确教授情感的情况下，也学习到了具有音乐意义的内容。

然而，作者谨慎地指出，他们并未声称解决了所有问题。他们注意到，虽然他们 AI 的“精细”层级（观察微观细节的部分）在捕捉特定音符和节奏方面表现出色，但“粗略”层级（观察宏观结构的部分）尚未能学会捕捉明显的、可解释的音乐抽象概念。该系统是一个强有力的概念验证，表明结合等变性（理解偏移）与层级学习（理解不同尺度下的细节）是一条可行的路径。这表明我们可以构建出这样的 AI 助手：它们能倾听一个音乐创意并理解其结构，从而协助完善创作，但我们仍需努力让 AI 真正掌握交响乐那种宏大的、抽象的架构。

简而言之，这篇论文表明，通过教导 AI 尊重音乐的偏移和尺度规则，我们可以创建一个能够深度理解音乐的系统，使其能够完美地重建音乐，并基于特定的音乐情绪生成合理的音乐。这是迈向一种不仅是模仿音乐，而是真正理解其语法的 AI 的重要一步。

技术摘要：MIDI-RAE-JEPA

问题陈述

本文针对符号音乐缺乏能够捕捉其层次化、多尺度特性的丰富自监督内部表示的问题进行了研究。尽管存在大型多模态语言模型，但它们在音乐理解任务上的表现较差。此外，为自然图像设计的标准自监督学习（SSL）目标（例如 DINOv2 的裁剪与缩放策略）对于钢琴卷帘图（piano roll）而言在语义上是有问题的。“放大（Zooming in）”钢琴卷帘图会合并相邻的半音并扭曲节奏结构，这与照片中存在的平滑尺度不变性不同。目标是开发一种领域特定的方法，学习符号音乐（编码为钢琴卷帘图像）的层次化表示，使其能够支持判别式任务和高质量生成，而无需进行端到端微调。

方法论

数据表示

该系统运行在 POP909 数据集上，将 8 小节的片段渲染为 128 × 128 的二进制钢琴卷帘图像。水平轴代表时间（64 个八分音符步长），垂直轴代表音高（所有 128 个 MIDI 音高）。训练流水线利用带有音高和时间平移的随机裁剪增强技术来扩大有效的训练多样性。

架构

系统的核心是一个具有六个阶段的 分层 Swin Transformer V2 编码器。它通过移动窗口（shifted windows）进行自注意力计算处理输入，并在每个阶段通过 2× 下采样同时增加嵌入维度。该架构生成多分辨率的嵌入，从细粒度的局部细节（第 5 层）到粗粒度的全局上下文（第 0 层）。

训练目标

编码器纯粹基于自监督目标进行训练，结合了三个主要组件：

等变性损失 ( $L_{equiv}$ )：与其强制所有偏移视图具有相同的嵌入（这会导致崩溃），不如强制模型使目标嵌入距离与偏移幅度成比例。
- 机制：通过对原始裁剪进行音高和时间偏移来创建两个视图（ $x_1$ 和 $x_2$ ）。损失函数最小化嵌入的欧几里得距离与按偏移量缩放的目标距离（ $\alpha \sqrt{d} \|\hat{\delta}\|$ ）之间的平方差。
- 效果：这鼓励模型内化时间与音高关系，确保较大的偏移会导致比例更大的嵌入距离。
掩码嵌入预测器 (MEP) 与 LeJEPA：遵循 LeJEPA 框架，一个轻量级的预测网络尝试从学生网络的完整上下文表示中重建被掩码的补丁嵌入，使用的是由指数移动平均（EMA）教师生成的稳定目标。这确保了模型能够跨越层次学习预测性的音乐上下文表示。
正则化与因子化：
- SIGReg：应用分块草图各向同尼高斯正则化（Chunked Sketched Isotropic Gaussian Regularization）以防止表示崩溃并强制执行各向同尼高斯先验，这在理论上对下游任务是最优的。
- 软因子化损失 ( $L_{fact}$ )：一种新型损失项，鼓励音高偏移和时间偏移方向在潜空间中在几何上正交。它使用增强差异向量的余弦相似度，根据偏移类型强制执行平行、反平行或正交关系，而不规定具体的方向。

解码器与生成模型

解码器：一个镜像的 Swin 层次结构，利用特征金字塔网络（FPN）从冻结的编码器嵌入中重建钢琴卷帘图。它使用二元交叉熵进行训练。
生成模型：一个在像素空间运行的 流匹配（Flow Matching） 模型，以编码器嵌入为条件。为了管理维度，嵌入经过 PCA 处理（保留 95% 的方差），并显式附加平均音高以保留音区信息。训练采用 多级 Dropout 方案，以实现无条件、部分条件和全条件生成。

核心贡献

首个用于符号音乐的分层 JEPA：本文提出了首个基于 JEPA 的符号音乐分层方法，结合了等变性目标、LeJEPA 和 Swin V2 编码器。
完整的 RAE 流水线：展示了一个完整的音乐表示自动编码器（RAE）流水线，证明了冻结的编码器嵌入可以支持高保真重建、条件生成和下游分类。
可衡量的等变性：作者提供了经验验证，证明嵌入距离随音高和时间偏移幅度单调增加，证实了可测量的等变性。
新型损失函数：引入了平滑的 $\Delta$ 缩放等变性损失，以及一种鼓励音高和时间方向在潜空间中几何正交的软因子化损失。
消费级硬件的可行性：所有实验均在消费级 GPU（如 RTX 4090）上完成，证明了此类复杂的 SSL 训练不需要大规模计算集群。

结果

等变性与因子化

等变性：嵌入距离随偏移幅度单调增加，超出了每个层次结构的标称补丁大小。
因子化：软因子化损失成功建立了几何关系，其中跨类型偏移（音高 vs. 时间）几乎正交（ $|\cos| < 0.02$ ），而同类型偏移则为平行或反平行。

下游任务

情感分类：在 EMOPIA 数据集上，在冻结嵌入（特别是第 3 层）上训练的线性探测器在所有指标（4 类分类、唤醒度和效价）上均优于 Haar 散射变换基准和 DINOv2 基准。
结构探测：细层级（L4/L5）强有力地编码了音符密度（ $R^2 > 0.98$ ），而较粗的层级则捕捉更广泛的上下文。跨歌曲相似度从粗层级到细层级单调下降，表明其判别性在增加。

重建与生成

重建：解码器在留出测试集上达到了 F1 分数 0.995，确认了 SSL 目标迫使编码器保留足够的信息以进行准确重建。
条件生成：流匹配模型生成的音乐在音区和节奏密度上与条件样本高度匹配。不匹配或无条件的条件会导致音乐上合理但内容无关的输出。
条件有效性：对条件投影范数的分析表明，模型学会了忽略打乱（无信息）的条件信号，同时在有效的条件信号下保持稳定的权重。

意义与主张

论文声称，基于等变性的 SSL 目标，结合充足的细层级编码器容量，为实现具有语义丰富性和生成实用性的表示提供了一条可行路径。

核心结论包括：

使用冻结预训练表示进行判别和生成（RAE）的范式成功扩展到了符号音乐领域。
学习到的表示捕捉了具有音乐意义的结构（音程、节奏周期），而无需针对下游任务进行微调。
该方法通过利用平移等变性而非尺度不变性，避免了在钢琴卷帘图上使用基于图像的 SSL 所带来的语义陷阱。
虽然细层级层次结构能有效捕捉局部细节，但论文指出，如何在较粗层级捕捉“显而易见的、可解释的音乐抽象”仍是未来工作中的开放性问题。

作者总结道，该方法为未来将这些方法扩展到音频频谱图、扩展到更大规模数据集以及探索更丰富的下游任务（如编曲或伴奏生成）奠定了基础。