⚡ electrical engineering

CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning

本文介绍了 CultureMERT-95M，这是一个通过一种新颖的两阶段持续预训练策略在多样化的非西方传统上进行训练的多文化适应性音乐基础模型，该模型在保持西方基准性能的同时，显著提升了跨文化自动标签分类性能，并为任务算术提供了可行的替代方案。

原作者： Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

音乐是一种通用语言，然而我们用来理解它的计算机往往只懂得一种方言。多年来，旨在聆听并分类音乐的最强大的人工智能模型，几乎完全是在西方风格（如流行乐、摇滚乐和古典交响乐）上进行训练的。这些系统在识别这些特定传统的模式方面变得极其出色，但在面对世界其他音乐文化的丰富多样性时却显得力不从心。它们错失了印度古典音乐中微妙的旋律结构、土耳其传统中独特的节奏循环，或是希腊民歌中独特的音阶。这种局限性意味着，对于数十亿音乐遗产属于西方经典之外的人民来说，这些数字工具仍然是“盲目”的，无法保存、推荐或分析那些定义了他们社区的艺术。

研究人员长期以来一直寻求一种方法，教导这些模型进行更广泛的聆听，而无需从头开始重建它们——因为那是一个成本极高且耗时的过程。挑战在于，如何让一个已经学习了一套规则的模型去理解一套完全不同的规则，同时又不让它忘记原本已掌握的知识。这正是这项引入名为 CultureMERT 系统的新研究所解决的核心问题。研究人员的目标是将一个主要在千小时西方音乐上训练过的基础模型，温和地引导其理解东地中海和印度次大陆的音乐语言，同时确保它不会丧失识别最初构建时所熟知的西方风格的能力。

为了实现这一目标，团队采用了被称为“持续预训练”的策略。他们并没有丢弃现有模型并重新开始，而是为它喂食了一种经过精心平衡的新音频数据“食谱”。这个新数据集包含了源自四种不同传统的 650 小时音乐：土耳其马卡姆（makam）、印度斯坦古典音乐、卡纳蒂克（Carnatic）古典音乐以及希腊传统音乐。然而，仅仅将这些新数据喂给模型会导致它出现“踉跄”现象，即当计算机试图学习新任务时，它在原任务上的表现会发生崩溃。为了解决这个问题，研究人员设计了一个两阶段的方法。在第一阶段，他们向模型引入了较小部分的音乐，同时保持其最复杂的内部层处于冻结状态，仅允许基础的声音处理部分进行调整。他们还在这一阶段混入了一小部分西方音乐，以提醒模型其原始的训练内容。在第二阶段，他们解锁了整个模型，并用完整的 650 小时数据集对其进行训练，从而让它能够充分整合这些新的文化细微差别。

结果令人瞩目。当测试要求模型识别非西方音乐中的乐器、情绪或特定调式等任务时，经过适配的模型表现出了显著的提升，与原始版本相比，准确率平均提高了近 5%。至关重要的是，这种增益并未以牺牲其原有知识为代价；该模型保留了识别西方音乐的能力，几乎没有性能损失。研究还探索了另一种称为“任务算术”（task arithmetic）的方法，该方法涉及将若干个针对单一文化进行训练的小型模型的“知识”在数学上组合成一个统一的系统。这种方法的表现与直接训练法在处理非西方任务时同样出色，甚至在西方基准测试中超越了后者，这表明合并专业化模型是替代一次性重新训练的一种强大的途径。

研究人员发现，模型在不同文化间转移知识的能力并非均等。例如，在南印度卡纳蒂克音乐上训练的模型，对北印度印度斯坦音乐甚至土耳其传统的表现出了很强的泛化能力，这可能是因为这些系统在旋律和节奏方面有着深层的理论根源。相比之下，该模型在向希腊传统音乐进行知识迁移时则显得较为吃力，尽管希腊音乐本身很独特，但在计算机编码声音的具体方式上，它与印度和土耳其数据集共享的结构相似性较少。通过分析模型用于表示声音的数字“标记”（tokens），团队发现这些音乐传统之间的数学距离可以预测模型的学习效果，这为未来的训练数据规划提供了一种新方法。

最终，这项工作证明了人工智能可以在不牺牲核心能力的前提下变得更加包容。研究人员已向公众发布了适配后的模型 CultureMERT，提供了一个终于能以更广阔视野聆听世界音乐的工具。他们承认，虽然该模型是一个重要的进步，但它并非完美的解决方案；将声音转换为数字标记的基础技术仍是在西方音乐上训练的，这可能会限制它对某些文化细微差别的深度理解。尽管如此，通过展示一个模型可以在记住旧语言的同时学习新语言，这项研究为实现一个数字音乐系统真正全球化的未来指明了一条清晰的路径，使其能够致敬人类音乐表达的全谱系。

技术摘要：CultureMERT：面向跨文化音乐表示学习的持续预训练

1. 问题陈述

尽管近期的音乐基础模型在音频表示学习方面取得了显著进展，但其在应用于多样化的非西方音乐传统时，有效性仍然有限。现有的模型（如 MERT-v1）主要是在以西方为中心的数据集（如流行、摇滚、古典）上进行训练，导致它们无法捕捉到土耳其、印度和希腊音乐中特有的独特旋律结构、调式系统和节奏模式。这种局限性限制了这些模型在特定区域推荐系统和文化遗产保护中的应用。此外，为每一个文化领域从头开始训练新模型的计算成本是难以承受的。本文旨在解决开发具有包容性、具备文化意识的模型的需求，使这些模型能够在不丢失既有知识（灾难性遗忘）的情况下，超越西方传统进行泛化。

2. 方法论

2.1 持续预训练 (CPT) 策略

作者提出了 CultureMERT-95M，这是一个基于 MERT-v1-95M 适配而成的基础模型，采用了两阶段持续预训练策略。该方法旨在将模型适配到偏移的数据分布（从西方转向多文化）时，稳定训练过程并减轻灾难性遗忘。

预训练目标： 模型保留了 MERT 的自监督掩码语言模型 (MLM) 目标，利用两个教师模型：
1. 声学教师 (EnCodec)： 将音频离散化为来自 8 个残差向量量化 (RVQ) 代码本的标记 (tokens)。
2. 音乐教师： 重构恒定 Q 变换 (CQT) 谱图，以编码音高和和声结构。
  总损失是声学标记预测损失 ( $L_{RVQ}$ ) 与 CQT 重构损失 ( $L_{CQT}$ ) 的加权和。
两阶段适配：
- 第一阶段 (稳定性)： 为了解决“稳定性差距”并防止性能下降，模型在一个较小的多文化数据子集（100 小时）上进行训练。至关重要的是，仅更新基于 CNN 的特征提取器和码字嵌入层，而保持 Transformer 编码器冻结。为了减轻遗忘，其中 20% 的数据是“西方重放”数据 (Music4All 数据集)。应用了学习率重新热启动 (re-warming) 调度。
- 第二阶段 (全量适配)： 解冻 Transformer 编码器，并在完整的 650 小时多文化数据集（包含希腊、土耳其和印度传统音乐）上继续训练。使用较不激进的学习率调度，以平衡塑性和稳定性。
数据构成： 训练混合数据包括各 200 小时的土耳其马卡姆 (Turkish-makam)、印度斯坦尼 (Hindustani) 和卡纳提克 (Carnatic) 数据集，以及 50 小时的 Lyra 语料库（希腊传统音乐），总计 650 小时。

2.2 任务算术 (Task Arithmetic, TA)

作为多文化 CPT 的另一种选择，作者研究了任务算术，这是一种权重空间合并技术。

机制： 任务向量 ( $\tau_i$ ) 被计算为单文化适配模型 ( $\theta_i$ ) 与基础预训练模型 ( $\theta_{pre}$ ) 参数之间的差值。
合并： 通过使用缩放因子 ( $\lambda_i$ ) 对这些任务向量进行代数求和，构建一个统一的多文化模型 ( $\theta_{merged}$ )：
$\theta_{merged} = \theta_{pre} + \sum_{i=1}^{N} \lambda_i \tau_i$
该方法允许在无需额外训练的情况下创建多文化模型，前提是已存在单文化适配模型。

3. 核心贡献

首次应用于 MIR： 这是首个专门针对跨文化适配在音乐信息检索 (MIR) 领域探索持续预训练和任务算术的研究。
稳定的 CPT 策略： 提出了一个带有学习率重新热启动和分阶段参数更新的两阶段 CPT 策略，旨在处理计算约束并防止在领域偏移期间发生灾难性遗忘。
性能提升： 开发了 CultureMERT-95M，与原始 MERT-v1 相比，在多种非西方音乐自动标签任务中，其 ROC-AUC 和平均精度 (AP) 平均提升了 4.9%。
任务算术验证： 证明了任务算术在非西方任务上的表现与多文化 CPT 相当，并且在西方数据集上没有表现出性能退化，提供了一种无需训练的替代方案。
跨文化分析： 对可迁移性进行了调查，揭示了单文化模型在迁移时效果各异，而多文化适配模型实现了最佳的整体性能。
开源发布： 公开发布 CultureMERT-95M 和 CultureMERT-TA-95M，以促进世界音乐表示领域的研究。

4. 实验结果

4.1 评估设置

模型在西方（MTAT, FMA-medium）和非西方（土耳其马卡姆、印度斯坦尼、卡纳提克、Lyra）自动标签任务上进行了评估，使用基于探测 (probing) 的评估方法（冻结骨干网络 + 浅层 MLP）来评估表示质量。

4.2 性能指标

非西方适配： 在非西方任务的 ROC-AUC 和 AP 上，CultureMERT-95M 比基础 MERT-v1 平均高出 4.9%。它还超过了所有评估的非西方标签任务的先前最先进水平 (SOTA)。
西方保留： 多文化模型在西方基准测试中的遗忘现象极小，ROC-AUC 和 AP 的平均下降仅为 0.05%。
任务算术 vs. CPT： 任务算术变体 (CultureMERT-TA) 在非西方任务上的表现与 CultureMERT 相当，甚至在西方基准测试和 Lyra 数据集上超过了基础模型和多文化 CPT 模型。
单文化迁移： 单文化适配模型（例如 MakamMERT）在其各自的领域内任务上表现最好。然而，即使是低资源适配（例如在 50 小时数据上训练的 LyraMERT）也在其他非西方任务上产生了显著收益，表明存在积极的跨文化迁移。

4.3 跨文化可迁移性与标记相似性

迁移不对称性： 研究观察到土耳其马卡姆音乐与卡纳提克音乐之间存在强迁移性，这可能是由于它们共享的调式框架和微音程特性。卡纳提克适配模型在其他领域表现出了最高的迁移能力。
标记相似性： 通过对 EnCodec 标记进行 Jensen-Shannon 散度和余弦距离分析显示，非西方传统音乐在标记层面具有显著的相似性，且不同于西方数据集。希腊传统音乐 (Lyra) 与非西方传统的对齐程度高于西方传统。这些指标与迁移性能相关，表明标记相似性可以预测跨文化的可迁移性。

5. 意义与主张

本文主张 CultureMERT-95M 通过实现有效地适配于代表性不足的音乐文化，同时不牺牲在西方基准上的性能，成功弥补了音乐基础模型的差距。作者强调：

文化意识是可行的： 使用高效的持续预训练策略，可以开发出能够超越以西方为中心的传统的泛化模型。
效率： 两阶段 CPT 策略在受限的计算资源下（使用单个 GPU 及有限的批次大小）有效地平衡了稳定性-塑性困境。
替代路径： 任务算术提供了一种可行的、无需训练的替代方案，用于创建多文化模型，前提是存在单文化适配模型。
资源可用性： 通过发布模型和代码，作者旨在支持世界音乐表示学习及开发更具包容性的 MIR 系统方面的进一步研究。

作者也谦虚地指出了局限性，包括预训练的 EnCodec 分词器（基于西方音乐预训练）对于多样化音乐语言可能存在次优性的问题，以及未来需要扩展到更多文化并进行更细粒度的消融研究。