技术摘要：通过黑盒成员推断审计生成式音乐模型的训练数据

问题陈述

近期文本到音乐生成技术（如 MusicGen、Stable Audio、Suno）的进步，已实现高保真结构化音频的合成。然而，这些模型通常是在从在线来源聚合的大规模、不透明语料库上训练的，缺乏对数据来源或许可的透明文档记录。这种透明度的缺失造成了一个关键的问责缺口：目前尚无切实可行的机制，供艺术家、版权持有者或监管机构验证特定音频样本是否被包含在已部署的生成式模型的训练集中。

尽管成员推断攻击（MIAs）在图像和文本领域已得到充分研究，但其在生成式音乐中的应用仍处于起步阶段。现有方法存在显著局限性：

• 白盒依赖：部分方法需要访问内部模型状态、似然分数或扩散状态，而这些在现实世界的黑盒部署中无法获取。
• 黑盒指标薄弱：当前的黑盒方法通常依赖标量统计量（如判别器分数、重构误差）或固定数据集划分，未能显式建模原始音频与生成输出之间的语义对齐。
• 缺乏可靠性：这些方法在现实场景中难以提供可靠的逐样本审计，在大规模模型上往往表现接近随机水平。

方法论

作者提出了一种黑盒成员推断框架，其基于以下假设：当以样本的标题为条件时，训练成员身份会在候选音频样本与模型生成结果之间诱导出系统性地更强的语义和结构对齐。

系统概述

该框架分为两个阶段：在影子模型上进行的训练过程，以及在目标模型上进行的审计过程。

1. 影子模型训练（数据构建）：

   • 审计员利用若干可访问的文本到音乐“影子模型”（$M_{si}$），这些模型具有已知的训练子集（$D_{in}$）。
   • 成员对：对于 $x \in D_{in}$ 中的一首曲目，提取其标题 $C_{in}$。影子模型生成 $G_{in} = M_{si}(C_{in})$。对 $(x, G_{in})$ 代表一个“成员”示例。
   • 非成员对：为确保语义可比性，使用相同的标题 $C_{in}$ 作为条件，驱动一个辅助模型（$M_{aux}$，区别于目标模型和影子模型）生成非成员曲目 $x'$。从 $x'$ 中提取标题 $C_{out}$，影子模型生成 $G_{out} = M_{si}(C_{out})$。对 $(x', G_{out})$ 代表一个“非成员”示例。
   • 这种构建创建了四个对齐的组（$D_{in}, D_{out}, G_{in}, G_{out}$），以将训练暴露作为主要区分因素，同时控制语义变异。

2. 特征提取：

   • 音频样本使用五种不同的音频编码器进行嵌入：MERT（音乐语义）、Music2Vec（结构/调性）、DAC（声学伪影）、Fx-Encoder++（制作效果）和CLAP（音频 - 文本语义）。
   • 编码器输出 1D 全局嵌入或 2D 嵌入图（保留层/时间轴）。

3. 音乐审计器训练：

   • 训练一个轻量级分类器（“音乐审计器”），基于嵌入空间中的对齐情况来区分成员对与非成员对。
   • 架构：
     • 对于 1D 嵌入：一个具有三个隐藏层（256、128、64 个单元）的多层感知机（MLP）处理拼接后的对 $[f(x) \parallel f(x')]$。
     • 对于 2D 嵌入：一个具有三个卷积层的卷积神经网络（CNN）处理堆叠后的对。
   • 审计器学习代表训练成员身份的对齐模式，而无需访问目标模型的参数或训练数据。

4. 审计过程：

   • 给定候选曲目 $x$ 和黑盒目标模型 $M_t$，审计器提取标题 $C_x$，查询 $M_t$ 以获得 $x' = M_t(C_x)$，计算嵌入，并将该对输入到训练好的审计器中。
   • 高成员身份分数表明 $x$ 与 $x'$ 之间的对齐类似于从影子模型成员中学习的模式，暗示 $x$ 曾位于训练集中。

主要贡献

• 新颖的黑盒框架：本文介绍了首个实用的生成式音乐黑盒审计框架，无需内部模型访问、似然分数或白盒状态。
• 语义对齐假设：确立了训练成员身份会在源曲目与其基于标题条件的生成结果之间诱导出可测量的语义和结构一致性，这种信号可在嵌入空间中被捕获。
• 影子模型策略：作者提出了一种稳健的方法，利用辅助生成构建语义匹配的非成员对，确保对齐差异源于训练暴露而非语义变异。
• 编码器分析：研究系统评估了五种不同的音频编码器，确定了哪些特征空间对音乐中的成员推断最具判别力。

实验结果

该框架在三个最先进的文本到音乐系统上进行了评估：AudioLDM2、Stable Audio Open 和 Mustango，采用了留一生成器协议。

• 性能：在使用 DAC 编码器对 Stable Audio Open 进行测试时，该方法达到了高达 98.6% 的准确率，假阳性率（FPR）为 1.9%，假阴性率（FNR）为 1.0%。
• 编码器有效性：
  • DAC（声学伪影）表现最为有效且稳定，在所有目标上平均准确率达到 97.7%。
  • CLAP 和 MERT 表现良好（平均准确率 >91%）。
  • Music2Vec 表现较弱（平均准确率 78.3%），且假阳性率较高。
  • Fx-Encoder++ 表现不稳定，特别是在 AudioLDM2 上。
• 可迁移性：审计器表现出强大的跨生成器可迁移性，特别是在 AudioLDM2 和 Stable Audio Open 之间。然而，向/从 Mustango（生成 10 秒短片段）的迁移显示出性能差距，这可能是由于短片段与长音频（150 秒）之间的分布偏移所致。
• 样本效率：该系统具有极高的样本效率。在某些配置下（例如保留 AudioLDM2），仅需 100 个训练对即可实现超过 98% 的准确率，并在 1,000 个对时达到峰值性能。

意义与主张

本文主张，在现实的黑盒部署场景中，可靠的训练数据审计是可行的。通过证明仅通过查询访问和语义对齐分析即可提取成员身份信号，该工作为以下方面提供了实用工具：

• 问责制：使艺术家和版权持有者能够验证数据来源。
• 许可验证：帮助监管机构和平台评估模型是否使用了未经同意的数据进行训练。
• 透明度：提供一种机制，在无需专有访问权限的情况下审计“黑盒”AI 系统。

作者保持了谦逊的立场，承认当前的评估依赖于部分知情的影子模型（其中提供了真实标题和元数据），且非成员构建是一种实用近似。他们指出，未来的工作必须解决数据集异质性问题，减少对固定辅助流程的依赖，并开发具有原则性统计保证的审计程序，以支持更广泛的部署。