Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

技术摘要：修正流（Rectified Flows）在哪里泄露：表征插值路径上的成员信号

问题陈述
生成式模型的部署（特别是用于 FLUX.1、VoiceBox 和 Stable Audio Open 等系统的修正流）引发了关于训练数据留存的重要法律和隐私担忧。虽然现有的研究侧重于逐字复制，但模型可以编码更微妙的“成员信号”——即模型对训练数据与留出数据进行差异化处理的可测量不对称性，而无需显式地复制该数据。这些信号通常无法通过标准训练指标（如损失曲线）检测到，因为这些指标可能显示没有过拟合迹象。在修正流的线性插值路径中，这些信号的具体位置和结构性质尚未得到理论表征，尤其是与扩散模型的迭代去噪轨迹相比。

方法论
作者提出了一个理论和实验框架，用以表征定义修正流训练的线性插值路径 $X_\lambda = (1-\lambda)X_0 + \lambda X_1$ 上的成员信号。

1. 理论框架：

   • 分解： 训练损失被分解为近似误差、不可约方差以及一个互相关项 $G_{train}(\lambda)$。作者将 $G_{train}(\lambda)$ 识别为成员信号，它代表了模型的偏差与训练特定残差之间的相关性。
   • 高斯假设： 在假设噪声分布 $X_0$ 和数据分布 $X_1$ 相互独立且服从高斯分布（协方差分别为 $\Sigma_0$ 和 $\Sigma_1$）的条件下，作者推导出了成员信号峰值所在的位置 $\lambda^*_F$ 的闭式表达式。该峰值出现在插值状态与速度之间的互协方差最小处。
   • 机制： 信号在 $\lambda^*_F$ 处达到峰值，是因为线性分量在此处消失。模型必须依赖非线性特征来解释目标，从而导致了学习泛化非线性特征与拟合样本特定残差（记忆化）之间的竞争。

2. 实验协议：

   • 检测： 对于给定样本 $x_1$，作者在不同的 $\lambda$ 下进行噪声 $x_0$ 的插值，预测速度，重建 $x_1$，并测量均方误差（MSE）。
   • 指标： 他们计算了一个归一化的训练-测试差距 $\Delta_{norm}(\lambda)$ 以隔离成员信号。
   • 验证： 实验在音频（MAESTRO v3, MTG-Jamendo, FMA Large）和图像（CelebA）数据集上进行，使用了各种潜空间（Music2Latent, Stable Audio VAE, Stable Diffusion VAE）、架构（Transformer, UNet）和模型容量。

核心贡献

• 信号的表征： 本文证明了修正流中的训练-测试重建差距在 $\lambda$ 上遵循通用的钟形曲线。信号在边界（$\lambda=0, 1$）处最小，在中间某点最大。
• 闭式预测： 理论推导提供了一个基于数据和噪声协方差的 $\lambda^*_F$ 峰值位置的闭式表达式：
  $$\lambda^*_F = \frac{\text{tr}(\Sigma_0^2) + \text{tr}(\Sigma_0\Sigma_1)}{\text{tr}((\Sigma_0 + \Sigma_1)^2)}$$
  当满足高斯各向同性假设（例如音频潜空间）时，该预测能够准确成立。
• 隐蔽累积： 研究表明，即使在验证损失下降且标准诊断指标显示学习健康的情况下，这种成员信号也会在整个训练过程中隐蔽地累积。该信号被标准训练协议中对 $\lambda$ 的空间平均化所掩盖。
• 成员推理攻击（MIA）： 作为概念验证，作者利用了具有 $\lambda$ 解析结构的重建误差。通过将完整的曲线（或跨 $\lambda$ 的误差向量）输入到一个简单的 MLP 分类器中，他们实现了显著更高的 AUC（在 MAESTRO 上为 0.91），相比之下，使用单一 $\lambda$ 点（0.67）或改编后的扩散模型方法的攻击效果较差。

结果

• 普遍性： 训练-测试差距的钟形结构在所有测试配置中均表现出普遍性，包括不同的模态（音频/图像）、架构（Transformer/UNet）和潜空间，即使在违反理论假设（高斯性/各向同性）（如 CelebA）的情况下也是如此。
• 峰值准确度： 当高斯各向同性假设成立时（使用 Music2Latent 或 Stable Audio VAE 的音频数据集），观测到的峰值位置在网格分辨率内与理论 $\lambda^*_F$ 相匹配。当假设被违反时（使用 SD VAE 的 CelebA），钟形结构依然存在，但峰值位置会偏离闭式预测。
• 影响强度的因素： 峰值的位置仅受数据几何结构（$\Sigma_0, \Sigma_1$）支配，且独立于模型架构或容量。然而，信号的幅度随模型容量增加而增大，并且会被将训练集中在峰值附近的对数正态 $\lambda$ 采样调度器所放大。
• Reflow： 初步实验表明，“reflow”程序（迭代使轨迹变直）保留了钟形结构，但大幅削减了信号的幅度，这可能提供了一种自然的缓解手段。

意义与主张
本文声称提供了第一个关于修正流中成员信号在哪里以及为什么集中的理论基础，超越了单纯的经验观察。

• 隐私风险： 它确立了标准训练指标不足以检测修正流中的记忆化现象，因为信号是隐蔽累积的。这种具有结构性的泄露使其极易受到攻击，从而实现高效的成员推理攻击。
• 防御意义： 作者指出，由于峰值位置是可预测且与架构无关的，因此可以将隐私保护机制（如正则化或噪声注入）专门针对 $\lambda^*_F$ 进行。
• 训练效率： 峰值 $\lambda^*$ 对应于预测最困难的点（噪声与数据的平衡点）。作者指出，将训练集中在这一点的调度器虽然能提高收敛速度（如 SD3 中所示），但同时也放大了隐私泄露，凸显了训练效率与隐私之间的一种根本权衡。

本研究是在白盒设置下作为概念验证进行的，作者承认更强的威胁模型（黑盒访问）以及条件生成（文本提示）的影响仍是未来探索的开放性问题。