🤖 machine learning

WARP: Weight-Space Analysis for Recovering Training Data Portfolios

本文介绍了 WARP，这是一个通过分析基础模型权重空间中的几何特征来恢复用于训练这些模型的特定领域混合权重（domain mixture weights）的框架，从而克服了以往只能检测单个数据样本的方法的局限性。

原作者： Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你买了一个来自著名烘焙坊的美味、复杂的蛋糕。烘焙坊把做好的蛋糕给了你，但他们拒绝告诉你配方：用了多少面粉、糖或香草，或者它们的比例是多少。他们只是说：“这是蛋糕，请享用。”

在人工智能的世界里，这些“蛋糕”就是基础模型（Foundation Models，比如你在网上看到的聊天机器人或文本生成器）。这个“配方”就是数据混合比例（data mixture）——即用于训练模型的不同类型信息（如新闻、代码、科学论文或社交媒体帖子）的具体组合。通常情况下，这个配方是一个秘密。

这产生了一个问题：研究人员可以研究蛋糕（模型），但无法看到制作蛋糕的原料（数据）。这使得很难知道模型是从优质来源学习的，还是不小心“吃”了它不该吃的东西。

问题所在：缺失的路径

通常，要弄清楚配方，你需要观察烘焙师一步步混合原料的过程。用 AI 的话来说，这意味着查看训练轨迹（training trajectory）——即模型的“大脑”在学习过程中发生变化的记录。但对于大多数发布的模型，我们只能得到两个快照：

基础模型（Base Model）： 原始的、未经训练的面团。
微调后的模型（Fine-Tuned Model）： 做好的成品蛋糕。

两者之间的路径丢失了。以前的方法试图通过观察单个“碎屑”（特定的数据点）来判断它们是否在混合物中，但这就像试图通过品尝一颗单一的糖粒来猜测整个蛋糕的配方。这无法让你看到全局。

解决方案：WARP（“时光倒流”蛋糕）

作者引入了一个名为 WARP（用于恢复训练数据组合的权重空间分析）的新工具。以下是它的工作原理，使用简单的类比说明：

1. 重建缺失的路径（模拟轨迹）
既然我们看不见真实的烘焙路径，WARP 就利用一种叫做“模型合并”（model merging）的技术创造了一条虚假路径。想象一下，你拥有原始面团和做好的蛋糕。WARP 通过数学方法将面团和蛋糕进行小步融合，从而创造出一系列中间状态的“伪蛋糕”。

第 1 步：90% 面团，10% 蛋糕。
第 2 步：80% 面团，20% 蛋糕。
……以此类推，直到达到 100% 蛋糕。

这些虚假的步骤充当了真实训练过程的替代品，为研究人员提供了一张可以研究的“路线图”。

2. 提取几何“足迹”（模仿得分）
现在，WARP 拿出一组已知的小型测试原料（一个“探测数据集”），并询问：“如果我们把这个特定的原料加入到我们的虚假路径中，它会在多大程度上将蛋糕推向最终结果的方向？”

它测量的是对齐度（alignment）。如果最终的蛋糕主要是由“新闻”数据制成的，那么“新闻”原料会将虚假路径强烈地推向最终的蛋糕。而“科学”原料可能会推得较弱，或者向错误的方向推动。这创造了一个几何足迹——模型“大脑”中一个独特的形状，揭示了哪些原料占据主导地位。

3. 阅读配方（解码器）
最后，WARP 查看这个足迹并将它翻译回配方。它有两种方式来进行：

快速猜测（无监督）： 它使用一个简单的数学公式（softmax）来观察形状并得出结论：“这看起来像是 40% 新闻、30% 代码、30% 科学。”
训练有素的专家（有监督）： 它使用一个预先在已知配方的“伪蛋糕”上训练过的小型 AI（一个 MLP）。这个 AI 查看足迹并说道：“根据我所学到的，这绝对是 40% 新闻、30% 代码、30% 科学。”

结果：效果如何？

研究人员在两个不同的“烘焙坊”（BERT 和 GPT-2）以及各种类型的数据（新闻、评论等）上对 WARP 进行了测试。

它比瞎猜要好得多： 随机猜测或观察单个碎屑（以往的方法）经常是错误的。
其准确性惊人： WARP 以极高的精度猜中了配方。对于 BERT 模型，平均误差仅为 0.046（意味着几乎完全吻合）。对于 GPT-2，误差为 0.104。
即使烘焙师停止得早或烤得太久也能奏效： 无论模型是训练得刚刚好、完美，还是过度训练，WARP 仍然能够算出配方。
虚假路径比真实路径更好： 出人意意的是，使用虚假路径（合并后的模型）实际上比使用真实训练步骤（如果能获得的话）效果更好。这是因为真实的训练路径可能非常“嘈杂”且混乱，而虚假路径则平滑且干净，使得配方更容易被读取。

核心结论

WARP 证明了，即使你只有完成后的 AI 模型和最初的基础模型，你也可以逆向工程出用于训练它的“数据配方”。通过创造两者之间的虚假旅程，并测量那段旅程的几何形状，你可以揭开构建模型的隐藏数据比例，从而为这些强大工具的制造过程带来急需的透明度。

技术摘要：WARP —— 基于权重空间分析恢复训练数据组合

问题陈述

基础模型正越来越多地向公众发布，然而其特定的“数据配方”——特别是决定不同来源（如网页文本、代码、科学文献）采样比例的领域混合权重——仍然是专有的且不透明的。这造成了显著的访问不对称性：研究人员可以研究生成的模型权重，却无法洞察产生这些权重的训练分布。

现有的推断训练数据的方法（例如成员推理，Membership Inference, MI）是在单个样本层面运行的，旨在检测特定数据点是否在训练集中。然而，MI 无法表征训练语料库的全局组成或领域比例。此外，以往用于恢复训练轨迹的方法通常需要访问中间检查点（checkpoints），而对于发布的模型而言，这些检查点很少公开（通常仅公开基础模型和最终微调后的权重）。本研究解决的核心挑战是逆问题：仅给定发布的基座模型 ( $\theta_{base}$ )、微调模型 ( $\theta_{ref}$ ) 以及一个小型探测数据集，如何在无法获取真实训练轨迹或中间检查点的情况下，恢复用于训练模型的未知领域混合比例 ( $\pi^*$ )？

方法论：WARP 框架

作者提出了 WARP（Weight-space Analysis for Recovering Training Data Portfolios，基于权重空间分析的训练数据组合恢复），这是一个通过利用权重空间的几何结构，直接从模型权重中恢复领域混合比例的框架。该方法分为三个阶段进行：

1. 模拟训练轨迹

由于从 $\theta_{base}$ 到 $\theta_{ref}$ 的真实路径是不可观测的，WARP 使用模型合并（model merging）技术在两个端点之间进行插值。通过应用合并算子（如线性插值/LERP、球面线性插值/SLERP 或 TIES）以及混合系数 $\alpha_t \in (0,1)$ 的调度方案，该框架生成了一系列伪检查点 ( $\tilde{\theta}_t$ )。这些伪检查点作为未观测参数演化的代理，有效地重建了一个“模拟”的训练轨迹。

2. 提取几何足迹

从这些模拟的检查点中，WARP 使用一种改编自 Mimic Score 的度量指标来提取领域级信号。对于每个伪检查点 $\tilde{\theta}_t$ ，该方法定义了一个指向目标模型的方向向量 $v_t = \theta_{ref} - \tilde{\theta}_t$ 。

样本对齐： 对于一个小型探测数据集 $D_{probe}$ （采样自与训练数据相同的源领域），该方法计算每个样本在 $\tilde{\theta}_t$ 处的负梯度。
投影： Mimic Score ( $m_{i,t}$ ) 被计算为该负梯度在 $v_t$ 单位向量上的投影。该分数衡量了一个样本与模型在微调过程中实际采取的方向的对齐程度。
聚合： 这些分数在每个时间步 $t$ 内在每个领域 $k$ 内进行归一化和平均，从而生成一个特征矩阵 $M \in \mathbb{R}^{K \times T}$ 。该矩阵代表了训练数据的“几何足迹”，追踪了随着模型演化，每个领域与微调方向的对齐强度。

3. 将几何映射至混合比例

最后一步将几何足迹 $M$ 转化为预测的领域混合比例 $\hat{\pi}$ 。作者提出了两种变体：

无监督读取（Unsupervised Readout）： 一种无需参数的方法，通过对各时间步聚合后的分数进行平均并应用 Softmax 函数来估计混合比例。
有监督投影（Supervised Projection）： 一个在合成数据上训练的 MLP 投影器。作者通过在随机混合的数据集上微调基座模型来生成合成对以创建地面真值标签，然后训练该 MLP 将几何足柄 $M$ 映射到已知的混合比例 $\pi$ 。这使得模型能够学习如何自适应地为模拟轨迹的不同阶段分配权重。

核心贡献

弥合访问不对称性： WARP 形式化了仅使用对大多数发布的模型可见的产物（基座权重和最终权重）来恢复微调模型领域混合的方法，绕过了对专有数据的需求。
模拟训练轨迹： 该框架引入了一种创新的模型合并用法，其目的并非进行能力融合，而是通过模拟未观测到的训练路径来揭示权重空间中可用的几何结构。
强大的实证性能： 在受控实验中，WARP 的表现优于样本级成员推理基准线，甚至优于拥有真实中间检查点访问权限的“先验”（oracle）变体。
鲁棒性： 该方法在不同的训练机制下（包括早停、收敛以及过拟合的检查点）均保持准确。

实验结果

该框架在 BERT 和 GPT-2 模型上进行了评估，这些模型在四个已知地面真值混合比例的文本数据集（SNLI, AGNews, Yelp, Yahoo）上进行了微调。

准确度： 使用带有 TIES 合并的监督 MLP 变体时，WARP 在 BERT 上的平均绝对误差 (MAE) 低至 0.046，在 GPT-2 上为 0.104。
对比： 这些结果显著优于以下各项：
- 随机猜测 和 质心猜测 基准线。
- 样本级成员推理 (MI)，其误差更高（例如，BERT 上 MI 的 MAE 为 0.063，而 WARP 为 0.046）。
- 先验变体（Oracle Variants）： 出人意料的是，使用模拟轨迹（LERP/TIES）的 WARP 往往比使用真实中间检查点的变体表现更好。作者将其归因于“平滑间隙（smoothness gap）”：真实的训练路径包含噪声（随机小批量、学习率预热），而插值路径提供了一个更干净、单调的轨迹，使得几何足迹更容易被解码。
无监督 vs 有监督： 无参数的无监督 Softmax 读取法具有竞争力，优于所有基准线，并缩小了与有监督变体之间的差距，证明了即使没有学习到的投影器，几何信号也是强健的。

意义与主张

论文声称，WARP 证明了仅通过权重空间的几何结构来逆向工程模型训练分布的可行性。通过展示基座模型与微调模型之间的“路径”编码了训练数据的分布足迹，这项工作提供了一种新的工具用于：

审计： 检测数据污染或验证模型训练的来源。
可解释性： 理解模型为何基于其训练混合比例展现出特定的行为。
透明度： 应对前沿模型开发中的不透明性问题，即权重虽然共享，但数据配方却并不公开。

作者强调，这种方法打破了传统的“仅向前”范式（即仅能优化领域混合），提供了一种实用的方法，可以在只有“成品”（权重）可用时，推断出模型的“原料”。