Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training

技术摘要：“学而复失：预训练中一个样本的实测反事实研究”

1. 问题陈述

在大规模预训练中，确定单个训练样本对最终模型的具体贡献通常是通过数学估计（例如影响函数）而非直接测量来完成的。直接测量在成本上是难以承受的，因为这需要两次全量预训练过程，且除了其中一个 batch 中的一行数据外，其余所有方面都必须完全一致。本文旨在解决这一挑战，通过执行一次“真实的”单样本反事实实验，来测量特定的数据扰动如何影响最终模型的几何结构与功能，特别是测试一个流畅段落中的主体（subject）之“证实性”（即在语料库中的存在性）是否会改变模型的轨迹，并将其与具有匹配梯度影响的虚构主体进行对比。

2. 方法论

作者进行了一项受控实验，涉及 32 个从头开始在 OpenWebText 上训练的 GPT-2 模型（124M 参数）。实验设计采用了种子匹配的双生模型（seed-matched twin）方法，以隔离注入数据的影响。

• 实验设置：

  • 规模： 4 种条件 $\times$ 8 个种子 = 32 次运行。
  • 注入点： 总计 9,536 个步骤中的第 200 步，正处于峰值学习率（$6 \times 10^{-4}$）阶段。
  • 干预： 将一个 256 行 batch 中的一行替换为一段固定的 194 个 token 的段落。
  • 条件：
    1. 流畅-虚构（Fluent-Fabricated）： 流畅的散文，其主体在训练语料库中不存在（Gizmo Harrington）。
    2. 流畅-证实（Fluent-Attested）： 流畅的散文，其主体存在于语料库中（Jimmie Nicol，出现了 4 次）。
    3. 随机字符（Random-Chars）： 随机键盘字符。
    4. 双生模型（Twin/Baseline）： 未写入任何文本（标准的 batch 行）。
  • 梯度匹配： 构造了使“流畅-虚构”和“流畅-证实”段落具有近乎相同的全量 batch 梯度增量（差值为 0.14%）的文本，以确保观察到的任何屏障或功能的差异不能归因于梯度更新的大小。
  • 确定性： 在第 199 步之前，运行过程是位一致的（通过权重张量的 SHA-256 哈希值验证），并且在此之后是确定性的，从而确保注入后的差异完全归因于注入的那一行。

• 因变量：

  • 主要变量（已注册）： 插值损失屏障（Interpolation Loss Barrier，即运行结果与其双生模型最终权重之间线性弦的最大偏差）。
  • 次要变量（已注册）： 留出集交叉熵（Held-out Cross-Entropy，针对训练期间未见过的文本）。
  • 探索性变量： 权重向量之间的欧几里得距离、每层中心化核对齐（CKA）以及注入段落本身的交叉熵。

3. 关键结果

• 即时学习与衰减：

  • 注入的段落通过单次暴露即可被学习。在注入 50 步后（第 249 步），看到该段落的分支比未看到的双生分支预测效果显著更好（流畅-虚构提升了 0.0389 nats，流畅-证实提升了 0.0437 nats，$p < 10^{-4}$）。
  • 到达最终步骤（第 9,535 步）时，这种预测优势衰减至不显著水平（$p = 0.25$ 且 $p = 0.71$）。这种现象是“学而复失”。

• 插值损失屏障（功能分离）：

  • 研究发现，在“流畅-虚构”和“流畅-证实”条件下，插值损失屏障没有统计学上的显著差异。
  • 结果： 平均差异 = +0.00680 屏障单位（$p = 0.509$）。
  • 敏感度： 可检测最小效应量（MDE）为 0.032。观察到的差异仅为 MDE 的 0.21，表明该设计具有检测 $\ge 0.032$ 效应的 80% 功效，但并未发现此类效应。
  • 注入导致的屏障位移仅为种子间方差导致的屏障位移的 3.0%。

• 欧几里得距离（参数空间位移）：

  • 与屏障相比，注入运行与其双生模型之间的欧几里得距离非常显著。
  • 结果： 注入运行位于种子间欧几里得距离的 44.1% 处。
  • 这种位移在训练中期（第 5,049 步）基本稳定，达到了其最终值的 92%，而屏障在整个过程中保持较小。
  • 作者指出，44.1% 这个数字是一个下限，因为种子间的欧几里得距离由于“规范自由度”（计算相同函数的旋转基底）而被夸大了，而注入并未引起此类旋转。

• 证实性 vs. 虚构性：

  • 在任何指标（屏障、留出集交叉熵或欧几里得距离）上，均未发现“流畅-虚构”与“流畅-证实”条件之间存在可检测的差异。该设计无法将“证实性”与“真实性”区分开来，因为被证实的受体同时也是真实的主体，但梯度匹配确保了输入量级得到了控制。

• 时间动态：

  • 注入运行与双生模型之间的逐步损失差异在第 300 步左右达到峰值（比注入后的即时低谷高出两个数量级），然后随剩余的 9,000 步缓慢衰减。
  • 三种条件（虚构、证实、随机）追踪到了几乎相同的发散曲线，这表明在当前的设置下，内容的类型（流畅文本 vs. 噪声）并不会显著改变几何扰动的幅度。

4. 主张与意义

本文声称提供了一个直接、可测量的单样本反事实，超越了该领域通用的估计方法（如影响函数）。

• 位移 vs. 功能： 其主要贡献在于证明了：单个数据扰动可以引起参数空间巨大的位移（达到种子方差的 44%），同时引起微乎其微的功能分离（仅为种子方差的 3%）。注入操作是将模型在 其自身的损失盆地内 进行重新定位，而不是将其移动到新的盆地。
• 操作化方式至关重要： 作者认为，选择何种指标（欧几里得距离 vs. 损失屏障）会极大地改变对数据归因的解释。使用欧几里得距离作为影响力的代理可能会产生误导，因为它捕捉的是盆地内的任意运动和基底选择，而非行为变化。
• 影响力的衰减： 研究强调了归因是具有时间依赖性的。在注入后 50 步进行的测量能检测到强烈的效应，而在训练结束时进行的测量则检测不到。这表明针对已完成模型的估计器可能会错过虽然短暂但却显著的学习事件。
• 现有方法的局限性： 结果暗示，现有的归因工具（它们估计功能变化）可能会报告较小的数值，因为功能变化确实很小，即使参数变化很大。相反，依赖于权重位移的工具可能会高估一个样本的“重要性”，如果它们没有考虑到模型仍处于同一功能盆地内的这一事实。

论文结论较为谦逊，指出虽然特定的刺激对（一个被证实的受体 vs. 一个虚构的受体）不能推广到所有内容的真实性，但其核心发现——即参数空间位移与功能分离在单样本情况下可以相差一个数量级——是该规模训练动态的一个稳健特征。