🤖 machine learning

Influence Dynamics and Stagewise Data Attribution

本文引入了一种基于奇异学习理论的阶段性数据归因框架，揭示了训练数据的影像是动态且非单调的，其表现出的特定偏移与符号翻转与玩具模型及大语言模型中语义层级的渐进式学习过程相一致。

原作者： Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇使用简单语言和创意类比对该论文进行的解释。

核心思想：时机就是一切

想象一下，你正在教一个孩子对一整箱乱七八糟的玩具进行分类。

旧观点（静态视角）： 传统的训练数据分析方法假设特定的玩具（比如一个红色的积木）对孩子的学习效果始终是一样的，无论你在什么时候展示它。这就像是在说：“红色积木对于学习颜色总是很有帮助的。”
新观点（阶段性视角）： 本文认为这种看法是错误的。实际上，那个红色积木的效果会根据教学阶段的不同而发生剧烈变化。
- 早期阶段： 展示红色积木有助于孩子学习“什么是红色”。
- 中期阶段： 如果你在试图教孩子区分“动物”和“交通工具”时，仍然不停地展示那个红色积木，它反而可能会让孩子感到困惑。
- 后期阶段： 到了后期，在教授细微特征时，同一个红色积木可能又会变得至关重要。

作者将此称为阶段性数据归因（Stagewise Data Attribution）。他们认为，要理解 AI 是如何学习的，我们不能只看最终的结果，我们必须观察学习过程的“电影”，而不仅仅是最后的“定格画面”。

问题所在：为什么旧工具会失效

论文解释说，目前的衡量“影响力”（即一个数据点对模型改变了多少）的工具是为简单、可预测的系统设计的。它们假设学习过程是一条平滑的直线。

但神经网络（AI 背后的“大脑”）是非常复杂的。它们就像是一个充满山谷和丘陵且不断变化的景观。作者使用了一个叫做奇异学习理论（Singular Learning Theory）的理论来解释：AI 的学习并不是平滑的，而是发生在不同的阶段或相位中。

类比： 想象学习骑自行车。起初你会摇晃（阶段 1）。然后，你突然找到了平衡感（一个“相变”）。之后，你学会了转弯（阶段 2）。路面上的一颗小石子对你的影响，在你摇晃时与你在转弯时是完全不同的。旧工具将石子的影响视为一成不变，这在理解复杂的 AI 时简直是一场灾难。

解决方案：动态透镜

作者提出了一种名为**贝叶斯影响函数（Bayesian Influence Function, BIF）**的新工具。

隐喻： 这个工具不再是给 AI 的大脑拍一张单张快照，而是拍摄一段视频。它追踪特定数据点的“重要性”是如何上升、下降、从有益变为有害，以及在关键时刻如何激增的。

他们预测在这些学习阶段中，会发生三件具体的事情：

符号翻转（Sign Flips）： 一份数据可以在某一时刻是“朋友”（有益），而在下一刻变成“敌人”（有害）。
尖峰（Sharp Peaks）： 当模型正在切换模式（相变）时，影响力会突然激增到极高的水平。
非单调性（Non-Monotonicity）： 影响力并不只是单纯地上升或下降；它会以复杂的方式波动、达到顶峰并跌落。

证明 1：玩具模型（“动物”课程）

为了测试这一点，作者使用了一个简单的、受控的 AI 模型，该模型在包含动物和植物的数据集上进行训练。

设置： 模型必须学习一个层级结构：首先是“生物 vs 非生物”；第二是“动物 vs 植物”；第三是“哺乳动物 vs 鸟类”；最后是“狗 vs 猫”。
发现： 他们观察了模型如何随着时间推移看待一个“狗”的样本。
- 早期： “狗”这个样本帮助模型学习关于“麻雀”的概念（两者都是动物）。此时影响力是正向的（有益的）。
- 后期： 当模型试图区分“哺乳动物”和“鸟类”时，“狗”这个样本开始损害对“麻雀”的学习。影响力发生了符号翻转。
- 峰值： 就在模型努力区分“哺乳动物”和“鸟类”时，影响力出现了激增。
结论： 数据点本身没有改变，改变的是学习的阶段，从而彻底改变了数据的角色。

证明 2：真实语言模型（“语法”课程）

作者随后在大型语言模型（如生成文本的模型）上测试了这一点，以观察其在现实世界中是否成立。他们观察了模型如何学习特定的结构模式，例如归纳（Induction）（即识别出如果“A”跟随“B”出现过一次，那么“A”也可能再次跟随“B”）。

发现： 他们发现“归纳标记”（有助于模型识别模式的词汇）的影响力并不是缓慢增加的。
- 它保持在较低水平。
- 然后，在训练的一个特定时刻（大约 30,000 步左右），它发生了剧烈的激增。
- 这个激增点完美契合了模型已知“发现”归纳电路（用于模式匹配的内部机制）的时刻。
结论： 模型并不是沿着直线学习语法的。它有一个特定的“顿悟”时刻，在那个时刻，某些数据变得极其重要，而这种影响力随后会减弱或发生变化。

为什么这很重要

论文的结论是，我们不应该再问“哪些数据点最重要？”，而应该问：“这些数据点在什么时候最重要？”

类比： 想象一位指挥家正在领导一支管弦乐队。如果你问：“哪种乐器最重要？”，答案每秒钟都在变化。小提琴对于旋律至关重要，但架子鼓对于节奏至关重要。如果你只看最终的录音，你可能会错过架子鼓在前半段其实是沉默的这一事实。
目标： 通过理解这些“阶段”，我们可以更好地理解 AI 是如何学习的，能够调试为什么它会在特定时间犯错，并有可能设计出更好的训练计划（如课程学习），以便在正确的时刻喂入正确的数据。

简而言之： AI 的学习是一个由章节组成的“故事”，而不是一个单一的“句子”。要理解这个故事，你必须知道你现在处于哪一个章节。

技术摘要：影响动力学与阶段性数据归因

问题陈述

当前的训练数据归因（TDA）方法，特别是影响函数（Influence Functions, IFs），其假设认为训练样本对模型行为的影响在整个训练过程中是静态且全局的。这种视角继承自对正则统计模型的分析，未能考虑到深度神经网络的发展动力学。神经网络拥有退化的损失平面（loss landscapes），存在非孤立临界点和不可逆海森矩阵（non-invertible Hessians），这违反了经典影响函数所需的正则性假设。因此，现有方法无法捕捉数据样本的角色如何随模型学习过程而演变，忽略了在早期训练中有益的样本在后期阶段可能变得有害或无关这一事实。

方法论

作者提出了一个基于**奇异学习理论（Singular Learning Theory, SLT）的阶段性数据归属（Stagewise Data Attribution）**框架。该方法包含三个主要组成部分：

理论框架（SLT 与贝叶斯影响）：
- 论文使用理想化的贝叶斯学习过程来模拟随机优化器（如 SGD）的学习轨迹。
- 它用**贝叶斯影响函数（Bayesian Influence Functions, BIF）**取代了经典的影响函数。不同于依赖于收敛点处海森矩阵逆矩阵的经典 IFs，BIFs 衡量的是观测值后验期望的变化。它被定义为样本损失与观测值之间的负协方差： $BIF(z_i, \phi) = -Cov_{p(w|D)}(\ell_i(w), \phi(w))$ 。
- 这种公式化方法是“无海森（Hessian-free）”的，在退化平面上依然定义良好，并且适用于训练轨迹中的任何一点，而非仅仅在收敛时。
解析分解：
- 利用全协方差定律（Law of Total Covariance），作者将影响分解为“阶段内（Within-Phase）”和“阶段间（Between-Phase）”组件。
- 他们预测，在**相变（phase transitions）**期间（即后验质量在两个不同的解 $U$ 和 $V$ 之间分裂时），“阶段间”项会占据主导地位。这会导致非单调的动力学特征，包括影响力的剧烈峰值和符号翻转，特别是在两个阶段的后验概率大致相等（ $\pi_U \approx \pi_V \approx 0.5$ ）时。
实证验证：
- 玩具模型： 一个在层次化语义数据集（Saxe et al., 2019a）上训练的双层深层线性网络。作者使用随机梯度朗之万动力学（SGLD）来估计后验分布并计算局部 BIFs。他们通过解析验证以及留一法（Leave-One-Out, LOO）重训练实验验证了这些发现。
- 大规模语言模型： 在 The Pile 数据集上训练的 Pythia 语言模型实验。作者计算逐 token 的 BIFs，以追踪特定语法类别（如分隔符、归纳模式）在不同训练检查点下的影响动力学。

核心贡献

影响力的发展性框架： 本文引入了一个将影响函数与阶段性发展联系起来的理论框架。它指出影响并非静态，而是呈现出非单调的变化，在发育阶段转换时表现出符号翻转和尖锐峰值。
受控系统中的验证： 作者提供了一个层次化特征学习模型的具体概念验证，证明了动态变化的归因直接映射到数据层次结构的顺序学习（例如，先区分动物与植物，再区分哺乳动物与鸟类）。
语言模型中的可扩展应用： 论文展示了这些现象在大规模场景下同样存在。研究表明，结构性元素（如分隔符和归纳模式）的 token 级影响函数经历了非单调变化，这与已知的归纳电路形成阶段相一致。

结果

非单调动力学： 在玩具模型中，一个“狗”样本对“麻雀”样本的影响在学习宽泛类别（动物 vs 植物）的早期阶段为负（有益），但在学习精细区别（哺乳动物 vs 鸟类）的后期阶段变为正（有害）。
与相变的关联： 观察到影响力的峰值与模型隐藏表示中的分支点（通过多维尺度分析 MDS 可视化）完全吻合，这标志着学习不同语义层级的过渡。
因果窗口： 消融实验显示，在 BIF 分配峰值影响力的特定时间窗口内移除数据，会导致最大的损失差异，这证实了影响是时间相关的，并且特定的数据点仅在特定的发育阶段驱动学习。
语言模型发现： 在 Pythia 模型中，归纳模式 token 的影响力呈现出急剧上升随后下降的过程，这与归纳电路形成的已知时间线（在 30k 步左右达到峰值）相符。同样，左、右分隔符之间的关系也出现了符号翻转，表明模型处理文本结构的方式发生了质变。

意义与主张

论文主张实现从**点对点（point-wise）到阶段性（stagewise）**数据归因的根本转变。

超越静态评分： 作者声称，在训练结束时为一个数据点分配单一的、全局的影响力评分，会提供一个不完整且可能具有误导性的图景。一个样本的重要性与其所处的发育阶段是不可分割的。
隐式课程机制： 研究结果暗示了神经网络如何采用“隐式课程（implicit curricula）”的机制。不同的数据点在不同的时刻变得具有影响力，从而有效地创造了一个自组织的学习进度表，使模型在特定时间优先处理特定的结构。
局限性与未来方向： 作者承认，其框架依赖于贝叶斯学习（SLT）与非平衡态 SGD 动力学之间的联系，这在理论上仍是一个空白。他们还指出，未来的工作应从行为归因转向机械解释，即理解这些动态影响是如何塑造内部电路和特征的。

论文总结道，理解数据在何时以及为何重要，与理解哪些数据重要同样关键，这为调试、解释以及潜在地引导深度神经网络的学习过程提供了全新的视角。