Each language version is independently generated for its own context, not a direct translation.
这篇论文主要解决了一个关于**“如何公平地给训练数据打分”**的问题，特别是针对现代人工智能中最常用的训练工具（Adam 优化器）。
为了让你轻松理解，我们可以把训练一个 AI 模型想象成**“组建一支超级足球队”，而训练数据就是“招募的候选球员”**。
1. 背景：为什么要给数据打分？
在训练 AI 时，我们需要成千上万条数据（球员）。但并不是所有数据都有用：
- 有些数据像**“明星球员”**，能极大提升球队实力。
- 有些数据像**“混子”，甚至可能是“内鬼”**（带有偏见或错误），会拖累球队。
“数据沙普利值”（Data Shapley） 就是一个数学工具，用来公平地计算每个球员（数据点）对球队最终成绩的贡献值。谁贡献大，谁就值得保留；谁贡献小甚至有害，就淘汰谁。
2. 问题：旧方法“水土不服”
以前，科学家发明了一种叫**“在线（In-Run）”的打分方法。它的优点是不用把球队解散重练**，而是在训练过程中实时计算每个球员的贡献。
但是，这个方法有个大漏洞：
- 它原本是为**“老式教练”（SGD 优化器）**设计的。老式教练训练时，动作简单直接，像直线跑步。
- 现在的 AI 训练几乎都用**“智能教练”（Adam 优化器）**。智能教练很聪明，它会记住球员过去的表现（动量），并根据球员当前的状态动态调整训练强度（自适应学习率）。
论文发现了一个惊人的事实：
如果你用给“老式教练”设计的打分规则，去给“智能教练”带的球队打分，结果完全是错的！
- 就像你用一个只懂“直线跑”的评分表，去评价一个会“变向跑”的球星，评分表可能会说他是“差生”，但实际上他是 MVP。
- 论文数据显示，旧方法和真实贡献的相关性几乎为零（R ≈ 0.11），这意味着旧方法完全失效了。
3. 解决方案：给智能教练定制的“新评分表”
作者提出了一种**"Adam 感知（Adam-Aware）”**的新方法，专门给智能教练设计。
核心创新点一：重新定义“贡献”
作者发现，在智能教练手下，一个球员的价值不仅取决于他当下的表现，还取决于他过去的历史和教练对他状态的调整。
- 比喻： 在旧方法里，只看球员这一脚踢得准不准。在新方法里，要看他这一脚踢得准不准，同时结合他之前的跑位习惯和教练对他体能的实时调整。
- 作者推导出了一个数学公式，能够精准捕捉这种复杂的动态关系，让打分结果和真实贡献高度一致（R > 0.99）。
核心创新点二：“线性化幽灵”技术（Linearized Ghost Approximation）
这是最精彩的部分。
- 难点： 智能教练的算法太复杂，如果要对每个球员单独计算贡献，就像让教练同时给 1000 个球员单独做 1000 次体能测试，电脑内存会爆炸，速度会慢到无法接受。
- 妙招： 作者发明了一种**“幽灵（Ghost）”**技巧。
- 比喻： 想象教练不需要真的把每个球员拉出来单独测试。他只需要在一次集体训练中，通过一种特殊的“透视眼”（数学近似），就能同时算出所有球员对团队的贡献。
- 这种方法把复杂的非线性计算“拉直”了，让电脑可以在不增加额外内存、不降低训练速度的情况下，实时完成打分。
- 效果： 速度只比正常训练慢一点点（保留了 95% 的速度），内存占用几乎没变。
4. 实验结果：新方法真的好用吗？
作者做了两个实验来验证：
找“内鬼”（语义来源识别）：
- 任务：给模型看一段话，让它找出这段话是模仿哪条训练数据生成的。
- 结果：旧方法（SGD 版）经常找错，或者只能认出字面相似的；新方法（Adam 版）能透过字面意思，找到真正“灵魂相似”的数据源，准确率极高。
清理球队（数据剪枝）：
- 任务：把球队里贡献最小的 30% 球员踢掉，看球队成绩会不会变差。
- 结果：
- 用旧方法踢人：球队成绩崩盘（因为踢错了人，把真正有用的踢了，留下了混子）。
- 用新方法踢人：球队成绩反而变好了（因为精准踢掉了那些在智能教练体系下真正没用的数据）。
总结
这篇论文就像给现代 AI 训练装上了一个**“智能导航仪”**。
- 以前： 我们拿着旧地图（SGD 方法）在高速公路上（Adam 优化器）开车，结果迷路了，还浪费了很多油（计算资源）。
- 现在： 作者画了一张新地图（Adam-Aware Shapley），不仅精准导航，还发明了一种“瞬移”技术（线性化幽灵），让我们在不堵车、不耗油的情况下，就能知道哪条路（哪条数据）最重要。
一句话总结： 在 AI 训练越来越依赖“智能优化器”的今天，我们不能再沿用旧的数据评价标准了。作者提出了一套既精准又高效的新方法，能帮我们在训练过程中实时识别并优化数据，让 AI 学得更快、更好、更聪明。
Each language version is independently generated for its own context, not a direct translation.
这是一篇关于**自适应优化器（特别是 Adam）下的“运行中”数据 Shapley 值（In-Run Data Shapley）**的学术论文总结。该论文发表于 ICLR 2026 的 DATA-FM 研讨会。
以下是对该论文的详细技术总结：
1. 研究背景与问题 (Problem)
- 数据归因的重要性：在现代机器学习中，可靠的数据归因（Data Attribution）对于消除偏见、减少计算浪费以及防御数据投毒至关重要。Shapley 值被视为数据贡献度评估的理论“金标准”。
- 现有方法的局限性：
- 计算成本：精确计算 Shapley 值需要指数级次数的重训练，计算成本过高。
- “运行中”方法的缺陷：近期提出的"In-Run Data Shapley"方法通过在单次训练过程中动态估计贡献，避免了重训练，极大地提高了效率。然而，现有方法严重依赖于随机梯度下降（SGD）的线性结构。
- 核心矛盾：现代深度学习几乎 exclusively 使用自适应优化器（如 Adam）。Adam 的更新规则包含历史动量（momentum）和自适应方差（variance）缩放，具有状态依赖（Stateful）和非线性特征。
- 关键问题：
- 数据 Shapley 值是否依赖于优化算法的选择？
- 能否将现有的 In-Run 框架扩展到 Adam 优化器？
- 初步发现：论文指出，基于 SGD 的代理方法在 Adam 优化器下与真实贡献度相关性极低（Pearson R ≈ 0.11），导致归因结果完全失效。
2. 方法论 (Methodology)
为了解决上述问题，作者提出了 Adam-Aware In-Run Data Shapley 框架，主要包含以下三个核心技术步骤：
A. 理论推导：重新定义效用与闭式解
- 状态固定假设：为了处理 Adam 的状态依赖，作者在推导中引入了“固定状态”假设（Fixed-State Assumption），即在计算单步贡献时，假设动量和方差的历史状态是固定的。
- 泰勒展开：对 Adam 更新规则中的非线性方差缩放项进行一阶泰勒展开。
- 闭式估计器：推导出了 Adam 优化器下的 In-Run Data Shapley 闭式近似公式。与 SGD 不同，Adam 下的数据贡献不再是简单的梯度点积，而是训练样本的更新方向与验证集梯度的点积，显式地包含了动量（Momentum）和方差缩放（Variance Scaling）项。
B. 高效计算：线性化幽灵近似 (Linearized Ghost Approximation)
- 挑战：Adam 的非线性更新破坏了传统"Ghost Dot-Product"（幽灵点积）技术所需的线性结构，导致无法直接复用高效的层间梯度聚合方法。
- 解决方案：提出线性化幽灵近似。
- 将 Adam 更新规则中的分母项（方差缩放项）在历史方差估计值附近进行一阶线性化。
- 这使得 Adam 更新可以被表示为当前梯度与历史矩的线性组合。
- 效果：恢复了线性结构，使得可以在单次反向传播中计算所有样本对验证集梯度的点积，而无需显式实例化每个样本的完整梯度向量。
3. 主要贡献 (Key Contributions)
- 揭示了数据归因的优化器依赖性：证明了数据价值并非样本的固有属性，而是与优化轨迹紧密耦合。基于 SGD 的代理在 Adam 下完全失效（相关性 R ≈ 0.11）。
- 首个针对 Adam 的 In-Run Data Shapley 闭式估计器：通过重新定义效用和泰勒展开，推导出了考虑动量和方差缩放的理论公式。
- 可扩展的线性化幽灵计算技术：解决了 Adam 非线性带来的计算瓶颈，实现了零额外显存开销（与标准训练相同）和高吞吐量。
- 实证验证：在多个下游任务中证明了该方法的有效性和保真度。
4. 实验结果 (Results)
A. 保真度 (Fidelity)
- 与真实值的对比：Adam-Aware 方法计算出的 Shapley 值与基于重训练的 Ground Truth（边际贡献）具有近乎完美的相关性（Pearson R > 0.99）。
- 对比 SGD 代理：相比之下，基于 SGD 的代理方法在 Adam 训练轨迹下的相关性仅为 R ≈ 0.74（甚至更低，取决于具体设置），证明其无法准确反映真实贡献。
B. 下游任务性能
- 语义源识别 (Semantic Source Identification)：在 WikiText-2 数据集上，Adam-Aware 方法在识别生成验证样本的原始训练样本时，排名显著优于 SGD 方法和 Influence Function 方法。即使在语义改写（Paraphrase）和相似主题（Similar Topic）的情况下，也能准确捕捉到语义贡献，而非仅仅依赖表面词汇重叠。
- 数据剪枝 (Data Pruning on SST-2)：
- 在 DistilBERT 模型上，使用 Adam-Aware 分数移除低贡献样本（Bottom-pruning），在移除 10%-30% 数据后，验证准确率显著高于随机剪枝和基于 SGD 的剪枝。
- 相反，在 Adam 训练下使用 SGD 分数进行剪枝会导致性能大幅下降，证明了优化器不匹配带来的危害。
C. 计算效率 (Efficiency)
- 吞吐量：在 GPT-2 Small 模型上，提出的 Adam-Ghost 方法达到了 87.85 samples/sec，保留了标准 AdamW 训练（92.41 samples/sec）约 95% 的吞吐量。
- 显存开销：峰值显存为 5179.6 MB，与标准训练（5179.0 MB）几乎一致。
- 对比基线：相比之下，直接计算每个样本梯度的朴素方法（Adam-Direct）吞吐量仅为 25.58 samples/sec，且显存占用增加了 150%（12965 MB）。
5. 意义与影响 (Significance)
- 理论突破：打破了数据价值是“静态”或“优化器无关”的迷思，确立了数据归因必须与优化算法（Optimizer-Aware）相匹配的理论基础。
- 实用价值：解决了自适应优化器（Adam 及其变体）下高效数据归因的难题，使得在大规模基础模型（Foundation Models）训练过程中进行实时数据清洗、去偏和源识别成为可能。
- 工程落地：提出的线性化幽灵近似技术，在不牺牲训练速度和显存的前提下，实现了高精度的数据价值评估，为现代机器学习流水线中的数据治理提供了强有力的工具。
总结：该论文通过理论推导和工程创新，成功将 In-Run Data Shapley 从 SGD 扩展到了广泛使用的 Adam 优化器，解决了现有方法在自适应优化场景下失效的问题，实现了高精度、低开销的数据归因。