💬 NLP

Data Attribution in Large Language Models via Bidirectional Gradient Optimization

本文介绍了一种用于训练大语言模型数据归因的双向梯度优化框架，该框架通过基于生成输出对基座模型进行扰动，以测量跨训练样本的损失变化，从而在识别具有影响力的数据方面优于现有方法，进而增强了模型的可解释性与问责性。

原作者： Frédéric Berdoz, Luca A. Lanzendörfer, Kaan Bayraktar, Roger Wattenhofer

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Frédéric Berdoz, Luca A. Lanzendörfer, Kaan Bayraktar, Roger Wattenhofer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢的大厨（大语言模型），他根据庞大的食谱库（训练数据）烹饪了成千上万道菜肴。有一天，他为你端上了一道特定的菜，比如“香辣番茄意面”。你可能会好奇：那本食谱库中的哪些特定食谱实际上启发了这道菜？ 是来自一位意大利祖母的食谱？还是来自某个现代融合风美食博客？亦或是两者的结合？

这就是**数据归因（Data Attribution）**的问题。这篇论文介绍了一种名为 DABGO（通过双向梯度优化进行数据归因）的新方法来回答这个问题。

以下是通过简单的类比对 DABGO 工作原理的解释：

问题所在：“黑盒”厨房

通常，当大厨创作一道菜时，我们很难轻易辨别出食谱库中的哪些食材起到了最关键的作用。传统方法试图通过寻找匹配的词汇来猜测（比如在库中搜索“番茄”），但这会忽略掉烹饪的“风格”或“神韵”。其他方法试图通过数学方式计算影响力，但对于复杂且具有创造性的菜肴来说，这些方法往往过于缓慢或不够准确。

解决方案：“如果……会怎样？”实验

DABGO 使用了一种巧妙的“如果……会怎样？”策略。它不仅仅是观察食谱库，而是暂时改变大厨的大脑，观察他对那道刚做出来的特定意面的反应。

可以这样理解：

准备阶段： 大厨已经做好了那份“香辣番茄意面”（生成的输出）。
实验阶段： 研究人员提取大厨的大脑，针对这盘特定的意面进行两次快速且相反的模拟：
- 模拟 A（梯度上升）： 他们调整大厨的大脑，让大厨更加“热爱”这盘意面。他们让大厨认为：“这是世界上最棒的意面！我必须完美地记住它！”
- 模拟 B（梯度下降）： 他们调整大厨的大脑，让大厨“讨厌”这盘意面。他们让大厨认为：“我想彻底忘掉这个食谱。”
测试阶段： 现在，他们带着“热爱”的大脑和“讨厌”的大脑，让大厨去查看原始的食谱库。
- 如果某份旧食谱让“热爱型”大厨感到非常开心，同时让“讨厌型”大厨感到非常难过（或反之），那么这份食谱就是该意面的主要影响来源。
- 如果一份食谱在两种模拟中都没有引起大厨情绪的显著变化，那么它可能对最终的菜肴并不重要。

为什么“双向”很重要

论文发现，仅仅进行其中一种模拟（要么只让大厨热爱这道菜，要么只让大厨讨厌它）是不够的。这就像试图通过只听最大音量或只听极小声响来理解一首歌一样，你无法获得全貌。你需要两个方向才能得到完整的图景。

“热爱”方向有助于找到模型自然想要模仿的食谱。
“讨厌”方向有助于找到模型试图避开或区别于自身的食谱。
通过结合两者，DABGO 能够绘制出一张更清晰的思想来源地图。

他们发现了什么？

研究人员在两种类型的“烹饪”任务上测试了它：

事实性烹饪： 陈述事实（例如，“巴黎是法国的首都”）。
风格化烹饪： 模仿特定作者的写作风格（例如，模仿莎士比亚或简·奥斯汀的文风）。

结果如下：

优于竞争对手： DABGO 在寻找正确来源食谱方面比旧方法表现得更好。旧方法就像使用关键词搜索引擎；它们能找到正确的词，但往往会错过正确的语境或风格。
风格至关重要： 当任务是模仿特定作者的风格时，DABGO 成功地指向了由同一作者创作的其他文本，而简单的词汇匹配工具则失败了。
精准定位： DABGO 非常精确，它甚至可以指向食谱中具有影响力的特定句子甚至单词，而不只是整个食谱。

缺陷（局限性）

论文诚实地指出了缺点。这种“如果……会怎样？”的实验计算量巨大。这就像为了测试一道新菜，必须把整个食谱库重新烹饪两遍一样。

它非常适合于较小规模、受控的实验。
目前它对于那些正在被大型科技公司用于工业级大规模模型的模型（这些模型是在数十亿词汇的基础上训练的）来说，运行速度太慢且成本太高。

核心结论

DABGO 是一个帮助我们理解为什么 AI 会说出那些话的新工具。通过模拟 AI 在尝试拥抱或遗忘特定输出时会如何改变，它可以将该输出追溯到最具影响力的训练数据。这让 AI 变得更加透明和可问责，帮助我们看清“菜肴”背后的“食材”。

技术摘要：通过双向梯度优化实现大型语言模型的数据归因 (DABGO)

问题陈述

大型语言模型（LLMs）正越来越多地应用于法律起草、医疗诊断和科学研究等关键领域。虽然这些模型的各种能力源于庞大的训练语料库，但一个根本性的开放问题仍然存在：如何识别哪些特定的训练数据对模型的输出影响最大。目前的研究重点主要集中在给定数据集下的模型性能，而对逆向问题——即如何将模型行为追溯到特定数据源——的研究则相对不足。这种缺乏可追溯性的现状阻碍了治理、问责以及调试或“遗忘”特定数据点的能力。现有的训练数据归因（TDA）方法（如影响函数 Influence Functions）面临着实际应用中的局限性，包括精确计算的不可行性（需要重新训练）以及在大规模模型中处理 Hessian 矩阵求逆的根本性问题。此外，先前的 NLP 归因研究通常局限于针对单词预测的事实追踪或数据集层级的粒度，未能解决完全开放式的文本生成问题。

方法论

作者提出了 DABGO（通过双向梯度优化进行数据归因），这是一个旨在为自回归 LLM 估计后向影响函数的框架。其核心假设基于“镜像影响”（mirrored influence）概念：可以通过观察在特定预测上优化模型如何影响模型在该预测上的行为，来估计该训练样本对模型预测的影响。

核心算法

双向优化： 给定预训练模型 $\pi_{\theta^*}$ 和生成的输出序列 $\hat{x}$ （由 $\hat{x}_0$ 引导），该方法构建了两个扰动后的模型变体：
- 梯度上升 ( $\theta_+$ )： 优化模型以增加生成文本 $\hat{x}$ 的似然度（模拟“遗忘”或最大化影响）。
- 梯度下降 ( $\theta_-$ )： 优化模型以降低 $\hat{x}$ 的似然度（模拟微调或最小化影响）。
- 两种优化均利用 Fisher 正则化更新（弹性权重整合，Elastic Weight Consolidation）来减轻灾难性遗忘，并通过对角 Fisher 信息矩阵（FIM）进行近似，以确保计算的可行性。
双向影响得分 (BIS)： 对于数据集 $D$ 中的每一个训练样本 $x_i$ ，该方法计算在两个扰动模型（ $\theta_+$ 和 $\theta_-$ ）下的损失。影响得分定义为损失的绝对变化量：
$I(x_i; \hat{x}) = |\ell(x_i, \theta_-) - \ell(x_i, \theta_+)|$
表现出较大损失绝对变化的样本被排名为对生成 $\hat{x}$ 最具影响力的样本。
粒度： 该框架支持任意层级的归因，从完整的训练样本到 token 层级，通过测量每个 token 的对数似然差异来实现。

核心贡献

新颖框架： 引入了 DABGO，这是一种简单且有效的用于开放式文本生成的归因方法，避免了昂贵的逐样本梯度计算或 Hessian 矩阵求逆。
双向方法： 论文证明了结合梯度上升和梯度下降比单向方法（仅使用上升或仅使用下降）能获得更优的归因准确度，能够捕捉生成模型中互补的信号。
细粒度归因： 该方法支持任意数据粒度的归因，成功捕捉了归因文本中的事实内容和风格特征（例如作者身份、句法）。
评估协议： 作者引入并使用了 Tail-Patch Absolute (TPA) 得分作为影响力的计算高效代理，并通过全量重新训练实验验证了其与真实影响定义的符合程度。

实验结果

作者在从两个不同语料库中从头开始训练的 GPT-2 类型模型上评估了 DABGO：

事实归因： 使用精选的维基百科语料库（2.3 亿个 token）。
风格归因： 使用具有多样化作者的 Project Gutenberg 文学文本（200 万个 token）。

定量性能：

事实设置： 在大多数 $k$ 值（前 $k$ 个归因样本数）下，DABGO 一致优于基准方法（BM25、TRACKSTAR、GECKO）。虽然 BM25 在 $k=1$ 时由于强大的词汇重叠表现良好，但 DABGO 随着 $k$ 的增加表现更为出色，表明其能更好地识别分布式事实影响。
风格设置： 随着 $k$ 的增加，DABGO 显著优于基于单词的检索（BM25）和基于嵌入的方法（GECKO）。这突显了该方法捕捉跨多个训练样本的分布式风格信号的能力，而非仅仅依赖于单个段落。
通过重新训练进行的验证： 在反事实实验中，移除前 $k$ 个归因样本并重新训练模型后，相比于使用其他方法归因的样本，移除 DABGO 归因样本的模型在测试输出上的损失明显更高。这证实了 DABCO 与真实影响定义的对齐。

消融实验：
隔离梯度上升和下降的实验表明，虽然仅靠上升也能提供较强的性能，但结合这两个方向（DABGO）能达到最高的准确度，验证了双向方法对于生成式任务的必要性。

意义与主张

论文声称 DABGO 增强了模型的可解释性，这是构建负责任 AI 系统的关键要求。通过成功地将开放式生成追溯到其最具影响力的训练数据，该方法：

闭合了反馈循环： 它将训练数据直接与模型行为联系起来，从而实现模型调试和数据遗忘等应用。
克服了先前局限： 不同于以往局限于策划事实或单词预测的工作，DABGO 在完全开放式的生成设置中运行有效。
提供了透明度： 在 token 层级进行影响归因的能力提供了细粒度的可解释性，能够区分事实贡献与风格细微差别。

作者承认了局限性，指出 DABGO 仍具有计算成本较高的问题（需要对语料库进行两次遍历），目前对于拥有数百亿 token 的工业级规模模型来说尚不切实际。此外，虽然它能识别有影响力的样本，但目前尚未考虑数据子组之间的协同或对抗性相互作用，也未能在观察到的损失变化之外，确立特定高亮 token 的因果作用。尽管如此，这项工作仍是迈向可追溯和可审计 AI 系统的重要一步。