🤖 machine learning

Bergson: An Open Source Library for Data Attribution

Bergson 是由 EleutherAI 开发的一个开源库，它通过原生支持磁盘上梯度存储、多节点分布式训练，并提供 MAGIC、SOURCE 和 TrackStar 方法的首个开源实现，将数据归因技术扩展到了大型语言模型和预训练数据集。

原作者： Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你打造了一个巨大的、极其聪明的机器人厨师。这位厨师通过阅读数百万本食谱学会了烹饪（训练数据）。有时，这位厨师会做出难以下咽的菜肴，或者学到了一些不该知道的奇怪技巧。你想知道：“究竟是哪本食谱中的哪一页导致了这种情况？”

这就是**数据归因（Data Attribution）**的问题。这就像是试图将汤中某种特定的味道追溯到三小时前加入的那一撮盐。

这篇论文介绍了 Bergson，这是一个全新的开源“厨房工具包”，旨在帮助研究人员为这些庞大的 AI 模型解决这种追踪问题。以下是它的工作原理，我们使用简单的类比来解释：

1. 问题所在：“黑盒”厨房

通常情况下，当一个 AI 进行学习时，它是一个黑盒。你输入数据，模型就出来了。如果模型表现得有些怪异，你很难说出究竟是为什么。

挑战： 现代 AI 模型规模如此巨大（就像一个拥有数十亿本书的图书馆），且训练过程如此复杂，以至于要弄清楚哪本“书”导致了某种特定行为是非常困难的。过去，这需要极高的计算机内存，以至于对于大型模型来说几乎无法实现。此外，许多用于此类任务的最佳工具都并非开源的，而是被锁在闭门之中。

2. 解决方案：Bergson 工具包

Bergson 是一个库（一套软件工具集合），它扮演着 AI 超级侦探工具包的角色。它让研究人员能够“倒带”AI 的训练过程，观察哪些数据点产生了最大的影响。

把它想象成一个用于训练过程的时光旅行相机。它提供了三种回溯时间的方法：

“完美重放”（MAGIC）： 想象一下，你可以记录下厨师训练过程中的每一秒。然后，你可以按下“倒带”键并逐步精确回放，看看究竟发生了什么。这是最准确的方法，但它需要大量的存储空间。Bergson 通过一个巧妙的技巧让这成为可能，即使是对于巨大的模型：它只在特定时刻保存“快照”（检查点），并用数学方法填补空白，从而在节省空间的同时保持画面的清晰。
“快照近似法”（SOURCE）： 有时，你无法记录每一秒。相反，你每小时拍一张照片。你假设厨师在两张照片之间没有发生太大变化。这种方法更快，占用的内存更少，但精确度稍低。Bergson 也包含了这种方法。
“指纹扫描仪”（TrackStar & Influence Functions）： 这种方法不是重放整个电影，而是观察最后留在模型大脑上的“指纹”。它会询问：“如果我移除这个特定的成分，最终的菜肴会发生多大的变化？”它非常快，适用于巨大的数据集，尽管它是一种估计而非完美的重放。

3. 工具包的核心特性

论文强调了几个让该工具包易于使用的“生活质量”特性：

“磁盘驱动器”技巧： 与其尝试将所有数据都放在计算机微小且快速的内存（RAM）中，Bergson 将“指纹”存储在硬盘上。这意味着你可以分析庞大的模型而不会导致计算机崩溃。
“搜索引擎”（FAISS）： 当你询问“哪些数据导致了这个错误？”时，Bergson 不会逐一检查每一本书。它使用一个超快的搜索引擎（类似于数据界的 Google）来瞬间找到前 10 个最可能的罪魁祸首。
“适配器”捷径： 有时，你不需要重新训练整个厨师，只需要微调配方的一小部分。Bergson 支持 “LoRA”（低秩自适应），这让你能够追踪模型微小增量部分的冲击，使过程更加廉价和快速。
“裁判”功能： 如果你想知道为什么厨师表现得没礼貌，你不能用简单的数学公式来衡量“无礼”。Bergson 允许你使用第二个 AI（“裁判”）来评价厨师的行为，然后将该评分追溯到训练数据。

4. 他们实际测试了什么（案例研究）

作者不仅构建了这个工具，还用它解决了三个特定的谜题：

“生物安全”谜题： 他们想找出训练数据中哪些特定的词汇教会了 AI 危险的生物知识（例如如何制造病毒）。他们使用 Bergson 标出了特定的词汇。当他们重新训练 AI 但忽略了这些特定词汇时，AI 变得安全得多。
“粗鲁机器人”谜题： 他们利用“裁判”功能来寻找导致 AI 生成失调或怪异行为的数据。通过过滤掉这些数据，他们让 AI 的行为变得更好。
“风格”谜题： 他们想知道 AI 学习到的事实（例如“Alice 在 Fermilab 工作”）是否与它表达事实时使用的风格（例如莎士比亚风格 vs 法律术语）是分开学习的。他们发现 Bergson 可以成功地忽略风格并找到教授该事实的具体训练数据，证明了该工具可以分离“学到了什么”和“是如何表达的”。

5. 核心结论

论文声称，Bergson 是第一个能够处理目前存在的最大规模 AI 模型这类“时光旅行式”追踪任务的开源库。它结合了最准确的方法（完美重放）与最快的方法（指纹扫描），并为研究人员提供了调试、理解和整理构成智能 AI 之数据的工具。

简而言之：Bergson 将“AI 为什么那样做？”这一谜团变成了一个可以解决的侦探故事。

技术摘要：Bergson：一个用于数据归因的开源库

问题陈述

数据归因旨在通过确定单个训练项对特定模型输出的因果效应来解释模型行为。虽然该领域在调试、数据集策展以及理解记忆或推理方面具有应用价值，但将这些技术扩展到现代大语言模型（LLMs）面临着显著的工程挑战。由于处理大规模预训练数据集或需要多节点支持的模型时，原生应用数据归因方法往往会导致不切实际的内存需求。此外，许多最先进的方法（例如那些实现了高留一法（LOO）相关性的方法）缺乏开源实现，阻碍了可复现性和进展。

方法论与库架构

Bergson 被引入为一个开源库，旨在通过提供一种可组合、可扩展的架构来促进数据归向研究的快速进展。该库支持广泛的技术，包括通过完整训练轨迹的微分、近似展开微分以及影响函数。

核心组件

可组合流水线： Bergson 利用数据流水线架构（图 1），其中 Hessian 近似、归一化器、索引构建器和归因评分器等组件是互操作的。工作流可以通过命令行界面（CLI）或使用 YAML 配置文件进行程序化定义。
梯度存储与索引： 该库支持按模块（包括拆分的注意力头）索引的磁盘上梯度存储，并支持逐 token 或逐序列的收集。为了处理大型索引，Bergson 集成了 FAISS 以进行近似最近邻（ANN）查找，同时也支持精确的 top-k 查找。
分布式训练： Bergson 实现了复制并行和分片并行（DDP, FSDP），以将归因扩展到拥有高达 4050 亿参数的模型。它支持多节点操作，其中 FSDP 组可以独立处理数据集分片。
PEFT 集成： 与 PEFT 库的原生集成允许将数据归因限制在适配器参数（如 LoRA）上，从而将每个样本的梯度足迹降低数个数量级。
非微分目标： 对于通过 LLM-as-a-judge 进行评估的任务，Bergson 支持通过群体相对策略优化（GRPO）损失进行归因，从而能够对标准交叉熵损失无法捕捉的行为进行归因。

已实现的算法

Bergson 提供了三种领先方法的首个开源实现：

MAGIC： 一种通过使用检查点（checkpointing）在展开训练循环中进行精确微分的算法。它实现了 $O(N \log N)$ 的计算量和 $O(\log N)$ 的磁盘空间（或者是一种全新的 $O(N)$ 计算/ $O(\sqrt{N})$ 磁盘空间的权衡）。
SOURCE： 一种近似展开微分的方法，它将训练轨迹划分为若干段，并将 Hessian 和梯度视为每一段内的常数。
TrackStar： 一种可扩展的影响函数近似方法，它利用随机投影将每个样本的梯度投影到低维空间，并利用自相关 Hessian 近似。

该库还支持标准的影响函数变体（K-FAC, EK-FAC, TK-FAC/Shampoo）以及梯度归一化策略（Adam, Adafactor, 单位归一化）。

关键贡献

开源实现： Bergson 引入了 MAGIC、SOURCE 和 TrackStar 的首个公开实现，填补了尖端数据归因工具领域的空白。
可扩展性： 该库经过工程设计，能够处理数十亿参数的模型和海量数据集，支持磁盘上梯度存储、FAISS 集成以及多节点分布式训练。
方法选择指南： 论文提供了一份指南，帮助从业者根据资源约束、查询量和精度需求（例如，推荐在安全性关键的过滤中使用展开微分，在高性能查询调试中使用压缩索引）来选择方法。
评估框架： Bergson 包含了使用线性数据建模得分（LDS）及其变体进行 top-k/bottom-k 过滤验证的工具，同时也支持 leave-k-out 再训练实验。

实验结果

论文展示了多个验证实验和案例研究：

准确性验证： 在 GPT-2 (124M) 模型在 WikiText-2 上微调的实验中，MAGIC（展开微分）实现了最高的 Spearman 相关系数（0.979），其次是 EK-FAC（0.318）和 TrackStar（0.164）。然而，在排序子集 leave-k-out 评估（与数据过滤更相关）中，所有方法都达到了 0.7 或更高的相关性。
Token 级归因（生物安全）： 使用 WMDP Bio 基准测试，作者使用 LoRA 微调了一个 7B 模型，并使用逐 token 展开微分来识别有影响力的 token。通过对前 10% 有影响力的 token 增加重要性权重进行再训练，其评估准确率比未加权再训练提高了 1.5 个百分点。
跨风格的事实追踪： 在一个涉及“莎士比亚式”与“法律术语式”风格编写的传记事实的合成实验中，TrackStar 在前 5 个结果中成功找出了正确的相关事实来源，占比为 15.26%，而原始梯度内积基准仅为 0.80%。TrackStar 也显著减少了“风格泄露”（即匹配查询风格而非事实来源）。
扩展性能： 梯度收集时间随 GPU 数量（1 到 16 个 A100）的增加而高效扩展，适用于 160M 到 12B 参数的模型，利用 FSDP 和数据并行策略来最小化通信开销。

重要性与主张

作者声称，Bergson 通过提供统一且可扩展的基础设施，降低了进入数据归因研究的门槛。通过提供 MAGIC、SOURCE 和 TrackStar 的首个实现，该库使从业者能够尝试此前难以获取或需要大量工程投入才能构建的尖端技术。

论文强调，有效的数据归因有助于理解模型行为、调试意外生成的现象以及为安全和对齐进行数据策展。作者指出，虽然数据策展具有双重用途（既能放大也能减少某些行为），但数据归因的特异性预计会通过实现对相关数据的精准定位，从而对对齐和安全工作产生差异化的益处。该库被定位为一个工具，旨在使更多研究人员能够通过数据归因来研究有趣的模型行为，特别是在此前进行此类分析并不切实际的大规模模型背景下。