🤖 machine learning

Bergson: An Open Source Library for Data Attribution

Bergsonは、ディスク上の勾配保存、マルチノード分散学習をネイティブにサポートし、MAGIC、SOURCE、およびTrackStar手法の最初のオープンソース実装を提供することで、大規模言語モデルや事前学習データセットへのデータ属性特定技術のスケールアップを実現する、EleutherAIによって開発されたオープンソースライブラリです。

原著者： Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

公開日 2026-06-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で驚くほど賢いロボットシェフを作ったと想像してください。このシェフは、何百万冊もの料理本（学習データ）を読み込むことで料理を学びました。時として、シェフはひどい味の料理を作ったり、あるいは知るべきではない奇妙なテクニックを覚えてしまったりすることがあります。あなたはこう知りたくなります。「どの料理本の、どのページが原因だったのか？」

これが**データ属性（Data Attribution）**の問題です。それは、スープの特定の味を、3時間前に加えられた正確な塩ひとつまみにまで遡って突き止めるようなものです。

この論文は、研究者が巨大なAIモデルにおけるこの「追跡問題」を解決するために設計された、新しいオープンソースの「キッチン・ツールキット」であるBergsonを紹介しています。その仕組みを、簡単な比喩を用いて説明します。

1. 問題点：「ブラックボックス」のキッチン

通常、AIが学習するとき、それはブラックボックスです。データを投入すると、モデルが出力されます。もしモデルが何か奇妙な挙動をしたとしても、なぜそうなったのかを簡単に知ることはできません。

課題： 現代のAIモデルは非常に巨大（数十億冊の本がある図書館のようなもの）であり、学習プロセスも非常に複雑であるため、どの「本」が特定の振る舞いを引き起こしたのかを特定することは極めて困難です。以前は、これを行うには膨大なコンピュータメモリが必要であり、大規模なモデルに対しては不可能でした。また、これを行うための優れたツールの多くは、閉ざされた環境の中にありました。

2. 解決策：Bergson ツールキット

Bergsonは、AIのための超強力な探偵キットとして機能するライブラリ（ソフトウェアツールの集まり）です。これにより、研究者はAIの学習を「巻き戻して」、どのデータポイントが最大のインパクトを与えたのかを確認できるようになります。

これは、学習プロセスに対する**「タイムトラベル・カメラ」**のようなものです。以下の3つの方法で過去を振り返ることができます。

「完璧なリプレイ」（MAGIC）： シェフのトレーニングの全秒数を記録できると想像してください。すると、「巻き戻し」ボタンを押して、ステップ・バイ・ステップで正確に再生し、何が起きたのかを正確に確認できます。これは最も正確な方法ですが、膨大なストレージ容量を必要とします。Bergsonは、特定の瞬間（チェックポイント）に「スナップショット」を保存し、その隙間を数学的に埋めるという巧妙なトリックを使うことで、鮮明な映像を保ちつつ、巨大なモデルでもこれを可能にします。
「スナップショット近似」（SOURCE）： 毎秒すべてを記録できない場合もあります。代わりに、1時間ごとに写真を撮ります。そして、写真の間、シェフは大きく変化していないと仮定します。これはより高速でメモリ消費も少ないですが、精度は少し下がります。Bergsonはこの手法も備えています。
「指紋スキャナー」（TrackStar & Influence Functions）： 映画全体を巻き戻す代わりに、この手法は最後にモデルの脳に残された「指紋」を見ます。「もしこの特定の材料を取り除いたら、最終的な料理はどう変わるか？」と問いかけます。これは非常に高速で、巨大なデータセットに対してもうまく機能しますが、完全なリプレイではなく推定値となります。

3. ツールキットの主な機能

論文では、このツールキットを使いやすくするためのいくつかの「クオリティ・オブ・ライフ（利便性）」機能を強調しています。

「ディスクドライブ」のトリック： データをコンピュータの小さな高速メモリ（RAM）に保持しようとする代わりに、Bergsonは「指紋」をハードドライブに保存します。これにより、コンピュータをクラッシュさせることなく、大規模なモデルを分析できます。
「検索エンジン」（FAISS）： 「どのデータがこのエラーを引き起こしたのか？」と尋ねるとき、Bergsonはすべての本を一冊ずつチェックするわけではありません。Googleのような超高速検索エンジンを使用して、最も可能性の高い容疑者トップ10を瞬時に見つけ出します。
「アダプター」によるショートカット： 時には、シェフ全体を再学習させる必要はなく、レシピの小さな部分だけを微調整すればよい場合があります。Bergsonは「LoRA（Low-Rank Adaptation）」をサポートしており、モデルへの小さな追加要素の影響のみを追跡できるため、プロセスがより安価で高速になります。
「審判」機能： もしシェフが失礼な態度を取っている理由を知りたいとしたら？「失礼さ」を単純な数式で測定することはできません。Bergsonでは、別のAI（「審判」）を使用してシェフの振る舞いを評価させ、その評価を学習データへと遡ることができます。

4. 実際にテストした内容（ケーススタディ）

著者たちは単にツールを作っただけでなく、3つの特定のパズルを解くためにそれを使用しました。

「バイオセキュリティ」のパズル： AIに危険な生物学的知識（例：ウイルスの作り方）を教え込んだ、学習データ内の特定の単語を見つけ出したいと考えました。彼らはBergsonを使用して、特定の単語をハイライトしました。その特定の単語を無視してAIを再学習させたところ、AIはより安全になりました。
「失礼なロボット」のパズル： 「審判」機能を使用して、AIが不適切な、あるいは奇妙な振る舞いをする原因となったデータを見つけました。そのデータをフィルタリングすることで、AIの振る舞いを改善しました。
「スタイル」のパズル： AIが「事実」（例：「アリスはフェルミラボで働いている」）と、それを伝えるための「スタイル」（例：シェイクスピア風か法律用語か）を別々に学習しているかどうかを知りたいと考えました。彼らは、Bergsonがスタイルを無視して、その事実を教えた特定の学習データを見つけることに成功したことを突き止め、ツールが「何を」学んだかと「どのように」言ったかを分離できることを証明しました。

5. 結論

論文は、Bergsonが、現在存在する最大級のAIモデルに対して、これらの「タイムトラベル」的な追跡タスクを実行できる最初のオープンソースライブラリであると主張しています。これは、最も正確な方法（完璧なリプレイ）と最も高速な方法（指紋スキャン）を組み合わせ、研究者がAIを賢くするためのデータをデバッグ、理解、および精査するためのツールを提供します。

要するに、Bergsonは「なぜAIはあのような行動をとったのか？」という謎を、解決可能な探偵物語へと変えるのです。

技術要約: Bergson: データアトリビューションのためのオープンソース・ライブラリ

問題提起

データアトリビューション（データの帰属特定）は、個々の学習項目が特定のモデル出力に対して持つ因果効果を判定することで、モデルの振る舞いを説明することを目的としている。この分野は、デバッグ、データセットのキュレーション、あるいは記憶や推論の理解といったアプリケーションへの応用が可能であるが、これらの手法を現代の大規模言語モデル（LLM）へとスケールさせる際には、重大なエンジニアリング上の課題が生じる。データアトリビューション手法をナイーブに適用すると、特に大規模な事前学習データセットやマルチノード対応を必要とするモデルを扱う場合、非現実的なメモリ要件が発生することが多い。さらに、高いLeave-One-Out（LOO）相関を実現するような最先端の手法であっても、オープンソースの実装が欠如していることが多く、再現性と進歩を妨げている。

メソドロジーとライブラリ・アーキテクチャ

Bergsonは、構成可能でスケーラブルなアーキテクチャを提供することにより、データアトリビューションにおける迅速な進展を可能にするために設計された、オープンソースのライブラリとして導入される。本ライブラリは、完全な学習軌跡を通じた微分、近似的なアンロール微分、およびインフルエンス関数を含む幅広い手法をサポートしている。

コア・コンポーネント

構成可能なパイプライン: Bergsonは、ヘッシアン近似、正規化器、インデックス・ビルダー、アトリビューション・スコアラーなどのコンポーネントが相互運用可能なデータパイプライン・アーキテクチャ（図1）を利用している。ワークフローは、コマンドラインインターフェース（CLI）またはYAML設定ファイルを用いたプログラムによる定義が可能である。
勾配の保存とインデックス作成: 本ライブラリは、モジュール（分割されたアテンション・ヘッドを含む）ごとにインデックス化されたオンディスクの勾配ストアをサポートし、トークン単位またはシーケンス単位の収集をサポートしている。大規模なインデックスを扱うため、Bergsonは近似最近傍（ANN）検索のためにFAISSと統合されており、同時に厳密なtop-k検索もサポートしている。
分散学習: Bergsonは、最大405億パラメータを持つモデルまでスケールさせるために、複製およびシャーディングされた並列性（DDP, FSDP）を実装している。FSDPグループがデータセットのシャードを独立して処理できるマルチノード操作をサポートしている。
PEFT統合: PEFTライブラリとのネイティブな統合により、アダプター・パラメータ（例：LoRA）に限定したデータアトリビューションが可能となり、1サンプルあたりの勾配フットプリントを数桁削減できる。
非微分的な目的関数: LLM-as-a-judgeによって評価されるタスク向けに、BergsonはGroup Relative Policy Optimization (GRPO) ロスを介したアトリビューションをサポートしており、標準的なクロスエントロピー・ロスでは捉えきれない振る舞いの帰属特定を可能にしている。

実装されたアルゴリズム

Bergsonは、以下の3つの主要な手法における初のオープンソース実装を提供している。

MAGIC: チェックポインティングを用いて、アンロールされた学習ループを通じた厳密な微分を行うアルゴリズム。 $O(N \log N)$ の計算量と $O(\log N)$ のディスク容量（または新しい $O(N)$ 計算量/ $O(\sqrt{N})$ ディスク容量のトレードオフ）を実現する。
SOURCE: 学習の軌跡をセグメントに分割し、各セグメント内でヘッシアンと勾配を一定とみなす、近似的なアンロール微分手法。
TrackStar: 各サンプルの勾配をランダム投影を用いて低次元空間に投影し、自己相関ヘッシアン近似を利用する、スケーラブルなインフルエンス関数の近似手法。

また、本ライブラリは標準的なインフルエンス関数のバリアント（K-FAC, EK-FAC, TK-FAC/Shampoo）および勾配正規化戦略（Adam, Adafactor, 単位正規化）もサポートしている。

主な貢献

オープンソース実装: Bergsonは、MAGIC、SOURCE、およびTrackStarの初の公開実装を導入し、最先端のデータアトリビューション手法におけるツールの空白を埋める。
スケーラビリティ: 本ライブラリは、オンディスクの勾配ストア、FAISS統合、およびマルチノード分散学習を活用することで、数十億パラメータのモデルと大規模なデータセットを扱うように設計されている。
手法選択ガイド: 本論文は、リソースの制約、クエリの量、および精度の必要性（例：安全性重視のフィルタリングにはアンロール微分を、高頻度クエリのデバッグには圧縮インデックスを推奨するなど）に基づいて、実務者が手法を選択するためのガイドを提供している。
評価フレームワーク: Bergsonには、Linear Data Modeling Score (LDS) およびそのバリアントを用いた検証ツール、ならびにtop-k/bottom-k フィルタリングのためのツールが含まれており、leave-k-out 再学習実験のサポートも備えている。

実験結果

論文では、いくつかの検証実験とケーススタディを提示している。

精度検証: WikiText-2でファインチューニングされたGPT-2 (124M) モデルにおいて、MAGIC（アンロール微分）は、グラウンドトゥルースのleave-one-out 効果に対して最高のスペアマン相関（0.979）を達成し、次いで EK-FAC（0.318）、TrackStar（0.164）となった。しかし、データフィルタリングにより関連性の高い、ソートされたサブセットのleave-k-out 評価においては、すべての手法が0.7以上の相関を達成した。
トークンレベルのアトリビューション（バイオセキュリティ）: WMDP Bioベンチマークを用い、著者らは7BモデルをLoRAでファインチューニングし、パー・トークン・アンロール微分を使用して影響力のあるトークンを特定した。影響力の高い上位10%のトークンに対して重要度ウェイトを増やして再学習を行った結果、重み付けなしの再学習と比較して、評価精度がさらに1.5パーセントポイント向上した。
スタイルを横断する事実の追跡: 「シェイクスピア風」対「法律用語風」のスタイルで書かれた伝記的事実を含む合成実験において、TrackStarは、生の勾配内積ベースラインの0.80%に対し、上位5件の結果の中で正しい事実の提唱者を15.26%の割合で正しく抽出することに成功した。TrackStarはまた、「スタイルの漏洩」（事実のソースではなく、クエリのスタイルに一致してしまう現象）を大幅に減少させた。
スケーリング性能: 勾配収集時間は、FSDPおよびデータ並列戦略を利用して通信オーバーヘッドを最小限に抑えることで、160Mから12Bパラメータの範囲のモデルに対し、GPU数（1〜16基のA100）に応じて効率的にスケールする。

意義と主張

著者らは、Bergsonが統一されたスケーラブルなインフラを提供することで、データアトリビューション研究への参入障壁を下げると主張している。MAGIC、SOURCE、TrackStarの最初の実装を提供することで、本ライブラリは、これまでアクセスが困難であったり、構築に多大なエンジニアリング努力を要したりした最先端の手法を、実務者が実験することを可能にする。

論文は、効果的なデータアトリビューションが、モデルの振る舞いの理解、予期せぬ生成のデバッグ、および安全性とアライメントのための学習データセットのキュレーションを支援できることを強調している。著者らは、データキュレーションはデュアルユース（振る舞いを増幅することも減少させることも可能）であるが、データアトリビューションの特異性は、関連するデータを精密にターゲットできるため、アライメントと安全性の取り組みに有利に働くことが期待されると述べている。本ライブラリは、以前は不可能であった大規模なモデルの文脈において、より多くの研究者がデータアトリビューションを通じて興味深いモデルの振る舞いを研究できるようにするためのツールとして位置づけられている。