💬 NLP

Data Attribution in Large Language Models via Bidirectional Gradient Optimization

本論文は、生成された出力に基づいてベースモデルを摂動させることで学習サンプル全体にわたる損失の変化を測定する、大規模言語モデルの学習データ帰属のための双方向勾配最適化フレームワークを導入するものであり、それによって、モデルの解釈可能性と説明責任を向上させるための影響力のあるデータの特定において既存の手法を凌駕する。

原著者： Frédéric Berdoz, Luca A. Lanzendörfer, Kaan Bayraktar, Roger Wattenhofer

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Frédéric Berdoz, Luca A. Lanzendörfer, Kaan Bayraktar, Roger Wattenhofer

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、膨大なレシピのライブラリ（学習データ）に基づいて何千もの料理を作ってきた、天才的なシェフ（大規模言語モデル）を抱えています。ある日、そのシェフがあなたに「スパイシー・トマトパスタ」という特定の料理を提供しました。あなたはこう思うかもしれません。「あのライブラリの中の、具体的にどのレシピがこの料理にインスピレーションを与えたのだろうか？イタリアのおばあちゃんのレシピだろうか？それとも現代的なフュージョン料理のブログだろうか？あるいは、その両方のミックスだろうか？」

これがデータ属性（Data Attribution）という問題です。この論文では、この問いに答えるための新しい手法であるDABGO（Bidirectional Gradient Optimizationによるデータ属性特定）を紹介しています。

DABGOの仕組みを、簡単な比喩を用いて説明します。

問題点：「ブラックボックス」のキッチン

通常、シェフが料理を作ったとき、ライブラリ内のどの材料が最も重要だったのかを正確に知ることは困難です。従来の手法は、単語の一致を探そうとしますが（ライブラリ内で「トマト」という言葉を検索するように）、これでは「料理のスタイル」や「雰囲気」を見落としてしまいます。他の手法は数学的に影響力を計算しようとしますが、複雑でクリエイティブな料理に対しては、非常に時間がかかったり不正確であったりします。

解決策：「もしも？」の実験

DABGOは、巧妙な「もしも？」戦略を使用します。ライブラリをただ眺めるのではなく、特定の料理を作った直後のシェフの脳がどのように反応するかを見るために、一時的にシェフの脳を変化させてみるのです。

次のように考えてみてください：

セットアップ： シェフはすでに「スパイシー・トマトパスタ」（生成された出力）を作りました。
実験： 研究者たちはシェフの脳を取り、その特定のパスタ料理に対して、素早く、かつ正反対の2つのシミュレーションを実行します。
- シミュレーションA（勾配上昇法 / Gradient Ascent）： シェフの脳を、このパスタをさらに「大好き」になるように調整します。「これは最高のパスタだ！完璧に覚えなければ！」とシェフに思わせるのです。
- シミュレーションB（勾配降下法 / Gradient Descent）： シェフの脳を、このパスタを「嫌い」になるように調整します。「このレシピのことは完全に忘れたい」とシェフに思わせるのです。
テスト： 次に、彼らは「大好きになった」脳と「嫌いになった」脳の両方を持って、元のレシピのライブラリを見に行きます。
- もし特定の古いレシピが、「大好きになった」シェフを非常に幸せにし、「嫌いになった」シェフを非常に悲しませる（あるいはその逆）のであれば、そのレシピはパスタへの主要な影響を与えたものです。
- もしあるレシピが、どちらのシミュレーションにおいてもシェフの感情をあまり変えないのであれば、そのレシピは最終的な料理には重要ではなかった可能性が高いです。

なぜ「双方向（Bidirectional）」が重要なのか

論文によれば、これら2つのシミュレーションのうち片方だけを行うこと（料理を大好きにするか、あるいは嫌いにするかのどちらか一方だけを行うこと）では、十分ではありません。それは、曲を最大音量で聴くか、あるいはささやき声で聴くかのどちらか一方で、その曲を理解しようとするようなものです。全体像を把握するには、両方の方向が必要です。

「大好き」の方向は、モデルが自然にコピーしたかったレシピを見つけるのに役立ちます。
「嫌い」の方向は、モデルが避けようとした、あるいは自身を差別化しようとしたレシピを見つけるのに役立ちます。
これらを組み合わせることで、DABGOはアイデアの源泉について、より明確な地図を描き出すことができます。

何が分かったのか？

研究者たちは、この「調理」を2つのタイプでテストしました：

事実に基づいた調理： 事実の記述を行うこと（例：「パリはフランスの首都である」）。
スタイルの調理： 特定の著者の執筆スタイルを模倣すること（例：シェイクスピアやジェーン・オースティンのように書く）。

結果：

競合よりも優れている： DABGOは、古い手法よりも正しいソースレシピを見つける能力がはるかに高かったのです。古い手法はキーワード検索エンジンのようであり、正しい言葉は見つけ出しますが、正しい「文脈」や「スタイル」を見落としがちでした。
スタイルが重要： 特定の著者のスタイルを模倣するタスクにおいて、DABGOは他の著者が書いたテキストを正確に指し示しましたが、単純な単語一致ツールは失敗しました。
ズームイン： DABGOは非常に精密であり、レシピ全体だけでなく、そのレシピ内の特定の「文章」や、さらには「単語」までもがどれほど影響力を持っていたかを特定できます。

課題（制限事項）

論文は、デメリットについても正直に述べています。この「もしも？」の実験は、計算負荷が高いものです。これは、一つの新しい料理をテストするために、ライブラリ全体のレシピを2回作り直さなければならないようなものです。

小規模で制御された実験には非常に適しています。
現在のビッグテック企業が使用している、大規模な産業レベルのモデル（数十億の単語で学習されたもの）で実行するには、現時点ではあまりにも遅く、コストがかかりすぎます。

まとめ

DABGOは、AIが「なぜそのように言ったのか」を理解するための新しいツールです。AIが特定の出力を「受け入れる」か、あるいは「忘れる」かによって、どのように変化するかをシミュレートすることで、その出力を最も影響を与えた学習データへと遡ることができます。これにより、AIの透明性と説明責任が高まり、その「料理」の背後にある「材料」を可視化することができるのです。

技術要約：双方向勾配最適化による大規模言語モデルのデータ帰属（DABGO）

問題提起

大規模言語モデル（LLM）は、法務文書の作成、医学的診断、科学研究といった重要な領域でますます導入が進んでいます。これらのモデルは膨大な学習コーパスから能力を派生させていますが、根本的な未解決問題が残っています。それは、特定の出力に対してどの特定の学習データが最も影響を与えたかを特定することです。現在の研究は、データセットを用いたモデルの性能向上に重点を置いていますが、その逆の問題、すなわちモデルの振る舞いを特定のデータソースへと遡って追跡することについては、未だ十分に探索されていません。この追跡可能性の欠如は、ガバナンス、説明責任、および特定のデータポイントを「学習解除（unlearn）」する能力を阻害します。既存の学習データ帰属（TDA）手法、例えば影響関数（Influence Functions）などは、大規模モデルにおけるヘッセ行列の逆行列計算の困難さや、計算の実現不可能性（再学習を必要とする点）といった実用的な限界に直面しています。さらに、これまでのNLPにおける帰属研究は、単語レベルの予測やデータセットレベルの粒度に限定されることが多く、完全にオープンエンドなテキスト生成に対処できていませんでした。

手法

著者らは、自己回帰型LLMのための後方影響関数を推定するために設計されたフレームワークである**DABGO（Data Attribution via Bidirectional Gradient Optimization：双方向勾配最適化によるデータ帰属）**を提案します。コアとなる仮説は「鏡面影響（mirrored influence）」の概念に基づいています。これは、ある予測に対する学習サンプルの影響は、その予測に基づいてモデルを最適化することが、学習サンプルに対するモデルの振る舞いにどのような影響を与えるかを観察することで推定できるというものです。

コアアルゴリズム

双方向最適化（Bidirectional Optimization）： 学習済みモデル $\pi_{\theta^*}$ と、プロンプト $\hat{x}_0$ によって生成された出力シーケンス $\hat{x}$ が与えられたとき、本手法は2つの摂動を加えたモデル変種を構築します。
- 勾配上昇（ $\theta_+$ ）： 生成されたテキスト $\hat{x}$ の尤度を増加させるようにモデルを最適化します（「学習解除」または影響の最大化をシミュレート）。
- 勾配降下（ $\theta_-$ ）： $\hat{x}$ の尤度を減少させるようにモデルを最適化します（ファインチューニングまたは影響の最小化をシミュレート）。
- 両方の最適化は、破滅的忘却を軽減するために、計算の実行可能性を確保しつつ、対角フィッシャー情報行列（FIM）によって近似されたFisher正則化更新（Elastic Weight Consolidation）を利用します。
双方向影響スコア（Bidirectional Influence Score: BIS）： データセット $D$ 内のすべての学習サンプル $x_i$ に対して、本手法は両方の摂動モデル（ $\theta_+$ および $\theta_-$ ）の下での損失を計算します。影響スコアは、損失の絶対変化量として定義されます。
$I(x_i; \hat{x}) = |\ell(x_i, \theta_-) - \ell(x_i, \theta_+)|$
損失の絶対変化が大きいサンプルは、 $\hat{x}$ の生成において最も影響力の高いものとしてランク付けされます。
粒度（Granularity）： 本フレームワークは、パートークンの対数尤度の差を測定することにより、フル学習サンプルからトークンレベルに至るまで、任意のレベルでの帰属をサポートします。

主な貢献

新しいフレームワーク： 高価なサンプルごとの勾配計算やヘッセ行列の逆行列計算を回避する、オープンエンドなテキスト生成のためのシンプルかつ効果的な帰属手法であるDABGOの導入。
双方向のアプローチ： 勾配上昇のみ、あるいは勾配降下のみを使用する単方向のアプローチと比較して、両方向を組み合わせることで、生成モデルにおける相補的な信号を捉え、より優れた帰属精度が得られることを示しました。
粒度の高い帰属： 本手法は、任意のデータ粒度での帰属を可能にし、帰属されたテキストにおける事実的内容と文体的な特徴（例：著者性、構文）の両方を正常に捉えることができます。
評価プロトコル： 著者らは、影響の計算効率の高いプロキシとして、完全な再学習実験によって検証されたTail-Patch Absolute (TPA) スコアを導入し、活用しています。

実験結果

著者らは、2つの異なるコーパスを用いてゼロから訓練されたGPT-2スタイルのモデルに対してDABGOを評価しました。

事実的帰属（Factual Attribution）： 精選されたWikipediaコーパス（2億3000万トークン）を使用。
文体的帰属（Stylistic Attribution）： 多様な著者が存在するProject Gutenbergの文学テキスト（200万トークン）を使用。

定量的パフォーマンス：

事実的設定： DABGOは、ほとんどの $k$ 値（上位 $k$ 個の帰属サンプル数）において、ベースライン（BM25, TRACKSTAR, GECKO）を一貫して上回りました。BM25は強い語彙的重複により $k=1$ で良好な性能を示しましたが、DABGOは $k$ が増加するにつれて優れた性能を示し、分散した事実的影響の特定において優れていることが示されました。
文体的設定： DABGOは、 $k$ が増加するにつれて、単語ベースの検索（BM25）や埋め込みベースの手法（GECKO）を大幅に上回りました。これは、単一のパッセージに依存するのではなく、複数の学習サンプルにまたがる分散した文体的信号を捉える本手法の能力を強調しています。
再学習による検証： 上位 $k$ 個の帰属サンプルを除去してモデルを再学習させた反事実実験において、DABGOによって帰属されたサンプルを除いて再学習されたモデルは、他の手法によって帰属されたサンプルを除いて再学習されたモデルよりも、テスト出力に対する損失が有意に高くなりました。これは、DABGOが影響のグラウンドトゥルースの定義と一致していることを裏付けています。

アブレーション研究：
勾配上昇と勾配降下を分離した実験では、上昇のみでも強い性能が得られますが、両方向を組み合わせた場合（DABGO）に最高の精度が得られることが示され、生成タスクにおける双方向アプローチの必要性が検証されました。

重要性と主張

本論文は、DABGOがモデルの解釈性を高め、これは説明責任のあるAIシステムにとって重要な要件であると主張しています。オープンエンドな生成を学習データに正常に遡ることができることにより、本手法は以下を実現します。

フィードバックループの閉鎖： 学習データとモデルの振る舞いを直接結びつけ、モデルのデバッグやデータの学習解除（unlearning）などのアプリケーションを可能にします。
従来の限界の克服： 精選された事実や単一単語の予測に限定されていた以前の作業とは異なり、DABGOは完全にオープンエンドな生成設定においても効果的に動作します。
透明性の提供： トークンレベルでの影響を帰属させる能力は、事実的な寄与と文体的なニュアンスを区別する、きめ細かな解釈性を提供します。

著者らは、DABGOが依然として計算コストが高く（コーパスへの2回のパスが必要）、数百億のトークンを持つ産業規模のモデルには現状では実用的ではないことを認め、限界も述べています。また、DABGOは影響力のあるサンプルを特定しますが、現在、サブグループ間の相乗的または敵対的な相互作用を考慮したり、観察された損失の変化を超えて特定のハイライトされたトークンの因果的役割を確立したりすることはありません。それにもかかわらず、本研究は、追跡可能で監査可能なAIシステムに向けた重要な一歩を示しています。