🤖 machine learning

Symbolic Mechanistic Data Attribution: Tracing Training Influence to Learned Behavioral Policies

本論文は、メカニスティックな解釈可能性とデータ帰属を橋渡しするフレームワークであるSymbolic Mechanistic Data Attribution (SMDA) を導入し、特定の学習例がどのように高レベルの記号的行動方策を形成するかを分析的に分解することで、大規模言語モデルにおける系統的な安全性の欠陥や特徴レベルの干渉を明らかにします。

原著者： Reza Habibi, Darian Lee, Magy Seif El-Nasr

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Reza Habibi, Darian Lee, Magy Seif El-Nasr

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、巨大で複雑なオーケストラだと想像してみてください。長い間、私たちはこのオーケストラを「ブラックボックス」として扱ってきました。そのオーケストラがどのような音楽を奏でるか（出力する回答）は分かっていますが、どの楽器がどの音符を奏でているのか、あるいは指揮者がどのようにしてその曲の開始を決定したのかについては、全く分かっていません。

**メカニスティック・インタープリタビリティ（機械論的解釈可能性）**は、このオーケストラの内部配線を解明しようとする分野です。それは、特定のバイオリニスト（「ニューロン」）が「政治」という話題に対して常に高い音を奏でる、あるいは特定のドラムの鼓動（「回路」）が、モデルが嘘をつこうとしている時に作動する、といったことを突き止めるような作業です。

しかし、決定的なピースが欠けています。それが**データ・アトリビューション（データ帰属）**です。私たちはオーケストラが「どのように」演奏するかは知っていますが、「どの楽譜（学習データ）」が彼らにそのように演奏することを教えたのかを知りません。特定の曲（学習データ）が、バイオリニストに高い音を奏でるよう教えたのでしょうか？それとも、別の曲がドラマーに演奏を止めるよう教えたのでしょうか？

本論文では、このパズルを解くための新しいツールである**SMDA（Symbolic Mechanistic Data Attribution：記号論的メカニスティック・データ帰属）**を紹介します。これは特に、AIがなぜ有害な要求に対して「それはできません」と拒絶（リフューザル）するのかという問題に焦点を当てています。

SMDAの仕組みを、簡単な比喩を用いて説明します。

1. 「記号的ポリシー」（ルールブック）

AIの内部を、単一の微細なニューロンまで遡って追跡しようとする代わりに（それは砂浜の一粒の砂を探すようなものです）、SMDAはモデルの振る舞いを説明する**単純なルールブック（記号的ポリシー）**を構築します。

比喩： AIの拒絶行動を、ある本を禁止するかどうかを判断する裁判官だと想像してください。裁判官は本そのものを見るだけでなく、75個の具体的な「特徴量」（例：「暴力が含まれているか？」「宗教に関する内容か？」など）のチェックリストを確認します。
革新性： SMDAは「スパース・オートエンコーダ（SAE）」を使用して、これら75の特徴を見つけ出します。これは、AIの複雑で混沌とした内部思考を、「宗教的ステレオタイプ」や「暴力的なシーン」といった明確で人間が理解可能な概念へと変換する、超高度な翻訳機のようです。
目的： SMDAは、このチェックリストに対して単純な数学の方程式（リッジ回帰）を当てはめます。この方程式は、AIが「拒絶」を決定する際に、各特徴量に対してどれだけの重みを与えているかを教えてくれます。

2. 「もしも」の実験（影響の追跡）

ルールブックが構築されたら、SMDAは次のように問いかけます。「もし、AIの履歴に特定の学習例を一つ追加していたら、そのルールブックはどう変わっていただろうか？」

比喩： あなたが学生を教えていると想像してください。火事の現場の写真（「有害な」例）を見せたことが、学生の「いつ119番に通報するか」というルールを変えたのかを知りたいと考えています。
2つの経路： SMDAは、この学習例がルールブックを変化させる2つの経路を調査します。
1. 「何を見るか」の経路 ( $\Delta X$ )： 学習例は、AIが世界を「見る」方法を変えたのか？（例：AIが「火」という言葉に対してより敏感になったのか？）
2. 「何を決定するか」の経路 ( $\Delta Y$ )： 学習例は、AIの最終的な「決定」を変えたのか？（例：何を見ているかに関わらず、AIが「できません」と言う可能性を高めたのか？）

これらを分離することで、SMDAは特定の学習ペアがなぜ影響を与えたのかを正確に特定できます。

3. 発見されたこと（結果）

研究者たちは、人気のあるAIモデルであるLlama-3.2-3B-Instructを用い、200個の学習例（有害なものと無害なものの両方）を使ってテストを行いました。その結果、以下のことが明らかになりました。

ルールブックの「ギャップ」： AIのルールブックには奇妙な欠陥があることが分かりました。「宗教的ステレオタイプ」や「保護されたグループへの嘲笑」といったカテゴリーにおいて、AIは有害性を検知できる（特徴量が反応している）にもかかわらず、ルールブックはその特徴に対して負の重みを与えていました。
- 翻訳： AIは「悪いもの」を見ていることは認識しているのですが、内部のルールブックが「それを無視して従え」と命じていたのです。これは、泥棒を見ているのに、「泥棒を見たら通してやれ」というルールを持っている警備員のようなものです。SMDAはこの壊れたルールを暴き出しました。
「特徴量間の干渉」（意図しない副作用）： これは極めて重要な発見です。研究者が「野生のウォートホッグ（イボイノシシ）を殺害する」というプロンプト（暴力的で有害なトピック）についてAIを訓練した際、彼らは「暴力」のルールが強化されることを予想していました。
- 驚きの事実： その単一の学習例が、全く無関係なトピック、例えば「著作権のリクエスト」や「宗教的な質問」に関するルールまでも、誤って書き換えてしまったのです。
- 比喩： それは、学生にナイフの扱い方を教えようとしたところ、その過程で、誤ってスプーンに対しても恐怖を感じるように教えてしまったようなものです。学習データが「漏れ出し」、触れるべきではないルールを混乱させてしまったのです。
不適切な学習データ： 特定の学習例が「較正ミス（ミスキャリブレーション）」を起こしていることが判明しました。例えば、「太くて長いペニス」に関するプロンプト（性的・有害なトピック）は、本来であればAIに性的コンテンツを拒絶するように教えるためのものです。しかし、SMDAによれば、この例は主にAIに一般的で無害な質問を拒絶することを教えていました。
- 翻訳： AIは教訓を履き違えました。AIは「この変な質問が出たら、あらゆる質問への回答を停止すべきだ」と学習してしまったのであり、「性的すぎる質問に対してのみ拒絶すべきだ」と学んだのではありませんでした。

なぜこれが重要なのか

SMDAが登場する前、AIがなぜリクエストを拒絶したのかを知るには、以下のいずれかを行う必要がありました。

推測する（ブラックボックスの影響関数）：「おそらくこの学習データが原因だろう」と推測する。
回路を手動で検査する：「ニューロン番号#452を見てみよう……」とする（これは時間がかかり、スケールさせるのが困難です）。

SMDAはこの溝を埋めます。これは以下の特性を持つ診断ツールを提供します。

きめ細やか（Fine-grained）： 「なぜ」起きたのかを説明します（例：「この学習ペアは『暴力』のルールではなく、『宗教』のルールを変更した」）。
拡張可能（Scalable）： すべてのニューロンを人間が手動でマッピングする必要がありません。

要約すると、SMDAはAI学習データの「フォレンジック会計士（鑑識会計士）」です。単に「このデータがAIを変えた」と言うだけでなく、どの内部ルールが調整され、どのルールが壊れ、どの学習例がAIに間違った教訓を教えてしまったのかを示す詳細な領収書を提供するのです。これにより、研究者は「ルールブック」を修正し、AIをより安全で信頼できるものにすることができます。

技術要約: 記号的メカニスティック・データ属性付け (Symbolic Mechanistic Data Attribution: SMDA)

問題提起

既存のデータ属性付け手法（Mechanistic Data Attribution: MDAを含む）は、特定の既知の低レベル回路（ニューロン、アテンションヘッド、または既知のSAE特徴量など）への学習データの追跡には効果的である。しかし、これらの手法は、基礎となる回路が事前に特定されていない高レベルな行動決定に対して、学習データがどのように影響を与えるかを説明することに苦慮している。このギャップは、有害なコンプライアンス、サイコファンシー（追従性）、あるいは拒絶行動といった複雑な安全性現象の診断を制限している。これらは単一の識別可能なユニットではなく、複数のコンポーネントの相互作用から発生することが多いためである。さらに、標準的な影響関数（influence functions）はブラックボックスとして機能する一方で、手動による回路分析は高レベルなポリシーに対してはスケールしない。

手法: 記号的メカニスティック・データ属性付け (SMDA)

著者らは、低レベルの回路コンポーネントではなく、Sparse Autoencoder (SAE) 特徴量上の学習された記号的ポリシー (learned symbolic policy) に対して学習の影響を属性付けるフレームワークであるSMDAを提案する。この手法は以下のステップで動作する：

記号的ポリシーの構築:
- 保持された評価セットに対し、特定の層（Llama-3.2-3B-Instructのレイヤー10）からSAE特徴量の活性化を抽出する。
- 有害なプロンプトと無害なプロンプトの間で顕著な活性化の差を示す特徴量のサブセット（ $d=75$ ）を選択する。
- これらのSAE特徴量を関数としてターゲットとなる行動（拒絶傾向）をモデル化するために、クローズドフォームのリッジ回帰 (Ridge regression) を適合させる。出力は記号的ポリシーの重みベクトル $W$ であり、各エントリは特定の特徴量が拒絶決定に寄与する度合いを表す。
影響の計算:
- 特定の教師あり微調整 (SFT) 学習ペア $z_i$ に対して、SMDAは単一の勾配ステップによる記号的ポリシーの重み $W$ への近似的な影響を算出する。
- 重みの変化 $\Delta W_i$ $Δ W_{i}$ は、一次テイラー展開を用いて、以下の2つの経路に解析的に分解される：
  - $\Delta X$ 経路: 勾配更新によって引き起こされる内部SAE特徴量の活性化の変化。
  - $\Delta Y$ 経路: 勾配更新によって引き起こされるモデルの出力拒絶対数確率の変化。
- 最終的な影響スコアはドット積 $\langle \Delta W_i, W \rangle$ であり、これが学習ペアが現在の方向にポリシーをさらに押し進めるのか（正）、あるいは逆方向に押し戻すのか（負）を示す。
実験設定:
- モデル: Llama-3.2-3B-Instruct。
- SAE: レジデュアルストリーム（残差ストリーム）のレイヤー10に対して学習されたBatchTopK SAEを使用（12,288個の特徴量）。
- データ: 200個のSFT学習ペア（有害な拒絶100、無害なコンプライアンス100）と、様々な構成（有害-無害、有害-自然、有害-バランス）に分割された11,000個のプロンプトからなる評価セット。

主な貢献

フレームワークの革新: 低レベルの既知のユニットから、SAE特徴量上の学習された解釈可能な記号的ポリシーへと属性の対象を転換するSMDAを導入した。これにより、基礎となる回路構造が未知である設定下での属性付けが可能になる。
解析的分解: 学習の影響を特徴量活性化 ( $\Delta X$ ) と出力確率 ( $\Delta Y$ ) の経路に分離するクローズドフォームの影響計算を導出し、学習データがどのように行動を変化させるかについてのメカニスティックな洞察を提供する。
実証的分析: Llama-3.2-3B-Instructの拒絶行動にSMDAを適用し、200個のSFTペアを分析することで、安全性行動における系統的なギャップと、特徴量間の干渉パターンを明らかにした。

主な結果

記号的ポリシーと学習の影響に関する分析から、主に3つの知見が得られた：

安全性行動における系統的なギャップ:
- 記号的ポリシーの係数は、ベースモデルが有害な内容を確実に検知（特徴量が活性化）しているものの、これを拒絶決定へと翻訳できていないことを示した。
- 宗教的なステレオタイプ、保護されたグループの特性化、および議論的なフレーミングに関連する特徴量は、大きな負の係数（コンプライアンスを予測する）を持っていた。これは、モデルが害を表現してはいるものの、これらのカテゴリに対する対応する拒絶ポリシーを学習していないことを示唆している。
学習の影響における質的な違い:
- $\Delta X / \Delta Y$ の分解により、有害な学習ペアと無害な学習ペアが質的に異なる影響を与えることが示された。
- 特定の機能において、有害なペアは主にモデルの出力確率 ( $\Delta Y$ ) をシフトさせたが、無害なペアは両方の経路に影響をより均等に分散させていた。これは、安全性の微調整が均一なプロセスではないことを示唆している。
特徴量間の干渉:
- 個々の学習ペアは頻繁に「破滅的な干渉 (catastrophic interference)」を示した。具体的には、ある意味論的カテゴリ（例：暴力）を対象とするペアが、それとは無関係な意味論的特徴（例：著作権のリクエスト）の係数を大幅に変化させた。
- SMDAは、支配的な効果が意図しない特徴に及んでいる「較正不全 (miscalibrated)」な学習ペア（例：性的コンテンツに関する拒絶ペアが、一般的な情報リクエストを主に抑制してしまうケース）を特定することに成功し、安全性データのキュレーションにおける潜在的な非効率性を浮き彫りにした。

意義と主張

本論文は、メカニスティックな解釈可能性とデータ属性付けを組み合わせることで、ブラックボックス的な影響関数よりも詳細で、かつ手動の回路分析よりもスケーラブルな診断ツールが得られると主張している。

回路からポリシーへ: SMDAは、個々のコンポーネントの理解と決定レベルの行動理解の間の溝を埋める。これは、単にどのような特徴が存在するかだけでなく、モデルがそれらをどのように重み付けするかを明らかにするため、記号的ポリシー自体を属性付けの対象とするものである。
診断的有用性: 本フレームワークは、意図しない特徴間の干渉を引き起こす学習ペアを特定したり、モデルが害を検知しているにもかかわらず拒絶に失敗している特定のカテゴリを明らかにしたりするなど、安全性エンジニアリングのための解釈可能なシグナルを提供する。
限界と範囲: 著者らは現在の範囲について謙虚であり、SMDAがフルモデルではなく記号的ポリシー（約64〜70%のテスト精度を持つ75特徴量のリッジ回帰）に対して属性付けを行っていることを指摘している。彼らは、SMDAが一致した影響プロファイルを持つ学習ペアを特定するものの、そのようなペアを除去することでダウンストリームの安全性が向上するかどうかを検証するための、再学習実験による因果的検証は行っていないことを明示している。本研究は、完全に検証されたデータキュレーションツールとしてではなく、将来の介入研究のための必要な前提条件として提示されている。