🤖 machine learning

Addressing divergent representations from causal interventions on neural networks

この論文は、ニューラルネットワークの因果的介入が自然な分布から逸脱した表現を引き起こす可能性を理論的・実証的に示し、その有害な逸脱を抑制しつつ解釈性を維持するための手法を提案することで、より信頼性の高い機械的解釈可能性への道筋を示しています。

原著者： Satchel Grant, Simon Jerome Han, Alexa R. Tartaglini, Christopher Potts

公開日 2026-04-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Satchel Grant, Simon Jerome Han, Alexa R. Tartaglini, Christopher Potts

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、人工知能（AI）の「脳」を解明しようとする研究者たちが、ある重要な落とし穴に気づいたことを報告しています。タイトルは少し難しそうですが、要約すると**「AI の中身を調べるときに、無理やり手を加えすぎると、AI が『本物』の動き方をしなくなる危険性がある」**というお話です。

以下に、日常の例えを使ってわかりやすく解説します。

1. 背景：AI の「脳」を覗き見する実験

AI（ニューラルネットワーク）がどうやって判断しているかを知るために、研究者たちは**「因果的介入（Causal Interventions）」という実験をよく行います。
これは、AI の脳内の特定の部分（ニューロンや回路）を、別の状態に「貼り付け（パッチング）」たり、「書き換え」**たりする実験です。

例え話：
料理人が「この料理が美味しいのは、塩のせいだ」と証明したいとします。そこで、鍋の中の塩の量を強制的に増やしたり減らしたりして、味がどう変わるか見ています。
これと同じように、AI の「塩（特定の神経回路）」を操作して、「あ、やっぱりこの部分で判断しているんだ！」と理解しようとするのです。

2. 問題点：無理やり変えると「本物」ではなくなる

この論文の核心は、**「その『書き換え』が、AI の自然な状態から離れすぎて（外れすぎて）いる」**という点です。

問題の正体：
研究者が「塩の量を 15 倍に！」と強引に変えると、鍋の中身はもはや「普通の料理」ではなくなります。AI の場合も、無理やり数値を書き換えると、AI の脳内は**「普段ありえない、不自然な状態」**になってしまいます。
なぜ危険なのか？
もし AI が「不自然な状態」で動いていたら、その実験結果は「AI が普段どう動いているか」を正しく反映していない可能性があります。
- 例え話：
  料理人が「塩を 15 倍入れたら、火がついて爆発した！」と報告したとします。でも、それは「塩のせい」ではなく、「鍋が壊れたから」かもしれません。これでは「塩が美味しさの鍵だ」という結論は正しくありません。

3. 2 つのタイプの「危険な変化」

論文では、この「不自然な変化」が 2 種類あると指摘しています。

A. harmless（無害な変化）

説明：
AI の判断には影響しない「余計な部分」で変化が起きている場合です。
例え話：
料理人が鍋の**「取っ手」**を別の色に塗り替えたようなもの。料理の味（AI の判断）には全く影響しません。これは問題ありません。

B. pernicious（有害な変化）

説明：
ここが本当の怖さです。不自然な変化が、AI の脳内で**「普段は眠っている（使われていない）回路」**を無理やり起こしてしまい、予期せぬ動きをさせてしまう場合です。
例え話：
無理やり塩を入れすぎたら、鍋の底に隠れていた**「見知らぬスパイス」**が溶け出してしまい、味が劇的に変わってしまった。
- 危険性：
  研究者は「塩を変えたら味が変わった！だから塩が重要だ！」と喜んでいますが、実は「隠れたスパイス（眠っていた回路）」が原因だったかもしれません。これでは、AI の本当の仕組みを誤解してしまいます。

4. 解決策：より優しく、自然に近づける

では、どうすればいいのでしょうか？論文では、**「書き換えた後、AI の状態を元の自然な状態に近づける」**という方法を提案しています。

新しいアプローチ：
以前は「思いっきり書き換えて、結果を見る」だけでしたが、今回は**「書き換えた後、AI が『あ、これじゃ不自然だな』と感じないように、自然な状態に微調整する」**という技術（Counterfactual Latent Loss）を使います。
例え話：
無理やり塩を入れすぎた後、少し水を足して味を戻したり、鍋の温度を調整したりして、「でも、塩の量は変えたまま」という状態を維持しつつ、**「鍋全体が自然な状態に戻るように」**調整するのです。
これにより、AI が「眠っている回路」を無理やり起こすのを防ぎ、より正確な実験結果が得られるようになりました。

まとめ

この論文が伝えているメッセージは以下の通りです。

AI の仕組みを調べる実験（介入）は、AI を「不自然な状態」に追いやってしまいがち。
その不自然さが、AI の「眠っている回路」を誤作動させ、間違った結論を導く恐れがある。
でも、書き換えた後に「自然な状態」に戻す技術を使えば、より安全で信頼できる実験ができる。

つまり、**「AI の脳を解剖するときは、メスを入れるだけでなく、その後の処理も丁寧にしないと、本当の姿が見えてこないよ」**という、AI 研究における重要な注意点と、その解決への第一歩を示した論文なのです。

論文要約：「Addressing Divergent Representations from Causal Interventions on Neural Networks」

(ICLR 2026 発表、Stanford University 著者)

1. 概要と背景

機械的解釈性（Mechanistic Interpretability）の分野では、ニューラルネットワーク（NN）の内部表現を因果的に操作（介入）することで、その表現が何をエンコードしているかを理解しようとするアプローチが主流です。具体的には、アクティベーションパッチング（Activation Patching）や Distributed Alignment Search (DAS) などの手法を用いて、モデルの内部状態を意図的に変更し、出力への影響を調べることで、モデルの機能や回路を特定します。

しかし、これらの介入によって生成された「対照的（counterfactual）」なモデル状態が、学習済みのモデルが自然に生成する分布（Natural Distribution）から大きく逸脱（Divergent）している可能性が、これまで十分に検証されていませんでした。本論文は、この**「表現の逸脱（Representational Divergence）」**が頻発しており、それが機械的解釈の信頼性（Faithfulness）にどのような影響を与えるかを理論的・実証的に分析し、その緩和策を提案するものです。

2. 問題定義

因果的介入において、意図的に操作された表現が自然なデータ分布から外れる（Out-of-Distribution, OOD になる）現象が問題視されています。

前提の崩壊: 介入実験は「介入された状態がモデルにとって現実的である」という仮定に立脚していますが、実際には極端な値の乗算やパッチングにより、自然な多様体（Manifold）から外れた状態が生成されることがあります。
解釈の信頼性への懸念: 逸脱した表現がモデルの自然なメカニズムを正しく反映しているのか、あるいは単にモデルの未学習領域や隠れた経路を活性化させているだけなのかを区別する必要があります。

3. 主要な貢献と分析方法

3.1 逸脱現象の理論的・実証的実証

著者らは、多様な因果介入手法（平均差分パッチング、スパースオートエンコーダ、DAS など）において、介入された表現が自然分布から逸脱することが一般的であることを示しました。

理論的証明: 座標ベースのパッチング（座標値の入れ替え）を行う場合、円形などの一般的な多様体上では、必ず多様体外（Off-manifold）の点が生成されることを証明しました（直方体形状の多様体のみ例外）。
実証的データ: Llama-3-8B などの大規模言語モデル（LLM）を用いた実験において、介入前後の表現分布間の地球移動距離（EMD）や主成分分析（PCA）による可視化から、明確な逸脱が観測されました。

3.2 逸脱の分類：「無害」と「有害」

単に逸脱していることが即座に問題となるわけではなく、その性質を以下の 2 つに分類して議論しました。

無害な逸脱（Harmless Divergence）:
- 定義: 行動の Null-space（ゼロ空間）内で発生する逸脱。つまり、次の重み行列や関数に対して $Wv = 0$ となるような方向での逸脱です。
- 特徴: 最終的な出力や振る舞いには影響を与えないため、特定の機能的な主張（Functional Claims）に対しては問題になりません。
- 注意点: 個々のサブ計算（重みと活性化の積など）に関する微細なメカニズムの主張には影響する可能性があります。
有害な逸脱（Pernicious Divergence）:
- 定義: 自然な分布では非活性（Silent）であった隠れた経路（Hidden Pathways）を活性化させたり、休眠状態の振る舞い変化（Dormant Behavioral Changes）を引き起こす逸脱。
- リスク:
  - 隠れた経路の活性化: 介入によって自然には存在しないニューロンや回路が作動し、一見正解に見える出力（Misleadingly Confirmatory）を生むが、それはモデルの本来のメカニズムとは無関係である。
  - 文脈依存性の発現: ある文脈では安全に見える介入が、別の文脈では予期せぬ振る舞いの変化を引き起こす（Dormant Changes）。これは、介入実験の結果を一般化することを困難にします。

3.3 解決策：対照的潜在変数損失（Counterfactual Latent Loss）の適用

有害な逸脱を抑制するための具体的な手法として、Grant (2025) で提案された「対照的潜在変数（CL）損失」を改良・適用しました。

CL 損失の仕組み: 介入された表現 $\hat{h}$ が、因果変数の値が同じである「自然な表現」の分布（対照的潜在ベクトル $h_{CL}$ ）に近づくように正則化項を追加します。
$L_{CL}(\hat{h}, h_{CL}) = \frac{1}{2}\|\hat{h} - h_{CL}\|_2^2 - \frac{1}{2}\frac{\hat{h} \cdot h_{CL}}{\|\hat{h}\|_2 \|h_{CL}\|_2}$
改良版: 因果的サブスペースに特化した損失関数を設計し、因果次元に沿った逸脱のみを最小化するアプローチも提案しました。

4. 実験結果

4.1 LLM における適用（Boundless DAS）

Wu et al. (2023) の Boundless DAS 実験（Llama-3-7B 使用）に CL 損失を組み込みました。

結果: CL 損失の重み（ $\epsilon$ ）を増加させることで、介入表現と自然表現の間の逸脱（EMD）を大幅に削減しつつ、介入精度（IIA: Interchange Intervention Accuracy）を維持、あるいは向上させることができました。
意義: 解釈性を損なうことなく、表現の自然性を保つことが可能であることを示しました。

4.2 合成タスクにおける OOD 性能の向上

合成データセットを用いた MLP 上での実験を行いました。

設定: 訓練データとテストデータ（OOD）でクラス分布を異ならせ、DAS によるアライメントの一般化性能を評価しました。
結果: CL 損失のみ、または CL 損失と行動損失の両方を用いて訓練したアライメント行列は、行動損失のみの場合と比較して、OOD 環境での介入精度（IIA）が有意に向上しました。
相関分析: 訓練時の逸脱度（EMD）と OOD 時の精度の間には強い負の相関（係数 -0.34, $R^2=0.73$ ）が確認され、「逸脱が大きいほど OOD 性能が低下する」ことが統計的に裏付けられました。

5. 結論と意義

本論文は、機械的解釈性における因果介入の重要な盲点である「表現の逸脱」を浮き彫りにし、そのリスクを体系的に分類しました。

理論的意義: 単に「介入が成功した（出力が変わった）」だけでは、それがモデルの自然なメカニズムを反映しているとは限らないことを示しました。特に、隠れた経路を活性化させる「有害な逸脱」は、誤った因果的結論を導く恐れがあります。
実践的意義: 対照的潜在変数損失（CL Loss）を用いることで、介入表現を自然分布の近くに留めさせつつ、解釈の精度を維持・向上させる手法を実証しました。
将来展望: 完全な有害性の分類アルゴリズムの確立や、自己教師あり学習による有害な逸脱の検出・緩和など、より信頼性の高い介入手法の開発への道筋を示唆しています。

総じて、本論文は「より信頼性の高い機械的解釈」を実現するための重要な一歩であり、因果介入を用いた研究において、表現の分布特性を考慮することの必要性を強く説いています。