🤖 machine learning

Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

本論文は、Transformer の活性化パッチングを局所的な源の挿入としてモデル化し、グリーン関数応答を介して下流の行動変化を予測する連続深度場理論フレームワークを提案し、それによって機械的介入を組織化し推論するための感度と伝播場の数学的言語を確立する。

原著者： David N. Olivieri, Antonio F. Pérez Rodríguez

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： David N. Olivieri, Antonio F. Pérez Rodríguez

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

GPT-2 などのモデルの背後にある AI の一種であるトランスフォーマーを、コンピュータコードの積み重ねではなく、巨大で流れ続ける川として想像してみてください。

この川において：

深さは、水が源流から海へと下流へ進んだ距離です。
トークン（文の中の単語）は、川を横に並んで浮かぶさまざまな船のようです。
残差ストリームは、モデルの層から次の層へと情報を運びながら流れる水そのものです。

この論文は、AI モデルの振る舞いを変化させるために、それらを「微調整」または「修正（パッチ）」する方法を新たに理解するための提案を行っています。コードのどの部分を修正すべきか単に推測するのではなく、著者たちはモデルを物理場として扱い、小さな変化がシステム全体にどのように波及するかを正確に予測できるアプローチをとっています。

以下は、日常の比喩を用いた彼らのアイデアの解説です：

1. 「池の一滴」（パッチングを源として）

通常、研究者が AI の特定の部分が何をしているかを確認したい場合、「アクティベーション・パッチング」を行います。これは、ある瞬間の AI の脳のスナップショットを撮影し、それを別のシナリオからのスナップショットと入れ替え、出力がどのように変化するかを見るようなものです。

著者たちはこれを川に石を落とすこととして記述しています。

石：「パッチ」（あなたが加える変更）
波紋：モデルの残りの部分を下流へ伝わる効果
理論：彼らは、川の流れ（モデルの構造）の形状を知っていれば、石を百万回落とさなくても、その波紋がどのように広がり、どれほど大きくなり、どの船（トークン）に到達するかを正確に予測できると主張しています。

2. 「感度マップ」（効果の予測）

波紋がどこへ向かうかを予測するには、地図が必要です。著者たちは感度場を導入しています。

これは風速を示す天気図のようなものです。川のある場所はとても敏感で（小さな石が大きな波を起こす）、他の場所は穏やかです（石を落としてもほとんど波立たない）。
この論文は、この「風の地図」を一度計算すればよいことを示しています。一度手に入れば、石を投げられるあらゆる方向をテストする必要はありません。数学的に予測できます。「もしここで、この方向に石を投げれば、波はこの程度の力で答えに到達する」と。
結果：彼らは、小さな変化に対してはこの予測が驚くほど正確であることを発見しました。穏やかな風が羽を動かすこと、ハリケーンが木を倒すことを知っているようなものです。

3. 「グリーン関数」（波紋の拡散）

この論文はグリーン関数と呼ばれる概念を使用しています。簡単に言えば、これは「波紋の規則集」です。

これは「もし点 A で水を乱せば、点 B で水はどのように動くか？」という問いに答えます。
著者たちは、これらの波紋が単に真っ直ぐ下流へ進むだけでなく、他の単語（トークン）へ横方向に広がり、モデルのより深い部分へ旅することも発見しました。
彼らは、ある層での変化が下流の遠くの層にどのように影響するかを測定することでこれをテストしました。その結果、「波紋の規則集」はよく機能しますが、変化があまりに巨大でなければという条件付きです。もし岩（巨大な変化）を投げれば、水は混沌とし、単純な規則は崩壊します。しかし、小さな刺激であれば、規則は完璧に成り立ちます。

4. 「逆転設計」（正しい石を見つける）

通常、研究者は何が起こるかを見るためにランダムなパッチを試みます。この論文は脚本を逆転させます。彼らは逆問題を提案しています。

目標：「AI に『ロンドン』ではなく『パリ』と言わせたい」。
従来の方法：運が良くなるまで、すべての層とすべての単語をパッチングしてみる。
新しい方法：「波紋の規則集」（グリーン関数）と「感度マップ」を用いて、その特定の波紋を作るために、石をどこに、どのように落とすべきかを数学的に計算する。
これは、曲の特定の周波数を修正するためにどのノブを回すべきか正確に知っているサウンドエンジニアのように、すべてのノブをランダムに回すのではなく、正確な場所を特定することです。

5. モデル間の「翻訳」（スケーリング）

最後に、著者たちは小さなモデルから大きなモデルへ知識を転送する方法を提案しています。

小さな池（小さな AI モデル）と広大な海（大きな AI モデル）を持っていると想像してください。
小さな池に石を落として波紋を観察すれば、そのパターンを使って、海で石をどこに落とせば同様の結果が得られるかを推測できます。
彼らはこれを「共有された潜在応答幾何学」と呼びます。本質的に、情報が流れる「物理法則」は、規模が異なるだけで、小さなモデルと大きなモデルで同じである可能性があります。これにより、まず小さなモデルを研究することで、巨大なモデルを修正する方法を解明できるかもしれません。

発見の要約

著者たちは GPT-2 モデルでこれらのアイデアをテストし、以下の結果を得ました：

小さな変化は予測可能：モデルを優しく刺激すれば、数学はほぼ完璧に結果を予測します。
波紋は広がる：変化は局所的に留まらず、層を通じて移動し、構造化された方法で異なる単語に影響を与えます。
高感度な場所が存在する：最終的な答えにとって最も重要なのは、川におけるごく少数の特定の「滴」だけです。
プロンプトの変更は単なる波紋：入力文を変更すること（例：「スペインの首都」から「フランスの首都」へ）は、数学的には川に特定の石を落とすことと類似しています。モデルはこの「変位」に予測可能な方法で反応し、答えを誘導することを可能にします。

要約すると：この論文は、試行錯誤によるパッチングを予測可能で計算可能な科学へと変える、数学的な「AI の物理学」を提供しています。これは、AI への介入を、所望の結果を得るために必要な正確な力と場所を計算できる工学問題として扱えることを示唆しています。

技術的概要：トランスフォーマーのパッチングと機械的解釈可能性のための連続深度場理論

問題提起
機械的解釈可能性は、活性化への介入（例えば、活性化パッチング、因果的トレーシング、経路パッチング）を通じて、トランスフォーマーの振る舞いを担う内部回路を特定することを目指している。これらの手法は、振る舞い上有意味な部位や方向を成功裏に局所化させるが、しばしば層、トークン、部分空間の網羅的な列挙に依存している。本論文は、補完的な問い、すなわち「そのような介入を、深度とトークン位置にわたる統一的な場論的枠組みを用いて組織化、予測、再構成できるか？」に答えるものである。著者らは、残差ストリームを層の離散列としてではなく、連続場として扱うことを提案し、パッチングを線形応答形式内における局所ソース挿入問題として定式化する。

手法
本論文は、トランスフォーマーの残差ストリーム $R(t, x)$ を深度 - トークン格子上の場としてモデル化する連続深度場理論を開発する。ここで、層インデックス $\ell$ は深度座標 $t \in [0, T]$ に、トークンインデックスは空間座標 $x$ にそれぞれ写像される。

場論的定式化:
- ソース挿入としてのパッチング: 活性化パッチは、深度進化方程式 $\partial_t R(t, x) = F_t[R](x) + J(t, x)$ に加えられる局所ソース項 $J(t, x)$ としてモデル化される。
- 応答オブジェクト: この枠組みは、2 つの主要な応答オブジェクトを定義する。
  - 感度場 ( $a(t, x)$ ): 観測量 $y$ （例えば、ログオッズ差）を残差場に対して微分した関数微分 $a(t, x) = \delta y / \delta R(t, x)$ 。これはパッチの効果を予測する。
  - グリーン関数 ( $G(t, x; t', x')$ ): 2 点応答関数 $\delta R(t, x) / \delta R(t', x')$ であり、 $(t', x')$ における摂動が $(t, x)$ へどのように伝播するかを記述する。
- 線形応答: 局所的な線形領域において、観測量の変化は $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ によって近似される。
- 逆問題（パッチ推論）: この枠組みは、パッチ部位の推論を制約付き変分問題として再構成する。望ましい振る舞いの変化が与えられたとき、積分方程式 $\Delta R_{target} \approx \int G J$ を満たす疎なソース $J$ を求める。これは、共役場（随伴場） $\lambda(t, x)$ （これは感度場に対応する）を用いた作用原理によって解かれる。
実証的検証:
本理論は、離散的な残差ストリーム介入を用いた GPT-2 風の自己回帰トランスフォーマーでテストされる。実験では以下を測定する。
- 局所線形性と重ね合わせ: 小さな摂動が線形スケーリングを示し、組み合わせ介入の効果が線形に足し合わされることを検証する。
- 感度予測: 測定されたパッチ効果を、一次感度（自動微分勾配）から導出された予測と比較する。
- 残差伝播: 局所パッチによって誘起された下流の残差場 $\delta R$ を測定し、「グリーン応答」を特徴づける。
- 合成: 中間層を通じた伝播が、グリーン演算子の積 $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ を近似するかをテストする。
- 低次元表現: 次元削減のために、「スライスされた」グリーン演算子（固定部位間の成分レベル伝播）と感度部位スコアを分析する。
- プロンプト変位: 2 つのプロンプト間の差を局所ソースとして扱い、それが変換方向として機能するかをテストする。

主要な貢献

場論的枠組み: パッチングを局所ソース挿入として、帰属を感度場予測として、伝播を実証的グリーン関数応答として捉える形式主義を確立する。
随伴推論定式化: パッチ部位の推論を、単純な列挙を超えた制約付き再構成問題へと移行させる、随伴変分原理によって解ける逆問題として定式化する。
実証的線形応答領域: GPT-2 モデルにおいて、一次感度がパッチ効果を正確に予測し、重ね合わせが成立する、有界な局所線形領域を特定する。
構造化された伝播: 実験は、残差摂動が深度とトークン位置にわたって構造的かつ異方的に伝播し、線形化された理論と整合的な近似合成特性を示すことを実証する。
低次元記述: 高感度部位とスライスされたグリーン演算子が、本来高次元である残差応答空間の扱い可能な低次元記述を提供することを示す。
スケーリング仮説: 応答幾何学（グリーン関数の指紋）がモデルスケール間で共有されるかもしれないという理論的提案がなされる。これは、局所アンカーが使用される限り、より小さなモデルからの応答情報が、より大きなモデルの候補パッチ部位マップを定義できることを示唆する。

結果

線形性: 局所摂動は、非線形性と重ね合わせ誤差が中程度の振幅において低く（テスト範囲内で 20% 未満）、有界な線形領域を示す。
予測精度: 自動微分感度 ( $a(t, x)$ ) は、さまざまな残差部位と方向における測定されたスカラーパッチ効果を成功裏に予測し、一次近似を検証する。
伝播構造: 局所介入は、異方的に広がる構造化された下流応答場を生成する。合成テストは、摂動領域内で下流応答を再現するのに十分な情報が中間残差場に残存していることを確認する。
部位集中: 感度スコア ( $\|a(t, x)\|$ ) は非常に不均一であり、少数の層 - トークン部位に集中しており、これにより介入探索空間の削減が可能となる。
プロンプト変位: プロンプト間の差は局所変換方向として機能する。その効果は因果的感度によって予測され、後続の層で最も効果的であり、語彙内の目標回答ランクを成功裏にシフトさせることができる。

意義と主張
本論文は、介入の列挙から応答量（感度とカーネル）の推定へとパラダイムを転換させる、パッチング実験を組織化するための「実用的な言語」を提供すると主張する。線形応答の基盤を実証的に確立することにより、内部メカニズムの再構成を数学的に適切に定式化可能にする。グリーン関数は、パッチ部位と方向を特定する逆問題に対する前方演算子として機能する。

著者らは、スケーリング仮説を証明された結果というよりも将来の作業への動機として謙虚に位置づけ、それが「共有潜在応答仮説」に依存し、実行可能になるためには局所アンカー（重み、活性化、または疎なパッチ）が必要であると指摘する。主な貢献は、パッチング、トレーシング、ステアリングといった機械的解釈可能性のツールを、単一の連続深度場理論の下で統合し、測定から推論、そして潜在的にはモデルスケール間転移へと至る原理的な道筋を提供することにある。