🤖 machine learning

Scalable Circuit Learning for Interpreting Large Language Models

本論文は、大規模言語モデルにおけるスパースオートエンコーダ特徴量上の解釈可能な回路を効率的に学習し、高コストな介入ベースの手法と同等の精度を実現しつつ、計算コストのわずかな割合で効果的なドメイン汎化を可能にする、スケーラブルなスパース線形回帰手法であるCircuitLassoを導入するものである。

原著者： Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、非常に複雑で巨大な工場だと想像してみてください。この工場の中では、何百万もの小さな作業員（ニューロン）が、最終的な出力である文章や回答を生み出すために、互いにメモを渡し合っています。

長い間、科学者たちはこの工場がどのように機能しているのかを理解しようとしてきましたが、大きな問題に直面してきました。それは、作業員たちが混乱していることです。一人の作業員が、「リンゴ」という言葉、「赤」という色、そして「健康」という概念のすべてに同時に反応してしまうことがあります。一つの作業員が多くの無関係な事柄をこなしているため、どの作業員が文章のどの部分に責任を持っているのかを特定するのが困難なのです。これは、まるで、すべての職人が小麦粉、卵、そして絵筆を同時にジャグリングしているキッチンの中で、誰がケーキを焼いたのかを突き止めようとするようなものです。

新しいツール：「特徴検出器」

これを解決するために、研究者たちは**スパース・オートエンコーダ（SAE）**という特別なツールを使い始めました。これは、工場の作業員と外部の世界の間に座る「翻訳者」のようなものです。混乱した作業員を直接見る代わりに、この翻訳者は彼らの活動を、非常に具体的で単一の目的を持つ「特徴（フィーチャー）」へとグループ化します。

これにより、あらゆるものをジャグリングする作業員の代わりに、専用の「スポーツファン」特徴、「文法警察」特徴、あるいは「空腹」特徴といったものが用意されます。各々の特徴は、一つの明確な概念に対してのみ反応します。これにより、工場の内部構造がはるかに読み取りやすくなります。

問題点：膨大なデータ量

ここでの落とし穴は、これらの「特徴」は非常に明快である一方で、その数は数千にも及ぶということです。これら数千の特徴がどのように互いに通信しているかをマッピングしようとする試みは、時速1マイル（約1.6km）でしか走れない車に乗って、巨大な都市のすべての道路の地図を描こうとするようなものです。

これらの接続をマッピングするための従来の手法は、「介入（インターベンション）」を必要としていました。道路地図を知るために、一本一本の通りを物理的に封鎖してみて、何が起こるかを確認するという作業を想像してみてください。これは非常に時間がかかり、コストがかかり、巨大なモデルにおいては計算上不可能な作業です。

解決策：CircuitLasso

この論文の著者たちは、CircuitLassoと呼ばれる新しい手法を導入しています。

CircuitLassoは、一つずつ道を封鎖していくのではなく、拡大鏡と統計的なショートカット（近道）を駆使する、非常に賢い探偵のように振る舞います。それは、すでに自然に発生している交通パターン（データ）を観察し、「スパース回帰」と呼ばれる数学的手法を用いて、その接続関係を導き出します。

比喩： スープの中にどのような材料が入っているかを知りたいとします。
- 従来の方法（介入）： スープを一口味合わせてもらい、次に材料を一つ取り除いてまた味見をし、それを戻して、また別の材料を取り除いてまた味見をする……という作業を、すべてのスパイスに対して繰り返します。これでは時間がかかりすぎます。
- CircuitLasso： すべての材料のリストと最終的な味を眺め、スマートなアルゴリズムを使って、どの材料が実際に重要な役割を果たしているのかを瞬時に計算します。これは、スープをいじる必要がなく、はるかに高速です。

彼らが発見したこと

この論文は、主に3つのことを主張しています。

犠牲のないスピードアップ： CircuitLassoは、従来の「道を封鎖していく」手法よりも劇的に高速です。標準的なベンチマークテストにおいて、彼らは3倍の速さを実現しながら、全く同じレベルの精度で、正確に同じ「回路（接続のマップ）」を見つけ出しました。
より明快なストーリー： 混乱したニューロンではなく、明快で単一の目的を持つ「特徴」（「空腹」や「文法」など）を扱うため、描かれるマップは人間にとって理解しやすいものです。彼らは、「空腹」のような概念がモデルの層を通じてどのように流れ、最終的に「食べる」という行動につながるかを示す「樹形図状」の経路を発見しました。さらに、モデルが「空腹」を「自己」に関連付けているという「偽の相関（スプリアス相関）」、つまり、トレーニングデータの中でそれらの言葉が頻繁に一緒に現れるために生じた誤った接続も見つけ出しました。
実世界での有用性： 彼らは、モデルが人物の経歴から職業を推測するというタスクでテストを行いました。モデルにはバイアスがありました（例：看護師は全員女性であると想定するなど）。CircuitLassoを使用して、バイアスの原因となっている特定の「ジェンダー」特徴を特定し、除去することで、彼らはモデルの予測を修正することができました。彼らは、以前の手法よりもはるかに安価かつ迅速にこれを行い、同等またはそれ以上の結果を得ました。

結論

この論文は、AIモデルがどのように思考しているかをリバースエンジニアリングするための、効率的な新しい方法を提示しています。混乱した作業員を見るのではなく、明確で単一の目的を持つ「特徴」を見るように切り替え、力任せのテストではなく高速な数学的ショートカットを用いることで、著者たちは大規模なAIモデルの「脳」を迅速かつ明確にマッピングするツールを作り上げました。これは、AIが「何を」言っているかだけでなく、「なぜ」それを言うのか、そして間違いを犯したときにどのように修正すべきかを理解する助けとなります。

技術要約：大規模言語モデルの解釈のためのスケーラブルな回路学習

1. 問題提起

メカニスティック・インタープリタビリティ（機械論的解釈可能性）は、特定の能力を駆動する主要なコンポーネント（例：アテンション・ヘッド、ニューロン）を繋ぐコンパクトな部分グラフである「回路（circuit）」を特定することで、大規模言語モデル（LLM）の挙動の背後にある「なぜ」を明らかにすることを目指している。しかし、既存の回路学習手法は主に2つのボトルネックに直面している：

多義性（Polysemanticity）： LLMにおける生のニューロンは多義的であり、単一のニューロンが複数の無関係な概念に対して活性化する。これにより、学習された回路は高密度でノイズが多く、人間にとって解釈が困難なものになる。
スケーラビリティ（拡張性）： 疎な自己符号化器（Sparse Autoencoders; SAEs）は、活性化を高次元の単一意味的（monosemantic）な特徴へと分解することで解決策を提供するが、既存の介入ベースの回路学習手法（例：因果的トレーシング、アトリビューション・パッチング）は、SAE特徴の高次元性にスケールしない。これらの手法は、すべてのコンポーネントに対して計算コストの高い反事実的な介入（順伝播および逆伝播）を必要とするため、大規模なモデルや高次元の特徴空間に対しては実行不可能となる。

2. 手法：CircuitLasso

著者らは、コストのかかる介入ベースのパイプラインを、疎な線形回帰フレームワークに置き換えるスケーラブルな回路学習アプローチであるCircuitLassoを提案する。

コアとなる定式化

CircuitLassoは、介入を通じて因果効果を推定する代わりに、LLMの計算グラフを疎な線形構造方程式モデル（SEM）として扱う。 $N$ 個のコンポーネント（ニューロンまたはSAE特徴）と $M$ 個の観測値があるとき、本手法は以下の関係を満たす重み付き隣接行列 $A$ を探索する：
$X \approx A^\top X$
ここで、 $X$ は活性化の行列である。目標は、再構成誤差を最小化しつつ、スパース性（ $\ell_1$ ペナルティ）と非巡回性の制約を満たす有向非巡回グラフ（DAG）を学習することである：
$\hat{A} = \arg \min_{A} \|X - A^\top X\|_F^2 + \lambda \|A\|_1$

制約の処理とスケーラビリティ

非巡回性： 計算負荷の高い連続的な非巡回制約を強制する代わりに、CircuitLassoはTransformerの既知のフィードフォワード構造を利用する。これは、レイヤー $i$ がレイヤー $j < i$ にのみ依存するというブロック上三角構造を仮定するものである。これにより、問題は効率的に解くことが可能なFISTAアルゴリズムによる一連の独立したLasso（疎線形回帰）サブ問題へと変換される。
観測データ： 本手法は、観測データ（順伝播からの活性化）のみに基づいて動作するため、介入ベースの手法で必要とされる多数の順伝播および逆伝播を回避できる。
SAEとの統合： フレームワークは、SAE特徴（ $z \in \mathbb{R}^D$ , ここで $D \gg d$ ）上で直接動作するように拡張されている。これは、レイヤー間のSAE特徴の依存関係を学習し、最終レイヤーの特徴を下流の予測ターゲット（ $y$ ）に結びつけることも可能にする。

計算量分析

理論的分析（命題 3.2）は、特定のレジームにおいて、特にコンポーネントの数（ $L$ ）がシーケンス長やモデル次元に対して適度である場合、CircuitLassoが介入ベースの最先端手法（EAP-igなど）に対して保証された効率性の向上を提供することを実証している。コストは $O(M L^2 d^2)$ でスケールするが、介入手法はモデル全体を通じた追加の順伝播・逆伝播のコストに応じてスケールする。

3. 主な貢献

CircuitLassoアルゴリズム： 介入に依存するパイプラインを、観測ベースのLassoアプローチに置き換える、回路発見のための疎な回帰サロゲート。
SAEへのスケーラビリティ： 高次元で単一意味的なSAE特徴に対して効率的に回路を学習できる初のメソッドであり、従来の技術における計算上の制約を克服した。
理論的効率性： 回帰ベースのアプローチが、介入ベースのベースラインよりも証明可能なほど高速である条件を確立する形式的な分析。
実証的検証： モデルニューロンおよびSAE特徴を用いた実験により、CircuitLassoがSOTAのベースラインと同等の構造的精度を、ごくわずかな計算コストで達成することを示した。

4. 実験結果

ベンチマーク性能（モデルニューロン）

InterpBench（86の半合成Transformerと間接目的語識別タスク）を用いた評価：

精度： CircuitLasso（線形バリアント）は、平均構造ハミング距離（SHD）3.16を達成した。これは、SOTAの介入ベース手法であるEAP-ig（2.98）と統計的に区別がつかず、EAP（3.61）よりも優れた結果であった。
効率性： EAP-ig（1ケースあたり16.3秒 vs 49.1秒）よりも3.0倍速く、EAPよりも2.1倍速い。
非線形性： 非線形拡張版のCircuitLassoは、わずかな精度の向上を見せたが、実行時間は大幅に増加した。これは、線形サロゲートが依存関係の骨格を復元するのに十分であることを示唆している。

解釈可能性のケーススタディ（SAE特徴）

GPT-2 SmallおよびCoLA（言語的受容性コーパス）データセットへの適用：

単一意味的回路： 本手法は、ノードが人間が解釈可能な概念（例：「-self」、「空腹/渇き」、「句読点」）に対応するツリー状の回路を復元した。
意味の伝播： 回路は、概念がレイヤー間でどのように持続するか、どのように結合するか（複数の親から概念を統合する）、あるいはどのように消失するか（特定の入力を無視する）を明らかにした。
因果 vs 擬似相関： 学習されたグラフは、因果的な意味関係（例：「空腹」が「食べる」につながる）と、データセットのバイアスによって導入された可能性のある擬似相関（例：「-self」と「空腹」の共起）の両方を捉えた。

下流の有用性（ドメイン汎化）

Bias-in-Biosタスク（ジェンダーバイアスを緩和しながら職業を予測する）における評価：

性能： CircuitLassoは、最強の非OracleベースラインであるSHIFTと同等、あるいは場合によってはわずかに優れた職業予測精度を達成しつつ、ジェンダー漏洩を理想的な50%付近に維持した。
効率性： 表1に示すように、CircuitLassoはSHIFTよりも大幅に少ない特徴量を必要とし、実行時間も大幅に短縮された。Gemma-2-9Bモデルにおいて、CircuitLassoは107.4秒かかったのに対し、SHIFTは908.4秒を要した。

5. 意義と主張

本論文は、CircuitLassoがメカニスティック・インタープリタビリティにおけるスケーラビリティのボトルネックを解決することに成功したと主張している。その主な意義は、**「精度のパラリティ（同等性）を保った効率化」**にある：

最も厳密な介入ベースの手法と同等の精度で構造的回路を復元しながら、計算コストを大幅に削減している。
単一意味的なSAE特徴を用いた回路分析を可能にし、LLM内で意味的概念がどのように伝播するかについて、より明確で人間が解釈可能な説明を提供する。
これらの回路から得られる知見は実用的であり、既存の手法よりもはるかに低いコストで、効果的なドメイン汎化やバイアス緩和タスクを可能にする。

著者らは、学習された重性の性質については謙虚な姿勢を保っており、線形係数は基礎となる非線形計算の正確な因果効果ではなく、依存関係の骨格を表していると述べている。彼らは、この手法を、どのコンポーネントが他のコンポーネントに影響を与えるかを効果的に特定するための、一次近似的なサロゲートとして捉えている。