技術要約：重みスパースなトランスフォーマーにおける個別のパラメータは解釈可能であるように見える

問題提起

メカニスティック・インタープリタビリティ（機械論的解釈可能性）の中心的な目標は、ニューラルネットワーク内の個々のコンポーネントの機能を理解することである。回路探索（circuit finding）のような主要なアプローチは、関連する特定のサブ分布に基づく重みを逆向きに解析するものである。しかし、既存の文献は、個々の重みがしばしば複数の回路に参加し、入力分布の様々な部分集合に対して異なる寄与をしていることを示唆している。

標準的な高密度（dense）トランスフォーマーにおいて、個々の重みをグローバルに理解することは、**重ね合わせ（superposition）**によって阻害される。すなわち、重みの基底がネットワークのパラメータにとって解釈可能な基底になっていないのである。本論文では、重みスパース（weight-sparse）トランスフォーマー（多くの重みをゼロにするよう強制して訓練されたモデル）が、グローバルな解釈可能性のための扱いやすいテストベッドを提供できるかどうかを調査する。核心となる問いは、「単一の非ゼロの重みを、それが重要となる特定の入力を特徴付けることによって、全訓練分布にわたってグローバルに理解できるか？」という点である。

手法

著者らは、特定の重みがいつ活性化するかについて、人間が読める記述を生成および検証するために設計された、自動化されたLLMベースのパイプラインを導入している。このパイプラインは3つのステージで構成される：

1. 重要度の位置の計算：

   • ターゲットとなる重み $w$ に対して、モデルを通常通り実行した場合と、$w$ をアブレーション（ゼロに設定）した場合の両方でコーパスを実行する。
   • 元のモデルとアブレーションされたモデルの間の、位置ごとのカルバック・ライブラー（KL）ダイバージェンスを計算する。
   • 累積KLダイバージェンスが最も高い位置（上位90%）を「重要度の位置（importance location）」として特定する。ここで、その重みが最も大きな影響を与える。

2. 候補述語（Candidate Predicates）の生成：

   • 重要度の位置の周囲のトークンコンテキストをLLMに渡す。
   • LLMは、これらのコンテキストの共通性を記述する、$\text{tokens}, \text{pos} \to \text{bool}$ という形式の $N$ 個の候補Python関数（述語）を生成するようにプロンプトされる。
   • プロンプトは、コードの優雅さよりも、影響を受けたコンテキストのカバー率を重視するように指示される。

3. スコアリングと検証：

   • 候補は、保持されたコーパス（LLMが一度も見たことのないテキスト）を用いた**条件付きゼロ・アブレーション（conditional-zero ablation）**テストを用いてスコアリングされる。
   • 回復（Recovery）： 述語が真である場合にのみ重みを再有効化したときに、アブレーションの効果がどの程度回復するかを測定する。
   • 逆転（Inverse）： 述語が偽である場合にのみ重みを有効化したときの効果を測定する（過度に広範な述語を防ぐため）。
   • カバレッジ・ゲート（Coverage Gate）： 述語は、少なくとも1つの位置で発火し、かつコーパスの50%以下である場合（$0 < p(f) \leq 0.5$）にのみ有効とされる。
   • 解釈可能性スコア（Interpretability Score）： $\min(\text{recovery}, 1 - \text{inverse})$ として定義される。ある重みが、最良の候補が閾値（例：$T=0.75$）を超え、かつカバレッジ・ゲートを通過する場合に、「解釈可能」であるとみなされる。
   • 堅牢性（Robustness）： 一般化を確実にするため、最良の述語を $K=10$ 個の互いに素な保持スライスに対して再スコアリングする。ある重みが「堅牢に解釈可能（robustly interpretable）」とカウントされるのは、これらスライスにおける平均スコアが信頼性を持って閾値を超えた場合のみである。

実験設定

パイプラインは以下の4つのモデルで評価された：

• スパースモデル：
  • Gao et al. (2025)：Pythonコードを用いて訓練された、重みスパースなコーディング・トランスフォーマー（約99%のスパース性）。
  • Drori (2026)：SimpleStoriesコーパスを用いて訓練された、スパースとデンスのペア（スパースコアにおいて約98%のスパース性）。
• デンス・コントロール：
  • Drori (2026) Dense：スパースモデルの対照となる、スパース制約のないモデル。
  • Pythia-70m：The Pileで訓練された、標準的なデンス事前学習済みモデル。

主な結果

1. スパースモデルは有意に解釈性が高い

単一の短く汎用的な記述を許容する非ゼロ重みの割合は、デンスモデルよりもスパースなトランスフォーマーにおいて大幅に高い。

• 堅牢な解釈可能性率：
  • Gao et al. (2025) Sparse: 約15.0% の非ゼロ重み。
  • Drori (2026) Sparse: 約9.6% の非ゼロ重み。
  • Drori (2026) Dense: 約1.5% の非ゼロ重み。
  • Pythia-70m: 約0.4% の非ゼロ重み。
• 信頼できない記述（保持データで失敗するもの）を破棄すると、その差はさらに拡大する。

2. スコアの安定性

スパースモデルにおいて、重みの解釈可能性スコアは、テストに使用された特定のコーパススライスによるアーティファクトではなく、重み自体の安定した特性である。

• 信頼性： スパースモデルでは、異なる保持スライス間でのスコアの分散の約85〜90%が、重み間の実際の差異を反映している。
• デンスの不安定性： デンスモデル（特にPythia-70m）では、スコアの分散の約47%しか安定しておらず、残りはサンプリングノイズである。これは、デンスモデルにおける見かけ上の解釈可能性が、グローバルな重み関数を捉えているのではなく、特定の訓練スライスにおける表面的なパターンに過学習していることに起因することを示唆している。

3. 述語の性質

LLMが生成した述語は、一般に短く局所的である：

• 最も一般的な形式：単一トークンのルックアップ（例：「トークンが数字である」、「トークンが {th, ode, b} の集合に含まれる」）。
• 二次的な形式：隣接する要素のテスト（例：「前の単語が -ed で終わる」）。
• 述語が長いプロンプトの状態を保持したり、2〜3個の隣接トークンを超えて広がったりすることは稀である。

4. ケーススタディ

• 数字検出： Gao スパースモデルにおける、数値トークンに反応するニューロンは、個別に解釈可能な9つの重みに分解され、それぞれが特定の桁数（1桁、2桁など）をゲート制御している。
• 発話動詞： Drori スパースモデルにおける、活性化レベルでは「発話動詞検出器」として機能するニューロンは、重みレベルでは5つの並行した機能的役割に分解される：発話動詞活性化器、精神動詞抑制器、助動詞抑制器、句読点ゲート、および特定トークンゲート。

意義と主張

本論文は、重みスパースなトランスフォーマーにおける重みの意味のある割合（12〜31%）が、訓練分布に汎化する単一の短い記述によって個別に解釈可能であると主張している。これは、デンスモデルにおいてそのようなグローバルな解釈可能性がほぼ存在しない（0〜3%）こととは対照的である。

著者らは、本研究をニューラルネットワークが実装している「アルゴリズム」を理解するためのステップとして位置づけている。スパースな訓練が、生き残った重みをコンパクトで読み取り可能な回路へと組織化することを実証することで、本論文は、重みスパースなトランスフォーマーが、個別のパラメータに対する解釈可能性パイプラインを開発するための自然なテストベッドとなることを示唆している。著者らは、デンスモデルに対して解釈可能な基底が特定されれば、これらのパイプラインをフロンティア規模の言語モデルにも適用できる可能性があると述べている。

限界

著者らは以下の限界を明示的に述べている：

• 説明の範囲： この手法は、重みが「いつ」活性化するかを特定するものであり、「何」を計算しているかを特定するものではない。
• 言語の制約： （トークンコンテキストに対するPython関数という）述語言語は、意味的な特徴（例：「人物に言及している」）や、複数のトークンにまたがる複雑な状態を持つ構造を表現できない。そのような構造に依存する重みは、明確な機能的役割があったとしても「解釈不可能」として分類される。
• 分布シフト： 保持されたコーパスは事前学習と同じ分布から抽出されており、分布シフトに対する生存性はテストされていない。
• 下限値： 報告されている数値は、現在の述語言語の表現力による制約を受けた、この手法が見つけられる数値の下限値である。