技術的概要：トランスフォーマー表現の因果的次元性

問題定義

スパースオートエンコーダ（SAE）は、トランスフォーマーの残差ストリームを解釈可能で単義的な特徴辞書に分解するための標準的なツールとなっている。この分野における支配的な仮説は、表現容量（任意の入力に対して発火する特徴の数）が、モデルの動作を実際に変化させる特徴の数である因果容量と線形に比例してスケーリングするというものである。もしこれが真であれば、SAE の幅を単に増やすことで、機械的解釈可能性のために利用可能な因果的に関連する特徴の集合が比例的に拡大することになる。

本論文はこの仮説に異議を唱え、SAE がスケーリングするにつれて表現容量と因果容量が著しく乖離することを主張する。著者らは、SAE の幅と因果的影響力の関係に対する体系的な特徴付けが分野に欠けていると指摘し、トランスフォーマー層の内在的な因果構造を定量化するための新たな指標を必要としている。

手法

1. 因果的次元性 ($\kappa$) の定義

著者らは、層 $L$ における期待ヤコビアン外積の有効ランクとして定義される因果的次元性 $\kappa(L, M, T)$ を導入する：
$$\kappa(L, M, T) = \text{eff-rank}(\Sigma_L), \quad \text{where } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$$
ここで、$J_L(x)$ は層 $L$ における残差ストリームに対するモデル出力のヤコビアンである。$\kappa$ は、出力に因果的に影響を与える残差ストリーム内の方向の実効数を表す。著者らは、$\kappa \le \min(d, |V|)$ であることを証明しており、ここで $d$ はモデル次元、$|V|$ は語彙サイズである。

2. SAE 幅スウィープとアトリビューションパッチングによる推定

$\Sigma_L$ を正確に計算することは（入力あたり $d$ 回のバックワードパスを必要とするため）非現実的であるため、著者らはアトリビューションパッチング（AtP）とSAE 幅スウィープを組み合わせた一貫した推定量を提案する：

• アトリビューションパッチング: 因果的影響力の第一近似として使用される。特徴 $i$ のスコアは $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$ であり、損失に対する特徴の影響を測定する。
• 幅スウィープ: 著者らは、16,384 から 1,048,576 までの 7 つの幅にわたって、Gemma-2-2B（層 12）上で SAE を訓練した。
• 指標: 基準幅における AtP スコアの 98 パーセンタイルに設定された較正された絶対閾値 $\epsilon$ を超える特徴の数 $N_{causal}(m)$ を数える。
• 一貫性: 張り、忠実性、および死んだ特徴の不存在という仮定の下で、$N_{causal}(m)$ は $\kappa$ の下限となるスペクトル数に収束する。

3. 実験的統制

本研究は、因果信号を分離するために厳格な統制を適用する：

• 一致させた $\ell_0$: 幅全体での平均発火特徴数を統制し、スパース性のドリフトによる交絡を防ぐ。
• スケール不変性: 一致させた相対深度において、Gemma-2-2B と Gemma-2-9B を比較する。
• アーキテクチャ不変性: TopK、JumpReLU、および標準的な ReLU SAE をテストする。
• アブレーション: 特徴選択とスパース性フィルタリングを区別するための 4 セルエンコーダ/デコーダアブレーション。
• 合成真値: トイモデルにおいて既知の因果方向の回復をテストする。

主要な結果

1. 表現 - 因果のくさび

Gemma-2-2B の層 12 において、SAE の幅を64 倍（16k から 1M）に増やすと、以下の結果が得られた：

• 表現の成長: 発火する特徴の数（$N_{repr}$）は15.6 倍増加した。
• 因果の成長: 因果的に活性な特徴の数（$N_{causal}$）はわずか4.35 倍増加した。
  この乖離は表現 - 因果のくさびと呼ばれ、表現容量は線形に成長する一方で、因果容量は亜線形に飽和することを示している。

2. $\kappa$ の推定

$N_{causal}(m)$ の軌跡に飽和曲線を当てはめることで、推定される因果的次元性が得られる：

• $\hat{\kappa} \approx 1,990$（SAE 幅のハードウェア制限により広い信頼区間を持つが、比率は堅牢である）。
• $\hat{\kappa} / d_{model} \approx 0.86$: モデルは汎用的なテキストにおいて、ほぼすべての表現次元を因果的に利用しているが、この数は有界であり、SAE 幅とともに成長しない。
• 参加比率: 下限 $\kappa_{PR} \approx 280$ は、因果的影響力の重い裾を持つスペクトルを示している。

3. 不変性と構造

• スケール不変性: パラメータ数が3.46 倍増加したにもかかわらず（Gemma-2-2B 対 9B）、一致させた相対深度における因果的数は同一であった（$N_{causal} = 328$）。これは、$\kappa$ がパラメータ数ではなく、タスクの多様性によって決定されることを示唆している。
• 深度による減衰: 8 層にわたって、上位 2% の特徴を特定するために必要な絶対アトリビューション閾値は、層 1 から層 23 にかけて20 倍低下し、因果信号の強度が深度とともに減衰することを示している。
• アーキテクチャ不変性: $N_{causal}$ の亜線形成長は、TopK、JumpReLU、および標準的な ReLU アーキテクチャ全体で維持された。

4. 機械的洞察：フィルタとしてのエンコーダ

4 セルアブレーションからの重要な発見は、訓練されたエンコーダをランダムな直交射影に置き換えると、$N_{causal}$ が9.27 倍に膨張したというものである。

• 含意: 訓練されたエンコーダは、特定の特徴の選択者というよりも、主にスパース性フィルタ（背景特徴を抑制する）として機能する。
• 帰結: エンコーダ特徴ラベルに焦点を当てた解釈可能性の作業は誤った方向に向いている可能性がある。抑制された特徴のデコーダ構造とルーティングの方が、より重要である可能性が高い。

5. 検証と統制

• 幾何的特権: 因果特徴は、デコーダ空間において、非因果特徴と幾何学的な区別（大きさやコサイン類似度）を示さなかった。
• 合成回復: トイモデルにおいて、AtP は真の因果方向を回復することに失敗した（Recall = 0）。これは、AtP が因果基底の直接的な回復ではなく、デコーダを介してルーティングされる活性化パターンを測定していることを確認する。
• タスク固有の回復: 特定のタスク回路（Marks ら、2025）において、上位 5% の AtP 特徴は、真値の 98.2% を回復し、高 AtP コアがタスク間で共有され、その周囲にタスク固有のハローが存在する「層状構造」を支持した。

意義と主張

本論文は、$\kappa$ をトランスフォーマー層の測定可能でモデル固有の性質として確立する。その主な貢献は以下の通りである：

1. 理論的定義: 因果的ヤコビアンの有効ランクとして因果的次元性を定義し、その上限を証明する。
2. 経験的特徴付け: 因果容量が SAE 幅によって亜線形的に回復可能であり、モデルのスケーリングに対して不変であることを実証し、より広い SAE が線形的に因果的解釈可能性を拡大するという仮説に反する。
3. 機械的再構成: 訓練されたエンコーダをスパース性フィルタとして特定し、「因果的集合」は特定概念の選択ではなく、エンコーダによるノイズの抑制によって定義されることを示唆する。
4. 実践的含意: 現在の SAE 幅（例：1M）は、推定される因果的次元（$\hat{\kappa}$）の約 72% しか捉えておらず、完全な因果列挙のためには、現在計算的に禁止されている大幅に広い SAE（約 2.6M）が必要であることを示唆している。

著者らは、「くさび」が因果部分空間次元の飽和によって駆動されるトランスフォーマー表現の根本的な性質であり、解釈可能性の取り組みはこの非線形スケーリングと、背景特徴をフィルタリングするエンコーダの特定の役割を考慮しなければならないと結論付けている。