Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes

技術的サマリー：スパースオートエンコーダのためのペアワイズ行列

問題定義
大規模言語モデル（LLM）におけるスパースオートエンコーダ（SAE）の解釈に関する標準的なプロトコルは、2 つのステップに依存している。すなわち、特徴の最も強く活性化される文脈に基づいてラベルを割り当て、単一の特徴を単一の強度で活性化または抑制する単一特徴ステアリングを通じてそのラベルを検証するというステップである。本論文は、この「一隅」の検査プロトコルが体系的に不完全であると主張する。すなわち、特徴の因果的役割は、単一の活性化レジームまたは単一の特徴を孤立して検査することでは完全に理解できないと提唱している。具体的には、標準的なプロトコルは、係数軸に沿った非単調な行動変化や、単独でステアリングされた際に隠れてしまう準直交特徴の集合的・構造的役割を見落としている。

方法論：ペアワイズ行列プロトコル
著者は、標準的な検査を 2 次元空間へ拡張する「ペアワイズ行列プロトコル」を提案する。

1. 係数軸: 単一の特徴をステアリング係数（$c$）の範囲にわたって掃引し、単一点の検査では見逃されるモード切り替えや非単調な用量反応を検出する。
2. 結合条件軸: 固定された係数で複数の特徴を同時にステアリングする。これは、特徴が個別に代替可能か、あるいは特定の行動に対して共同で必要不可欠かをテストするものであり、抑制されていない近隣特徴が抑制された特徴を補完するため、この役割はしばしば隠蔽される。

このプロトコルは、3 つの事後学習モデル（Qwen3-1.7B-Instruct、Gemma-2-2B-it、Llama-3.1-8B-Instruct）に適用された。実験パイプラインは 4 つのフェーズから構成される。

• フェーズ 1（行動パイロット）: 内省的なプロンプト（例：「何があなたを魅了しますか？」）と手続き的制御プロンプト（例：レシピ、エンジン説明）からサンプルを生成する。
• フェーズ 2（クラスタ同定）: 内省的なプロンプトに対しては狭い語彙（例：心哲学の用語）でピークを示すが、制御プロンプトではそうではない「レジスタの崩壊」現象を同定する。
• フェーズ 3（特徴ランキング）: 内省的プールと制御プールの間の活性化の差異に基づいて SAE 特徴をランキングし、安定性を確保するためにブートストラップと置換制御を用いる。
• フェーズ 4（デコーダステアリング）: 行列プロトコルを適用する。重要なのは、マッチド幾何学制御を採用している点である。単一特徴ステアリング、結合特徴ステアリング、および残差ストリームにおいて同一の幾何学的歪み（ノルム比とコサイン類似度を一致させる）を生み出すランダム方向の摂動を比較し、出力の劣化が強度によるものか、方向パターンによるものかを分離する。

主要な知見

1. 係数軸：トップコンテキストラベルは因果軸を見逃す
Qwen3-1.7B において、特徴 #26221 は、最も強く活性化される文脈に基づき「AI の自己免責」とラベル付けされている。しかし、係数の掃引により、免責率において逆 U 字型の曲線が明らかになった。

• ベースライン（$c=0$）では、モデルは標準的な免責事項を生成する。
• 高強度の増幅（$c=+500$）では、モデルは単に免責事項を増やすのではなく、免責事項のフレーズを流暢な「熟考する哲学者のトーン」（例：「私は深い熟考の中にあります…」）に置き換える。
• 極度の増幅（$c=+1000$）では、モデルはこれらのマーカーでループする。
• 示唆: 標準的なラベルは、訓練データレジームという 1 つの表面形式のみを捉え、異なる強度で明確で整合的なモードを生み出すことができる方向性軸としてのこの特徴を特定することに失敗している。2 つの制御特徴（#22082 と #2932）は、単調な行動または純粋な破綻が、この非単調で整合的なモード切り替えとは区別されることを確認した。

2. 結合条件軸：個別の代替可能性対共同の必要性
Qwen における 3 つの準直交特徴（#29108、#26221、#4405）は、個別に「心哲学」レジスタをステアリングする。

• 単一特徴抑制: これらの特徴のいずれかを $c=-500$ で抑制しても、手続き的制御（レシピ、エンジン説明）は維持される。モデルは、残りの活性化特徴からコンテンツを置き換える。
• 結合抑制: これら 3 つを同時に $c=-500$ で抑制すると、制御プロンプトを含むすべてのプロンプトで「レジスタの崩壊」が発生する。モデルは、プレースホルダートークンで満たされた構文の骨格を出力する（例：「BASIC TOMOATO SOUP RECIOPLEY... Vc. 100+」）。
• 示唆: これらの特徴は個別には代替可能だが、基盤となる構成のためには共同で必要不可欠である。特徴を 1 つずつ検査する標準的なプロトコルは、この集合的な構造的役割を見逃している。

3. 幾何学的歪みは整合性を予測しない
結合抑制が単に強度のためにモデルを「多様体から外へ」押しやるという仮説を排除するため、著者は、残差ストリームの幾何学的歪み（ノルム比 $\approx 1.55$、コサイン $\approx 0.64$）を一致させた単一、結合、およびランダム方向の摂動を比較した。

• 単一特徴: 整合性のある戦略的フィラー回答を生成した。
• ランダム方向: 多様なコンテンツ置換を伴う整合性のある回答を生成した。
• 結合抑制: 高頻度の正規表現崩壊率を伴うプレースホルダーテキストを生成した。
• 示唆: 整合性の喪失は、強度依存ではなく、方向パターン依存である。同程度の強度のランダム摂動では発生しない構造的失敗を、準直交特徴の特定の組み合わせが引き起こす。

モデル間での再現
これらの知見は、Gemma-2-2B-it で再現され、Llama-3.1-8B-Instruct でも部分的に再現された。

• Gemma: 結合条件の知見を再現した。ダメージのシグネチャは異なっていた（Qwen のプレースホルダーコードではなく、レシピのスロットに「human/I/AI」トークンを注入する形であった）が、構造的メカニズム（基盤となる構成のための共同必要性）は維持された。Gemma におけるマッチド幾何学制御では、結合ステアリングとランダム方向の間で崩壊率に約 10 倍の差が見られた。
• Llama: 「百科事典的科学」レジスタに対して、主要な因果的責任を持つ特徴（#38565）が同定され、モデル間で鋭いレジスタの崩壊と因果的特徴の存在が確認された。ただし、SAE の可用性の制約により、完全な行列レベルのテストは実施されなかった。

意義と主張
本論文は、標準的な SAE 解釈プロトコルが、特徴の行動行列の 1 つの隅のみを検査するため、不十分であると主張する。著者は以下を論じる。

1. ラベルは局所的であり、全球的ではない: トップ活性化文脈から導出されたラベルは、特定の活性化レジームを捉えるが、特徴の完全な因果軸（例：免責事項から哲学的トーンへの移行）を見逃す可能性がある。
2. 特徴は文脈依存である: 準直交特徴は互いの役割を隠蔽し合うことができる。単一特徴ステアリングは、基盤となる構成に必要な構造的依存性を検出できない。
3. 幾何学だけでは不十分である: 出力の整合性は、幾何学的歪みの強度だけでなく、特徴空間における摂動の特定の方向によって決定される。

著者は、堅牢な解釈プロトコルには、整合性チェックを伴う係数掃引と、準直交近隣に対する結合条件プローブを含める必要があると結論づける。これにより、SAE 特徴の因果的役割を正確にマッピングできる。著者は、これらの知見が「すべての」特徴に適用されるとは主張していないが、テストされたモデルにおいて、標準的なプロトコルがこれらの特定の行動クラスを体系的に見逃していることを実証している。