Constructing Interpretable Features from Compositional Neuron Groups

技術的概要：構成性ニューロン群からの解釈可能な特徴の構築

問題定義
機械的解釈可能性における中心的な課題は、大規模言語モデル（LLM）の出力を因果的に説明する適切な分析単位を特定することである。初期の研究は個々のニューロンに焦点を当てていたが、ニューロンはしばしば複数の概念を符号化する（多義性）という証拠により、活性化空間内の方向性を分析する方向へシフトする動機が生まれた。現在の教師なしアプローチは、残差ストリーム活性化に基づいて学習されたスパースオートエンコーダー（SAE）に依存し、ゼロから特徴方向を学習する。しかし、SAE には重大な限界が存在する：因果的評価（ステアリング）において困難に直面することが多く、学習された特徴がモデルの内部計算と明示的に関連付けられていないため本質的な解釈可能性に欠け、さらにその特徴がモデルの表現空間に制約されていない。モデルのメカニズムとの直接的な因果的リンクを維持しつつ、教師なしで解釈可能な特徴を発見する方法が必要とされている。

手法
著者は、マルチレイヤーパーセプトロン（MLP）の活性化を直接**セミ非負行列分解（SNMF）**を用いて分解することを提案する。ゼロから新しい方向を学習する SAE と異なり、この手法は特徴を、MLP 内で共活性化している既存のニューロン群のスパースな線形結合として表現する。

1. 定式化: MLP 活性化の行列 $A \in \mathbb{R}^{d_a \times n}$（ここで $d_a$ は内部次元、$n$ はトークン数）が与えられたとき、この手法は $A$ を 2 つの行列に分解する：

   • $Z \in \mathbb{R}^{d_a \times k}$: $k$ 個の MLP 特徴の行列。各列はニューロンのスパースな線形結合を定義する。
   • $Y \in \mathbb{R}^{k \times n}_{\geq 0}$: 入力を特徴にマッピングする非負の係数行列。
     分解は $A \approx ZY$ に従う。

2. 解釈可能性メカニズム:

   • スパース性: $Z$ の列は、ハードなウィナーテイクオール演算子を用いてスパースに制約され、各特徴がニューロンの小さな部分集合のみを活性化することを保証する。
   • 因果的グラウンディング: 非負行列 $Y$ は、どのトークンが特徴の生成に寄与したかを明示的に符号化し、高活性化コンテキストに基づいてテキスト概念ラベルを直接割り当てることを可能にする。
   • 残差ストリームへのマッピング: 活性化空間内の各特徴ベクトル $z_i$ は、MLP 出力重み（$W_V$）を介して残差ストリームにマッピングされ、残差ストリーム特徴 $f_i = W_V z_i$ を定義する。これにより、特徴がモデルの実際の計算経路にグラウンディングされることを保証する。

3. 最適化: この手法は、$A$ と $ZY$ の間のフロベニウスノルムを最小化するために乗法的更新（Ding et al., 2010）を使用し、$Z$ に対してスパース性を強制する。

主要な貢献

• MLP 分解のための SNMF: 本論文は、ゼロから任意の方向を学習するのではなく、共活性化ニューロン群によって定義される解釈可能な特徴へと MLP 活性化を分解する教師なし手法を導入する。
• 因果的ステアリングの優位性: 著者は、SNMF 由来の特徴が、因果的ステアリングタスクにおいて最先端の SAE（GemmaScope, Llamascope）および強力な教師ありベースライン（Difference-in-Means）を上回ることを実証し、概念検出においては同等の性能を発揮することを示した。
• 階層的構成の解明: 再帰的 SNMF を通じて、著者は MLP 特徴が構成的であることを示した。微細な概念（例：特定の曜日）は、共有される「コア」ニューロンと排他的なニューロンを組み合わせることで形成される。これは、より広範な概念（例：「曜日」）がより具体的なサブ概念から構成される階層構造を明らかにし、SAE でしばしば観察される「特徴の分裂」現象を実質的に逆転させる。
• ニューロンの再利用: 分析により、意味的に関連する特徴がコアとなるニューロン群を共有し、排他的なニューロンが特定のサブ概念の促進または抑制を制御することが確認された。

結果
実験はLlama 3.1-8B、Gemma 2-2B、およびGPT-2 Smallで行われた。

• 概念検出: SNMF 特徴は、特徴の大部分（>75%）で正の検出スコアを達成し、概念関連入力に対して活性化し、中立入力に対しては非活性化のままであることを示した。性能は MLP 出力上で学習された SAE と同等か、それを上回った。
• 概念ステアリング: 因果的ステアリング評価（流暢性を維持しつつモデル生成を特定概念へ誘導する能力を測定）において、SNMF はすべての層で SAE を一貫して上回った。また、教師ありの Difference-in-Means ベースラインと頻繁に同等かそれ以上の性能を示した。
• 階層分析: SNMF の再帰的適用は、「月曜日」「火曜日」などの微細な特徴を「曜日」「週末」などの高次概念に成功裏に統合した。因果的介入により、「コア」ニューロンを増幅すると関連するすべてのトークンが促進され、「排他的」ニューロンを増幅すると特定のトークンが促進され他のトークンが抑制されることが確認された。

意義と主張
本論文は、SNMF が LLM における解釈可能な特徴を特定するためのシンプルかつ効果的なツールを提供すると主張する。MLP 活性化を直接分解することで、この手法は特徴をその形成に関与する特定のモデルコンポーネントに結びつける。結果は、MLP が解釈可能なニューロン群から構成される加法的更新を通じて動作することを示唆している。この研究は、SNMF を SAE の実用的な代替手段として位置づけ、教師なしを必要とせずに、より優れた因果的パフォーマンスと本質的な解釈可能性を提供する。さらに、階層的なニューロン構成の発見は、LLM が再利用可能な神経ブロックから複雑な概念を構築する方法を理解するための新たな視点を提供し、単一概念符号化を超えたニューロンの機能的役割を拡張する。

著者は、現在の研究が特徴数 $k < 500$ に焦点を当てていること、および評価に LLM をジャッジとして依存していること（ただし人間の判断との強い一致を報告）という限界を認めている。今後の研究として、より大きな $k$ 値へのスケーリングや、最適化のための射影勾配降下法の活用が提案されている。