Measuring Semantic Abstractness of SAE Features via Nonlocality

技術要約：非局所性によるSAE特徴量の意味的抽象度の測定

問題提起
スパース・オートエンコーダ（SAE）は、推論やジェイルブレイク（脱獄）といった大規模言語モデル（LLM）の振る舞いを、因果的に有効な特徴量を分離することで解明するための主要なツールとなっている。しかし、真に高レベルな意味的特徴量と、表面的なトークン駆動型特徴量（例：特定の語彙的キューやフォーマットのパターン）を区別するという点において、依然として重大なギャップが存在する。キーワードによるフィルタリング、対照的なデータセット、あるいはLLMによる自動解釈といった現在の特徴量選択手法は、特徴量の抽象レベルを解決できないことが多い。その結果、介入による行動制御（ステアリング）が成功したとしても、必ずしも基礎となる計算のメカニズム的な理解を意味するわけではない。ある特徴量は、「不確実性」のような複雑な概念を表しているのではなく、単に特定のトークン（例：「Wait」）の出現確率を高めているだけかもしれない可能性がある。したがって、SAE特徴量の「メカニズム的な複雑さ」または「意味的抽象度」を定量化するための、LLMに依存しないラベルフリーの指標が必要とされている。

手法：特徴量の非局所性（Feature Nonlocality: FNL）
著者らは、特徴量のコンテキストへの到達範囲（contextual reach）の定量的証拠として、**特徴量の非局所性（FNL）**を導入する。ホログラフィック双対性に着想を得たFNLは、トランスフォーマーのトークン列を「時間の進化」として扱い、この時間空間における特徴量の活性化の「位置」を測定する。

指標は以下のように定義される：

1. 位置ごとの影響度： プロンプト $P$ の最終トークン位置 $T$ で活性化している特定のSAE特徴量 $a$ について、著者らは、すべての先行する位置 $t$ ($1 \le t \le T$) における入力埋め込みに対する特徴量の活性化の二乗勾配ノルムを計算する。これは、特徴量の活性化が特定の入力トークンにどの程度依存しているかを測定するものである。
   $$J_a(t, T, P) := \left\| \frac{\partial z_a(T, P)}{\partial x_t} \right\|_2^2$$
2. 確率分布： これらの影響度スコアを正規化し、プレフィックス（接頭辞）の位置に関する確率分布 $p_a^{(P)}(t)$ を形成する。
3. エントロピー計算： 非局所性 $H(a, P)$ は、この分布のシャノン・エントロピーとして定義される。
   $$H(a, P) := -\sum_{t=1}^T p_a^{(P)}(t) \log_2 p_a^{(P)}(t)$$
4. 集計： データセットレベルのFNLスコア $H(a, D)$ は、一連の活性化イベントにおけるエントロピーの平均によって得られる。

直感的には、低いFNLは、特徴量の活性化が局所的かつ特定のトークンによって駆動されていること（低エントロピー、集中した影響）を示し、高いFNLは、特徴量がコンテキストウィンドウ全体にわたって情報を統合していること（高エントロピー、拡散した影響）を示す。

主な貢献

1. FNLの定義： 本論文は、SAE特徴量の典型的なコンテキスト到達範囲を特徴付けるための、ラベルフリーかつ勾配ベースの指標としてFNLを提案する。
2. 安定性と幾何学的性質の検証： 著者らは、FNLのランキングが異なるデータセット（WikiText, GSM8K, Code-Python）およびモデルの深さに対して安定していることを示す。また、FNLが特徴量の幾何学的構造と相関しており、類似したデコーダベクトル（類似した書き込み側関数）を持つ特徴量は、類似した非局所性の範囲を共有することも示している。
3. 意味的抽象度との相関： FNLは、以下の2つの独立したプロキシ（代理）指標に対して抽象度を検証している：
   • トークン注入感受性： 高FNL特徴量は、孤立したトークンの注入によってトリガーされる感受性（偽陽性）が低く、これによりトークン駆動型特徴量と区別される。
   • 言い換え不変性： 高FNL特徴量は、意味を保持する言い換えに対して高い堅牢性（偽陰性の低さ）を示す。
4. ダウンストリームへの応用：
   • ジェイルブレイク緩和監査： 著者らは、ラッパー型のジェイルブレイクを緩和するために使用された特徴量を再分析した。その結果、最も効果的な特徴量は、内容を認識しているのではなく、ほぼゼロに近いFNLを持ち、シーケンスの開始位置でほぼ排他的に活性化している（位置インジケーターである）ことが判明した。これは、現在の緩和メカニズムが、意味的な意図ではなく、表面的なアーティファクトに依存していることを示唆している。
   • 推論ステアリング： DeepSeek-R1-Distill-Llama-8Bを用いた概念実証実験において、高FNL特徴量のステアリングは、未ステアリングのベースラインと比較してMATH-500の精度を4.6ポイント向上させ、低FNL特徴量やランダムなベースラインを上回った。

結果

• 相関指標： FNLは、トークン注入のリカバリに対して有意な負の相関（$\rho \approx -0.46$）を示し、言い換えの堅牢性に対して正の相関（$\rho \approx 0.27$）を示した。
• 識別能力： FNLは、ランダムに抽出されたペアにおいて、コンテキスト依存型特徴量とトークン駆動型特徴量を73〜84%の精度（AUC 0.73–0.84）で判別することに成功した。
• ジェイルブレイクの知見： 25個のジェイルブレイク緩和特徴レットの監査において、21個が位置的（FNLが0）であると特定された。これらの位置的特徴量のステアリングが防御向上の大部分を占めており、一方で、4つのコンテンツ認識型特徴量のステアリングによる利得は無視できる程度であった。
• ステアリング性能： DeepSeek-R1-Distill-Llama-8Bにおける高FNLステアリングは、未ステアリングのベースラインが0.865であったのに対し、0.911（avg@4）のMATH-500精度を達成した。ただし、著者らはこの利得がモデル依存であることを注記しており、他のモデル（Gemma-2-9B, Qwen3-8B）では、高FNLステアリングが一貫してベースラインを上回ることはなかった。

意義と主張
本論文は、FNLが、特徴量の抽象レベルを示すLLMに依存しない、ラベルフリーの相関的な証拠を提供すると結論付けている。FNLは、あらゆる文脈におけるステアリングの有用性を完全に予測する完璧な予測器であると主張しているのではなく、表面的な語彙的トリガーと、真の高レベルな計算を区別するための、必要な診断ツールを提供すると主張している。

著者らは、ステアリングの有用性が「制御」を検証するものであるのに対し、FNLは、その特徴量が複雑な意味的概念を表しているのか、それとも単純な位置的キューなのかを明らかにすることで、「理解」を検証するのに役立つことを強調している。この区別は、LLMの振る舞いに関する微細なメカニズム的説明を構築し、表面的なアーティファクトではなく、真の意図認識を対象とした、より効果的な安全対策を設計する上で極めて重要である。本研究は、高非局所性が有用性を保証するものではないという留保事項はあるものの、より詳細なメカニズム的解釈可能性への一歩として提示されている。