テクニカルサマリー：スパースオートエンコーダにおける概念表現の敵対的堅牢性の評価

問題提起

スパースオートエンコーダ（SAE）は、大規模言語モデル（LLM）の密な内部活性化を、疎で人間が解釈可能な概念表現へとマッピングするメカニスティック・インタープリタビリティ（機械論的解釈可能性）の主要なツールとして台頭している。既存のSAEの評価は、再構成の疎性と情報の欠落のトレードオフ、人間の解釈可能性、および特徴量の解きほぐし（disentanglement）に焦点を当てているが、決定的な側面である入力摂動に対する堅牢性については、ほとんど見落とされている。

現在の評価は、静的で一貫した、摂動のない入力を前提としていることが多い。しかし、説明の提供者と消費者の間で目標が相反する場合のような敵対的な文脈において、SAEの表現は脆弱である可能性がある。もし、ベースとなるLLMの挙動を大きく変えることなく、SAEの活性化を操作できる最小限の入力摂動を攻撃者が作成できるならば、概念ラベル付けの忠実性は損なわれる。これは、モデルのモニタリング、安全性監視、および安定した概念レベルの表現に依存するダウンストリームアプリケーションにおけるSAEの信頼性に懸念を抱かせるものである。

メソドロジー

理論的枠組み

著者らは、SAEの堅牢性を入力空間の最適化問題として定式化している。彼らは、入力空間 $X$ から意味的概念空間 $C$ への「グラウンドトゥルース（真の）」概念マッピング $f_c$ が存在すると仮定している。堅牢性は、学習された疎な潜在空間 $Z$ と $C$ の間のアライメント（整合性）が、敵対的な摂動の下でどのように保持されるかによって定義される。

核となる仮定は、グラウンドトゥルースのマッピングが**リプシッツ連続（bi-Lipschitz）**であること、つまり、入力トークンシーケンスの変化（レーベンシュタイン距離で測定）が、意味的概念の変化に比例して変化することである。これにより、仮説上の概念空間 $C$ ではなく、直接入力空間 $X$ において敵対的例の探索を行うことが可能になる。

評価フレームワークは、2つの最適化目的関数を通じて堅牢性を定義する：

1. 非標的型（Untargeted）: 境界のある入力編集距離の下で、元のSAE活性化 $z_1$ と摂動後の活性化 $z'_1$ の間の距離を最大化する。
2. 標的型（Targeted）: 入力の摂動を制限したまま、摂動後の活性化 $z'_1$ と、意味的に無関係な入力から得られたターゲット活性化 $z_2$ との間の距離を最小化する。

評価の次元

著者らは、8つの異なる敵対的シナリオを定義するために、3つのバイナリ次元を組み合わせた構造化されたフレームワークを提案している：

1. 意味的目標: 非標的型（SAEの活性化を全般的に変化させる） vs 標的型（活性化を特定の無関係な入力へと誘導する）。
2. 活性化の目標:
   • 集団レベル（Population Level）: 上位-$k$個の活性化された潜在変数の集合を操作する。概念のオーバーラップ比率で測定される。
   • 個別レベル（Individual Level）: 特定のSAE特徴量を活性化または非活性化する。バイナリのランク変化で測定される。
3. 摂動モード: 最小限の入力変更、具体的には単一トークンの置換または単一トークンのサフィックス（接尾辞）の追加。

攻撃アルゴリズム

これらの最適化問題を解決するために、著者らはLLMのプロンプト最適化用に設計されたGreedy Coordinate Gradient (GCG) アルゴリズムを応用している。距離指標がスパースな潜在空間において非微分的であるため、ハイブリッドな手法を採用している：

• 勾配計算: 連続的なSAE表現空間上で、微分可能な損失関数（例：コサイン類似度、対数尤度）を用いて勾配を計算する。
• 候補選択: 離散的な入力空間において、元の非微分的な距離指標（例：概念オーバーラップ比率、バイナリ活性化ステータス）を用いて、敵対的な候補を生成および評価する。

主な貢献

1. 決定的なギャップの特定: 本論文は、堅牢性をSAE評価における基本的かつ未探索の次元として特定し、概念表現が信頼できるとされるためには、入力摂動に対して安定していなければならないと主張している。
2. 包括的な評価フレームウェイ: 意味的および活性化の目標を通じてSAEの堅牢性を定義する、理論に基づいたフレームワークを導入し、体系的な脆弱性テストを可能にした。
3. 汎用的な攻撃メソドロジー: コンセプトの解釈を操作する敵対的な入力を生成できる、GCGから適応した汎用的な入力レベルの攻撃アルゴリズムを提案した。
4. 脆弱性の実証的証拠: 複数のオープンソースLLM（Gemma2, Llama3）、SAEアーキテクチャ（JumpReLU, Top-K）、およびデータセットを用いた広範な実験により、SAEの概念表現が極めて脆弱であることを示した。

実験結果

著者らは、Gemma2-2B, Gemma2-9B, Llama3-8Bに対し、様々なSAEの幅とレイヤーを用いて、AdvBench, AG News, SST2, および生成された「Art & Science」データセットを含むデータセットで評価を行った。

• 高い成功率: 極めて小さな敵対的摂動（多くの場合、単一トークンの置換）が、概念ベースの解釈を効果的に操作した。
  • 集団レベル: 非標的型攻撃は、元の入力と摂動後の入力の間の概念オーバーラップを約20〜30%に減少させることに成功し、標的型攻撃は、無関係なターゲットとのオーバーラップを約50〜60%に増加させた。
  • 個別レベル: 標的設定において、選択されたSAE潜在変数の60%以上が操作可能であった。非活性化シナリオでは、成功率は約90%に達した。
• LLMの堅牢性からのデカップリング（分離）: ベースとなるLLMの隠れ状態に対して訓練された線形プローブは、敵対的摂動の後でも、意味的概念（例：有害性、感情、トピック）を検出する高い精度（>90%）を維持した。これは、LLMの内部的な意味表現は安定している一方で、SAEの概念へのマッピングが失敗のポイントであることを示している。
• 非敵対的な脆弱性: 同義語への置換といった非敵対的な摂動でさえ、概念のオーバーラップを約30%減少させた。これは、悪意のある攻撃を超えた固有の脆弱性を示唆している。
• 転移性: 異なるモデル間（例：Gemma2からLlama3へ）での攻撃の転移性は、性能の低下は見られるものの依然として効果的であり、SAEによる解釈における一般的な脆弱性を示している。

意義と主張

本論文は、SAEの概念表現は脆弱であると結論付けており、さらなるデノイジング（ノイズ除去）や後処理が行われない限り、モデルのモニタリングや安全性監視のような高い信頼性を必要とするアプリケーションには不向きであると述べている。

• 解釈可能性への影響: これらの知見は、SAEの潜在変数がモデルの内部に対する安定した単一の意味的（monosemantic）な視点を提供するという仮定に疑問を投げかける。もし、攻撃者がモデルの実際の出力や意味的理解を変えることなく、SAEが報告する「概念」を容易に変更できるのであれば、これらの説明の信頼性は損なわれる。
• 今後の方向性: 著者らは、堅牢性がSAE評価のコアコンポーネントであるべきだと主張している。今後の研究は、SAEの活性化をデノイズし、信頼できる信号を分離する方法の開発に焦点を当てるべきであると示唆している。さらに、これらの脆弱性は、トランスコーダー（transcoders）やクロスコーダー（crosscoders）といった他のSAEに着想を得た手法にも及ぶ可能性が高いと考えており、メカニスティック・インタープリタビリティ研究における堅牢性を考慮した目的関数の必要性を強調している。

本論文は、SAEが役に立たないと主張しているのではなく、現在の展開においては、これらの安定性の問題に対処しない限り、敵対的な環境や高リスクな環境での使用はリスクが高いと警告している。提案されたフレームワークは、非堅牢な解釈を特定し、フィルタリングするための診断ツールとして機能する。