Towards Isolated Interventions via Almost Orthogonal Features in Language Models

技術要約：言語モデルにおけるほぼ直交する特徴量を通じた孤立した介入に向けて

問題提起
メカニスティック・インタープリタビリティ（機械論的解釈可能性）の中心的な前提は、言語モデルにおける意味のある概念は、活性化空間における線形な特徴量に対応しているという点である。これらの特徴量が信頼できる因果的介入を支えるためには、ある特徴量を操作しても、他の特徴量への影響を大幅に変えてはならない。しかし、実際には学習された特徴量はしばしば絡み合っている（entangled）。この「特徴量干渉」は、特徴量が表現空間内で強く整列している場合に発生し、局所的な介入（例：モデルのステアリング）が意図しないダウンストリームの効果を引き起こし、因果的寄与を曖昧にし、介入可能性を制限してしまう。この問題は、モデルが持つ次元数よりも多くの特徴量を表現する「重ね合わせ（superposition）」現象によって悪化し、制御困難な干渉パターンを生じさせる。

手法
複雑なシステムは、互いに影響を及ぼさない自律的なモジュールに分解できるとする**独立因果メカニズム（ICM）の原則に基づき、著者らは内部特徴量を「ほぼ直交（almost orthogonal）」**するように制約することを提案する。手法には、2段階のファインチューニング・パイプラインが含まれる：

1. 直交SAEトレーニング： 著者らは、言語モデルの残差ストリームの活性化に対してスパース・オートエンコーダ（SAE）を訓練する。標準的なSAEとは異なり、デコーダ行列 $D$ に対して明示的な直交正則化ペナルティを導入する。損失関数には $\lambda \| \text{tril}(D^\top D) \|_F^2$ という項が含まれており、これはグラム行列の非対角要素にペナルティを課すことで、特徴量アトム間の低自己相関（近接直交性）を強制するものである。
2. LM適応： SAEの訓練が完了し、その重みが固定された後、著者らはこれを事前学習済みTransformer（具体的にはGemma 2 2Bモデル）の中間層（26層中の12層目）に挿入する。その後、新しい特徴幾何学にモデルを適応させつつ、全体的な性能を維持するために、言語モデルに対して低ランク適応（LoRA）を行う。

理論的枠組み
本論文は、特徴量干渉と介入可能性の関係を定式化している。LMの表現を特徴量のスパースな線形結合（$X = DZ$）としてモデル化し、出力写像に対して線形仮説を仮定することで、著者らは真の出力とモデル出力との間の期待される不一致に関する上界を導出している。

• 介入後のミスマッチは、ベースライン項と、特徴辞書の自己相関（self-coherence） $\mu(D)$ に比例する介入特有の項によって制御されることを示している。
• 具体的には、期待される不偏差は、$\delta^2 (d-1)\mu(D)$ を含む項によって抑えられる（ここで $\delta$ は介入の大きさである）。これは、自己相関を減少させること（直交性を高めること）が、干渉の伝播を直接的に抑制し、介入の分離性を向上させることを理論的に示している。

主な貢献

1. 理論的上界： 著者らは、残差ストリームにおける介入可能性と特徴量干渉を関連付ける理論的な上界を提供し、モデル出力の不一致を特徴辞書の自己相関に明示的に結びつけた。
2. 直交ファインチューニング・パイプライン： ほぼ直交するデコーダを持つSAEの周囲でLMをファインチューニングするパイプラインを提示した。彼らは、このアプローチが数学的推論タスクにおいて、ペナルティのないSAEと同等の性能と解釈性スコアを維持できることを示している。
3. 孤立した介入： 著者らは、スピルオーバー効果（漏れ出し効果）を明示的に制限することにより、SAE内の特定の概念に対する最初の「孤立した介入」を実施した。彼らは、概念の置換（例：「Jerry」という名前を「Aquaman」に変更）に成功し、同時にモデルの推論能力を維持し、他の特徴量への意図しない変化を最小限に抑えることに成功した。

結果

• 直交性と性能： GSM8Kデータセットを用いた実証的評価により、直交化ペナルティ $\lambda$ を大きくすると、モデルの数学的推論タスクにおける精度を大幅に低下させることなく、直交損失（特徴量の分離性の向上）が単調に減少することが示された。厳格な直交ペナルティを持つモデルの性能は、ペナルティのないベースラインと比較して競争力のある水準を維持している。
• 介入の有効性： 名前の置換（例：「Jerry」から「Aquaman」）やその他の概念（動物、場所）を含む実験において、高い直交ペナルティ（$\lambda \ge 10^{-6}$）を持つモデルは、著しく優れた分離性を示した。
  • 正確な置換： ペナルティが増加するにつれ、モデルが置換された名前を生成に含める頻度が高まった（例：$\lambda=10^{-4}$ では「Aquaman」を約70.9%の割合で回復できたのに対し、ペナルティなしでは約60.1%であった）。
  • スピルオーバーの減少： 直交ペナルティを持つモデルは、元の概念を誤って出力に保持することなく、その概念を脱落させることにも成功した。
• 解釈性： 特徴量の解釈性（LLMがテキストスニペットに対して特徴量の説明を正しく一致させられる能力によって測定）は、異なる直交ペナルティにわたって一定であり、直交性を強制することが特徴量の人間による理解可能性を損なわないことを示している。

意義と主張
本論文は、特徴量の絡み合いが言語モデルにおける孤立した介入の主要な阻害要因であると主張している。直交化正則化が特徴量干渉を減少させることを示すことで、著者らは、ダウンストリームの有用性を犠牲にすることなく、SAEの特徴の**識別性と原子性（atomicity）**を向上させるための原理的な経路を提案している。

著者らは、自らの研究を、より信頼性と予測可能性の高いAIシステムへの一歩として控えめに位置づけている。彼らは、このアプローチが内部表現の精密かつ局所的な修正を可能にし、それが特定のコンポーネントがどのように出力に寄与するかを理解するために極めて重要であると述べている。また、彼らの手法は、モデルの内部への直接的なアクセスと技術的専門知識を必要とするため、デュアルユース（軍民両用）の懸念（モデルの出力を精密に制御できる点）はあるものの、アクセスの容易さを制限し、悪用の可能性を低減させていると指摘している。本研究は、すべての重ね合わせや敵対的堅牢性の問題を解決するものではないが、直交性を促進することが、より堅牢なモデルへの強力なアーキテクチャ的バイアスとして機能する可能性を示唆している。