Contextual Linear Activation Steering of Language Models

以下は、論文「Contextual Linear Activation Steering of Language Models (CLAS)」の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）には、**線形アクティベーション・ステアリング（LAS）**によって引き出される潜在的な能力（推論、感情制御、安全性拒否など）が存在します。LAS は、「線形表現仮説」に基づいて動作します。この仮説は、意味的な概念がモデルのアクティベーション空間内で固定された線形方向として表現されていると主張するものです。モデルの内部アクティベーションにスケーリングされたステアリングベクトル（$\alpha d$）を加えることで、振る舞いを変更することができます。

しかし、既存の LAS 手法には 2 つの重大な限界があります：

1. 文脈非依存性：現在の手法は、すべてのトークンとプロンプトに対して固定のスカラー係数（$\alpha$）を均一に適用します。これは入力文脈のニュアンスを無視しており、プロンプトに応じてステアリングの質が不安定（ステアリング不足または過剰）になる原因となります。
2. チューニングの非効率性：最適な固定$\alpha$を選択するには、新しいタスクごとに人間または LLM 評価者を含む高価なグリッドサーチが必要であり、このアプローチは脆く、スケーリングが困難です。

2. 手法：文脈的線形アクティベーション・ステアリング（CLAS）

著者は、固定スカラー係数の代わりに文脈依存型の学習済みステアリング係数を用いる手法CLASを提案します。

中核メカニズム

$\tilde{h}_{\ell,t} = h_{\ell,t} + \alpha d_\ell$ の代わりに、CLAS は現在のアクティベーションと学習済みセンシングベクトルに基づいて動的な係数を計算します：
$$\tilde{h}_{\ell,t} = h_{\ell,t} + (c_\ell \cdot [h_{\ell,t}, 1]) d_\ell$$
ここで：

• $h_{\ell,t}$ はブロック$\ell$とトークン$t$におけるアクティベーションです。
• $d_\ell$ はプローブから抽出されたステアリングベクトル（方向）です。
• $c_\ell \in \mathbb{R}^{k+1}$ はブロック$\ell$固有の学習済みセンシングベクトルです。
• $[h_{\ell,t}, 1]$ は、定数バイアス項とのアクティベーションの連結です。
• 項 $(c_\ell \cdot [h_{\ell,t}, 1])$ は、動的ステアリング係数 $\alpha_{\ell,t}$ として機能します。

2 段階のトレーニングプロセス

CLAS は、ステアリング方向の抽出とステアリング強度のチューニングを分離します：

1. ステアリングベクトル抽出（方向）：

   • プロンプトと概念ラベルのペアからなるデータセットを使用します。
   • 各トランスフォーマーブロックにおいて、再帰的特徴マシン（RFM）を用いてアクティベーションプローブをトレーニングします。RFM は、タスクに関連する特徴を学習するために平均勾配外積（AGOP）を反復的に計算し、標準的な線形プローブを上回ります。
   • ステアリングベクトル $d_\ell$ は、最終的な AGOP 行列の主固有ベクトルであり、概念ラベルと正の相関を持つように向き付けられています。
   • 注記：このステップはバックプロパゲーション不要であり、高速です。

2. センシングベクトル学習（強度）：

   • 特定のタスク指示を含まないプロンプトと、望ましい振る舞いを示す完了文のペアからなる少量のデータセットを使用します。
   • すべての LLM パラメータを固定し、標準的な次のトークン予測損失を最小化することで、センシングベクトル $\{c_\ell\}$ のみを学習します。
   • これにより、モデルは出力を生成・評価することなく、入力文脈に基づいて「いつ」「どれくらい」ステアリングを行うかを学習できます。

3. 主要な貢献

• 文脈依存型ステアリング：入力文脈に基づいてステアリング強度を動的に変調するメカニズムを導入し、固定係数手法の脆さを解決します。
• 効率的なチューニング：高価なグリッドサーチや外部評価者の必要性を排除します。CLAS は標準的な次のトークン予測損失を通じてチューニングされ、はるかに高速でスケーラブルです。
• 分離されたアーキテクチャ：「何を」（RFM プローブによるステアリング方向の発見）と「どれくらい」（微調整によるセンシングベクトル）を分離し、ステアリング方向の解釈可能性を維持します。
• 解釈可能性の維持：不透明な低ランク行列を学習するパラメータ効率型微調整（PEFT）手法とは異なり、CLAS は線形プローブの方向を保持し、正確な概念監視を可能にします。

4. 実験結果

著者は、4 つのモデルファミリー（Qwen2.5-7B、Llama-3.1-70B/8B、Llama-3.2-1B） across 11 の多様なステアリングタスク（段階的推論、多言語翻訳、ジャイルブレイク耐性、感情シフトなど）で CLAS を評価しました。

性能ベンチマーク：

• 標準 LAS 対比：CLAS は、ほぼすべてのモデル - タスクペアにおいて、標準 LAS（固定$\alpha$）を一貫して上回り、多くの場合大幅な差をつけました。
• PEFT（LoRA & ReFT）対比：CLAS は、限られたデータ設定において、LoRA および ReFT（ランク 1）の性能と同等かそれ以上を達成しました。
  • 速度：CLAS はグリッドサーチを必要とする LAS よりもはるかに高速にチューニングでき、LoRA/ReFT と同等かそれ以上の速度です。
  • 堅牢性：干渉テスト（あるタスクでステアリングし、他のタスクで評価）において、CLAS は LoRA や ReFT でよく見られる大幅な低下に比べ、他の能力への悪影響を最小限に抑えました。
• 概念監視：概念を検出するための線形プローブとして使用された場合、CLAS が使用する RFM 由来の方向は、LoRA や ReFT によって学習された方向（平均約 68-74%）と比較して、有意に高い精度（平均約 96-97%）を達成しました。これは、CLAS の方向が目標概念とより意味的に整合していることを確認しています。

具体的な知見：

• JailbreakBenchタスクにおいて、CLAS はすべてのモデルで拒否しない振る舞いを成功裡に誘発した唯一の手法であり、LoRA と ReFT は完全に失敗しました。
• CLAS は、ほとんどのモデルにおいて 11 タスク中 10 タスクで最高平均精度を達成しました。

5. 意義と結論

この論文は、線形アクティベーション・ステアリングを、固定係数から文脈認識型の学習済み係数へ移行させることで、スケーリング可能かつ堅牢にできることを実証しています。

• スケーラビリティ：プロンプトごとのチューニングやグリッドサーチの必要性を排除することで、CLAS は入力が動的に変化する実世界での展開において、アクティベーション・ステアリングを実用的なものにします。
• 解釈可能性：メカニズム的理解（プローブ）の解釈可能性と、微調整の性能の間のギャップを埋めます。ステアリングベクトルは LoRA/ReFT の不透明な重みとは異なり、解釈可能な線形方向のままです。
• 汎化：この手法は、既存のステアリング方向を、単に文脈依存係数で変調するだけで、実質的に効果的にできることを証明しており、完全な微調整なしで LLM の振る舞いを制御するための新たなパラダイムを提供します。

要約すると、CLAS は、従来のアクティベーション・ステアリングとパラメータ効率型微調整の両方に対する、スケーラブルで解釈可能かつ正確な代替手段を提供し、特にラベル付きデータが限られたシナリオにおいて有効です。