技術要約: RAS: Refusal Alignment（拒絶アライメント）によるLLMの安全性測定

問題提起

大規模言語モデル（LLM）の現在の安全性評価は、主に出力レベルのパラダイムに依存しています。これらの手法は、不適切なプロンプトやジェイルブレイク（脱獄）プロンプトをモデルに投げ、生成された回答が安全ポリシーに違反しているかどうかを、人間によるアノテーション、ルールベースのフィルタ、またはLLM-as-a-judge分類器を用いて判断するものです。これらは効果的ではあるものの、著者らはこのアプローチにおける4つの決定的な限界を指摘しています：

1. コスト: 完全な生成プロセスを必要とし、多くの場合、二次的な判定モデルも必要となるため、計算コストが高い。
2. 感度: デコーディングパラメータ、拒絶テンプレート、および判定モデルの特定の挙動に対して結果が非常に敏感である。
3. 陳腐化: モデルが既知の質問バンクに対して学習されるため、ベンチマークがすぐに時代遅れになる。
4. レイテンシ: 出力レベルの安全性は、事後的な行動シグナルである。それはモデルが「拒絶したか」を確認することはできるが、モデルが内部でどのようにリクエストを処理しているか、あるいは計算中に拒絶に関連する状態に入っているかまでは明らかにできない。

本論文は、安全性の評価は、拒絶行動が隠れ活性化空間内の特定の方向によって媒介されるという知見を活用することで、より早い段階である**表現レベル（representation level）**で行えると考えています。

手法: SafeVec と RAS

著者らは、生成された出力ではなく、内部の隠れ状態を分析することで安全性を測定するホワイトボックス評価手順であるSafeVecを提案しています。この手順から導出される中核的な指標が、校正された0–100の安全性スコアである**Refusal Alignment Score (RAS)**です。

システムモデル

この手法は、対象モデルの隠れ状態（各デコーダ層における残差ストリームの活性化）へのアクセスを前提としており、オープンウェイトモデルや内部監査には適用可能ですが、クローズドなAPIには適用できません。評価には以下の3つのプロンプトセットを使用します：

• Safe ($S$): 無害なユーザーのリクエスト。
• Unsafe ($U$): 有害なコンテンツへの直接的なリクエスト。
• Jailbreak ($J$): 敵対的またはロールプレイングの指示によって包み隠された、不適切な意図を持つリクエスト。

この手順には、同一のアーキテクチャファミリーに属する安全性に適合したリファレンスモデル（$M_{ref}$）と、様々な安全性レベル（アライン済み、アンセンサード、アブリテート済み）を持つモデルを含む校正セット（$C_a$）が必要です。

SafeVec パイライン

手法は以下の5つのステージで進行します：

1. 拒絶方向の抽出 (Refusal Direction Extraction):
   リファレンスモデルの各層 $l$ において、安全なプロンプトの平均残差ストリーム活性化（$\mu^{safe}_l$）と不適切なプロンプトの平均（$\mu^{unsafe}_l$）を計算します。層ごとの拒絶方向（$r_l$）は、以下の差分ベクトルとして定義されます：
   $$r_l = \mu^{unsafe}_l - \mu^{safe}_l$$
   このベクトルは、モデルが安全なリクエストを処理する場合と不適切なリクエストを処理する場合の表現の変化を捉えます。

2. 層ウィンドウの選択 (Layer Window Selection):
   すべての層が等しく情報量を持っているわけではありません。著者らは、安全と不適切なプロンプト間のコサイン平均の分離ギャップが大きく、かつ安定している連続した層ウィンドウ（$W$）を選択します。このウィンドウは、より安全なモデルが不適切なプロンプト下で拒絶方向に対して高いアライメントを示すことを確認するために、校正モデルを用いて検証されます。

3. 校正モデルのスコアリング (Calibration Model Scoring):
   校正セット内のモデルについて、不適切なプロンプトおよびジェイルブレイク・プロンプトに対する、彼らの隠れ状態とリファレンス拒絶方向（$\hat{r}_l$）との間の平均コサイン類似度を計算します。これらの生のスコアは、内部的な拒絶アライメントの度合いを測定します。

4. RAS の校正 (RAS Calibration):
   生のコサイン類似度を比較可能な0–100のスケールにマッピングするために、著者らは多段階の校正を行います：

   • Refusal Drop (拒絶の低下): リファレンスモデルに対するアライメントの低下を計算する。
   • Bad-Anchor Scale (不良アンカー・スケール): 高リスクな校正モデル（攻撃成功率が高いもの）を使用して、ベースラインとなる「悪い」スケール（$b_a$）を推定する。
   • Severity Slope (深刻度スロープ): 正規化された拒絶の低下と攻撃成功率（ASR）の上昇との相関関係から、アーキテクチャ固有の深刻度スロープ（$\alpha_a$）を決定する。
   • 最終マッピング: アラインされた低下分を、シグモイド関数を用いて0–100のスコアにマッピングする：
     $$RAS(M) = \frac{100}{1 + \exp(\beta(d_{aligned}(M) - c))}$$
     RASが高いほど、拒絶アライメントが強く、推定される安全性が高いことを示します。

5. ターゲットモデルのスコアリング (Target Model Scoring):
   ターゲットモデルのスコアは、事前校正された拒絶方向に対する彼らのアライメントを計算し、ファミリー固有のRASマッピングを適用することで算出されます。

主な貢献

1. SafeVec: 拒絶アライメントに基づく、表現レベルのホワイトボックス安全性評価手順。
2. RAS (Refusal Alignment Score): 内部の隠れ状態のアライメントを標準化された0–100の安全性スコアに変換する、校正された指標。
3. 実証的検証: Llama、Gemma、Qwenの3つの主要なファミリーにおいて、RASがアライン済み、アンセンサード、およびアブリテート済みのモデルを確実に区別できることを実証。

実験結果

著者らは、Llama-3.1-8B、Gemma-3-4B、およびQwen2.5-7Bファミリーに対してRASを評価しました。

• 表現レベルの分離 (RQ1): 安全なモデルと不適切なモデルは、拒絶方向のアライメントにおいて明確な分離を示します。選択された層ウィンドウにおいて、安全性に適合したモデルは、アンセンサードまたはアブリテートされたバリアントと比較して、不適切およびジェイルブレイク・プロンプトの下で一貫して高い拒絶方向へのコサイン類似度を示します。
• 出力挙動との相関 (RQ2): RASは、出力レベルの攻撃成功率（ASR）と強く相関しています。RASが高いモデルは、一般的にASRが低くなります。生のスコアは広範な傾向を反映しますが、校正されたRASはこれらの傾向を維持しつつ、標準化されたスケールを提供します。
• 汎用性 (RQ3): この手順は異なるモデルファミリー間でも汎用性があります。生のスコアはアーキテクチャ間で直接比較できませんが、ファミリー固有の校正により、RASは一貫してアライン済みモデルを不適切なバリアントよりも上位にランク付けできます。
• 効率性 (RQ4): RASは、判定器を用いた評価よりも大幅に高速です。レスポンスの生成や外部の判定器を必要とせず、フォワードパスのみを必要とするため、著者らの実験設定において平均で216.88倍高速です。

意義と主張

本論文は、拒絶アライメントが、ホワイトボックスLLM安全性評価のための効率的なシグナルを提供すると主張しています。

• 補完的な役割: 著者らは、RASはクローズドなシステムのための行動評価フレームワークに代わるものでも、あらゆる特定の要求に対する安全性の決定的な証明でもないことを明示しています。代わりに、これは、モデルのバリアント間の安全性比較、ポストトレーニングの比較、および安全性の回帰テストを行うための、高速な表現レベルの指標として機能します。
• 早期検知: 内部状態を測定することにより、RASはモデルが有害な出力を生成する前に拒絶挙動の弱体化を検出し、デコーディングパラメータや判定器のバイアスに依存しないシグナルを提供します。
• 限界: 著者らは、RASにはホワイトボックスへのアクセス（隠れ状態）が必要であり、モデルファミリー内で校正されることを認めています。さらに、安全性が特定の拒絶方向を介してエンコードされていることを前提としています。将来のモデルが根本的に異なる内部安全性メカニズムを利用する場合、拒絶方向の再推定が必要になる可能性があります。

結論として、最終的なデプロイメントの検証には出力レベルの評価が依然として必要ですが、RASのような表現レベルの指標は、オープンウェイトモデルの迅速な監査のための、スケーラブルで効率的かつ堅牢な代替手段を提供します。