技術的サマリー：パラメータダイナミクスからリスクスコアリングへ

問題定義

大規模言語モデル（LLM）は、有害なリクエストを拒絶するために、安全アライメント（RLHF や DPO によるものなど）に依存しています。しかし、最近の研究では、このアライメントは脆弱であり、わずか数個の benign（無害）なサンプルによるファインチューニングでも、モデルの安全性が深刻に低下することが示されています。毒性検出器によってフィルタリング可能な明白な有害データとは異なり、安全性の低下を誘発する benign なサンプルは、特定し防止することが困難です。既存の研究は、ファインチューニング前後のパラメータを比較するか、埋め込みのドリフトを分析することでこの現象の説明を試みています。しかし、これらのアプローチには 2 つの主要な限界があります：

1. 静的分析：ファインチューニングプロセスの「間」におけるパラメータの動的な進化を捉えられていない。
2. 方向性の盲点：安全性の低下を駆動するパラメータ変化の具体的な方向性を考慮せず、摂動の大きさのみに焦点を当てているため、安全性固有のリスクを分離することが困難である。

その結果、個々の benign なトレーニングサンプルのリスクを定量化し、それらが「なぜ」安全性を低下させるかを説明すると同時に、コーパス全体にわたって継続的なリスク評価を可能にする手法が存在しません。

手法

1. 機構の発見：パラメータダイナミクス

著者らは、単に終点を比較するのではなく、ファインチューニングプロセス全体を通じてパラメータの軌跡を追跡することで、安全性低下の機構を調査します。

• 方向の定義：パラメータ空間に 2 つの基準方向を定義します：
  • 安全方向（$V_{safety}$）：ベースモデルから PKU-SafeRLHF による DPO を通じて安全アライメントされた状態へ至るパラメータ変位。
  • 危険方向（$V_{danger}$）：ベースモデルから Aegis や Beaver-Tails などの unsafe データセットによる SFT を通じて有害アライメントされた状態へ至るパラメータ変位。
• 動的観測：トレーニング中に累積パラメータドリフト（$\Delta \theta_t$）をこれらの方向に射影することで、著者らは重要な機構を観察します。benign なファインチューニングは、安全方向への射影がほぼゼロのまま、危険アライメントされた方向への累積ドリフトを誘発します。
• 非線形な低下：このドリフトは 2 段階のパターンを示します。初期段階では、パラメータが危険方向へ急速にドリフトし、中等度の安全性損失が生じます。その後、ドリフト率が鈍化しても、パラメータが「安全盆地（safe basin）」から外れると、安全性は破局的に崩壊します。

2. 提案手法：安全性低下のサンプルレベル定量化（SQSD）

危険方向へのドリフトに寄与するサンプルほどリスクが高いという発見に基づき、著者らは SQSD を提案します。

• 中核概念：SQSD は、サンプル $z$ によって誘発されるパラメータ更新と、安全方向および危険方向との間の射影ギャップを測定することで、単一のトレーニングサンプルのリスクを定量化します。
• 計算ステップ：
  1. 更新の計算：サンプル $z$ によって LoRA パラメータに誘発される 1 ステップの勾配降下更新（$\Delta W$）を計算します。
  2. 正規化：勾配ベースのスコアリングにおける既知の問題（短い応答が過大評価された勾配をもたらすこと）を緩和するため、更新に対してモジュールごとの正規化を適用します。
  3. 射影：正規化された更新を危険方向（$\hat{V}_{danger}$）および安全方向（$\hat{V}_{safety}$）に射影します。
  4. 集約：これらの射影の差をスコアとして計算します：
     $$SQSD(z) = \sum_m \left( \langle \frac{\Delta W_m}{\|\Delta W_m\|}, \hat{V}_{danger, m} \rangle - \langle \frac{\Delta W_m}{\|\Delta W_m\|}, \hat{V}_{safety, m} \rangle \right)$$
     高いスコアは、そのサンプルが安全状態よりも危険状態へパラメータをより強く押し動かすことを示します。
• 理論的基盤：著者らは、一次のテイラー近似を用いて SQSD を出力の選好と結びつけます。更新とある方向との内積が、その方向に対する損失（およびしたがって尤度）の変化と相関することを示します。したがって、高い SQSD は、そのサンプルが安全な出力に比べて危険な出力に対するモデルの選好を増加させることを意味します。
• 初期化への感受性：この手法は、リスク定量化が初期化状態に依存することを認めています。信頼性を確保するため、SQSD はドリフト強化感受性分析によって特定された、高い方向性感受性を示すパラメータ状態において計算されます。

主な貢献

1. 機構的洞察：本論文は、benign なファインチューニングにおける安全性低下が、静的な前後分析では見落とされていた危険アライメントされた方向へのパラメータの累積ドリフトによって駆動されていることを明らかにしました。
2. SQSD 手法：連続的かつサンプルレベルのリスク定量化のための新規手法です。離散的な「高リスク」部分集合を特定する先行研究（境界の崩壊を招く）とは異なり、SQSD は全スペクトルにわたるすべてのサンプルにリスクスコアを提供します。
3. 実証的検証：3 つのモデル（Qwen3-8B、Llama-3.1-8B-Instruct、Llama-2-7B-Chat）および 2 つのデータセット（Dolly、Alpaca）にわたる広範な実験により、SQSD が安全性低下を効果的に予測することが示されました。
4. 転移性：ある設定（モデルアーキテクチャ、パラメータ規模、または LoRA などのファインチューニング手法）で計算された SQSD スコアは、他へ頑健に転移し、展開前に小規模モデルや異なるアーキテクチャでのリスク評価を可能にします。

結果

• 有効性：SQSD リスクスコアに基づいてデータセットをサブセットに分割（S1：最高リスクから S5：最低リスク）した場合、S1 でファインチューニングされたモデルは、S5 に比べて攻撃成功率（ASR）が著しく高く、安全性スコアが低くなりました。
  • SQSD は、12 の設定のうち10で単調な安全性低下（S1 から S5 への ASR 減少）を達成しました。
  • 対照的に、ベースライン（Reward Models、Bi-Anchor、Self-Inf-N、LARF）は、大半の場合で単調性を維持できませんでした。
  • SQSD は優れた識別能力を示し、最高リスクと最低リスクのサブセット間の平均 ASR 差（$\Delta$）は**49.86%**であり、最良のベースライン（43.76%）を大幅に上回りました。
• 転移性：
  • アーキテクチャ：スコアは Llama と Qwen のアーキテクチャ間で効果的に転移しました。
  • 規模：8B モデルで計算されたスコアは、14B および 32B モデルのリスクを成功裏に予測しました。
  • 手法：LoRA 勾配から導出されたスコアは、フルファインチューニングのシナリオに適用された際にも有効でした。
• アブレーション研究：モジュールごとの正規化を除去すると、応答長さのバイアスにより性能が深刻に低下しました。危険方向のみ、または安全方向のみを使用しても単調性を維持できず、両方向を対比させる必要性が確認されました。

意義と主張

本論文は、SQSD がモデル開発者にとっての防御ツールを提供すると主張しています。安全性低下を不均衡に駆動する benign なサンプルを特定することで、実務家は下流の適応中に安全アライメントを維持するためにトレーニングデータをキュレーションできます。

著者らは、この技術が理論的には安全性を最大限に低下させるデータを選択するために悪用される可能性があると指摘しつつも、主たる目的は防御的であると強調しています。彼らは、安全性を損なうことなく下流タスクに適応する「リスク認識型」トレーニングパイプラインを構築するために、SQSD を安全ファインチューニングアルゴリズムに統合することを提唱しています。この研究は、安全アライメントが静的な性質ではなく、特定の方向性ドリフトに対して脆弱な動的な状態であることを浮き彫りにし、堅牢な LLM 展開のためにはサンプルレベルでこれらのドリフトを定量化することが不可欠であることを示しています。