SafeMERGE: 微調整された大規模言語モデルにおける安全アライメントの維持のための選択的レイヤー単位モデルマージ

以下は、提示された論文「SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging」の技術的な要約です。

1. 背景と課題 (Problem)

大規模言語モデル（LLM）は、特定のドメイン（コード、数学、医療など）に適応させるために、ドメイン固有のデータで微調整（Fine-tuning）されることが一般的です。しかし、近年の研究により、以下の問題が指摘されています。

• 安全アライメントの脆弱性: 微調整プロセスにおいて、モデルの安全性（人間価値やセキュリティポリシーとの整合性）が損なわれることがあります。悪意のあるトレーニング例だけでなく、 benign（無害）なデータでの微調整さえも、意図せずモデルの拒否能力を低下させ、有害な指示に応答するようになってしまう可能性があります。
• 既存の防御手法の限界: 安全性を再調整するための既存の手法は、以下のいずれかの課題を抱えています。
  • カスタムなアルゴリズムや複雑なトレーニング手順を必要とし、オープンソースライブラリとの統合が困難。
  • 安全性を回復させるためにタスクの有用性（Utility）が著しく低下する。
  • 微調整プロセス自体を変更する必要があり、実用的な導入の障壁となる。

問い: 既存のトレーニングパイプラインを変更することなく、標準的なオープンソースライブラリを使用しつつ、タスクの有用性を維持しながら安全性を回復させることは可能か？

2. 提案手法：SafeMERGE (Methodology)

本論文では、微調整後のモデルに対して適用可能な軽量なフレームワークSafeMERGEを提案します。この手法は、モデル全体を再トレーニングすることなく、選択的なレイヤー単位のモデルマージを行うことで安全性を回復させます。

核心的なアプローチ

1. 2 つのモデルの準備:

   • 微調整モデル ($\Delta W^f$): 特定のタスク（例：GSM8K, PubMedQA）で微調整された LoRA アダプター。
   • 安全モデル ($\Delta W^s$): 安全性アライメントデータ（有害なプロンプトに対する安全な応答ペアなど）で微調整された LoRA アダプター。このモデルはタスク非依存であり、一度訓練すれば再利用可能です。

2. 安全性逸脱の検出（Cosine Similarity 基準）:

   • 各レイヤーにおいて、微調整された LoRA 更新と「安全アライメント部分空間（Safety-aligned subspace）」への射影との間のコサイン類似度を計算します。
   • 安全部分空間は、アライメント済みモデル（Instruct/Chat）と未アライメントモデル（Base）の重みの差 ($V^i = W^i_{aligned} - W^i_{unaligned}$) として定義されます。
   • 微調整された更新が安全方向から大きく逸脱している場合（コサイン類似度が閾値 $\tau$ より小さい場合）、そのレイヤーは「有害」と判定されます。

3. 選択的マージ:

   • 判定された「有害なレイヤー」のみを、対応する安全モデルのレイヤーとマージします。
   • マージ戦略には線形マージ（$\Delta W^{merge} = \alpha \Delta W^f + (1-\alpha) \Delta W^s$）を使用します。
   • 安全性に問題のないレイヤーはそのまま維持され、タスクの有用性が損なわれるのを防ぎます。

技術的特徴

• 軽量: 追加のトレーニングループや勾配計算は不要。モデル重みに対する単純な行列演算のみで動作し、CPU でも実行可能。
• 解釈性: 閾値 $\tau$ によって、どの程度の角度の逸脱まで許容するかを幾何学的に制御可能。
• 汎用性: 既存の微調整パイプラインの後に適用可能。

3. 主要な貢献 (Key Contributions)

• 新しいフレームワークの提案: 微調整後の安全性回復のための、軽量で実装容易なポスト微調整フレームワーク SafeMERGE を提案。
• 選択的マージ戦略の確立: 全モデルをマージするのではなく、安全性が損なわれたレイヤーのみを特定してマージする手法が、安全性と有用性のトレードオフにおいて優れていることを実証。
• 既存手法との比較: SafeInstruct, RESTA, SafeLoRA などの既存の防御手法と比較し、より優れたバランスを達成することを示した。
• 多様なモデルとタスクでの検証: Llama-2, Llama-3.1, Qwen-2, Qwen-2.5 の 4 つのモデルと、GSM8K, PubMedQA, および通信分野の専門タスク（TeleData 等）で評価を実施。

4. 実験結果 (Results)

4 つの LLM と複数のタスク（GSM8K, PubMedQA, 通信ドメイン）を用いた評価において、以下の結果が得られました。

• 安全性の回復: SafeMERGE は、微調整によって悪化した有害性（DirectHarm, HexPhi ベンチマーク）を大幅に削減しました。多くの場合、元の Instruct モデルの安全性レベル、あるいはそれ以下にまで回復しました。
  • 例：Llama-3.1 (GSM8K) では、微調整後の有害性 28.30% を SafeMERGE で 8.80% まで削減。
• 有用性の維持・向上: 安全性回復に伴うタスク性能の低下はほとんど見られず、むしろ向上したケースもありました。
  • 例：Llama-3.1 (GSM8K) では、精度が 78.24% から 78.50% に向上。
• ベースラインとの比較:
  • SafeInstruct: 比較対象として最も強力な競合でしたが、SafeMERGE は同等以上の安全性と有用性を達成。
  • RESTA / RESTA-Instruct: 有用性が著しく低下する傾向が見られた。
  • SafeLoRA: 有用性は比較的高かったが、安全性の回復効果が SafeMERGE より劣った。
• アブレーション研究:
  • 距離指標: ユークリッド距離よりもコサイン類似度が、安全性の逸脱を検知する指標として優れている（方向性のみに焦点を当て、更新の大きさに影響されないため）。
  • 閾値 $\tau$: 最適な閾値はモデルやタスクに依存せず、概ね 0.6〜0.8 の範囲で安定していることが確認された。
  • マージ戦略: 線形マージが最もロバストで、DARE や TIES よりも一貫した性能を示した。

5. 意義と結論 (Significance)

SafeMERGE は、LLM の実用化における重要な課題である「微調整による安全性の喪失」に対して、カスタムなトレーニングアルゴリズムを必要とせず、標準的なワークフローに容易に統合できる解決策を提供します。

• 実用性: 計算コストが低く、CPU 実行も可能なため、大規模なモデル展開やリソースが限られた環境でも適用可能です。
• 原理的アプローチ: 単にモデルを「修正」するのではなく、どの層が安全基準から逸脱したかを幾何学的に特定し、最小限の介入で回復させるという原理的なアプローチは、今後の安全技術の発展に寄与します。
• トレードオフの最適化: 安全性とタスク性能の両立という、これまで困難とされてきた課題に対して、選択的レイヤーマージが有効な戦略であることを実証しました。

結論として、SafeMERGE は、微調整された LLM の安全性を回復するための、シンプルかつ効果的なポスト微調整防御策として確立されました。