技術的概要：直交勾配射影による継続学習としての安全アライメント

1. 問題定義：アライメント税と勾配干渉

大規模言語モデル（LLM）は、事前学習を通じて広範な一般能力を獲得しますが、人間の意図や安全性制約（有益、誠実、無害）に準拠するためには、安全アライメント（例えば、教師あり微調整 [SFT] または直接選好最適化 [DPO] による）が必要です。しかし、このポストトレーニングプロセスはしばしば「アライメント税」を伴い、安全性の向上が真実性、推論、またはコーディング能力などの一般有用性の測定可能な後退をもたらします。

著者らは、この税の主要なメカニズムを、異種継続学習（CL）フレームワーク内の勾配干渉として特定しました。従来の CL が均質な目的を共有するタスクであるのに対し、LLM のアライメントは、事前学習→SFT→DPO のような、データ分布と最適化目的が変化する連続的な段階を含みます。この設定において、安全性目的から導出される勾配（$g_{safe}$）は、事前学習された一般能力を維持するために重要なパラメータ方向と重なる成分を含むことがよくあります。したがって、$g_{safe}$ に沿った単純な更新は、これらの能力維持方向を誤って攪乱し、壊滅的な忘却を引き起こします。

データ再生（一般データの混合）や近傍正則化（KL ペナルティ）などの既存の緩和戦略は、しばしば大きな計算オーバーヘッドや複雑なハイパーパラメータ調整を導入するか、干渉する勾配成分を明示的に除去しないソフト制約として機能するに留まります。

2. 手法：安全アライメントのための直交勾配射影（OGPSA）

本論文は、第一-order 能力維持制約を強制することで勾配干渉を緩和するように設計された、軽量かつプラグ＆プレイ型の更新則であるOGPSAを提案します。

中核概念

OGPSA は、安全アライメントを制約付き最適化問題として定式化します。目標は、安全性の損失地形を降下しつつ、更新ステップ $\Delta\theta$ が選択された一般能力の参照目的の損失を第一-order 的に増加させないことを保証することです。

アルゴリズム的ステップ

1. 部分空間推定: 再生データの大きなバッファを維持する代わりに、OGPSA は一般能力参照部分空間（$S_{gen}$）を低ランクで推定します。これは、主要な能力（例：有益性、真実性）を表す少量の多様な参照データセット（$D_{ref}$）上で計算された勾配から構築されます。

   • $\{g^{(i)}\}_{i=1}^M$ を $M$ 個の参照損失からの勾配とします。
   • 部分空間は $S_{gen}(\theta) = \text{span}\{g^{(1)}, \dots, g^{(M)}\}$ です。
   • この部分空間の正規直交基底 $U$ は、線形依存性をフィルタリングするためにグラム・シュミット法を用いて周期的（$K$ ステップごと）に構築されます。

2. 直交射影: 安全アライメントの更新（SFT または DPO など）中に、標準的な安全性勾配 $g_{safe}$ を $S_{gen}$ の直交補空間 onto 射影します。

   • 射影された勾配は以下のように計算されます：
     $$\tilde{g}_{safe} = g_{safe} - U(U^\top g_{safe}) = g_{safe} - \sum_{j=1}^{M'} \langle g_{safe}, u_j \rangle u_j$$
   • この操作は、一般能力部分空間内に存在する安全性更新の成分を除去し、参照損失の第一-order 的な増加を実質的に防ぎます。

3. パラメータ更新: モデルパラメータは、射影された勾配を用いて更新されます：
   $$\theta \leftarrow \theta - \eta \tilde{g}_{safe}$$

理論的正当性

著者らは、参照勾配によって定義される局所的な線形化制約集合内において、射影された勾配方向が安全性目的に対する最急実行可能降下方向であることを証明しています。これにより、モデルは参照能力の第一-order 維持を違反することなく、可能な限り速やかに安全性目標に向かって移動することが保証されます。

3. 主要な貢献

• 問題定式化: 本論文は、安全ポストトレーニングを目的異種継続学習問題として再定義し、勾配干渉をアライメント税の具体的かつ検証可能な原因として明示的に特定しました。
• アルゴリズム設計: 低ランク参照部分空間の直交補空間上で動作する勾配射影法である OGPSA を導入しました。再生ベースの手法とは異なり、大規模なデータ保存や混合を避け、少量の参照勾配の周期的な計算のみを必要とします。
• 実証的検証: 複数のモデルファミリー（Llama3.1-8B、Qwen2.5-7B）およびアライメントパイプライン（SFT、DPO、および連続的な SFT→DPO）において手法を検証し、安全性と有用性のトレードオフにおける一貫した改善を実証しました。

4. 実験結果

著者らは、Llama3.1-8B-Instruct および Qwen2.5-7B-Instruct において、OGPSA を標準的なベースライン（Naive Tuning）および緩和戦略（重みマージ、LoRA、一般データ再生）と比較評価しました。

• 性能向上: OGPSA は、すべての設定において、安全性と一般能力スコアを組み合わせる指標である「Avg. Gain」の合計で最も高い値を達成しました。
  • 連続的な SFT→DPO パイプラインにおいて、Llama3.1-8B では指示ベースラインに対して平均性能向上が**19.74% から 32.98%へ、Qwen2.5-7B では33.98% から 42.74%**へ増加しました。
• 高度なベースラインとの比較: OGPSA は、集計ゲインおよび特定の能力指標において、勾配射影継続学習ベースライン（GPM）および最先端の安全アライメントフレームワーク（STAIR）を上回り、競争力のある安全性スコアを維持しました。
• 頑健性: この手法は、最適化ベースのジャイルブレイク（I-GCG）に対して耐性を示し、標準的な SFT および DPO ベースラインと比較して攻撃成功率（ASR）を低減しました。
• アブレーション研究:
  • 部分空間の多様性: 多様な部分空間（例：有益性と真実性の勾配を組み合わせる）を使用することは、単一次元の射影よりも全体的なバランスが優れていました。
  • データ効率: OGPSA は、1 万サンプルの再生ベースラインを上回るために、参照次元あたり 100〜200 サンプルのみを必要とし、高いデータ効率を実証しました。
  • 更新頻度: 部分空間の周期的な更新（例：DPO の場合 5 ステップごと）は重要であり、静的な部分空間はトレーニングの進行に伴い性能を低下させました。
• スケーラビリティ: このアプローチは、0.5B から 7B パラメータまでのモデルサイズ全体で効果的でした。

5. 意義と主張

本論文は、OGPSA が大規模再生の重い計算コストなしに、安全アライメント中の能力後退を緩和する単純な第一-order メカニズムを提供すると主張しています。安全性勾配の干渉成分を明示的に除去することで、この手法はモデルが新しい安全性制約を獲得しつつ、事前学習された一般知識の安定性を維持することを可能にします。

著者らは、彼らの貢献が、維持制約下における安全降下方向の局所的な第一-order 特徴付けであることを強調しています。彼らは、すべての下流の能力指標が維持されるというグローバルな保証や、評価された設定外でパレート最適であるという主張は行っていません。このアプローチは、安全性と有用性のフロンティアを改善するために、標準的な SFT/DPO パイプラインに統合可能な軽量かつモジュール型コンポーネントとして提示されています。

認められた限界:

• 有効性は第一-order 局所近似によって制限されます。
• 性能は参照データの多様性と代表性に依存します。
• 周期的な参照勾配の計算により軽微な計算オーバーヘッドが存在しますが、完全な再生に比べてはるかに低いです。
• この手法は、すべてのジャイルブレイクや悪用シナリオに対する頑健性を保証するものではありません。レッドチームングや監視を含むより広範な安全パイプラインの一部であるべきです。