技術的概要：Safety Anchor：幾何学的ボトルネックを介した有害なファインチューニングからの防御

1. 問題定義

人間からのフィードバックに基づく強化学習（RLHF）によってアライメントされた大規模言語モデル（LLM）は、依然として**有害なファインチューニング（HFT）**に対して脆弱です。この脅威モデルにおいて、攻撃者は、悪意のある指示（例えば、ジャイルブレイクの例）を良性タスクと混合したデータセットを用いて、安全にアライメントされたモデルをファインチューニングします。有害なデータの割合がわずかなものでさえも、安全性のガードレールを剥ぎ取り、良性のダウンストリームタスクにおける性能を維持しつつ、モデルが有害なコンテンツを生成する能力を回復させることができます。

既存の防御メカニズムは、ファインチューニング中のモデルの内部状態を制約しようとするもので、以下の 3 つのカテゴリーに分類されます：

1. パラメータベース：ベースモデルからの重みの逸脱を制限する（例：LISA、EWC）。
2. 勾配ベース：特定の有害な勾配方向を特定し、抑制する（例：Booster、Gradient Route）。
3. 表現ベース：内部の隠れ表現のドリフトを制約する（例：Vaccine、T-Vaccine）。

本論文は、これらの防御が持続的な HFTの下で一貫して失敗すると主張しています。著者らは、この失敗の原因を、高次元のパラメータ空間に内在する冗長性に帰因しています。攻撃者は、これらの防御によって課された特定の制約に対して直交する最適化軌道を利用することができ、課された制約を満たしつつも、事実上、安全性の障壁を迂回することができます。

2. 手法：Safety Bottleneck Regularization（SBR）

冗長なパラメータ空間を制約することの限界に対処するため、著者らはSafety Bottleneck Regularization（SBR）を提案します。この手法は、防御の焦点を内部パラメータから、著者らが「幾何学的ボトルネック」と特定するアンエンベディング層へと移します。

中核概念

Transformer ベースの LLM において、トークン $t$ を生成する確率は、最終的な隠れ状態 $h_{final}$ をそのトークンのエンベディングベクトル $w_t$ onto 線形投影することによって決定されます：
$$\text{Score}(t) = h_{final}^\top w_t$$
著者らは、内部パラメータは無限の冗長な軌道に沿って進化し得る一方で、特定のトークンの生成には、最終的な隠れ状態がそのトークンのエンベディング方向と厳密に整合する必要があると仮定します。したがって、最終的な隠れ状態を制御することは、決定論的なボトルネックとして機能します。

アルゴリズム

SBR は 2 つのフェーズで動作します：

1. オフラインアンカー取得：ファインチューニング前に、防御者は、凍結された安全アライメント済みベースモデルを用いて、高リスククエリ（$X_{anchor}$、例：「爆弾の作り方は？」）に対する最終的な隠れ状態（$h_{ref}$）を抽出します。これらの状態はSafety Anchorsとして機能します。
2. 動的正則化：ユーザーのデータセット（$D_{train}$）でのファインチューニング中、モデルは標準的なクロスエントロピー損失（$L_{CE}$）を最適化すると同時に、アンカークエリに対する現在のモデルの最終的な隠れ状態とキャッシュされたアンカーとの間の平均二乗誤差（MSE）を最小化します：
   $$L_{safe}(\theta) = \frac{1}{|X_{anchor}|} \sum_{x' \in X_{anchor}} \| h_\theta(x') - h_{ref}(x') \|_2^2$$
   全体の目的関数は以下の通りです：
   $$L_{total}(\theta) = L_{CE}(D_{train}; \theta) + \lambda \cdot L_{safe}(\theta)$$

理論的正当性

本論文は（付録 E において）、以下の点を示す理論的分析を提供しています：

• 直交性：ランダムにサンプリングされた攻撃部分空間は、高次元において高い確率で互いに幾何学的に直交します。
• 実行可能性：ランダムに選択された部分空間には、ほぼ確実に有害な目的関数に対する有効な降下方向が含まれており、攻撃者が特定の勾配またはパラメータの制約を迂回することを可能にします。
• ボトルネックの必要性：有害なトークンを生成するには、最終的な隠れ状態が特定のエンベディングベクトル onto 投影されなければならないため、この状態をアンカー化することは、内部パラメータがどのように進化しても有害な能力の回復を防ぎます。

3. 主要な貢献

1. 防御失敗の経験的および理論的分析：著者らは、既存の防御がパラメータの冗長性を考慮していないため、持続的な HFT 下で崩壊することを示しています。彼らは、攻撃者が防御制約（例えば、パラメータ距離の制限）を満たしつつも、有害な能力を正常に回復させる直交する最適化経路を見つけることができることを示しています。
2. SBR の提案：安全にアライメントされたモデルの最終的な隠れ状態を、高リスククエリのそれらにアンカー化し、幾何学的ボトルネックとしてアンエンベディング層を活用する、新しい防御メカニズムです。
3. 高い効率性と頑健性：本論文は、SBR が堅牢な安全性を維持するために最小限のリソース（1 つの安全アンカーのみ）を必要とし、良性タスクでの有用性を維持しながら最先端の防御を上回る性能を発揮することを示しています。

4. 実験結果

実験は、BeaverTails（有害）および SST-2/AGNEWS/GSM8K/AlpacaEval（良性）などのデータセットを用いて、Llama3.1-8B、Qwen2.5-7B、Gemma1.1-7B に対して行われました。

• 安全性パフォーマンス：持続的な HFT（最大 50 エポック）の下で、既存の防御（LISA、Vaccine、Booster）は崩壊し、有害スコア（HS）が 50-60 以上に上昇しました。これに対し、SBR は平均 HS を5.68に維持しました（ベースラインの SFT の 70.7 よりも著しく低い）。
• 有用性の維持：SBR は、制約のないファインチューニングと同等の機能精度（FA）を維持しました（例：SST-2 において 94.15%）。一方、一部の競合手法（DeepAlign など）は分類タスクにおいて性能の低下を招きました。
• 汚染率に対する頑健性：トレーニングセット内の有害なデータの割合が 30%（$p=0.3$）に増加しても、SBR はすべてのモデルアーキテクチャにおいて HS < 10 を維持し、効果的でした。
• バックドア防御：SBR は、特定の接尾辞によってトリガーされる隠蔽されたバックドアジャイルブレイク攻撃に対して優れた頑健性を示し、他の防御が 16 超の HS を記録したのに対し、4.7 の HS を達成しました。
• アンカー効率性：この手法は特定のアンカー内容に依存しません。単一のアンカー（$|X_{anchor}|=1$）で、HS を約 68 から約 6 に削減することができました。

5. 意義と主張

本論文は、SBR が安全アライメントにおけるパラダイムシフトを表すと主張しています。それは、広大で冗長な内部パラメータ空間を制約することから、アンエンベディング層の決定論的な幾何学的ボトルネックにおいて制約を課すことへと移行するものです。

• 根本的なメカニズム：著者らは、安全性の崩壊は単なるパラメータのドリフトの結果ではなく、最終出力層における幾何学的な不整合であると論じています。この層をアンカー化することで、SBR は特定の例に過剰適合することなく、悪意のある意図のセマンティックな近傍をカバーする「局所的な安定性フィールド」を創出します。
• 拒絶の直交性：この手法は、拒絶行動が良性の推論とは主に直交する部分空間によって媒介されるという発見に基づいています。したがって、安全性状態をアンカー化することは、ダウンストリームの良性タスクに必要なパラメータへの干渉を最小限に抑えます。
• 限界：著者らは控えめに、SBR はベースモデルの初期の安全アライメントに依存しており、アライメントされていないモデルに安全性を付与するのではなく、既存の境界をアンカー化するように設計されていると指摘しています。さらに、パラメータ更新を伴わない推論時のジャイルブレイク攻撃を直接軽減するものではありません。

この研究は、ファインチューニング中に安全アライメントが除去されるのを防ぐために、幾何学的ボトルネックにおける防御が必須かつ効果的な戦略であると結論付けており、明示的および隠蔽的な有害なファインチューニング攻撃の両方に対する堅牢な解決策を提供します。