🤖 machine learning

SPARD: Defending Harmful Fine-Tuning Attack via Safety Projection with Relevance-Diversity Data Selection

本論文は、有害なファインチューニング攻撃を効果的に緩和しつつタスク性能を維持するために、セーフティ・プロジェクテッド・アルタネーティング最適化と関連性・多様性を意識したデータ選択を組み合わせる防御フレームワーク「SPARD」を提案する。

原著者： Shuhao Chen, Weisen Jiang, Yeqi Gong, Shengda Luo, Chengxiang Zhuo, Zang Li, James T. Kwok, Yu Zhang

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

原著者： Shuhao Chen, Weisen Jiang, Yeqi Gong, Shengda Luo, Chengxiang Zhuo, Zang Li, James T. Kwok, Yu Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、従順で、役立つが決して有害ではないように訓練されたロボットアシスタント（大規模言語モデル）を想像してください。このロボットは「ヘイトスピーチを書かない」「危険な助言を与えない」といったルールを知っています。

次に、誰かがこのロボットに数学の問題を解くという新しいスキルを教えたいと想像してください。しかし、ロボットに与えられる数学の宿題のなかに、ロボットの安全ルールを忘れさせるように仕組まれた「毒」入りの指示が隠されています。これは「有害なファインチューニング攻撃」と呼ばれます。ロボットは数学を学びますが、同時に安全ガードレールを無視するようになり、危険なものになってしまいます。

この論文は、ロボットが学習する間を守る新しい手法「SPARD」を紹介しています。SPARDは、厳格なコーチと賢い司書の 2 部構成のセキュリティシステムだと考えてください。

1. 厳格なコーチ：「安全投影交互勾配」（SPAG）

通常、ロボットを訓練する際、「数学をよりよくできるように努め、悪くならないように努めてほしい」と言うだけです。これは柔らかい提案のようなものです。ロボットが数学に熱中しすぎると、安全ルールをうっかり忘れてしまう可能性があります。

SPARD は「SPAG」と呼ばれる異なるアプローチを使用します。ロボットが数学を学ぶために一歩を踏み出すと想像してください。

一歩： ロボットは数学の宿題に基づいて一歩を踏み出します。
チェック： 一歩を踏み出した直後、厳格なコーチが確認します。「安全ラインを越えましたか？」
修正： ロボットがわずかにでも「安全でない領域」に踏み込んだ場合、コーチはただ叫ぶだけでなく、物理的にロボットを掴み、安全ラインの正確な端まで引き戻します。

これはロボットが何か新しいことを学ぶたびに起こります。これは提案ではなく、厳格なルールです。ロボットは数学を学びながら、数学的に安全な領域内に留まることを強制されます。これにより、ロボットは新しいタスクを学ぶためにどれほど必死であっても、安全訓練を忘れることはありません。

2. 賢い司書：「関連性–多様性データ選択」

コーチがロボットを安全な場所へ引き戻すためには、「安全な例」の参考書が必要です。しかし、すべての安全な例が等しく有用なわけではありません。

この論文では、図書館からランダムに安全な例を拾ってくるだけではうまくいかないことが示されています。

ランダム性の問題： ロボットが数学を学んでいるのに、「料理」に関する安全な例を見せられても、あまり役立ちません。ロボットは、数学の問題を解く際に特に安全であるべきかを理解するために、数学の問題に似た安全な例が必要です。
類似しすぎた例の問題： 完全に同じように見える安全な数学問題だけをロボットに見せると、ロボットは混乱する可能性があります。ロボットは「その特定の種類の」数学問題に対しては安全になることを学びますが、問題が少し変わると失敗します。これは、ルールを理解するのではなく、特定の 1 つの質問に対する答えを暗記しているようなものです。

ここで「賢い司書」が登場します。この論文では、完璧な安全な例の組み合わせを選ぶために、特別な数学的ツール（「関連性–多様性 DPP」と呼ばれる）を使用します。

関連性： 司書は、ロボットが学んでいる数学の問題と非常に似た安全な例を選びます（そうすれば助言が有用になるため）。
多様性： 司書はまた、例同士が互いに異なることを保証します（そうすればロボットは 1 つの状況だけでなく、多くの異なる状況で安全である方法を学べるため）。

これは、図書館員が「安全学習ガイド」をキュレーションするようなものです。テストに関連しており、かつあらゆるトリックな質問に備えるのに十分な多様性があり、すべての網羅的な内容を含んでいます。

結果

研究者たちは、ロボットが「毒」入りのデータによって攻撃されている間、実際の数学と科学のテストでこのシステムをテストしました。

SPARD なし： ロボットは数学を学びましたが、危険になりました（「攻撃成功率」が高かった）。
SPARD あり： ロボットは数学を同様にうまく学びましたが、安全を維持しました。毒を効果的に無視しました。

簡単に言えば、SPARD はロボットに新しい仕事を教える際に、道徳的コンパスを忘れさせない方法です。これは、ロボットの歩みを常に確認し、仕事に関連しており、かつすべてのリスクを網羅するのに十分な多様性を持つ、完璧にキュレーションされた安全な例のリストを与えることによって実現します。

技術的サマリー：SPARD

問題提起

大規模言語モデル（LLM）は、ファインチューニング・アズ・ア・サービスを通じて、ますます特定のドメインに適応されるようになっている。しかし、このプロセスは、事前学習中に達成された安全性の整合性を損なうことが多い。この脆弱性は、敵対的データを注入して安全性のガードレールを剥奪し、安全でない行動を誘発する「有害なファインチューニング攻撃」によって悪用される。

既存の防御メカニズムは、主に以下の 2 つの限界に直面している：

制御の弱さ：SafeInstr や Lisa などの手法は、安全なデータをソフトな正則化項（ペナルティ項）として扱うため、安全性制約に対する制御が間接的であり、安全性と下流タスクの有用性のバランスを取ることが困難である。
データ選択の最適化不足：現在の手法は通常、安全なサンプルをランダムに選択する。下流タスクと高い関連性を持つ安全なデータがより強力な修正シグナルを提供するという事実を見落としつつ、広範なリスク空間を網羅するための多様性の必要性も無視している。

手法

著者は、2 つの中核コンポーネントからなる防御フレームワークであるSPARD（Relevance–Diversity Data Selection を伴う安全性射影）を提案する。

1. 安全性射影交互勾配法（SPAG）

SPARD は、ファインチューニングを安全性制約付き最適化問題として定式化する：
$\min_{\theta} \mathcal{L}(D_{ft}, \theta) \quad \text{s.t.} \quad \mathcal{L}(D_{safe}, \theta) \leq \tau$
ここで、 $D_{ft}$ はファインチューニングデータセット、 $D_{safe}$ は安全性データセット、 $\tau$ は安全性閾値である。

ペナルティベースの緩和を使用する代わりに、SPAG は明示的な射影戦略を採用する：

有用性更新：ファインチューニングデータ（ $D_{ft}$ ）上で勾配ステップを実行し、パラメータ $\theta$ を更新する。
安全性射影：更新されたパラメータを、安全性制約によって定義された実行可能領域に射影する。
- 制約は、更新されたパラメータの周りで 1 次テイラー展開を用いて線形化される。
- 射影は、線形化された安全性半空間内で、更新されたパラメータに最も近い点を見つける。
- トラスト領域メカニズムは、トレーニングを不安定化させる可能性のある任意に大きな更新を防ぐために、射影のステップサイズを制限する。

このアプローチは、ペナルティ重みの手動調整を必要とすることなく、1 次まで実行可能性を保証する閉形式の解を提供する。

2. 関連性–多様性決定性点過程（DPP）

安全性射影を効果的なものにするため、SPARD は大規模な候補プールから安全なデータ（ $D_{safe}$ ）のコンパクトな部分集合を選択するための原理的な手法を導入する。この選択は、以下の 2 つの要因をバランスさせる：

関連性：安全なサンプルは、強力な修正シグナルを提供するために、下流タスクの分布と整合している必要がある。
多様性：選択されたサンプルは、狭いリスク空間への過学習を防ぐために、多様な有害な行動の範囲を網羅する必要がある。

著者は、関連性–多様性 DPP カーネルを構築する：
$\tilde{K}_{ij} = (q_i \cdot q_j)^\beta \cdot K(x_i, x_j)$
ここで、 $q_i$ は関連性スコア（候補とファインチューニングデータ間の最大コサイン類似度）、 $K(x_i, x_j)$ は内在的な類似性を捉え、 $\beta$ は関連性の影響を制御する。

項 $(q_i \cdot q_j)^\beta$ は、非常に高い関連性を持つサンプルを含む部分集合を報酬する。
行列式項 $\det(L_C)$ は、選択されたサンプル間の多様性を強制する。

効率的な貪欲選択アルゴリズムが、正確な DPP 推論の計算コストを回避するために、最大事後確率（MAP）部分集合を近似するために使用される。

主要な貢献

SPARD フレームワーク：安全性射影最適化と関連性–多様性意識データ選択を統合した新しい防御。
SPAG アルゴリズム：有用性更新と明示的な安全性射影の間を交互に行う原理的な最適化手法であり、ソフトなペナルティなしで安全性制約付きファインチューニングを解決する。
関連性–多様性 DPP：タスク整合性と行動カバレッジを同時に最適化するデータ選択戦略であり、ランダムサンプリングにおける冗長性と無関連性の問題に対処する。
実証的検証：SPARD が、高い下流精度を維持しながら、攻撃成功率（ASR）を低減する点において最先端の防御を上回ることを示す広範な実験。

実験結果

著者は、Qwen-2.5-7B-Instruct および LLaMA-3.2-3B-Instruct を用いて、4 つの有害なファインチューニング攻撃（BeaverTails、I-BeaverTails、LatHarmful、Q-LatHarmful）の下で、GSM8K（数学推論）および OpenBookQA（科学推論）において SPARD を評価した。

安全性パフォーマンス：SPARD は、すべてのモデルとデータセットにおいて、一貫して最低の平均攻撃成功率（ASR）および有害性スコア（HS）を達成した。例えば、Qwen を用いた GSM8K において、SPARD は平均 ASR を**9.45%**に低減した（強力なベースラインである Lisa の 19.12%、標準的な SFT の 87.93% に対して）。
有用性の保持：SPARD は競争力のある下流タスク精度を維持し、Lisa や SafeGrad などのベースラインを上回ることも多かった。Qwen を用いた GSM8K において、SPARD は**85.77%**の精度を達成し、Lisa（78.45%）を上回った。
アブレーション研究：
- 関連性対多様性：関連性を除去（ランダム選択）または多様性を除去（最大品質選択）すると ASR が高くなり、両方の要因が必要であることが確認された。
- ハイパーパラメータ：この手法は、関連性指数（ $\beta$ ）および安全性閾値（ $\tau$ ）の moderate な変動に対して頑健である。
- 効率性：SPARD は、標準的な SFT に比べて計算オーバーヘッドを**8.1%**のみ追加し、SafeGrad（+54.2%）よりも著しく低い。

意義と主張

本論文は、SPARD がソフトなペナルティを超えて明示的な幾何学的制約へ移行することで、有害なファインチューニング攻撃に対する原理的な防御を提供すると主張している。SPAG を統合することで、この手法はトレーニング中に安全性制約が厳格に施行されることを保証する。さらに、関連性–多様性 DPP は、すべての安全なデータが同等に効果的ではないという重要な洞察に対処し、タスクに関連性があり、かつカバレッジが多様なデータを選択することが、堅牢な安全性整合のために不可欠であることを示している。

著者は、SPARD が構造的制約（LoRA アダプタなど）や手動の重み調整を必要とすることなく、既存の手法（PTST、SafeInstr、Lisa、SafeGrad など）を上回る安全性と有用性の堅牢なバランスを提供すると主張している。このフレームワークは、異なるモデルアーキテクチャ（Qwen および LLaMA）および下流タスク（数学および科学 QA）にわたって一般化することが示されている。