技術概要：GradShield – アライメントを保持するファインチューニング

1. 問題定義

大規模言語モデル（LLM）は、下流タスクへの有用性を高めるため、ドメイン固有のデータセットでファインチューニングされることが増えています。しかし、このプロセスは重大な安全性の脆弱性を生み出します。わずか少量の有害なデータ（明示的に悪意のあるものか、潜在的に有害なものかにかかわらず）が、モデルの安全性アライメントを破滅的に忘却させ、安全でないコンテンツの生成につながる可能性があるからです。

既存の緩和策には重大な限界があります：

• コンテンツフィルタ： 標準的なコンテンツモデレーションツールは、データは一見無害だがトレーニング中に安全性アライメントを侵食する「潜在的な」有害性を検出できないことが多いです。
• 事後調整： ファインチューニング後にモデルを再アライメントしようとする手法は、有用性の保持と安全性の回復の間のトレードオフをバランスさせるのに苦労することが多いです。
• インフルエンス関数： トレーニングデータ点の影響を測定する古典的なインフルエンス関数は、2 次情報（ヘッシアン逆行列）に依存しており、非凸な LLM に対しては計算量が膨大すぎて実用的ではありません。

核心的な課題は、データセットの構成を事前に知らずに、ファインチューニングの過程中に有害なデータ点を特定・除去しつつ、モデルの有用性を維持することです。

2. 手法：GradShield

GradShield は、安全性アライメントを劣化させるデータ点を特定・除去することにより、ファインチューニング中の LLM を保護するために設計された原理的なフィルタリング手法です。このアプローチは、以下の 3 つの主要な構成要素からなります：

A. ファインチューニング潜在有害性スコア（FIHS）

GradShield は、特定のデータ点がモデルの安全性アライメントに与える影響を定量化する指標として、**ファインチューニング潜在有害性スコア（FIHS）**を導入します。

• 理論的基盤： FIHS は、leave-one-out（1 点除外）の原理に基づいて導出され、全データセットでファインチューニングされたモデルと、特定の点 $x_f$ を除いたデータセットでファインチューニングされたモデルとの安全性スコアの差を測定します。
• 勾配近似： leave-one-out スコアを直接計算することは計算上不可能です。GradShield は、1 次勾配定式化を用いてこれを近似します。データ点 $x_f$ に対する FIHS は、以下の 2 つの勾配のドット積として計算されます：
  1. ファインチューニング中に $x_f$ によってモデル重みに誘起される勾配更新（$\nabla_\theta L(\theta, x_f)$）。
  2. 保持された安全性プロービングデータ点上で評価された微分可能なプロキシ安全性スコアの勾配（$\nabla_\theta S(F_\theta(x_s))$）。
• プロキシ安全性スコア： 標準的な安全性指標（攻撃成功率など）は微分不可能であるため、GradShield は特定のトークンのロジットに基づいたプロキシを使用します。安全性スコアを、安全な拒絶トークン（例：「I」）のロジットと、コンプライアンストークン（例：「Sure」）のロジットの差として定義します。経験的分析により、安全性アライメントが劣化するにつれて「I」の出現頻度が低下し「Sure」が上昇することが示されており、これが頑健なシグナルとなります。
• 効率性： FIHS の計算にはデータ点ごとに 1 回の勾配パスのみが必要であり、コストは単一のエポック分のファインチューニングに相当します。この手法はプロービングデータ点の選択に対して頑健であり、信頼性の高いスコアを計算するには単一のデータ点で十分です。

B. 適応的閾値設定

ユーザーがアップロードしたデータセットにおける有害データの分布は未知であるため、固定閾値は非現実的です。GradShield は、フィルタリングの切り替え値を動的に決定する適応的閾値設定戦略を採用します：

1. 分布モデリング： アルゴリズムは計算された FIHS スコアを、単一のガウス分布または 2 成分ガウス混合モデル（GMM）のいずれかに適合させ、対数尤度が高いモデルを選択します。
2. ヒューリスティックを組み合わせた二分探索： システムは、ヒューリスティックな推測と二分探索を組み合わせて最適な閾値を探索します。フィルタリングされたサブセットでファインチューニングされたモデルの安全性スコアと有用性スコアに基づいて、閾値を反復的に調整します。
   • 安全性スコアが許容範囲を下回る場合、より多くのデータを除去するために閾値を下げます。
   • 有用性スコアが許容範囲を下回る場合、より多くのデータを保持するために閾値を上げます。
3. 収束： 典型的なシナリオでは、単一の探索反復で十分です。有害データの比率が高い場合（最大 90%）でも、この手法は 2 回以内の反復で収束します。

C. アルゴリズムの流れ

このプロセス（アルゴリズム 1）は、生データでファインチューニングされたモデルの安全性をチェックすることから始まります。安全性スコアがすでに許容範囲内であれば、フィルタリングは行われません。そうでない場合、すべてのデータ点に対して FIHS スコアが計算されます。その後、適応的閾値設定ループがデータセットをフィルタリングし、安全性と有用性の制約が満たされるか、またはリクエストが拒否されるまでモデルを再ファインチューニングします。

3. 主要な貢献

• FIHS 指標： 非凸な最適化環境にある LLM に特化した、データ点の安全性アライメントへの leave-one-out 影響を近似する、計算効率の高い 1 次勾配ベースの指標。
• 微分可能なプロキシ： 安全性アライメントの微分可能なプロキシとしてトークンロジット（「I」対「Sure」）を使用することで、微分不可能な安全性評価器を必要とせずに勾配ベースの分析を可能にします。
• 適応的フィルタリング： データセットの有害性分布を事前に知らなくても動作する閾値設定メカニズムであり、多様なユーザーアップロードを扱う API プロバイダーに適しています。
• 理論的正当性： 標準的な仮定（微分可能な安全性スコア、有界な勾配、小さな学習率）の下で、提案された勾配ベースの FIHS が、leave-one-out 有害性測度の有効な近似であることを示す証明（定理 3.1）。

4. 実験結果

著者は、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-2-7B-chat、Qwen2.5-7B-Instruct を使用して、複数のシナリオで GradShield を評価しました。

• 明示的有害データ： 明示的な有害クエリを含むデータセット（LATharm、Anthropic Redteaming）において、GradShield は攻撃成功率（ASR）を防御なしの約 0.98 から0.01に削減し、高い有用性スコアを維持しました。OpenAI Moderation、LlamaGuard、SafeLoRA などのベースラインを大幅に上回りました。
• 潜在的有害データ： 「アイデンティティシフト」データセット（一見無害だが安全性を微妙に侵食するデータ）において、GradShield は ASR を 0.75 から0.01に削減しました。ベースライン手法の多くは、この潜在的な有害性を検出できませんでした。
• ポイズニング比率への頑健性： 適応的閾値設定を 2 回使用した場合、トレーニングデータセットに最大 90% の有害データ点が含まれていても、GradShield は安全性（ASR < 0.06）を維持しました。
• 汎化性： この手法は、異なるモデルアーキテクチャ（Llama および Qwen ファミリー）やさまざまな有用性タスク（要約、ニュース分類、数学的推論）において、一貫した性能を示しました。
• 計算効率： FIHS の計算によるオーバーヘッドは、標準的な 4 エポックのファインチューニングタスクの約 25% です。安全性がすでに高い良性の場合（フィルタリングが不要な場合）、オーバーヘッドは無視できます。

5. 意義と主張

本論文は、GradShield が LLM のファインチューニングにおける「安全性対有用性」のトレードオフに対する実用的かつ効果的な解決策を提供すると主張しています。その主な意義は以下の点にあります：

1. 潜在的有害への対応： 明示的なキーワードに依存するコンテンツフィルタとは異なり、GradShield は安全性アライメントへの勾配影響に基づき、データ点の帰結としての有害性を検出します。
2. 運用上の実現可能性： 単一の勾配パスのみを必要とし、適応的閾値を使用するため、ユーザーデータセットを手動でキュレーションできないモデルプロバイダーによる実世界での展開を想定して設計されています。
3. アライメントの保持： この手法は、モデルが安全性トレーニングを「破滅的に忘却」しないことを保証し、多様で汚染されたデータセット全体で ASR を一貫して 6% 未満（多くの場合 1% 未満）に維持します。

著者は、GradShield がすでに損なわれたモデルを修復するのではなく、ファインチューニングの過程中にアライメントを保持するように設計されていることを強調しています。これは、初期の参照モデルが適切にアライメントされており、信頼性の高い安全性評価関数が利用可能であることを前提としています。