技術要約：LLMの安全性再調整のためのルーティングベース・オンポリシー蒸留（ROPD）

1. 問題提起：安全性再調整の脆弱性

本論文は、大規模言語モデル（LLM）における重大なサプライチェーンの脆弱性である「ファインチューニングによる不整合（misalignment）」に対処している。アライメント技術（例：RLHF）はモデルを有用かつ安全にするが、このアライメントは脆いものである。攻撃者は、価値のあるダウンストリーム・タスク（例：コード生成）と有害なコーパスを混合して、既にアライメント済みのモデルをファインチューニングすることができる。その結果、得られたモデルは専門的なスキルを保持しつつも、特定のプロンプト・テンプレートによってトリガーされた際に有害な要求に従うようになる。

既存の安全性再調整の防御策は、モデルをゼロから再学習させることなく、拒絶挙動を復元しようと試みる。しかし、著者らは現在の手法を無効にする3つの結合された脆弱性を特定している：

1. 専門スキルの劣化（Specialized-Skill Degradation）: 安全性を復元する過程で、ユーザーが取得するためにコストを支払ったダウンストリーム・スキルが消失することがあり、安全性がダウンストリームの有用性とトレードオフの関係を生む。
2. テンプレートの一貫性の罠（Template-Consistency Trap）: 現在の防御策は、防御者が攻撃者のプロンプト・テンプレートを知っているという仮定に依存している。防御テンプレートが攻撃テンプレートと一致しない場合、これらの手法は攻撃成功率（ASR）を下げられないか、あるいはそれを下げるためにダウンストリーム・タスクを犠牲にする。
3. 堅牢性の境界の欠如（Lack of Robustness Boundary）: モデルが特定のテンプレート下で受け入れテストに合格したとしても、悪意のあるユーザーはシステムプロンプトを書き換えるだけで再びジェイルブレイク（脱獄）させることができ、これは修復が重みのレベルで永続的にエンコードされたものではなく、プロンプトに条件付けられたものであることを示している。

著者らは、既存の防御策は安全性を「テンプレート固有の信号（例：テンプレートによって誘発される方向への重みの編集）」として扱っているが、攻撃の真のシグネチャはアライメント済みモデルと侵害されたモデルの出力確率分布の差にあると主張している。

2. 手法：ルーティングベース・オンポリシー蒸留（ROPD）

これらの脆弱性に対処するため、著者らは、特定のプロンプト・テンプレートにマッチングさせるのではなく、アライメント済みモデルと侵害されたモデルの間の分布のギャップをモデル化する再調整フレームワークであるROPDを提案する。

コア・アーキテクチャ

ROPDは、デュアル・ティーチャー、ソース・ルーティング蒸留を活用する：

• 安全性ティーチャー ($\pi_{safe}$): 元の、攻撃を受ける前のアライメント済みモデル。これは、表面的なプロンプト・テンプレートに依存しない「拒絶の事前分布（refusal prior）」をその出力分布に保持している。
• タスク・ティーチャー ($\pi_{task}$): 不整合（攻撃を受けた）状態のモデル自身。これは専門的なダウンストリーム・スキルを保持しているが、有害なレスポンスを生成する可能性がある。
• 生徒モデル ($\pi_{\theta}$): 不整合モデルから初期化され、ティーチャーたちに適合するように更新される。

学習メカニズム

学習コーパスは、ダウンストリーム・タスクのデータ ($D_{task}$) と有害なプロンプト ($D_{harm}$) の混合物である。各例は、そのソースに基づいて特定のティーチャーにルーティングされる：

• 有害なプローブは、安全性ティーチャーにルーティングされる。生徒は、元のアライメント済みモデルの拒絶分布に一致するように学習する。
• タスクの例は、タスク・ティーチャーにルーティングされる。生徒は、不整合モデルの熟練した分布に一致するように学習し、ダウンストリームの能力を安定させる。

目的関数

本フレームワークは、Top-$K$ KLダイバージェンス目的関数を採用している。全語彙の分布を一致させる（計算コストが高くノイズが多い）代わりに、確率質量が最も高い上位$K$個のトークンにおいて生徒をティーチャーと一致させ、残りのテールの質量をバケット化する。これにより、生徒は有害な入力に対しては拒絶の事前分布を継承し、良質な入力に対してはタスクの能力を継承することを保証し、これら2つの目的を効果的に分離する。

3. 主な貢献

1. テンプレート不一致の脆弱性の特定と定量化: 著者らは、防御テンプレートが未知の攻撃テンプレートと異なる場合に防御が失敗するという脅威を定式化した。彼らは、攻撃者、防御者、およびクロスチャネル間でのASRを測定する評価プロトコルを設計し、主流の防御策が攻撃チャネルを開放したままにするか、あるいはテンプレート不一致の下でタスク性能を破壊することを実証した。
2. ROPDの提案: 特定のテンプレート形式の拒絶ではなく、アライメント済みモデルの出力分布から拒絶の事前分布を蒸留する新しいフレームワークを提案した。これにより、テンプレート不一致のリスクを大幅に軽減（完全には排除できないが）しつつ、ダウンストリーム・スキルを保持できる。
3. 広範な実証的検証: 3つのベースモデル（Llama-2, Qwen2.5, Gemma-2）、3つのダウンストリーム・タスク（SQL, SAMSum, NL2Bash）、および4つのSOTAベースライン（SSRD, RESTA, soft-SFT, rollback）を用いた実験により、ROPDの優位性を実証した。

4. 実験結果

著者らは、様々な攻撃および防御テンプレートを用いて、ROPDを4つのベースラインと比較する実験を行った。

• スキルの保持 vs. 有害性の低減: ベースラインの手法は、ASRを下げようとすると、特にテンプレート不一致の下でダウンストリーム・タスクの性能を著しく低下させることが多い。例えば、Llama-2において、soft-SFTは不一致チャネルにおけるSQLのExact Matchスコアをほぼゼロまで低下させた。対照的に、ROPDは、低いASRを達成しながら、タスクスコアを攻撃前のレベル（例：Llama-2で0.596–0.626）に近い状態で維持した。
• テンプレートの堅牢性: ベースラインは、テンプレートの整合性に依存してASRが激しく変動した（例：SSRDは、防御テンプレートが変わるとASRが3.1%から46.3%に跳ね上がった）。ROPDは堅牢であり、使用された攻撃テンプレートに関わらず、「自己（self）」防御テンプレートの下で一桁のASR（例：Llama-2で2.1–2.4%）を達成した。
• クロス・テンプレート評価（堅牢性の境界）: 防御に使用されたものとは異なるシステムプロンプトの下で評価した場合、すべての手法（ROPDを含む）でASRの上昇が見られ、重みレベルの修復がプロンプトの書き換えに対して条件付きで脆弱であることを裏付けた。しかし、ROPDの残留リスクはより低く、テンプレートを横断してもベースラインと比較して有意に高いタスク性能を維持した。
• アブレーション研究: タスク・ティーチャーを除去するとタスク性能が崩壊し、スキルの保持におけるその必要性が確認された。「クリーンな」タスク・ティーチャー（タスクデータのみで訓練されたもの）を使用すると、タスクスコアはわずかに向上したが、追加の訓練ステージが必要となった。デフォルトの設定（不整合モデルをタスク・ティーチャーとして使用）は、好ましいトレードオフを提供した。
• 効率性: ROPDは高いデータ効率を示し、わずか1,500個の例でASRを約62%から約2.4%に減少させた。訓練時間はSFTベースのベースラインと同等（約15分）であり、rollbackのようなパラメータ探索手法（約118分）よりも大幅に高速であった。

5. 意義と主張

本論文は、ROPDがテンプレート依存の重み編集から分布の蒸留へとパラダイムをシフトさせることにより、安全性再調整における重要な一歩を踏み出したと主張している。

• 堅牢性に関する控えめな主張: 著者らは、ROPDがテンプレート不一致のリスクを大幅に軽減するが、完全に排除するわけではないことを明示している。防御と攻撃のテンプレートの間に大きな隔たりがある場合、依然として残留リスクが残る可能性があることを認めている。
• 本質的な限界: 本研究は、重みレベルの修復における「堅牢性の境界」を明確にしている。ROPDであってもプロンプトの書き換えに対して条件付きで脆弱であり、プロンプトを制御する攻撃者に対する真の耐久性を実現するには、現在の重みレベルの介入を超えた将来の研究が必要であることを示唆している。
• 実用的な影響: ROPDは、防御者が攻撃テンプレートを知らないシナリオにおいて実用的なソリューションを提供し、ダウンストリームの能力を犠牲にしたりテンプレートの一致を前提としたりすることなく、有用性を維持した防御を提供する。