Sysformer: Safeguarding Frozen Large Language Models with Adaptive System Prompts

本論文は、大規模言語モデル（LLM）の重みを固定したまま、ユーザーの入力に応じてシステムプロンプトを適応的に調整する「Sysformer」というトランスフォーマーモデルを提案し、有害な入力への拒否率や安全な入力への対応精度を大幅に向上させ、高度な脱獄攻撃に対しても堅牢性を高めることを実証しています。

要約

この論文は、**「Sysformer（シスフォーマー）」という新しい技術について書かれています。これを一言で言うと、「AI（大規模言語モデル）の『頭』を壊さずに、その『心（システムプロンプト）』をその場その場で変えて、危険なことをさせないようにするスマートなガードマン」**のようなものです。

難しい専門用語を使わず、日常の例え話で解説しますね。

1. 問題：AI は「いい子」になりきれない

最近の AI はとても賢いですが、時々「悪いこと」を教えるように頼まれると、それを拒絶できずに答えてしまったり、逆に「安全なこと」を聞かれているのに「それはダメです」と誤って拒絶してしまったりします。

• 従来の方法の限界：
  • リトレーニング（微調整）： AI 自体を最初から学び直させる方法ですが、これは**「子供を学校に通わせて、何年もかけて教育し直す」**ようなもので、非常に時間とお金がかかります。しかも、一度教え直すと、元々持っていた「良い知識」を忘れてしまうリスクもあります。
  • フィルタリング： 入力された言葉をチェックして、まずい言葉をブロックする方法ですが、これは**「すべての入力を警察官が手作業でチェックする」**ようなもので、遅くなったり、必要な情報まで遮断してしまったりします。

2. 解決策：Sysformer（シスフォーマー）とは？

Sysformer は、AI 自体（頭脳）は一切変えずに、**「AI が話す前の『心構え（システムプロンプト）』を、その質問に合わせて瞬時に書き換える」**というアイデアです。

創造的な例え話：「魔法のメガネ」と「賢い秘書」

• AI（凍結されたモデル）：
  すでに完成された**「天才的なが、少し危ないことをしそうな子供」**だと想像してください。この子供の性格（パラメータ）を変えるのは大変なので、そのままにします。

• システムプロンプト（固定されたルール）：
  今までは、この子供に**「常に『私は親切なアシスタントです』と唱えてから話せ」という固定されたルール**を与えていました。でも、このルールは「爆弾の作り方」を聞かれた時にも「はい、わかりました」と答えてしまうことがありました。

• Sysformer（新しいガードマン）：
  ここに**「賢い秘書（Sysformer）」**が登場します。

  1. 状況判断： 秘書は、子供に「爆弾の作り方を教えて」という質問（ユーザープロンプト）が来た瞬間に察知します。
  2. ルールの変更： 秘書は、その瞬間だけ子供の耳元で**「今、この質問には『ごめんなさい、それは教えられません』と答えなさい」という新しい心構え**を whispered（ささやき）のように伝えます。
  3. 安全な対応： 逆に、「今日の天気はどう？」という普通の質問が来たら、**「はい、喜んでお答えします」**という心構えに変えて、子供に伝えます。

このように、AI 自体は変えずに、その瞬間の「心構え（システムプロンプト）」だけを変えて守るのが Sysformer の仕組みです。

3. 何がすごいのか？（成果）

この研究では、5 つの異なる AI モデルを使って実験しました。その結果は驚異的でした。

• 危険な質問への拒絶率アップ：
  危険な質問（ハッキングや暴力の指示など）に対して、AI が「断る」確率が最大で 80% 向上しました。まるで、以前は「はい」と答えていた子供が、秘書の指示で「絶対にダメ！」と強く拒否するようになった感じです。
• 普通の質問への対応維持：
  安全な質問（天気やレシピなど）に対しては、AI が「断る」ことがほとんどなくなりました（最大 90% 改善）。つまり、**「必要なことには素直に答え、危険なことにはきっぱり断る」**という、理想的なバランスが実現できました。
• ハッキング攻撃への強さ：
  最近、AI をだましてルールを破らせる「脱獄（ジャイルブレイク）」という攻撃手法がありますが、Sysformer を使った AI は、これらの高度な攻撃に対しても最大で 100% 強靭になりました。

4. なぜこれが重要なのか？

• 安くて簡単： AI 自体を学び直す必要がないので、コストが安く、すぐに導入できます。
• 柔軟性： 「固定されたルール」ではなく、**「その場その場で最適なルール」**を適用できるため、どんな質問にも柔軟に対応できます。
• 知識の保持： AI が元々持っていた「良い知識」を消すことなく、安全だけを強化できます。

まとめ

Sysformer は、**「AI という天才を、その場に応じて『心構え』を変える賢い秘書が守る」**という新しいアプローチです。

これまでは「AI を作り直す」か「厳しくチェックする」しかなかった安全対策ですが、これからは**「AI の横に、状況に合わせてルールを書き換えるスマートなガードマンを置く」**だけで、安全で賢い AI を実現できるかもしれません。これは、AI を社会に安全に広げるための、非常に安く、効果的な新しい道を開いた研究と言えます。

技術概要

Sysformer: 凍結された大規模言語モデルを適応型システムプロンプトで保護する

本論文「Sysformer: Safeguarding Frozen Large Language Models with Adaptive System Prompts」は、安全性が重要な場面で展開される大規模言語モデル（LLM）の安全性を向上させるための新しいアプローチを提案しています。既存の手法が抱える課題を克服し、モデルのパラメータを更新することなく、入力レベルで動的にシステムプロンプトを調整するモジュール型のアプローチを提案しています。

以下に、論文の技術的要点を問題定義、手法、貢献、結果、意義の観点から詳細にまとめます。

1. 問題定義と背景

LLM の急速な進展は、自動戦争や誤情報など社会的リスクをもたらしています。安全性を確保するためには、有害なコンテンツの生成を拒否しつつ、有益なタスクには適切に応答する必要があります。

既存の防御手法には以下の限界があります：

• ファインチューニング: モデルパラメータを更新する手法は、計算コストが高く、モデルサイズにスケーラビリティがない。また、事前学習で得られた有用な知識が失われたり（Catastrophic Forgetting）、過度な拒否（Over-refusal）を引き起こすリスクがある。
• フィルタリングや追加呼び出し: 入力プロンプトをフィルタリングしたり、生成後に別の LLM でチェックする手法は、推論コストを増大させたり、有用なコンテンツを誤って遮断したりする。
• 固定されたシステムプロンプト: 現在の LLM は通常、すべての入力に対して同じ固定されたシステムプロンプトに従うように設計されているが、これは文脈に応じた柔軟な防御には不十分である。

本研究の目的:
モデルパラメータを凍結したまま（Frozen）、ユーザープロンプトを変更することなく、システムプロンプトをユーザー入力に応じて適応的に調整することで、LLM の安全性を向上させること。

2. 手法：Sysformer

Sysformer は、LLM の入力端に接続される固定深度のモジュール型トランスフォーマーアーキテクチャです。ユーザープロンプトを「モダリティ」として扱い、それに基づいてシステムプロンプトの埋め込み表現を変換します。

2.1 アーキテクチャ

• 入力: 初期のシステムプロンプト $S$ とユーザープロンプト $P$。
• 変換プロセス:
  1. システムプロンプトとユーザープロンプトを、LLM のトークン埋め込みテーブルを用いてエンコードします。
  2. Sysformer は、自己注意（Self-Attention）層とクロス注意（Cross-Attention）層を交互に 2 回（$L=2$）繰り返す構造を持ちます。
  3. システムプロンプトの埋め込みは、ユーザープロンプトの文脈を「クロス注意」を通じて参照しながら、自己注意によって変換されます。
  4. 変換されたシステムプロンプト $\hat{S}$ とユーザープロンプト $P$ を結合し、凍結された LLM に渡して応答を生成させます。

2.2 学習戦略

Sysformer のパラメータ $\Theta$ のみを学習し、LLM のパラメータは凍結したままにします。以下の損失関数の重み付き和を最小化します：

1. 拒否損失 ($L_{ref}$): 有害なプロンプトに対して、固定された拒否応答（例：「I am sorry I cannot help you」）を生成する確率を最大化します。
2. 遵守損失 ($L_{compl}$): 安全なプロンプトに対して、意図した通りに応答する確率を最大化します。テンプレートベースまたは LLM 自身による自己生成応答を用います。
3. 分類損失 ($L_{class}$): LLM の最終隠れ層表現に基づき、有害か安全かを線形分類するタスクを通じて、拒否方向への表現を明確にします。
4. 再構成損失 ($L_{recon}$): 変換後のシステムプロンプトが、元のシステムプロンプトの意図（デプロイヤーの制御）を失わないよう、埋め込み空間での距離を最小化します。
5. 追加遵守 ($L_{add}$): 事前学習の目的（次の単語予測）を維持するため、追加の指示チューニングデータセットを用います。

3. 主要な貢献

• 適応型システムプロンプトの学習: システムプロンプトが固定であるという仮定を破り、ユーザー入力に応じて動的に変化するシステムプロンプトを学習する新しい枠組みを提案しました。
• パラメータ凍結とモジュール化: モデルの再学習やファインチューニングを行わず、軽量なモジュールをアタッチするだけで安全性を向上させることを実証しました。
• 高度な攻撃への耐性: 単なるフィルタリングではなく、埋め込み空間での適応的な変換により、複雑なジャイブレイク攻撃（Jailbreaking attacks）に対しても高い防御性能を示しました。

4. 実験結果

5 つの異なるファミリーの LLM（Llama-3.1-8B, Llama-2-7B, Mistral-7B, Phi-3.5, Zephyr-7B）と 2 つのベンチマーク（JailbreakBench, StrongReject）を用いて評価されました。

• 安全性の向上:
  • 有害なプロンプトに対する拒否率（Refusal Rate）が最大で80% 向上しました。
  • 安全なプロンプトに対する拒否率（過剰拒否）は最大で90% 削減され、有用性が維持されました。
  • 拒否率の差（Refusal Gap, $\Delta RR$）は、既存のファインチューニング手法（LoRA など）と同等かそれ以上の性能を達成しました。
• ジャイブレイク攻撃への耐性:
  • 学習時に 16 種類のジャイブレイク攻撃戦略のうち 6 種類をデータ拡張として含めることで、学習時に見ていない高度な攻撃に対しても100% 近い拒否率を達成し、汎化性能の高さを示しました。
• 計算効率:
  • 推論時のオーバーヘッドは最小限（平均 20-30 秒程度）であり、追加の LLM 呼び出しを必要としないため、実用的なコストです。
• 一般性能の維持:
  • Alpaca データセットでの評価により、安全性向上が一般的なテキスト生成能力（BERTScore）を大幅に低下させないことを確認しました。

5. 意義と将来展望

Sysformer は、LLM の安全性確保における「パラメータ更新」という重荷を排除し、入力レベルでの適応的防御の有効性を証明しました。

• コスト削減: 大規模モデルの再学習やファインチューニングに要する莫大な計算リソースを節約できます。
• 柔軟性: 固定されたシステムプロンプトの限界を克服し、文脈に応じた動的な制御を可能にします。
• 将来の応用: このアプローチは、RAG（検索拡張生成）におけるコンテキストの適応的統合など、他の分野への応用も期待されます。

限界と課題:

• 計算制約により、8B 以下のモデルでの評価に留まっています。より大規模なモデルへのスケーリングが必要です。
• プロンプト長に依存する多項式コストがかかるため、キャッシュ最適化などの効率化が課題です。
• ユーザー入力がシステムプロンプトを直接操作するため、新たな脆弱性が生まれる可能性があり、そのリスク分析が今後の課題です。

総じて、Sysformer は、凍結された LLM を効率的かつ強力に保護するための画期的な手法であり、LLM の安全な展開に向けた重要な一歩となります。