💬 NLP

How Few-shot Demonstrations Affect Prompt-based Defenses Against LLM Jailbreak Attacks

本論文は、少数のショットによるデモンストレーションがプロンプトベースの防御に対して相反する効果をもたらすことを明らかにしており、役割指向プロンプト（Role-Oriented Prompts）についてはアイデンティティを強化することで向上させる一方で、タスク指向プロンプト（Task-Oriented Prompts）については指示からの注意を逸らすことで著しく低下させることから、LLMの安全性戦略を最適化するための極めて重要な知見を提供している。

原著者： Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

公開日 2026-02-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、非常に有能だが世間知らずなインターンだと想像してみてください。彼らはコードを書いたり、物語を作ったり、質問に答えたりすることには非常に長けていますが、危険なことや倫理に反する行動をとらないように、厳格なルールを与える必要があります。

あなたが提供した論文は、どのようにしてこれらのインターンにルールを与えるかについて調査しています。具体的には、2つの異なる方法でルール（プロンプト）を記述する方法と、「例となる物語」（few-shot demonstrations）を加えることが結果にどのように影響するかを調べています。

以下に、その研究結果を簡単な比喩を用いて解説します。

1. 指示を与える2つの方法

研究者たちは、2つの主要な「システムプロンプト」（AIに与えられる初期指示）のスタイルをテストしました。

役割指向プロンプト (RoP): 「アイデンティティ」のアプローチ
- 比喩: インターンに対して、「あなたは『ガーディアン』という名前の、役に立ち、安全で、倫理的なアシスタントです」と伝えることを想像してください。
- 仕組み: 彼らが「誰であるか」を定義しています。良いアシスタントとして振る舞うための、彼らの学習内容に依存しています。
タスク指向プロンプト (ToP): 「職務記述書」のアプローチ
- 比喩: インターンに対して、「あなたの現在の具体的なタスクは、安全な回答を生成することです。もし要求が不適切な場合は、断ることがあなたの仕事です」と伝えることを想像してください。
- 仕組み: 彼が「何をすべきか」を定義しています。これは、その瞬間における特定のコマンドです。

2. 「例となる物語」（Few-Shot Demonstrations）

AIにおける「few-shot」とは、本題の質問をする前に、どのように振る舞うべきかの例をいくつか提示することを意味します。

比喩: インターンが仕事を始める前に、過去に「ガーディアン」がどのように難しい質問に対処したかを示す、3つの例が入ったノートを見せるようなものです。
問い: これらの例を見せることは、インターンが安全性を保つのに役立つのでしょうか、それとも混乱させるのでしょうか？

3. 大きな発見：正反対の効果

この論文の主な発見は、例となる物語を追加することが、一方の指示には役立ち、もう一方の指示には害を与えるということです。それは、あるプロップス（小道具）が一人を笑顔にし、もう一人の人を泣かせる手品のようなものです。

シナリオA：「アイデンティティ」のアプローチ (RoP) + 例 = 超・安全

起きたこと: AIに対して「あなたは安全なアシスタントです」と伝え（RoP）、その上で安全な振る舞いの例を見せると、AIは安全性において向上しました。
比喩: AIの「安全なアシスタント」というアイデンティティを「筋肉」だと考えてみてください。例を見せることは、数回のウォーミングアップを行うようなものです。それは筋肉を強化します。例は、AIに対して「そうです、これが私のアイデンティティです。私は安全な存在なのです」と思い出させる役割を果たします。
結果: 安全性は最大4.5%向上しました。例は、役割を「強化」する役割を果たしました。

シナリオB：「職務記述書」のアプローチ (ToP) + 例 = 安全性の低下

起きたこと: AIに対して「あなたのタスクは安全であることです」と伝え（ToP）、その上で例を見せると、AIの安全性は悪化しました。
比喩: インターンに特定の仕事の指示を与えた直後に、まず読むべき大量の無関係な書類を手渡されることを想像してください。指示が書類の束の中に埋もれてしまいます。インターンは例に気を取られ、本来の指示を忘れてしまいます。
科学的根拠: 論文ではこれを**「注意の散漫（Attention Distraction）」**と呼んでいます。AIの脳は、テキストの最初にある例（examples）に集中してしまい、実際の指示（instructions）が中間に押しやられることで、焦点を見失ってしまうのです。
結果: 安全性は最大21.2%も大幅に低下しました。例が指示をかき消してしまったのです。

4. 「思考モード」のパラドックス

論文では、特別な「思考モード」（回答する前にステップバイステップで推論するモード）を持つモデルについても調査しています。

発見: これらのモデルは、どちらの指示スタイルを使用した場合でも、一般的にジェイルブレイク（脱獄：安全策を回避するための攻撃）に対して脆弱であり、例によって混乱しやすい傾向にありました。
比喩: それは、質問を過剰に分析してしまう学生のようなものです。単にルールに従うのではなく、頭の中でルールについて議論し始めてしまい、「悪い奴ら（ジェイラーブレイカー）」によって、その悪いアイデアが実は論理的であると錯覚させられてしまうのです。

5. 開発者は何をすべきか？

これらの発見に基づき、著者らは非常に具体的なアドバイスを与えています。

「アイデンティティ」アプローチ (RoP) を使用する場合: ぜひ例となる物語を追加してください！それはAIをより安全にします。
「職務記述書」アプローチ (ToP) を使用する場合: 例となる物語を追加しないでください。それはAIの安全性を損ないます。指示は短く、直接的なものに保ってください。
「思考モード」のモデルを使用する場合: 非常に注意してください。これらは騙されやすい傾向があるため、追加の安全対策が必要になるかもしれません。

まとめ

この論文は、コンテキスト（文脈）が重要であることを証明しています。

AIの**キャラクター（人格）**を定義する場合、例はキャラクターを強化するのに役立ちます。
AIの**タスク（任務）**を定義する場合、例は指示をかき消すノイズとして機能します。

研究者たちは単に推測したのではなく、多くの異なるAIモデルと安全性のベンチマークを用いてテストを行い、これら2つの戦略が同じ入力に対して正反対の反応を示すことを証明しました。

技術要約：Few-shotデモンストレーションがプロンプトベースのLLMジェイルブレイク攻撃防御に与える影響

1. 問題提起

大規模言語モデル（LLM）は、広範な安全性調整（RLHFやDPOなど）が行われているにもかかわらず、依然としてジェイルブレイク攻撃に対して脆弱です。プロンプトベースの防御策、特に役割指向プロンプト（Role-Oriented Prompts: RoP）とタスク指向プロンプト（Task-Oriented Prompts: ToP）は実用的な解決策として登場していますが、これらの防御策とfew-shotデモンストレーションとの相互作用については未解明のままです。

SG-Benchなどの先行研究では、few-shotの例が有害な応答を誘発する可能性があることが指摘されていますが、それはfew-shot学習を独立した要因として扱っていました。RoPとToPの戦略において、few-shotデモンストレーションがどのように異なる相互作用を示すかという点には、重要な空白が存在します。具体的には、システムプロンプトにfew-shotの例を追加することが安全性を高めるのか、それとも低下させるのか、またどのようなメカニズムがその相互作用を駆動しているのかは分かっていません。

2. メソドロジー

2.1 実験設定

著者らは、6つの主要なLLM（Pangu、Qwen、DeepSeek、Llamaファミリーを含む）を用い、6つの主要なジェイルブレイク攻撃手法（AIM、DAN、Evil Confident、Prefix Rejection、Poems、Refusal Suppression）を用いて、4つの安全性ベンチマーク（AdvBench、HarmBench、SG-Bench、XSTest）にわたる包括的な評価を実施しました。

本研究では、以下の4つの防御構成を評価しました：

RoP: モデルを「安全で有益なAIアシスタント」として定義する。
ToP: 「安全な応答生成」を主要なタスクとして明示的に定義する。
Few-shot General (FS-G): 無害な会話の例を提供する。
Few-shot Harmful (FS-H): 有害な要求を拒絶する様子を示す例を提供する。

著者らは、これらの戦略のすべての組み合わせ（例：RoP単体、RoP+FS-G、ToP+FS-H）をテストし、**安全率（Safe Rate: SR）と攻撃成功率（Attack Success Rate: ASR）**を測定しました。

2.2 理論的枠組み

観察された現象を説明するために、著者らは以下の要素を組み合わせた数学的フレームワークを開発しました：

ベイズ・インコンテキスト学習（Bayesian In-Context Learning）: few-shotの例を、潜在的概念に対するモデルの事後分布の更新としてモデリングする。
アテンション・メカニズムの分析: プロンプトの長さや位置が指示への追従性にどのように影響するかを分析するために、「アテンション・シンク（attention sink）」、「lost in the middle（中だるみ現象）」、およびソフトマックス・エントロピーといった概念を活用する。
認知理論: ロール強化（role reinforcement）と推論の脆弱性を説明するために、拡散活性化理論（spreading activation theory）と二重過程理論（dual-process theory）を適用する。

3. 主な貢献

初の体系的な相互作用研究: 本研究は、few-shotデモンストレーションとシステムプロンプト戦略（RoP vs. ToP）の間の相互作用効果を体系的に調査した初の研究です。
数学的フレームワーク: ベイズ・インコンテキスト学習とアテンション分析に基づくフレームワークを提案し、相反する相互作用を予測・説明するための形式的な定理を提供しています。
相反する相互作用の発見: few-shotデモンストレーションがRoPとToPに対して正反対の効果を持つことを明らかにしました：
- RoPの強化: Few-shotの例が役割のアイデンティティを強化し、安全性を高める。
- ToPの劣化: Few-shotの例がタスク指示から注意を逸らし、安全性を低下させる。
思考モードのパラドックス（Think-Mode Paradox）: 「思考モード（reasoning-enhanced）」を備えたモデルは、すべての防御構成において、ジェイルブレイク攻撃および負のfew-shot相互作用の両方に対して高い脆弱性を示すことを特定しました。
メカニズムの説明: 本論文は、理論的メカニズムとしてロール強化（Role Reinforcement）（RoPの場合）およびアテンションの分散（Attention Distraction）（ToPの場合）を提供しています。

4. 主な結果

4.1 Few-shot学習の相反する効果

核心となる発見は、few-shotデモンストレーションの影響は、基礎となるシステムプロンプト戦略に完全に依存するという点です：

RoP + Few-shot: 安全性の向上をもたらす。
- メカニズム: Few-shotの例が尤度証拠（likelihood evidence）として機能し、「安全なアシスタント」という役割の事後確率（ $\theta_{safe}$ ）を強化する。
- 定量的影響: 安全率は最大**4.5%**上昇した（例：Qwen-7B-Chat: FS-Hにより+4.5%、Pangu-7B: FS-Gにより+4.3%）。
ToP + Few-shot: 安全性の低下をもたらす。
- メカニズム: Few-shotの例が、タスク指示に対するアテンションを奪い合う。「lost in the middle」現象とアテンションの希薄化により、モデルの焦点が明示的な安全タスクの指示から逸れてしまう。
- 定量的影響: 安全率は大幅に低下し、最大**21.2%**の減少が見られた（例：Qwen-7B-Chat: FS-Gにより-21.2%）。

4.2 思考モードのパラドックス

推論能力を持つモデル（例：Qwen3-8B-Think、Pangu-7B-Think）は、以下の傾向を示しました：

非思考型モデルと比較して、ベースラインの安全率が低い。
ジェイルブレイク攻撃に対して著しく高い脆弱性を示す（攻撃下で20〜45%の安全性低下）。
RoPまたはToPのどちらを使用しているかにかかわらず、few-shotの例と組み合わせた際に一貫して劣化が生じる。これは、拡張された推論チェーンが、追加の攻撃面を作成したり、ロール強化と指示追従の両方を妨げたりすることを示唆しています。

4.3 データセット間の検証

相反する傾向（RoPの改善、ToPの劣化）は、非思考型モデルにおいてAdvBench、HarmBench、SG-Benchのすべてで一貫していました。ただし、その影響の大きさは、モデルのアーキテクチャやfew-shotの例の具体的な種類（FS-Harmful vs. FS-General）によって異なります。

5. 重要性と推奨事項

本論文は、few-shot学習とプロンプトエンジニアリングの相互作用は一様ではなく、システムプロンプトのセマンティックな性質に強く依存すると主張しています。

実用的な推奨事項:

役割指向プロンプト（RoP）の場合: 安全性を最大化するために、RoPとfew-shotデモンストレーション（特にFS-Harmfulの例）を組み合わせるべきである。これらの例は、安全なアシスタントとしてのモデルのアイデンティティを強化する。
タスク指向プロンプト（ToP）の場合: few-shotの例を追加することを避けるべきである。例の存在は、明示的な安全タスクに対するアテンションを希薄化させ、重大なセキュリティ上の脆弱性を招く。
推論モデルの場合: 「思考モード」モデルをデプロイする際は、これらがベースラインの脆弱性が高く、あらゆる面でfew-shot戦略との負の相互作用を示すため、細心の注意が必要である。

結論:
本研究は、「one-size-fits-all（万能）」なプロンプトエンジニアリングでは不十分であることを示すことで、LLMの安全性研究における重要な空白を埋めました。few-shot学習が防御メカニズムとして有効であるかどうかは、採用されている特定のプロンプト戦略に依存しており、より安全なLLMシステムを実世界のアプリケーションに展開するための微細な指針を提供しています。