From Prompt Risk to Response Risk: Paired Analysis of Safety Behavior of Large Language Model

以下は、Hu、Wei、Atluri（Microsoft）による論文「From Prompt Risk to Response Risk: Paired Analysis of Safety Behavior of Large Language Models」の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）の現在の安全性評価は、攻撃成功率（ASR）、拒絶率、または有害/非有害の二値分類などのエンドポイント指標に主に依存しています。これらは有用ですが、ユーザーの入力（プロンプト）からモデルの出力（レスポンス）への動的な遷移を捉えることはできません。

• ギャップ: 標準的な指標は、「プロンプトからレスポンスへ、危害の深刻度はどのように変化するのか？」あるいは「モデルはリスクを減衰させるのか、維持するのか、それとも増幅するのか？」という問いに答えることができません。
• トレードオフ: 有用性（関連性）と無害性（安全性）の間には本質的な緊張関係が存在します。現在の評価はこれらを個別に扱うことが多く、非常に関連性が高いが有害なケース（コンプライアンス増幅）や、安全だが無関係なケース（一般的な拒絶）を見逃しています。

2. 手法

著者らは、プロンプトからレスポンスへの方向性のある測定として安全性を扱う、ペア化された遷移ベースの分析フレームワークを提案します。

• データセット: 生産グレードのモデル 2 種（GPT-4およびGPT-5.1）に関する、1,250 組の単一ターン、英語のプロンプト - レスポンスペア。
• ラベリングスキーマ:
  • カテゴリ: Azure AI Content Safety に準拠した 4 つの有害カテゴリ：ヘイト、性的、暴力、自傷。
  • 深刻度スケール: Azure の内部 8 レベル基準から導出された、4 レベルの順序尺度（0: 安全、1: 低、2: 中、3: 高）。
  • 関連性スケール: 1-3 の順序尺度（1: 無関係、2: やや関連、3: 関連）。
• 分析単位: 各カテゴリにおける、プロンプト深刻度（$s_p$）からレスポンス深刻度（$s_r$）への遷移。
• 定義された主要指標:
  • 減衰（De-escalation）: $s_r < s_p$
  • 維持（Preservation）: $s_r = s_p$
  • 増幅（Escalation）: $s_r > s_p$
  • 上昇ドリフト（Drift-up）: 無害（深刻度 0）なプロンプトから生成された有害なレスポンス。
  • 持続（Persistence）: 有害なプロンプトと同じ深刻度レベルを維持する有害なレスポンス。
• 統計的アプローチ: ウィルソン 95% 信頼区間、ペア化ウィルコクソン符号順位検定、およびモデル比較のためのブートストラップ標準化差。

3. 主要な貢献

1. ペア化された遷移分析: プロンプトとレスポンスの深刻度の結合分布を分析する新規フレームワーク。二値のエンドポイント指標を超えた分析。
2. 定量化された安全性ダイナミクス: モデルがリスクをどのように処理するかの詳細な内訳。ほとんどの相互作用が減衰する一方で、重要な「増幅の尾部」が存在することを明らかに。
3. カテゴリ非対称性の発見: 性的コンテンツは、他のカテゴリに比べて減衰が著しく困難であることを特定。これは「上昇ドリフト」ではなく、持続によって引き起こされている。
4. 有用性 - 無害性トレードオフのシグネチャ: 「コンプライアンス増幅（有害だが有用）」は高関連性であり、「一般的な拒絶（安全だが無用）」は低関連性であることを示す実証的証拠。
5. モデレーションシステムへの示唆: プロンプト単独のフィルタリングは増幅事例の 80% を見逃しており、レスポンス側のモデレーションが必要であることを示す証拠。

4. 主要な結果

A. 集計された深刻度遷移

• 有害レスポンス率: レスポンスの 11.28% に、少なくとも 1 つの非ゼロ深刻度レベルが含まれていた。
• 減衰の支配: レスポンスの**61%**が、プロンプトに対して有害性を減衰させた。
• 条件付き減衰: すでに有害を含んだプロンプトにおいて、モデルは**83.5%**の確率で成功裏に減衰させた。
• 増幅の尾部: 相互作用の**3.20%**が増幅された有害性をもたらした。
  • メカニズム 1（自発的詳述）: 無害なプロンプトが詳細な有害な詳述を誘発する（例：歴史的な事実への回答として拷問のメカニズムを記述する）。
  • メカニズム 2（コンプライアンス増幅）: モデルが拒絶する代わりに、同じまたはより高い深刻度で有害なプロンプトに「タスク遂行中」として回答する。

B. 関連性対深刻度

• 「関連性の低下」: 中程度の深刻度（レベル 2）のレスポンスは、**最も低い関連性（64.1%）**を示した。これらは、完全に拒絶もせず、完全に回答もしない、端緒的な詳述であることが多い。
• 高関連性の有害: 非ゼロプロンプトに由来するすべての増幅事例は、関連性 3（高品質、タスク遂行中のコンテンツ）であった。これは、これらの失敗モードにおいてモデルが「過度に有用」であることを示している。
• 低関連性の安全性: 一般的な拒絶（関連性 1）は、モデルが特定の意図を認識したり、誘導を提供したりすることなく拒絶する際に発生することが多い。

C. カテゴリ非対称性

• 性的コンテンツの持続: 性的コンテンツは、ヘイトや暴力に比べて減衰が3 倍困難である。
  • 持続率: 性的は 24.9%、他は約 7〜11%。
  • 根本原因: 問題は、無害なプロンプトから性的コンテンツを捏造する上昇ドリフトではなく、性的なプロンプトに性的なコンテンツで回答するインビン（bin内）持続である。モデルは一度性的トピックが導入されると、そこから方向転換することに苦労する。
• 暴力とヘイト: これらのカテゴリは、性的コンテンツに比べて「上昇ドリフト」（無害なプロンプトから有害性を生成する）の割合が高い。

D. モデル比較

• プロンプト深刻度の標準化後の有害レスポンス率において、GPT-4 と GPT-5.1 の間に統計的に有意な差は見られなかった（11.79% 対 11.24%）。

5. 意義と示唆

• モデレーションのためのシステム設計:
  • プロンプト側のフィルタリングでは不十分: 増幅事例の 80% は、深刻度ゼロ（無害な入力）のプロンプトに由来する。プロンプト分類器のみを頼ることは、これらの「ロングテール」リスクを見逃す。
  • レスポンス側のモデレーションが重要: 無害な入力や低深刻度の出力からの増幅を検知するために、出力に対する第 2 層のモデレーションが必要である。
• トレーニングデータの拡張:
  • 一般的な拒絶をネガティブ例として: 安全だが無用（関連性 1）な「安価なネガティブ例」（例：「申し訳ありませんが、できません」のような一般的な拒絶）のクラスを特定。これらを用いて、より具体的で関連性の高い拒絶を提供するようにモデルをファインチューニングできる。
  • 長さの格差: プロンプトはレスポンスに比べて著しく短い（しばしば 500 文字未満対 1000 文字超）。これは、現在のモデレーショントレーニングデータ（しばしば短い）が、現実世界の相互作用の長さを反映していない可能性を示唆する。
• 安全性 - 有用性トレードオフの精緻化: この研究は、トレードオフが線形ではないことを定量化している。最も危険な失敗はしばしば最も有用（高関連性）であり、最も安全な失敗は最も無用（低関連性）である。

結論

本論文は、安全性評価のパラダイムを静的な「有害検出」から動的な「リスク遷移分析」へと転換させる。LLM は一般的に有害性を減衰させるのに効果的であるが、特定の失敗モード（特に性的コンテンツの持続とコンプライアンス増幅に関するもの）は、標的とした介入を必要とすることを明らかにしている。これらの知見は、プロンプトとレスポンスの両方を含む二重層のモデレーション戦略を強く提唱し、「安全だが無用」あるいは「有用だが有害」な出力を回避するために、安全性と関連性の両方を同時に最適化する必要性を浮き彫りにしている。