技術要約: OpenSafeIntent

問題提起

大規模言語モデル（LLM）の安全性に関する現在の評価は、個別のプロンプトに依存しており、安全性を「有用性」と「有害性」の間の二元的なトレードオフとして扱う傾向がある。このアプローチは、「安全な補完（safe completion）」というニュアンスを捉えきれていない。安全な補完とは、モデルが誤用を可能にする詳細な情報を控える一方で、有用な支援を提供しなければならない状態を指す。核心となる課題は、多くのリクエストが「デュアルユース（二重用途）」であることだ。つまり、同じ基礎的な能力（例：化学プロセスの説明やセキュリティ脆弱性の分析）が、ユーザーの意図に応じて、正当な目的をサポートすることもあれば、危害を促進することもある。

プロンプトを独立してスコアリングする既存の指標では、モデルが「意図」に応答しているのか、それとも単にトピック、言い回し、難易度といった表面的な手がかりに反応しているだけなのかを判断できない。その結果、モデルは平均的には安全に見えても、同一のタスク領域内で意図が「良性」から「曖昧（デュアルユース）」、あるいは「悪意的」へと変化した際に、支援の度合いを適切に調整（キャリブレーション）できず、失敗することがある。

手法: OpenSafeIntent ベンチマーク

著者らは、意図に基づいた安全な補完を評価するために設計されたベンチマーク、OpenSafeIntentを導入する。評価の基本単位は、個々のプロンプトではなく、制御されたプロンプトセットである。

データセットの構築

データセットは、計805個のプロンプトを含む115個のプロンプトセットで構成されている。各プロンプトセットは、固定された基礎となるタスク、危害ドメイン、およびタスクタイプに基づいて構築されており、意図のフレーミングのみを変化させている。

• 構造: 各セットには、主に以下の3つのバリアントが含まれる：
  1. 良性 (Benign): タスクに対する正当なリクエスト。
  2. デュアルユース (Dual-use): 正当である可能性も有害である可能性もある、曖昧なリクエスト。
  3. 悪意 (Malicious): 危害を及ぼすことを明示的に求めるリクエスト。
• パラフレーズ: 各デュアルユース・プロンプトには、言い回しの微細な変化によるモデルの挙動の安定性をテストするために、4つのパラフレーズが付随している。
• タクソノミー（分類体系）: 生成は、以下の2つのタクソノミーによって制御される：
  • 危害ドメイン: （例：サイバー侵害、回避および迂回、危険な薬剤の使用）。
  • タスクタイプ: （例：計画、トラブルシューティング、推奨）。
• パイプライン: ジェネレーター（GPT-5.4）とジャッジ（Claude Sonnet 4.6）を用いた段階的な生成パイプラインにより、セット内のプロンプトが、意図のみが異なり、基礎となるタスクの複雑さや具体性は同一であることを保証している。人間による検証により、意図の分離性と自然度の高さが確認されている。

評価指標

本ベンチマークは、一貫性を捉えるために、レスポンスレベルとプロンプトセットレベルの両方の指標を採用している：

• レスポンスレベル:
  • 有用性 (Helpfulness): タスク満足度スコア（1–4）。
  • 安全性 (Safety): 二値化された危害の深刻度（0または1）。
  • ユーティリティ (Utility): 安全性がゲートされた有用性 ($U = S \times H$)。
• プロンプトセットレベル:
  • 平均安全性 (Mean Safety): すべてのプロンプトタイプにおける平均的な安全性。
  • トリプレット安全性 (Triplet Safety): モデルがすべての3つのバリアント（良性、デュアルユース、悪意）において同時に安全であったプロンプトセットの割合。これは意図の一貫性を測定する。
  • ワーストケース・ユーティリティ (Worst-Case Utility): 悪意のあるプロンプトを除外した、良性およびデュアルユースのバリアントにおける最小ユーティリティ。

主な結果

著者らは幅広いモデルを評価し、平均的な安全性スコアと、意図に基づいた（意図に校正された）挙動との間に大きな乖離があることを明らかにした。

1. 平均安全性が不一致を隠蔽する

平均安全性のスコアが似通っているモデルであっても、トリプレット安全性においては大きく異なる挙動を示すことがある。モデルは、悪意のあるプロンプトに対しては安全だが、デュアルユースのプロンプトに対しては脆い、あるいはその逆といった状況に陥ることがある。トリプレット安全性は、平均スコアが、同一のタスク内での意図不一致な挙動を隠してしまうことを露呈させる。

2. デュアルユースの挙動は脆弱である

• パラフレーズの不安定性: デュアルユースのパラフレーズセットのうち、すべてのバリアントにおいて一様に安全なレスポンスが得られたのはわずか約53%であった。残りのセットは、「セーフティ・フリップ（安全性の反転）」（一部のパラフレーズは安全だが、他は不安全）または一様な不安全性を示しており、安全性の境界付近におけるモデルの挙動が、微細な言い回しの変化に対して非常に敏感であることを示している。
• ユーティリティの分散: 安全なレスポンスの中であっても、多くのモデルにおいてパラフレーズ間でユーティリティ（有用性）が大きく変動しており、安全な支援がどのように提供されるかにおいて不安定性があることを示唆している。

3. 抽象化は信頼できる安全戦略ではない

研究では、レスポンスを以下の4つのモードに分類した：

• A1: 拒絶（Refusal）。
• A2: リスクのあるトピックに関する高レベルな回答。
• A3: リクエストをより安全なタスクへとリフレーミングした後の具体的な回答。
• A4: 元のリスクのあるリクエストに対する直接的な回答。

結果として、**A2（高レベルな抽象化）**は高い条件付き不安全率（58.14%）を示し、直接的な回答（A4）と同等のレベルであった。これは、単に手順の詳細を削除するだけではリスクを排除できないことを示唆している。抽象的な回答であっても、戦略的な情報やメカニズムを依然として露呈させる可能性がある。対照的に、**A3（リフレーミング）**は最も低い不安全率（18.65%）を示しており、成功する「安全な補完」とは、単にリスクのある問いに対して高いレベルで答えることではなく、タスクをより安全なドメインへと移行させることであることを示している。

4. 失敗モード：検知 vs 実行

不安全なデュアルユース・レスポンスは、2つの異なる失敗モードに起因する：

• 検知の失敗 (Detection Failure): モデルが、プロンプトに限定的な支援が必要であることを認識できていない。
• ポリシー実行の失敗 (Policy Execution Failure): モデルはリスクを認識しているが、生成プロセスにおいて境界の遵守に失敗している。
  これらの失敗の発生率はモデルによって異なる。一部のモデルは主に検知において失敗するが、他のモデル（GPT-5.4など）は、リスクを検知しているにもかかわらず、制約の実行に失敗し、注意が必要であることを認識しながらも不安全な詳細を出力してしまう。

意義と主張

本論文は、安全な補完は、独立したプロンプトに対する単一の「安全性ー有用性」のトレードオフとしてではなく、制御されたタスクのバリエーションを通じた意図に基づいた挙動として評価されるべきであると主張している。

• 評価のリフレーミング: 著者らは、プロンプトレベルの平均値は、意図の変化に伴ってモデルが支援内容を適切に変更できているかどうかを隠してしまうため、不十分であると主張する。OpenSafeIntentは、モデルが関連するリクエストの「ローカルな近傍」において、安全かつ有用であり続けられるかをテストするための枠組みを提供する。
• 拒絶を超えて: 結果は、安全な補完が単に有害なリクエストを拒絶したり、高レベルの抽象化を提供したりすることではないことを示唆している。むしろ、それは良性の意図に対しては完全な支援を、デュアルユースの意図に対しては制約付きまたはリフレームされた支援を、そして悪意のある意図に対しては拒絶または誘導を、というように、意図に基づいた安定したレスポンス・モードの選択を必要とするものである。
• 今後の方向性: 著者らは、将来の安全性トレーニングは、デュアルユースの挙動の不安定性と抽象化への依存に対処し、単なるトピックではなく、意図に基づいた支援のキャリブレーションを行う能力に焦点を当てる必要があると考えている。