技術要約：安全性は文脈依存的であるが、LLM判定器はそうではない

問題提起

大規模言語モデル（LLM）による判定（LLM-judges）は、安全性の評価において単一の正解（グラウンドトゥルース）が存在しないことが多いため、大規模な安全性評価における事実上の標準となっている。しかし、これらの判定器に対する現在の評価は、静的なベンチマーク内での人間との一致度指標に大きく依存している。このアプローチは、文化、ドメイン、時間の経過とともに安全性の定義が変化する実世界のデプロイメントに求められる重要な特性を捉えきれていない。具体的には、LLM判定器が以下の能力を備えているかが不明確である：

1. インコンテキスト情報の活用能力： プロンプト内で提供されるデモンストレーションから学習したり、新しい意味知識（例：スラング、最近の出来事）に適応したりできるか？
2. 特定の安全性ポリシーへの準拠能力： カスタムの、あるいは相違する安全性の定義に従うよう誘導できるか、それとも事前学習および事後学習によって確立された内部のプライア（先入観）に固執してしまうのか？

本論文は、これらの特性を理解しなければ、実務者は静的なベンチマークでは正確に見えても、特定のエンタープライズ・ポリシー、文化的ニュアンス、あるいは言語や脅威の時間的な変化に適応できない判定器をデプロイしてしまう可能性があると主張している。

メソドロジー

著者らは、13種類の多様なLLM判定器（オープンソース/クローズドソース、汎用モデル、安全性特化型モデルを網羅）について、5つの言語（英語、フランス語、日本語、アラビア語、韓国語）にわたるメタ評価を実施した。研究では以下の3つのデータセットを用いた：

• MultilingualPrompts: ニッチな地域知識を必要とする779個のプロンプトを含む、内部データセット。
• NovelPrompts: モデルの学習カットオフ（2025年7月以降）より後の概念を含む、194個の英語データセット。
• Sorry-BENCH: ロバスト性チェックに使用される、1,000個のサンプルからなる公開ベンチマーク。

評価は、2つの核となる特性に焦点を当てた：

1. 感受性（Susceptibility）： インコンテキスト情報が提供された際に、判定器が予測を変更する可能性。これは以下の方法でテストされた：
   • デモンストレーション： 2〜4個の例示（正解、不正解、またはなし）を提供し、判定器がタスクの形式やラベル空間を学習するかを確認する。
   • 新規コンテキスト： ニッチな用語やカットオフ後の概念に関する説明を提供し、判定器が新しい意味知識を取り込めるかを確認する。
   • 無関係なコンテキスト： シャッフルされた、あるいは無関係な情報を提供し、ロバスト性をテストする。
2. ステアラビリティ（Steerability / 操舵性）： 修正された安全性ポリシーが与えられた際に、判定器が予測を変更する可能性。これは以下の方法でテストされた：
   • ポリシーのバリアント： 特定のカテゴリの深刻度の閾値を変更する（例：自傷行為を「安全」とし、性的コンテンツを「不安全」とする）。
   • 不条理なポリシー： 球技を「不安全」と定義し、判定器が直交するタスクに対して安全性のプライアを上書きできるかをテストする。
   • タスクの再構成： 安全性評価を任意の分類タスク（カテゴリA対B）としてマスクし、「安全性」という概念の影響を分離して、指示への影響をテストする。

パフォーマンスは、精度（Accuracy）、F1スコア、および予測反転率（条件間で判定器の出力が変化したサンプルの割合）を用いて測定された。

主な結果

1. インコンテキスト情報への感受性

• デモンストレーションはほぼ効果がない： デモンストレーション（たとえ誤導的なものであっても）を提供しても、パフォーマンスへの影響は限定的または一貫していなかった。判定器は例示に基づいて予測を変更することは稀であり、few-shotのコンテキストから学習するのではなく、内部のプライアに依存していることが示唆された。
• 新規コンテキストが知識のギャップを埋める： 判定器は、新規の意味情報に対して顕著な感受性を示した。NovelPromptsにおいて、カットオフ後の概念を説明するコンテキストを提供すると、F1スコースが平均で10%向上した。この効果は、コーパス頻度が低い（事前知識が少ない）サンプルで最も顕著であった。
• 事前知識が感受性を左右する： 判定器は、自身が持つプライアが弱いサンプル（学習データにおける単語頻度が低いもの）において、予測を変更する可能性が著しく高い。逆に、自身が「知っている」サンプルについては、矛盾するコンテキストが提示されても硬直したままである。
• 固有の変動性： 感受性はモデル固有の特性である。一部のモデル（例：Tiny-Aya）は、有益なコンテキストと妨害となるコンテキストの両方に非常に敏感であるが、他のモデルはロバストである。

2. 安全性ポリシーへのステアラビリティ

• 判定器は新しいポリシーへの適応に苦慮する： 内部のプライアと矛盾する安全性定義（例：自傷行為を安全と再分類する）が提示された場合、判定器は適応できなかった。新しいポリシーに整合させるために15%以上の変更が必要な場合でも、予測の変化率はわずか約5%にとどまり、新しいグラウンドトゥルースに対する大幅な精度低下を招いた。
• 不条理なポリシーが硬直性を明らかにする： タスクが安全性に対して直交している場合（例：球技＝不安全）、判定器は不条理なポリシーに従うことが容易であったが、新しいポリシーが学習済みの安全性境界と衝突する場合、適応に苦労した。
• タスクのフレーミングが重要である： 安全性評価タスクを「安全性」という言葉を使わずに任意の分類タスク（A対B）として再構成すると、ステアラビリティは2倍以上に大幅に向上した。これは、硬直性がモデルの指示理解能力の問題ではなく、モデルの内部的な安全性境界に起因することを示唆している。
• ステアラビリティはモデル依存的である： 感受性と同様に、ステアラビリティもモデルによって異なるが、人間との一致度や精度とは相関していなかった。

意義と主張

本論文は、アライメントされた静的な設定における人間との一致度のみに焦点を当てた現在の評価手法は、「偽りの安心感」を与えるものであると主張している。著者らは、安全性判定器を評価するための、これまで見落とされていた不可欠な特性として、**感受性（susceptibility）とステアラビリティ（steerability）**を導入した。

主な主張は以下の通りである：

• 安全性は文脈依存的であるが、判定器はそうではない： 安全性ポリシーは文化、ドメイン、時間によって変化するが、LLM判定器は一般的にこれらの変化に適応しない。プロンプトで提供される指示に関わらず、彼らは広範に事後学習された安全性の境界を適用する傾向がある。
• 文脈学習は条件的である： 判定器は新しい情報から学習できるが、それはトピックに関する事前知識が弱い場合に限られる。彼らは誤導的なデモンストレーションや無関係なコンテキストに対してはロバストである。
• 選択基準を変える必要がある： 実務者は、精度のみに基づいた単一の「最適な」判定器に頼ることはできない。代わりに、判定器の選択はデプロイメントのシナリオに基づいて行われるべきである：
  • 新しい情報への適応を必要とするタスク（例：リアルタイムの誤情報対策）には、**感受性の高い（susceptible）**判定器が好ましい。
  • 特定のエンタープライズまたは文化的ポリシーへの遵守を必要とするタスクには、**ステアラブルな（steerable）**判定器が必要である。
  • ベースモデルの内部ポリシーが信頼できる場合、人間との一致度指標で十分であるが、その場合、指示やデモンストレーションは無視される可能性がある。

著者らは、安全性システムが現実世界において堅牢かつ適応可能であることを保証するために、コミュニティは静的なベンチマークを超えて、感受性、ステアラビリティ、および精度の組み合わせた特性を包括的に評価しなければならないと結論付けている。