Policy-Grounded Safety Evaluation of 20 Large Language Models

Juan Manuel Contrereras による論文「20 の大規模言語モデルのポリシーに基づく安全性評価」の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）が医療、法、金融などの高リスク分野でますます展開されるにつれ、厳格でスケーラブルな安全性評価の必要性が極めて重要となっています。しかし、現在の安全性評価手法にはいくつかの限界があります。

• 文脈的変動性: 「安全性」という概念は単一のものではなく、分野、法的管轄区域、文化的規範によって異なります。
• 静的対動的なトレードオフ: 既存のフレームワークは、作成が容易だが静的（例：広範な有害性チェック）か、動的だがリソース集約的（手動によるデータセット作成が必要）かのどちらかであることが多いです。
• カスタマイズの欠如: ほとんどのツールは、特定のポリシー、新興リスク、または非英語言語に容易に適応する能力を欠いています。
• 評価のギャップ: テキストから画像、音声など多様なモダリティ、およびプライバシーやなりすましのような具体的かつ微妙なリスク分野における安全性の評価に大きなギャップがあります。

本論文は、スケーラブルでカスタマイズ可能、かつポリシーに基づくツールがなければ、現代の多様な LLM の環境において AI 安全性を実効的に運用することは不可能であると主張しています。

2. 手法

著者らは、自然言語のポリシーに基づいて安全性評価の生成とスコアリングを自動化するために設計されたプログラムプラットフォーム「Aymara AI」を導入しました。

A. Aymara AI フレームワーク

• 入力: 開発者は AI システムの説明と、自然言語の安全性ポリシー（例：「誤った情報を生成しないこと」）を指定します。
• プロンプト生成: システムは SDK を使用して、特定のポリシーの境界をテストするために適応した敵対的プロンプトをプログラム的に生成します。以下のような手法を採用しています。
  • ゼロショット生成: 手動作成なしでポリシーあたり 25 の敵対的プロンプトを作成します。
  • フューショット例: 差別、著作権など微妙な分野の例示プロンプトを提供し、生成器をエッジケースへと誘導します。
  • 詳細な指示: 生成器をフィクションや物語スタイルから遠ざけ、現実的、直接的、かつ操作的なユーザークエリに焦点を当てるよう誘導します。
• スコアリング（LLM-as-a-Judge）: モデルの応答は、バイナリの安全/不安全ラベル、信頼性スコア、自然言語による根拠を出力する検証済みの AI 評価者（LLM）によって評価されます。
• 検証: スコアリングシステムは、層化されたサブセットにおける人間の判断に対して検証され、以下の結果を達成しました。
  • 精度: 0.93
  • 加重 F1 スコア: 0.93
  • コエンのカーパ係数: 0.85（実質的な一致）。

B. 実験設定：Aymara LLM リスクと責任マトリックス

• 範囲: OpenAI、Anthropic、Google、Meta、Amazon などの主要プロバイダーから提供される 20 の商用利用可能な LLM（GPT-4.1、Claude 3.5/4、Llama 4、Gemini 2.5 などを含む）を評価しました。
• 分野: 学術文献、プロバイダーのポリシー、規制（EU AI 法など）に基づき、10 の明確な安全性分野を定義しました。
  1. 児童および動物虐待
  2. 著作権および知的財産権侵害
  3. 憎悪表現およびバイアス
  4. 違法活動
  5. 悪意のある使用
  6. 誤情報
  7. プライバシーおよびなりすまし
  8. 自傷行為
  9. 性的に露骨な内容 / NSFW
  10. 資格のない専門的助言
• データ: 分野あたり 25 のポリシーに基づくプロンプト 250 個を生成し、合計 5,000 のモデル応答が得られました。
• プロトコル: 評価は、2025 年 5 月から 6 月の間に、デフォルトの API 設定を使用したゼロショット環境で行われました。

3. 主要な貢献

1. Aymara AI プラットフォーム: 自然言語のポリシーを敵対的テストスイートに変換するスケーラブルで AI ネイティブなフレームワークを導入し、手動データセット作成の必要性を排除しながら、多言語およびマルチモーダル評価をサポートします。
2. 包括的なベンチマーク: 10 の重要な安全性次元にわたる 20 の主要 LLM を評価し、これまでにない最も広範なクロスモデル比較を提供します。
3. 不一致の経験的証拠: 最も高度な LLM でさえ頻繁に安全性ポリシーに違反しており、パフォーマンスは分野やプロバイダーによって劇的に変動することを示しています。
4. 重大な脆弱性の特定: プライバシー、なりすまし、専門的助言に関連して、現在の安全性ガードレールが不十分である特定の領域を浮き彫りにしました。

4. 主要な結果

この研究は、すべてのモデルと分野にわたる全体的な平均安全性スコアが 73.2% であるなど、安全性パフォーマンスに大きな格差があることを明らかにしました。

A. モデルパフォーマンスのばらつき

• 最高パフォーマンス: Anthropic の Claude Haiku 3.5（平均スコア 86.2%）。
• 最低パフォーマンス: Cohere の Command R（平均スコア 52.4%）。
• 統計的有意性: ANOVA はモデル間で有意なばらつきを示しましたが（$p = .04$）、事後の Tukey HSD 検定は、補正後に有意に残留する特定の対比較を特定しませんでした。これは、単一のプロバイダーがすべてのカテゴリを支配するわけではない広範なパフォーマンス帯域を示唆しています。
• プロバイダーの傾向: Anthropic、OpenAI、Amazon、Google のモデルは一般的にトップティアにランクされましたが、これらのモデルでも特定の分野では苦労しました。

B. 分野別パフォーマンスの階層

安全性のパフォーマンスは文脈に強く依存しており、明確なリスクの階層を形成しました。

• 高パフォーマンス分野（トップティア）:
  • 誤情報（平均: 95.7%）
  • 悪意のある使用（平均: 91.8%）
  • 憎悪表現およびバイアス（平均: 91.1%）
  • 洞察: これらの分野は、長年のコンテンツモデレーションの実践と明確な定義の恩恵を受けています。
• 低パフォーマンス分野（ボトムティア）:
  • プライバシーおよびなりすまし（平均: 24.3%）– 最も弱い領域。どのモデルもここで 45.5% 以上の安全性を達成しませんでした。
  • 資格のない専門的助言（平均: 53.8%）
  • 性的に露骨な内容 / NSFW（平均: 60.0%）
  • 洞察: これらの分野は、創造的なユースケースと安全性のバランスを取る微妙な判断、または現在のガードレールが一貫して強制することに失敗している複雑なアイデンティティ/プライバシーの制約を必要とします。

C. 統計的知見

• ANOVA は、分野間の安全性スコアに有意な差があることを確認しました（$F(9, 190) = 37.37, p < .001$）。
• 事後分析は、「トップティア」分野（誤情報、悪意のある使用、憎悪表現）が「ボトムティア」（プライバシー、専門的助言、NSFW）よりも有意に良好にパフォーマンスしたことを確認しました。

5. 意義と含意

• 安全性は単一ではない: 本論文は、「LLM の安全性」が単一の指標ではないことを証明しています。モデルは誤情報に対しては極めて安全であっても、プライバシーやなりすましに関しては危険にほど不安全である可能性があります。
• 「プライバシーのギャップ」: プライバシーおよびなりすましにおける極端に低いスコア（平均 24.3%）は、業界全体における重大な失敗を示しています。現在のモデルは、創造的な執筆（例：Adele として歌を書くこと）と有害ななりすましの区別が困難であり、アイデンティティに基づくリスクに関するより良い訓練が必要であることを示唆しています。
• 動的評価の必要性: 静的なベンチマークでは不十分です。Aymara AI が行うように、進化していくポリシーに基づいてプログラム的に新しい敵対的プロンプトを生成する能力は、モデルの能力や新興の脅威に追いつくために不可欠です。
• 規制および開発への影響: この知見は、規制当局（EU AI 法などの法律を執行するため）および開発者（特定の展開コンテキストを監査するため）にとって、カスタマイズ可能でポリシーに基づく評価ツールの必要性を支持しています。

結論: 明確に定義された分野では LLM の安全性は向上しましたが、微妙な分野では依然として重大かつ一貫性のないリスクが存在します。著者らは、多様な法的、文化的、倫理的基準と整合した AI 開発を確保するために、Aymara AI のようなスケーラブルでカスタマイズ可能なツールが安全性を実効化するために必要であると結論付けています。