技術要約: SHARP – リスクプロファイルによる社会的危害の分析

問題提起

大規模言語モデル（LLM）は、ヘルスケア、金融、刑事司法などの高リスクな領域において、稀ではあるが深刻な失敗が取り返しのつかない危害をもたらす可能性があるため、ますます広く導入されています。現在の評価ベンチマークは、主に平均を中心としたスカラー値（例：平均精度、集計されたバイアススコア）に依存しています。本論文は、これらの指標が以下の理由から不十分であると論じています。

1. 分布構造の隠蔽: これらは異質な挙動を点推定値へと集約してしまい、応答の多様性を隠してしまいます。
2. テール挙動の無視: 平均的な性能が似通っているモデルであっても、最悪のケースにおける挙動（上側テール事象）は劇的に異なることがあり、これが高リスク設定における実質的なリスクを支配します。
3. 次元間の相互作用の混同: さまざまな失敗モード（バイアス、公平性、倫理、認識論的信頼性）がどのように相互作用し、複合的に作用するかを捉えることができません。

その結果、既存の評価慣行はデプロイメントのリスクと整合性が取れておらず、ガバナンスメカニズムは高レベルの原則を、監査可能でリスクに敏感な指標へと翻訳することに苦慮しています。

メソドロジー: SHARPフレームワーク

著者らは、社会的危害の多次元的かつ分布を考慮した評価のために設計されたフレームワークである、Social Harm Analysis via Risk Profiles (SHARP) を導入します。SHARPは、社会的危害を単なるスカラー量ではなく、固定されたプロンプト分布上の多変量乱数として扱います。

1. 評価プロトコル

• コーパス: 評価は、Bias Evaluation and Assessment Test Suite (BEATS) および BBQ ベンチマークから派生した $n=901$ 個の社会的に敏感なプロンプトからなる固定コーパスに対して行われます。
• 判定: 11種類の最先端LLMからの応答は、3つのブラインド化されたLLMベースの判定器（Claude Sonnet 4.5, Gemini 2.5 Pro, GPT-5.1）によって評価されます。
• 集約: 判定器の出力（ブール値のインジケーターおよび順序尺度による深刻度スコア）は $[0, 1]$ に正規化されます。不一致を考慮しつつ、深刻な評価を重視するために、スコアは温度パラメータ $\tau=0.20$ を用いた Log-Sum-Exp (LSE) オペレータを使用して集約されます。これにより、平均プーリングと最大値プーリングの中間を補間し、最悪のケースの評価に対する感度を維持します。

2. 次元の分解

SHARPは、社会的危害を以下の4つの明確な次元に分解し、それぞれをサブインデックスとして表現します。

• バイアス (B): 影響を受けるカテゴリの広がり、危害の強度、および増幅要因（明示性、交差性）を測定します。
  এটি
• 公平性 (F): 応答内での不平等な扱い（デモグラフィックな格差、機会の平等のギャップ、グループ間の格差）を捉えます。
• 倫理 (E): 価値観の不整合（倫理的不整合、価値の衝突、危害のリスク、文化的非感受性、排除のリスク）の指標を集約します。
• 認識論的信頼性 (K): 不信頼性（認識論的な不健全さ、認識論的リスク）を測定します。

3. リスク感受的な集約

複合的な危害をモデル化するために、SHARPは信頼性解析に着想を得た 「失敗の和集合 (union-of-failures)」 定式化を採用しています。

• 複合的な危害: いかなる次元においても危害が発生する確率は、$H = 1 - \prod (1 - h_i)$ としてモデル化されます。
• 加法的な対数リスク: 1付近での飽和を避け、分解可能性を可能にするために、SHARPは負の対数変換を用いて残差安全性を再パラメータ化します。累積対数リスク $L$ は以下のように定義されます。
  $$L = -\log(1 - H + \epsilon) = \sum_i -\log(1 - h_i + \epsilon)$$
  これにより、有界な危害の強度が、無界なリスク単位へと変換されます。ここで、個々の次元からの加法的な寄与は、複合的なリスク圧力を表します。

4. 分布プロファイリング

単一の平均スコアを報告する代わりに、SHARPは各モデルのプロンプトレベルの累積対数リスク値の経験的分布を、以下を用いて特徴付けます。

• 期待対数リスク ($\mu_L$): 中心傾向。
• リスク揮発性 ($\sigma_L$): プロンプト間のリスクの分散。
• 条件付き期待値 ($CVaR_{0.95}$): 主要な指標であり、ワースト5%のプロンプトにおける期待対数リスクを表します。これは、テールの深刻さを明示的に捉えます。

主な結果

このフレームワークは、11種類の最先端LLM（オープンウェイトおよびプロプライエタリなシステムを含む）に適用されました。

1. 平均とテールリスクの乖離

平均的なリスクプロファイルが似ているモデルであっても、テールの挙動には顕著な違いが見られました。

• 例: Claude Sonnet 4.5 の $CVaR_{0.95}$ は 1.69 であったのに対し、DeepSeek-Chat と Mistral-Large はそれぞれ 5.73 および 5.99 に達しました。これは、比較的近い平均対数リスク値にもかかわらず、最悪のケースにおける複合的な危害が3倍以上増加していることを示しています。
• 意義: 平均ベースの要約は、極端な挙動を系統的に過小評価します。LLaMA-3 405B は、最もリスクの低いモデルよりも4倍以上高い $CVaR_{0.95}$ を示しました。

2. 次元の異質性

• 限界的なテール深刻度: バイアスに関連する危害は、モデル全体を通じて一貫して最も強いテール深刻度を示しました。認識論的および公平性のリスクは中間的な領域に位置し、倫理的な不整合は一貫して低くなりました。
• 複合的なテールの属性: 最悪のケースにおける複合的な失敗の要因は、モデルによって異なります。一部のシステム（例：Claude 3.5 Sonnet, GPT-4o）では、認識論的な不信頼性が主要な要因でした。他のシステム（例：より高リスクなオープンウェイトモデル）では、バイアス関連のメカニズムが支配的でした。これは、単一の次元がすべてのモデルにおいて一様に最悪の結果を駆動するわけではないことを示しています。

3. 統計的妥当性

• 安定性: ブートストラップ・リサンプリングおよびLeave-one-judge-out分析により、 $CVaR_{0.95}$ に基づくモデルのランキングが、判定器の構成や集約パラメータの変化に対して安定しており、堅牢であることが確認されました。
• プロンプト依存性: 分散分解により、プロンプトの同一性がモデルの同一性よりも大きな割合（25.8% 対 13.9%）で全分散を説明することが明らかになりました。これは、社会的危害のコンテキスト依存性と、点推定よりも分布分析が必要であることを強調しています。

意義と主張

本論文は、SHARPを絶対的な、較正された現実世界の危害率のソースとしてではなく、方法論的な進歩として位置付けています。

• スカラーから分布への転換: 主要な貢献は、社会的危害をスカラー量として適切に特徴付けることはできないという議論です。効果的な評価には、危害の分布の幾何学と、その次元間の相互作用を明示的にモデル化する方法が必要です。
• リスク制約付きの選択: SHARPは、平均的な性能による全順序付けから、リスク制約付きのモデル選択への移行を可能にします。ステークホルダーは、平均的な性能に関わらず、許容できない最悪のケースへの露出を持つモデルを除外するために、テールに敏感な閾値（例：$CVaR_{0.95}$）を使用できます。
• 標的を絞った緩和: 次元の分解により、特定の失敗モード（例：バイアス駆動型か認識論的駆動型のテールリスクかの区別）を診断することが可能になり、一律の修復ではなく、標的を絞った介入をサポートします。
• 限界: 著者らは、SHARPが母集団レベルの公平性の保証や、現実世界の危害の較正された確率を提供するものではないことを明示しています。本フレームワークは、主に英語の固定されたプロンプト分布下での、固有のシングルターン挙動を評価するものです。測定された低いリスクは、安全なタスク完了ではなく、拒絶や回避を反映している可能性があります。また、結果は選択された判定器アンサンブルに依存します。

要約すると、SHARPは再現可能で分布を考慮した、比較可能かつテールに敏感な評価の基盤を提供し、LLMのリスクを意味のある形で評価するには、スカラー平均を超えて、最悪の挙動の多次元的なプロファイリングへと移行する必要があることを示しています。