技術要約：拒絶と遵守のトレードオフ

問題提起

現在の大規模言語モデル（LLM）の安全性評価は、安全性のプロキシ（代理指標）として拒絶率に大きく依存している。本論文は、拒絶率が不適切な指標であると主張する。なぜなら、それは過剰拒絶（無害なプロンプトの拒絶）と有害な遵守（敵対的なプロンプトに対する有害なコンテンツの生成）という、明確に区別される独立した2つの失敗モードを捉えられていないからである。

既存のベンチマークは、通常、これらの一方のモードのみを単独で扱っている。毒性ベンチマーク（例：ToxiGen）は、無害な拒絶率を考慮せずに、不安全な生成のみを評価する。一方、過剰拒絶ベンチマーク（例：XSTest、OR-Bench）は、敵対的な入力に対する脆弱性を評価することなく、偽陽性を測定する。さらに、観察される拒絶率は、評価データセット内の毒性の不均衡によって混乱が生じる可能性があり、グループ間の人口統計学的比較を信頼できないものにしている。本論文は、高い拒絶率が低い有害な遵守を意味するわけではなく、異なるエコシステムのモデルは、単一の数値による安全性サマリーでは捉えきれない根本的に異なるキャリブレーション戦略を採用していると断じている。

方法論

著者らは、4つの安全性ベンチマーク（OR-Bench、XSTest、ToxiGen、BOLD）を用いて、21種類の指示チューニング済みオープンウェイトLLMの大規模な実証監査を実施した。この研究は、複数のモデルファミリー（Llama、Qwen、DeepSeek、Mistralなど）、世代、スケール、および地域的エコシステム（米国、中国、欧州、中東、インド、韓国、日本）に及んでいる。

評価フレームワーク

1. 出力の分類: 回答は以下の3つのカテゴリに分類された：
   • 拒絶 (SR): モデルが関与を拒否する。
   • 安全な遵守 (SC): モデルが害を及ぼすことなく、有益に応答する。
   • 有害な遵守 (SU): モデルが有害、差別的、または不安全なコンテンツを生成する。
2. 指標:
   • 過剰拒絶率 (ORR): $P(SR | T_B)$、無害なプロンプトを拒絶する確率。
   • 有害な遵守率 (HCR): $P(S_{unsafe} | T_T)$、毒性のあるプロンプトに対して不安全なコンテンツを生成する確率。
   • 毒性調整済み拒絶ギャップ ($\Delta$): ベンチマークの毒性分布に対して周辺化を行うことで、モデルの人口統計学的属性への感度を、データセットの構成効果から分離するために設計された指標。
3. LLM-as-a-Judge: 微妙な挙動（例：部分的な拒絶や、安全性を前置きした回答）を扱うため、著者らは循環バイアスを軽減するために、2つの異なるモデル（Llama-3.3-70B-Instruct および Qwen2.5-32B-Instruct）を用いたマルチジャッジ・パイプラインを採用した。主要な分析では、安定性を確保するために二値的な抽象化（Safe vs. Unsafe）を利用した。
4. 実験設定: すべてのモデルはNVIDIA A100 GPU上で貪欲デコーディング（greedy decoding）を用いて評価され、710万件以上のプロンプト・応答ペアと1430万件のジャッジ・アノテーションを生成した。

主な結果

1. 安全性失敗モードの直交性

本研究では、過剰拒絶と有害な遵守はほぼ無相関である（$r = -0.032$）ことが判明した。モデルが無害なプロンプトを拒絶する傾向は、敵対的な入力に対する脆弱性について実質的に何の情報も提供しない。

• 保守的なエコシステム: Llama-3-8B や Falcon3-7B のようなモデルは、高いORR（それぞれ11.12%および9.47%）を示すが、HCRは非常に低い（0.30%および0.00%）。これらは有用性を犠牲にして安全性を優先している。
• 寛容なエコシステム: DeepSeek-R1-7B のようなモデルは、極めて低いORR（0.26%）を示す一方で、高いHCR（29.71%）を示し、有用性を維持しながらも重大な有害な遵守を許容している。
• バランスの取れたエコシステム: Qwen-2.5-7B は、両方の指標において低い値（ORR 0.80%、HCR 0.16%）を達成した。
• 偽陽性: 高い拒絶率は堅牢性を保証しない。Airavata-7B は40.70%のORRを示しながらも、依然として11.70%のHCRを示しており、無差別な介入は標的を絞った安全性強化の代わりにはなり得ないことを示している。

2. モデルファミリー内での安定性

拒絶および遵守の挙動は、世代やスケールを越えてモデルファミリー内で安定しており、これはポストトレーニングの目的（例：RLHFポリシー、安全性ファインチューニング・データ）が、アーキテクチャやモデルサイズよりも安全性挙動を形成していることを示唆している。

• Llamaファミリー: 世代間（Llama-2からLlama-3.1）を通じて、HCRはゼロに近い状態を維持しつつ、ORRはわずかに増加しており、高介入なプロファイルを維持している。
• Qwenファミリー: 世代間で低いORRを維持しつつ、HCRはわずかに改善した。
• 示唆: ポストトレーニングの系統が一貫している限り、単一のモデルのスナップショットはそのエコシステムの安全性プロファイルを合理的に代表している。

3. 不平等な人口統計学的保護

人口統計学的な保護は極めて不均衡であり、多くの場合、集計指標からは見えない。

• 過剰保護: モデルはしばしば、著名な人種や宗教的グループ（例：ユダヤ教徒、ラテン系、イスラム教徒）に対して過剰に保護的であり、それらのアイデンティティに言及した無害なプロンプトを拒絶する。例えば、Llama-3.1-8Bは、ユダヤ系の人口統計を参照する無害なプロンプトの16.32%を拒絶した。
• 過少保護: モデルは障害を対象とした攻撃に対して大幅に脆弱である。Airavata-7B は、精神的障害に関するプロンプトに対して8.99%のHCRを示し、これは観察されたサブグループ固有の最高HCRであった。
• 構成効果: 生の拒絶率は、毒性のあるサブセットにおける人口統計学的グループの頻度のために、これらの格差を誤認させることが多い。毒性調整済みギャップ（$\Delta$）は、構成効果が一部の人口統計学的拒絶推定値を膨張させていることを明らかにした。

4. ベンチマークおよび評価者の選択に対する感度

• ベンチマーク構造: 過剰拒絶率は、ベンチマークのデザインによって大きく異なる。モデルは、OR-Bench（意味的な曖昧さ）と比較して、XSTest（構造的なペアリング）において高いORRを示した。これは、意図が無害であっても、語彙的な表面特徴が拒絶を引き起こす可能性があることを示している。
• 評価者への依存性: 過剰拒絶の知見は、2つのジャッジモデル間で非常に安定していた（$r = 0.990$）。しかし、有害な遵守の判断は、境界領域の出力に関して強くジャッジに依存していた（$r = 0.356$）。特に、部分的な免責事項や間接的な支援に関する判断において顕著であった。これは、単一のジャッジによる監査が、モデル固有の特性ではなく、評価者のキャリブレーションを反映した遵守推定値を生み出す可能性があることを示唆している。

重要性と貢献

本論文は、LLMの安全性評価分野において主に3つの貢献を行っている：

1. 失敗モードの共同監査: 拒絶率のみの評価を超え、21のモデルと4つのベンチマークにわたって過剰拒絶と有害な遵守を共同で測定することで、これらが個別の緩和戦略を必要とする直交する失敗モードであることを示した。
2. エコシステムの特性評価: 安全性挙動はアーキテクチャよりもポストトレーニングの目的に 의해駆動されていることを明らかにし、（保守的 vs 寛容といった）異なるエコシステム間での根本的に異なるキャリブレーション戦略を明らかにした。
3. 人口統計および堅牢性の分析: 人口統計学的な保護の格差を明らかにし、モデルが可視的なアイデンティティ・グループを過剰に保護する一方で、障害を対象とした攻撃に対しては保護に失敗していることを示した。また、公平な比較を行うためには、不均質な評価者アンサンブルを使用し、データセットの構成を調整する必要があることも強調している。

著者らは、堅牢な安全性監査には、両方の失敗モードの共同評価、（毒性構成を調整した）詳細な人口統計学的報告、および単一の指標や単一のジャッジによる評価の落とし穴を避けるための複数のベンチマークと評価者アンサンブルの使用が必要であると結論付けている。