技術要約：Safety Game: 制約付き最適化によるブラックボックスLLMの推論時アライメント

1. 問題提起

本研究が取り組む中心的な課題は、大規模言語モデル（LLM）が、学習時のアライメント手法（RLHFやファインチューニングなど）に伴う膨大なコストや柔軟性の欠如を回避しつつ、いかにして安全性要件を遵守させるかである。既存の推論時アライメント手法の多くは、モデルの内部（重みやアーキテクチャ）へのアクセスを必要とするため、サードパーティのステークホルダーがプロプライエタリなブラックボックスAPIを使用する場合には実用的ではない。さらに、現在の手法は、有益で情報量の多い回答を生成することと、有害またはリスクのあるコンテンツを回避することの間のトレードオフの調整に苦慮している。ベースモデルを再学習させることなく、推論時に安全性制約を強制できる、モデルに依存しないブラックボックス型のフレームワークに対する切実なニーズが存在する。

2. メソドロジー：Safety Game フレームワーク

著者らは、有限の候補集合から回答を選択することを、ゲーム理論から導出された制約付き最適化問題として扱う、モデルに依存しないフレームワークである SAFETY GAME を提案している。

2.1. 問題の定式化

LLM（プレイヤー1）とユーザー（プレイヤー2）の相互作用は、一回限りの不完全情報ゲームとしてモデル化される。

• 候補集合: 与えられたプロンプト $x$ に対して、システムは有限の候補回答の集合 $R = \{r_1, \dots, r_m, r_s\}$ を検討する。ここで、$r_s$ は指定された セーフ・フォールバック（安全な代替策）（例：拒絶、または一般的な安全な声明）であり、有用性の向上（helpfulness lift）はゼロ、リスクもゼロである。
• スコアリング: 各候補 $r_i$ には、有用性スコア ($h_i$) と 安全性リスクスコア ($s_i$) が割り当てられる。これらは、ベースとなるLLMに対してバイナリ・プローブ（「これは有益か？」「これは有害か？」）を用いて、YES/NOトークンの対数確率を推定する セルフ・プロービング（自己探索） を通じて計算される。
• マージン: フレームワークは、フォールバックに対する相対的なマージンに基づいて動作する：$M_i = h_i - h_s$ （有用性の向上）および $\Delta_i = s_i - s_s$ （追加のリスク）。

2.2. ゲーム理論的導出

選択問題は、二者間ゼロサムゲームとして定式化される。LLMは、不確かなユーザーの意図（良心的か敵対的か）の下で、安全性を最大化しつつ、安全ポリシーに違反するリスクを最小化するように、混合戦略 $\pi$ （候補の確率分布）をコミットする。

• ミニマックス平衡: このゲームは、安全性制約の下で有用性を最大化するミニマックス平衡を求める。
• 決定レイヤー: この平衡は、推論時に解かれる 線形計画法（LP） 問題として運用される：
  $$\max_{\pi \in \Delta_m} \sum_{i=1}^m \pi_i M_i \quad \text{s.t.} \quad \sum_{i=1}^m \pi_i \Delta_i \leq T$$
  ここで、$T$ は安全性予算パラメータである。もしLPが実行不可能（infeasible）である場合、システムは安全なフォールバック $r_s$ をデフォルトとして採用する。

2.3. 堅牢性と実装

• ノイズを含む信号: 本フレームワークは、セルフ・プローブ（または外部スコアラー）がノイズを含む推定値を提供することを認識している。定理3.1は、リスクスコアに限定された誤差 $\epsilon_s$ がある場合、制約を厳格化した $T' = T - 2\epsilon_s$ を強制することで、真のリスクが $T$ の範囲内に留まることを保証する。
• 平滑化された緩和: 境界の敏感さとスコアのノイズに対処するため、ハードな制約のシグモイド緩和も提案されており、安全性上限付近での滑らかなペナルティ・ランプを可能にしている。
• ブラックボックス互換性: この手法は、候補を生成し、それらをスコアリング（セルフ・プロービングまたは外部分類器経由）するためのAPIアクセスのみを必要とする。ベースモデルの重みを変更することはない。

3. 主な貢献

1. ゲーム理論的決定レイヤー: 本論文は、不完全情報ゲームにおける適応的安全性を踏まえた、ブラックボックスLLMのための選択ルールを導出した。これにより、以下の二つの非自明な設計上の選択肢が得られる：
   • フォールバック相対マージン: 最適化は生のスコアではなく、安全なベースラインに対する改善度に基づいて行われる。
   • 集約リスク制約: 安全性は個々の候補をフィルタリングするのではなく、候補の 混合物 （期待リスク）に対して制約される。これにより、境界線上にある安全な候補であっても、より安全な候補によって相殺される場合に選択が可能となる。
2. 決定レイヤーの経験的検証: 実験により、性能向上がスコアラー自体ではなく、LP決定レイヤーに起因することが示された。固定された外部スコアラー（Llama-Guard-3-8B）を使用した際、LPベースのセレクターは、440の不適切なプロンプトに対して、最良の閾値ベースのフィルターよりも81個多くの人間にとって安全な回答を回収した。
3. スケーラブルなブラックボックス・アライメント: 本フレームワークは、モデルの内部へのアクセス権を持たないステークホルダーに対し、多様なモデルファミリーに対して再学習なしで安全性を強制できる、プラグアンドプレイのソリューションを提供する。

4. 実験結果

本手法は、5つの異なるLLM（LLaMA-2、LLaMA-3、GPT-OSSを含む）を用い、4つのベンチマーク（HHH（有用性、無害性、誠実性）、TruthfulQA、SafetyBench、SORRY-Bench）で評価された。

• SafetyBench: 本手法は最大の利得を達成し、5つのモデルのうち4つにおいて、すべてのベースライン（ER-G/ER-DなどのConsensus Gameのバリアントを含む）を上回った。対比較のMcNemarテストにより、統計的に決定的な改善（$p < 10^{-4}$）が示された。
• SORRY-Bench: 本手法は、5つのモデルのうち3つにおいて、最も低い期待人間充足率（Expected Human Fulfillment Rate: HFR）を達成した。これは強力なベースラインと比較して45〜81%の相対的な減少である。極めて重要な点として、攻撃的なフィルタリングによってHFRがほぼゼロに崩壊したベースラインと比較して、本手法はより高い 拒絶の質 （単なる拒絶ではなく、有益な代替案の提示）を維持した。
• 一般ベンチマーク（HHH, TruthfulQA）: 本手法は、20のモデル・ベンチマーク設定のうち14において、最高のベースラインと同等またはそれを上回る性能を示し、安全性のためのアライメントが一般的な有用性や誠実性を損なわないことを証明した。
• 過剰拒絶（Over-Refusal）: 良心的な指示遂行タスク（AlpacaEval）において、本手法は壊滅的な過剰拒絶を示すことはなく、境界線上のプロンプトにおいてパレート・フロンティアに位置しながら、ベースラインと同等の性能を維持した。

5. 意義と主張

本論文は、ブラックボックス・アライメント・フレームワークの実現可能性 を確立したと主張している。その主な意義は、安全性の決定をモデルの内部学習から切り離したことにあり、これにより以下が可能となる：

• 民主化: リソースの限られた小規模な組織でも、モデルの再学習という財務的・技術的負担を負うことなく、堅牢な安全対策を講じることができる。
• 柔軟性: 安全性制約を推論時に（予算 $T$ を通じて）更新または調整できるため、再学習を行うことなく、新しい規制や社会的規範に適応させることができる。
• 理論的根拠: 本アプローチは、制約付き選択に対する原理に基づいたゲーム理論的な正当化を提供しており、単純な閾値処理やランキングでは提供できない、適応安全性に関する保証を与える。

著者らは、本手法の性能が測定レイヤー（スコアラーの較正）の品質に依存すること、および現在はマルチターン対話ではなくシングルターンの選択に操作していることを、限界として謙虚に述べている。しかし、本研究は、基礎となるモデルのアーキテクチャに依存しない、スケーラブルでアクセシブルなAI安全性の新しい方向性を切り開くものである。