技術要約：競合する報酬を用いたLLMにおける過剰拒絶への対処

問題提起

大規模言語モデル（LLM）の安全性トレーニングは、しばしば**過剰拒絶（over-refusal）**を引き起こします。これは、有害な出力を抑制しようとするあまり、モデルが無害または曖昧なプロンプトに対して過度に慎重になり、拒絶してしまう現象です。明示的な推論を促すことで、モデルが有害な意図と無害な意図を区別できるようにする強化学習（RL）アプローチが提案されていますが、現在の手法ではこのトレードオフを完全に解決できていないことがよくあります。

著者らは、既存の安全性トレーニング済みモデルにおける決定的な限界を指摘しています。それは、推論が真の曖昧さの解決メカニズムではなく、あらかじめ決定された拒絶のための**「ゴム印（rubber stamp）」**として機能しているという点です。これらのモデルは、以下の2つの脆弱な挙動を示します：

1. 不安全な解釈を完全に回避し、拒絶へとデフォルト設定される。
2. 不安全な可能性を探索するものの、安全な最終回答へと復帰できず、不安全な遵守に至る。

数学的推論では、モデルは誤った経路を探索して自己修正することができますが、現在のモデルにおける安全性推論には、制御された方法で潜在的に有害な解釈を探索し、その後、安全な回答へと「反転（flip back）」する能力が欠けています。

手法：SEARと競合する報酬

論文では、**SEAR（Safety Exploration through Adversarial Reasoning：敵対的推論による安全性探索）**を提案しています。これは、最終的な出力が安全であることを保証しつつ、探索的な信号として有害な推論を行うよう単一のモデルを訓練するフレームワークです。これは、単一の思考連鎖（chain-of-thought）内で行われる敵対的な最適化問題として構成されています。

コアメカニズム：競合する報酬

著者らは、モデルの生成トレースの異なるセグメントに対して、個別の、競合する報酬を割り当てる学習目的関数を導入しています。

• 推論セグメント ($z$): 有害性 ($r_h$) に対して報酬を与えます。モデルは、不安全な解釈や推論戦略を探索するように促されます。
• 回答セグメント ($y$): 安全性 ($r_s$) に対して報酬を与えます。モデルは、直前の（潜在的に有害な）推論に基づいた上で、安全な最終回答を生成するように促されます。

有害なプロンプト ($D_h$) に対する目的関数は以下の通りです：
$$\max_{\pi} \mathbb{E}_{x \sim D_h, (z,y) \sim \pi} [r_h(z) + r_s(y)]$$
無害なプロンプト ($D_i$) に対しては、モデルは有用性 ($r_i$) に対して最適化されます。学習には、ポリシーをベースモデルに近づけるためのKLダイバージェンス正則化が使用されます。

重要な技術的洞察：プロセス報酬

本論文は、標準的な密な結果ベースの報酬（dense outcome-based rewards）（全軌跡に対して単一のスカラー報酬を割り当てるもの）が、このタスクには不十分であることを示しています。これらは最適化の不安定性を招き、モデルが有害な推論を探索できなかったり、競合する目的間の収束速度の不一致により無害なタスクの性能が低下したりします。

これを解決するために、著者らはプロセスベースの報酬を実装しました。ロールアウト全体に対して単一の報酬を与えるのではなく、特定のセグメントに対してトークンレベルで報酬を割り当てます：

• 推論セグメント内のトークンには、推論報酬 ($r_h$) が与えられます。
• 回答セグメント内のトークンには、回答報酬 ($r_s$) が与えられます。

この「プロセス報酬」の定式化により、精密なクレジット割り当てが可能になり、モデルが単一の軌跡内で、有害な経路を探索しながら安全な回答へと復帰するという結合された挙動を学習できるようになります。

主な貢献

1. 安全性推論の再定義: 著者らは、不安全な推論を事前にブロックすべきではなく、モデルが安全な回答に確実に復帰できるのであれば、曖昧さを解決するための有用な探索的信号として推奨すべきであると提案しています。
2. 競合報酬フレームワーク: 単一の思考連鎖内で、相反する目的（有害な探索 vs 安全な出力）を持つ単一のモデルを訓練する方法を導入し、「ゴム印」のような挙動を超越しました。
3. 安定化のためのプロセス報酬: 密な結果レベルの報酬は競合する目的の安定化に失敗することを特定し、セグメントレベルのプロセス報酬が、成功した最適化のために極めて重要であることを示しました。
4. SEAR-1.5Bモデル: 有害な推論から安全な回答へと「反転」することを明示的に学習する1.5Bパラメータのモデル（SEAR-1.5B）を訓練しました。

結果

著者らは、SEAR-1.5Bを、標準的な結果ベースのRL、密な結果ベースのRL、SFTベースライン、および最先端のオープンソースモデル（例：TARS, Qwen3）を含む様々なベースラインと比較評価しました。

• 安全性と拒絶のトレードオフ: SEAR-1.5Bは、安全性とコンプライアンスのパレート・フロンティアにおいて最高の性能（二次平均スコア 0.930）を達成し、TARS-7B（0.909）や他のRLベースラインを上回りました。これは、高い防御成功率（HarmBench）を維持しつつ、曖昧なプロンプト（XSTest, Fortress, False-Reject）に対する過剰拒絶が大幅に少ないことを示しています。
• 探索と復帰: 推論トレースの分析により、SEARは他のモデルと比較して有害な推論の頻度が高いものの、安全な回答への復帰に成功していることが示されました。対照的に、他のモデルは有害な推論を完全に回避するか、あるいは探索した場合に安全な回答へ復帰することに失敗しています。
• プリフィル攻撃への堅牢性: SEAR-1.5Bは、モデルのコンテキストに有害な推論をプリフィルする攻撃（例：アブレイテッド・モデルを使用して有害な連鎖の開始部分を生成する）に対して優れた堅牢性を示しました。SEARは、結果ベースのRLモデルやより大きなQwen3のバリアントよりも高い回答安全性スコアを維持しており、強制的に有害な推論状態に置かれたとしても「反転」できる能力を証明しています。
• 汎化性能: SEAR-1.5Bは、数学および推論のベンチマーク（GSM8K, MATH-500, GPQA）において、結果ベースのベースラインと同等またはそれ以上の強力な分布外（OOD）汎化性能を維持しています。

意義と主張

本論文は、安全性と拒絶のトレードオフは、単に「拒絶するかどうか」の決定ではなく、「どのように曖昧さを解決するか」という能力の問題であると主張しています。不安全な可能性を検討しながらも、それらの可能性に最終的な回答を左右させないように学習することで、モデルは安全性を損なうことなく、無害なプロンプトに対して有用であり続けることができます。

著者らは、彼らのアプローチが以下を実現することを強調しています：

• 事前的な抑制ではなく、真の探索を通じてモデルが有害な意図と無害な意図を区別できるようにすることで、過剰拒絶を軽減する。
• 有害なコンテキストから復帰するように訓練することで、推論指向の攻撃（プリフィルなど）に対する防御を提供する。
• プロセスベースの報酬が、安全性のためのRLにおける競合する目的を最適化するための必須の構成要素であることを確立しており、この知見は他のマルチオブジェクティブRLタスクにも一般化できる可能性がある。

本研究は、LLMの堅牢性と有用性を向上させるための研究目的で設計された手法およびモデルであり、安全性アライメントへの研究的貢献として提示されています。