技術的サマリー：検証を通じた大規模推論モデルにおける安全理解の内在化

1. 問題提起

大規模推論モデル（LRM）は、推論能力を強化するために明示的な思考連鎖（CoT）を活用しますが、推論と最終回答を結合させることは、現実世界の安全リスクを増幅させる可能性があります。現在のアライメントパラダイムは、主に回答中心であり、専門家によってキュレーションされた安全な経路に対する教師あり微調整（SFT）や、検証可能な安全報酬を用いた強化学習（RL）に依存しています。これらの手法は、最終回答が外部の安全仕様を満たすようにモデルを最適化します。

しかし、著者らは、このアプローチが依然として主に行動的であり、表面的であると主張しています。これは、モデルの内在的な安全理解を形成することなく、単にコンプライアンスを最適化するものです。その結果、一見アライメントされたモデルは、出力が安全仕様を満たすかどうか、またなぜ満たすのかを検証する能力を欠いていることが多く見られます。このギャップは、以下の 2 つの決定的な失敗として現れます：

1. 脆弱性：モデルは、コンプライアンスを誘発する思考連鎖（CoT）を生成する敵対的なジャイルブレイクによって乗っ取られ、プロンプトを「安全」とラベル付けながら有害な回答を引き出すように誘導され得ます。
2. 汎化性の欠如：モデルは安全な行動を単に模倣するだけで、安全の根本的な概念を学習していないため、ドメイン外（OOD）や推論固有のジャイルブレイクに対する防御が脆くなります。

実証分析により、標準的なアライメントは信頼性の高い検証スキルを生み出さないことが明らかになりました。場合によっては、アライメントされたモデルは、二値の安全検証タスクにおいて、ランダムなベースラインよりも悪いパフォーマンスを示します。

2. 手法：Safety Internal（SInternal）

安全生成と安全理解の分離に対処するため、著者らはSafety Internal（SInternal）を提案します。これは、LRM を安全検証タスクにのみ訓練することで安全仕様を内在化するように設計されたフレームワークです。

中核哲学

モデルに何を出力するか（安全な経路の模倣）を教えるのではなく、SInternal はモデルに自身の出力をどのように評価するかを教えます。中核となる仮説は、検証を学習することが回答の安全に対する強力な汎化を誘発し、単なる行動の模倣よりも堅牢なアライメントの基盤を創出するというものです。

フレームワークの構成要素

この手法は、主に 2 つの段階で構成されます。

A. 検証訓練による安全の内在化

1. 自己応答生成：各安全関連のプロンプト $x$ に対して、方策モデル $\pi_\theta$ は自身の応答（潜在的に安全でないものを含む）をサンプリングします。これにより、モデルは自身の実際の出力分布に関連する安全境界を学習します。
2. 専門家検証経路の構築：専門家モデル（例：Claude-4-Sonnet）は、サンプリングされた応答を安全仕様 $S$ に照らして評価します。これにより、以下の要素からなる検証経路 $c_k$ が生成されます：
   • 批判的推論（$z_{ver,k}$）：潜在的な安全違反の詳細な分析。
   • 二値判断（$v_k$）：最終的な安全ラベル（安全/不安全）。
3. 教師あり微調整（SFT）：方策モデルは、これらの専門家検証経路を用いた教師あり学習によって訓練されます。目的は、プロンプト、モデル自身の応答、および安全仕様を条件として、検証推論と判断を生成する尤度を最大化することです：
   $$L_{SInternal} = -E_{(x,y,c) \sim D_{ver}} [\log \pi_\theta(c | S, x, y)]$$
   これにより、モデルはなぜ回答が不安全であるかの論理を内在化することを強制されます。

B. 検証可能な報酬による強化学習（RLVR）

SInternal による初期化に基づき、このフレームワークは Group Relative Policy Optimization（GRPO）を用いてモデルをさらに最適化します。

• 報酬設計：モデルは回答のグループを生成します。外部検証者が、回答が安全かどうか（$V_{safe}$）および拒絶かどうか（$V_{refuse}$）に基づいて二値報酬を提供します。
• 目的：モデルは、内在化された安全理解を活用して報酬信号をより一貫して解釈し、より高いアライメントの天井を達成するために、期待されるグループ相対報酬を最大化します。

3. 主要な貢献

1. 検証ギャップの特定：本論文は、回答中心のアライメントが内在的な安全検証能力の向上に失敗し、モデルが自身が生成した不安全な出力を正しく識別できないままにすることが多いことを示す実証的証拠を提供します。
2. SInternal フレームワーク：安全な回答の生成からそれらの検証へと焦点を移す新しい訓練パラダイムです。モデル自身の生成物から導かれた検証経路にのみ訓練することで、安全仕様を内在的な推論能力として内在化します。
3. RL に対する優れた初期化：本研究は、SInternal が標準的な SFT に比べて強化学習のための優れた初期化として機能することを示しています。SInternal で初期化されたモデルは、RL 最適化後に敵対的攻撃に対して著しく高い堅牢性を達成します。
4. メカニズム分析：著者らは、SInternal が推論プロセス中に能動的な検証をトリガーすることを示しています。モデルは回答を確定する前に、自身の潜在的な行動の安全性を自発的に精査し、より深いアライメントをもたらします。

4. 実験結果

実験は、3 つのオープンソース LRM（DeepSeek-R1-Distill-Qwen-7B/14B および DeepSeek-R1-Distill-Llama-8B）を用いて、安全、過剰拒絶、および一般推論のベンチマーク across 行われました。

• ジャイルブレイクに対する堅牢性：SInternal は、ドメイン外（OOD）および推論固有のジャイルブレイクベンチマーク（WildJailbreak、Fortress、HCoT など）において、ベースライン（SafeChain、STAR-1）を大幅に上回ります。特に、SInternal と RL の組み合わせは、推論痕跡を悪用する最先端のジャイルブレイクである HCoT（Hijacking CoT）に対して効果的に防御する唯一の手法です。
• 検証能力：SInternal で訓練されたモデルは、安全検証の F1 スコアで大幅な向上を示します（DS-7B では約 48% から約 86% に上昇）。一方、回答中心のベースラインはほとんど向上を示しませんでした。
• 汎化性：この手法は、未見のジャイルブレイクに対する強力な汎化性を示しており、拒絶パターンを暗記するよりも、安全検証の原則を学習する方が効果的であることを示唆しています。
• 有用性の維持：SInternal は、一般推論ベンチマーク（MATH、AIME）で競争力のあるパフォーマンスを維持し、過剰な拒絶（XSTest で測定）を回避することで、安全と有用性のバランスを保持します。
• データ効率：SInternal は、SFT ベースラインに必要な訓練データの 50% だけでより高い安全パフォーマンスを達成し、出力を模倣するよりも推論論理を内在化することの方がデータ効率が高いことを示しています。

5. 意義と主張

本論文は、AI 安全アライメントにおけるパラダイムシフトを主張します。すなわち、回答中心のアライメント（安全な行動の模倣）から、内在的な安全理解（安全原則についての明示的な推論）への移行です。

• 基盤的な堅牢性：著者らは、安全な行動を単に模倣するよりも、安全理解を内在化することがアライメントにとってより堅牢な基盤を創出すると主張しています。これは、モデルが推論中に自発的に検証をトリガーする能力と、敵対的 CoT 乗っ取りに対する優れた耐性によって実証されています。
• 生成と検証の分離：この研究は、安全な生成が自然に安全理解をもたらすわけではないことを浮き彫りにしています。したがって、このギャップを埋めるためには、検証に関する明示的な訓練が必要です。
• 将来の方向性：現在のフレームワークは生成後の検証に焦点を当てていますが、著者らは、この能力を推論中の動的な自己検証に拡張することが重要な将来の方向性であると示唆しています。モデルがより深い内在的な安全理解を発展させるにつれて、その内部検証論理が人間の価値観と整合したままであることを保証することが、責任あるガバナンスにとって極めて重要であると強調しています。

本論文は、LRM に自身が生成した回答の安全性を精査する能力を備えさせることが、特に堅牢性が妥協できない高リスク環境において、内在的な安全を達成するための有意義な一歩であると結論付けています。