技術概要：REFLECTOR

1. 問題定義

大規模言語モデル（LLM）は推論やコーディングにおいて重要なブレークスルーを達成しましたが、高度な間接的なジャイルブレイク攻撃に対しては依然として脆弱です。直接的な攻撃が即座に安全でない出力を誘発するのに対し、間接的な攻撃（DRA、PAP、DrAttack など）は、一見無害な多段階推論タスクの中に悪意を埋め込みます。論文で示されているように、これらの攻撃は「隠れた遅延性」を示し、有害なコンテンツは 20 トークン以上経過してから現れるため、通常は初期応答の接頭辞における悪意を検出することに依存する従来の表面レベルの安全アライメントを回避します。

現在のアライメント戦略、例えば人間のフィードバックに基づく強化学習（RLHF）や直接選好最適化（DPO）は、生成の開始時点で有害な入力を拒否する「門番」として機能することが多いです。しかし、これらは推論経路そのものを保護するには不十分です。攻撃者が推論プロセスの構造を制御する場合、モデルは自律的に有害なコンテンツを生成するように強制され、自らの熟考を武器化されてしまいます。浅いアライメントや、Chain-of-Thought 経由で安全な推論を強制する STAIR などの既存手法は、モデルが生成中に安全でない推論状態を動的に検出し修正するメカニズムを内部化していないため、不十分です。

2. 手法：REFLECTOR フレームワーク

著者は、モデルの生成ポリシーに段階的な自己反省を直接内部化するために設計された、原理的な 2 段階フレームワークREFLECTORを提案します。中核的な目的は、安全アライメントを静的な接頭辞の制約から、モデルが自身の推論ステップを継続的に監視する動的な経路レベルの特性へと変換することです。

段階 I：教師指導によるデータ合成を通じた反省能力の注入（SFT）

著者は、事前学習済みモデルが自己反省を行うための内在的な帰納的バイアスを欠いている「コールドスタート」問題に対処します。

• 教師指導によるデータ合成: 高容量の教師モデル（GPT-5）を用いて、高品質な反省経路を生成します。与えられた間接的ジャイルブレイククエリに対して、教師モデルは「探索と回復」のプロセスをシミュレートします。
  1. 切断: 安全な接頭辞を生成し、ランダムなステップで切断します。
  2. 構造化された反省: 教師モデルは、倫理的違反を特定する明示的な自己批判（<|reflect|>）と、安全な代替経路を提案する探索セグメント（<|explore|>）を含む反省セグメント（$z$）を生成します。
  3. 安全な継続: 教師モデルは、その反省に基づいて安全な継続（$y_{after}$）を生成します。
• データセット構築: これらの合成された経路はデータセット $D_R$ を形成し、ターゲットポリシー（$\pi_\theta$）の教師あり微調整（SFT）に使用されます。この段階は、効果的な自己反省の形式とタイミングをモデルに教える構造的な帰納的バイアスを確立します。

段階 II：強化学習（RL）による二重報酬強化

この段階では、モデルは明示的な教師指導なしに、いつ、どのように反省を行うかを自律的に決定し、安全性と推論の質の両方を最適化することを学びます。

• アルゴリズム: このフレームワークは、マルチ報酬設定向けに設計された Group Relative Policy Optimization（GRPO）の変種であるGDPO（Group reward-Decoupled Normalization Policy Optimization）を採用します。
• 二重報酬メカニズム: 経路の総報酬 $r(\tau)$ は、2 つの成分に分解されます。
  1. 安全性報酬（$r_{safety}$）: 識別分類器（HarmBench）と生成型安全検出器（GPT-OSS-120B）を組み合わせるハイブリッド合意メカニズム（$HarmCLS$）によって決定されるバイナリ信号（0 または 1）です。これにより最終出力の厳格な評価が保証されます。
  2. 反省報酬（$r_{reflect}$）: 微細なボーナス/ペナルティシステムです。モデルが反省を行い、かつ無害な出力を生成した場合、正の報酬（$+\lambda$）を受け取ります。反省を行っても有害なコンテンツを出力した場合、負の報酬（$-\lambda$）を受け取り、反省が行われない場合はゼロとなります。
• 最適化: グループ相対アドバンテージを最大化することで、モデルは「探索と回復」メカニズムを内部化し、任意のステップ $y_t$ で潜在的なリスクを遮断し、安全な拒否状態へ遷移することを学習します。

3. 主要な貢献

1. 経路レベルの安全定式化: 本論文は、安全アライメントを静的な接頭辞の制約ではなく、生成経路の段階的な特性として再定義し、間接的ジャイルブレイクの特定の脆弱性に対処します。
2. 2 段階トレーニングパラダイム: REFLECTOR は、教師指導による SFT で反省能力をブートストラップし、RL で自律的な自己修正を内部化するという、新しいパイプラインを導入します。
3. 二重報酬メカニズム: 最終出力の安全性と反省のプロセスを明示的に分離し最適化する報酬関数の設計により、モデルが単に拒否するだけでなく、安全に推論することを学習することを保証します。
4. アライメント税の打破: このフレームワークは、安全推論を埋め込むことが、一般タスクのパフォーマンスを低下させるのではなく、向上させることを実証しています。

4. 実験結果

著者は、包括的なベンチマークスイートに対して、LLaMA-3.1-8B-Instruct および Qwen-2.5-7B-Instruct 上で REFLECTOR を評価しました。

• 防御成功率（DSR）: REFLECTOR は、多様な間接攻撃シナリオ（DRA、PAP、ReNeLLM、DrAttack）において、90% を超えるDSR を達成し、SFT、DPO、STAIR などのベースラインを大幅に上回りました。例えば、DRA ベンチマークでは、LLaMA-3.1-8B において防御率が、元のモデルの約 10% から、REFLECTOR + GDPO を用いた場合の**92.31%**へと改善しました。
• 一般有用性: 典型的な「アライメント税」とは対照的に、REFLECTOR は一般推論能力を向上させました。数学的推論ベンチマークである GSM8K で5.85% の向上をもたらしたほか、MMLU-Pro（45.20%）および AdvGLUE（68.29%）において新しい性能のピークを記録しました。
• 堅牢性: このモデルは、明白に有害なクエリ（StrongREJECT、XSTest）において高い性能を維持し、直接的なジャイルブレイク（AutoDAN、GCG）に対しても耐性を示しました。
• 効率性: SFT 段階では明示的な反省によりトークン生成が一時的に増加しましたが、RL 段階でプロセスが内部化され、推論オーバーヘッドはベースラインレベルまで低下しました（例：StrongREJECT において、元のモデルの 7.28 ステップに対し、8.03 ステップ）。

5. 意義と主張

本論文は、REFLECTOR が表面レベルのアライメントを超えた、安全かつ能力のある LLM の開発のためのスケーラブルかつ効率的な解決策を提供すると主張しています。その主な意義は以下の点にあります。

• 安全性の内部化: 防御パラダイムを外部のガードレールから、内在的で経路レベルの自己反省へと転換し、間接的攻撃がモデルの推論プロセスを悪用する隙間を効果的に塞ぎます。
• 安全性と知性の相乗効果: 結果は、安全性と有用性が排他的であるという概念に挑戦し、堅牢な自己反省メカニズムが一般的な推論の強化剤として機能しうることを示唆しています。
• スケーラビリティ: 大規模な人間がキュレーションしたデータセットに依存するのではなく、自動化された教師指導と報酬モデルに依存することで、このフレームワークは次世代のアライメントモデルへの実現可能な道筋として提示されています。

著者は、最小限の計算オーバーヘッドで「常時オン」の防御を可能にすることで、REFLECTOR が大規模言語モデルにおける狡猾で隠れたリスクを軽減するための原理的なフレームワークを提供すると結論付けています。