技術要約：セーフティを超えて：定常的な安全性リフレクションによる事前学習段階のアライメント

1. 問題提起

現在の大規模言語モデル（LLM）における安全性アライメントは、主にポストトレーニング段階（例：教師あり微調整、人間またはAIからのフィードバックによる強化学習）で行われています。著者らは、このアプローチが本質的に浅く、脆弱であると主張しています。経験的な証拠によれば、ポストトレーニングで獲得された安全性のガードレールは、入力プロンプトの操作（ジェイルブレイク）や、意図せず有害な振る舞いを誘発する可能性のある良質な微調整によって、容易に崩壊してしまうことが示唆されています。

データフィルタリング（不安全なトークンやドキュメントの除去）やデータ書き換え（不安全な内容の言い換え）といった既存の事前学習段階における介入の決定的な限界は、これらがアライメントを「行動の形成」ではなく「コンテンツの制御」の問題として扱っている点にあります。本論文は、たとえ事前学習データが完全に安全であったとしても、モデルは推論と構成を通じて不安全な振る舞いを一般化する能力を獲得し得る可能性があると断じています。例えば、安全な医学知識のみで訓練されたモデルであっても、良質な事実を新しい方法で組み合わせることで、危害を加えるための実行可能な手法を推論できてしまう可能性があります。

2. 手法：安全性リフレクション事前学習（SRP）

データの中心的なフィルタリングという限界に対処するため、著者らは**安全性リフレクション事前学習（Safety Reflection Pretraining: SRP）**を提案しています。この手法は、事前学習中に「安全性リフレクション」を訓練コーパス内に定期的に挿入することで、言語モデリングの目的関数の中に自己監視を直接統合します。

コアメカニズム

1. テキストセグメンテーション： 事前学習コーパスを、意味的な一貫性を維持するために、文を意識した戦略を用いてセグメント（例：数百トークン程度）に分割します。
2. リフレクション生成： 各セグメントの後で、安全性分類器（具体的には Qwen3Guard-Gen-0.6B）が短いリフレクションを生成します。このリフレクションは以下で構成されます：
   • 判定トークン：「Safe（安全）」または「Unsafe（不安全）」。
   • カテゴリトークン（不安全の場合）：危害の種類（例：「Violent（暴力的）」）を指定。
   • EOSトークン（不安全の場合）：不安全なコンテンツを検出した際に生成を停止することをモデルに通知。
3. 拡張コーパス： これらのリフレクションを事前学習テキストに直接挿入することで、モデルに、次のトークン予測タスクの一部として、自身の直前の生成の安全性を判断することを学習させます。
4. ポストトレーニングとの互換性： 学習された振る舞いがデプロイ時に確実に転移するように、著者らは同様のリフレクションパターンでSFTデータも拡張する、互換性のあるポストトレーニング設計を採用しています。これにより、事前学習で学習されたリフレクション行動を強化します。

合成環境：MedSafetyWorld

モデルが安全なデータから不安全な振る舞いを一般化できるという仮説を厳密にテストするために、著者らは完全に制御された合成環境であるMedSafetyWorldを構築しました。

• 構造： 実体（化合物、媒介物、結果）と因果関係を定義します。
• 安全性の定義： 以下の4つのデータカテゴリを区別します：
  • Forward-Safe/Unsafe（順方向・安全/不安全）： ある化合物が何をもたらすかを記述（結果が不安全であっても、ユーザーへの警告に役立つため、モデルにとって知ることは良性的）。
  • Reverse-Safe（逆方向・安全）： 何が安全な結果を引き起こすかを記述。
  • Reverse-Unsafe（逆方向・不安全）： 何が不安全な結果を引き起こすかを記述（これが唯一の真に有害なカテゴリであり、実行可能な危害を教えることになる）。
• 目標： 「Reverse-Unsafe」の例を除外して訓練されたモデルが、依然として推論を通じてどのように危害を加えるかを推論できてしまうかどうかを観察すること。

3. 主な貢献

1. 行動形成の議論： 本論文は、事前学習段階のアライメントは単に不安全なデータをフィルタリングするだけでなく、モデルの内部的な推論プロセスを能動的に形成しなければならないと主張しています。安全なデータだけでは、不安全な能力の一般化を防ぐには不十分であることを実証しています。
2. 安全性リフレクション事前学習（SRP）： 安全性の判断を事前学習テキストに織り交ぜることで、モデルに継続的な自己監視を行わせる新しい手法。
3. MedSafetyWorld： 安全な事前学習データから不安全な振る舞いの一般化を分離して研究するために特別に設計された、新しい合成ベンチマーク。安全性の定義と推論構造を明確に提供します。
4. 実証的検証： SRPが、一般的な有用性を維持しながら、不安全な一般化を防ぐ上でデータフィルタリングや書き換えよりも優れていることを示す包括的な実験。

4. 実験結果

合成実験（MedSafetyWorld）

• フィルタリングの一般化失敗： 「Filtering（Reverse-Unsafeデータを削除）」を用いて訓練されたモデルは、依然として高いジェイルブレイク率（prefill ASR 30.60%、fine-tuning ASR 43.20%）を示し、安全なデータから不安全な振る行為を一般化したことを証明しました。
• 書き換えの非効率性： 単純なデータ書き換えは不安全な一般化を排除できず、高いジェイルブレイク率（prefill ASR 43.00%）となりました。
• 有用性と安全性のトレードオフ： 「Filtering-plus（不安全な結果を持つすべてのデータを削除）」は、ジェイルブレイク率をほぼゼロまで下げましたが、必要な知識を削除したため、一般的な性能が著しく低下しました（約73%から約54%へ低下）。
• SRPの性能： SRPは優れたトレードオフを実現しました。ジェイルブレイク率を（prefillで7.60%、fine-tuningで2.20%へと）低減させつつ、高い一般的性能（75.00%）を維持しました。

実世界実験（FineWeb-Eduを用いた1.7Bモデル）

• 推論段階の堅牢性： SRPモデルは、敵対的攻撃（Prefill, GCG, AutoDAN）に対して、BaselineおよびSafeLM（最先端の安全性事前学習モデル）と比較して、大幅に低い攻撃成功率（ASR）を示しました。例えば、GCG (AdvBench) において、SRPはASR 1.33%（LLM judgeによる）を達成しましたが、SafeLMは24.89%でした。
• 微調整への堅牢性： SRPモデルは、リフレクションパターンが微調整中も保持されている（データ拡張や混合を通じて）限り、良質な微調整および敵対的な微調整の両方に対して堅牢性を維持しました。対照的に、事前学習のリフレクションを持たないモデルや、互換性のないポストトレーニング設計を持つモデルは、急速に安全性アライメントを失いました。
• 一般的能力： SRPモデルは、一般的な理解（ARC, CommonsenseQAなど）および指示追従（AlpacaEval, IFEval）において、Baselineと同等の性能を維持しており、安全性の介入が有用性を損なっていないことを示しました。SafeLMはより高い一般的スコアを示しましたが（おそらく事前学習の規模によるもの）、深刻な過剰拒絶（over-refusal）に苦しみました。

5. 意義と主張

本論文は、事前学習段階のアライメントは、単に訓練データを安全にするだけでなく、モデルが安全なデータから獲得する振る舞いを形成すべきであると主張しています。

• 深いアライメント： 安全性リフレクションを事前学習の目的関数に統合することで、SRPは、ポストトレーニングによる浅いトークンレベルの調整よりも堅牢な、自己監視のための基礎的な能力を確立します。
• 相補性： 著者らは、SRPはポストトレーニングの代替ではなく、必要な基盤であると強調しています。効果を上げるためには、事前学習とポストトレーニングの間でリフレクションの形式が一致している必要があります。どちらかの段階からこれを除去すると、性能が低下します。
• 今後の方向性： 本研究は、将来の研究が、エンドユーザーが任意の微調整を行っても安全な基盤が維持されるような、ポストトレーニングによる変更に対して堅牢な事前学習段階のアライメントに焦点を当てるべきであることを示唆しています。

著者らは、現在の実装では堅牢性を維持するために互換性のあるポストトレーニングが必要であるものの、「不安全な振る舞いを誘発するネイティブな自己監視行動を事前学習中に誘導することが、深い安全性アライメントのために極めて重要である」という核心的な洞察は、現在のデータフィルタリングのパラダイムを大きく超えるものであると結論付けています。