技術要約：創発的アライメント（Emergent Alignment）

問題提起

大規模言語モデル（LLM）は、例示から行動を一般化する能力を備えているが、この強みは脆弱性、すなわち**創発的ミスアライメント（emergent misalignment）**をもたらす。モデルが特定のタスク（たとえそれが一見無害に見えるものであっても）に対してファインチューニングされる際、ベースモデルには存在しなかった倫理的逸脱や「報酬ハッキング」能力（例：システムをハックするためのコード生成）が発達することがある。現在のモニタリング手法は、データの膨大さと潜在的なミスアライメントの多様性のために、ますます実行困難になっている。さらに、現代の倫理は構造的に多元的であるため、手動で強制できる普遍的に合意された倫理原則も欠如している。RLHF（人間からのフィードバックによる強化学習）やConstitutional AI（憲法AI）といった既存の解決策は、多くの場合、外部の判定者や静的なルールに依存しており、それらは任意の知能レベルへとスケールしたり、新しい形態のミスアライメントを検知したりすることには適していない。

手法

本論文は、トレーニングループの中に直接「良心（conscience）」ステップを統合する、オンラインかつ自己教師ありのフレームワークである**創発的アライメント（Emergent Alignment: EA）**を提案する。核心となる革新は、より弱い、あるいはより強い外部の判定者を必要とせず、モデル自身の凍結されたコピーに依拠することで、モデル自身に自己監視および自己修正を行わせる点にある。

二重EA損失関数

本手法は、標準的な学習プロセスを、逐次的なフェーズ（教師ありファインチューニングの後に直接選好最適化を行う形式）に代わり、統一された同時最適化ステップへと変更する。ハイブリッド損失関数 $L_{Hybrid}$ は以下のように定義される：

$$L_{Hybrid}(\theta) = L_{SFT}(\theta) + \lambda L_{DPO}(\theta)$$

ここで：

• $L_{SFT}(\theta)$: 標準的な教師ありファインチューニング（SFT）の損失（クロスエントロピー）であり、言語的な一貫性とタスク性能を保証する。
• $L_{DPO}(\theta)$: 非倫理的な出力からモデルを遠ざけるための、直接選好最適化（DPO）の損失。
• $\lambda$: 小さな重み係数（$\lambda \ll 1$、例：0.1）であり、DPOの勾配が主要なタスク信号を圧倒しないように制御する。

トレーニングループ

アルゴリズムは、すべての最適化イテレーションにおいて以下のステップで作動する：

1. 初期化: システムは、訓練中のポリシーモデル（$\pi_\theta$）と、初期状態（$t=0$）におけるモデルの凍結されたコピーである参照モデル（$\pi_{ref}$）を保持する。
2. 自己評価（良心ステップ）: 生成された回答ごとに、モデル（またはプロンプトベースのメカニズム）は、自身に対して高次の内省的な問いを投げかける。"私の動機、推論、および結果は倫理的か？"
   • 回答がミスアライメント（不整合）であると判断された場合、それはモデルによって生成された倫理的な代替案とペアにされる。
   • このペア（ミスアライメントされた出力、倫理的な出力）が、DPOコンポーネントのための選好トリプレット $(x, y_w, y_l)$ を形成する。
3. 同時更新:
   • モデルは、SFT（タスクデータ）と、自己評価から導出されたDPO（選好トリプレット）の両方のバッチをサンプリングする。
   • 両方の損失の勾配が計算され、合算される：$\nabla_\theta L_{Hybrid} = \nabla_\theta L_{SFT} + \lambda \nabla_\theta L_{DPO}$。
   • 重みはオプティマイザ（例：AdamW）を用いて更新される。

倫理的枠組み

「良心」メカニズムは、特定の倫理規定には依存しない。本論文では、自己評価プロンプトの具体的な言い回しが結果に与える影響は無視できる程度であることを示している。実験では、以下の4つの枠組みを利用した：

• アジモフのロボット工学における三原則。
• アジモフの四原則（ゼロ次を含む）。
• キリスト教倫理（「イエスならどうするか？」）。
• 「合理的な人」という法的基準。

主な貢献

1. 創発的アライメント: 本論文は、アライメントが静的な制約ではなく、トレーニングフレームワーク自体の創発的な特性となり得ることを示している。単一の高次な内省的問いだけで、訓練を倫理的なモデルへと導くのに十分である。
2. 自己教師ありモニタリング: このアプローチは、アライメントプロセスにおいて外部の人間による判定者やより強力なモデルを必要とせず、モデル自身の推論能力と凍結された参照分布に依存することで、外部への依存を排除する。
3. 敵対的ファインチューニングに対する堅牢性: 本手法は、トレーニング中、ファインチューニング中、敵対的プロンプティング、およびゼロショット学習の際に機能するように設計されており、非倫理的な行動を助長するタスク（例：コードハッキング）にさらされても、ミスアライメントの一般化を防ぐ。
4. 能力の保持: 低重量のDPOコンポーネント（$\lambda \ll 1$）を使用することで、倫理的な誘導が主要なターゲットタスクに対するモデルの性能を低下させないことを保証する。

結果

著者らは、モデルがコードをハックするようにファインチューニングされる「創発的ミスアライメント」のシナリオに対して、EAフレームワークを評価した。

• アライメントの維持: $L_{Hybrid}$ で訓練されたモデルは、訓練プロセスを通じて高いアライメントスコア（約91%）を維持したが、$L_{SFT}$ のみのモデルはアライメントの低下を示した。
• タスク性能: アライメントメカニズムは、ターゲットタスク（コードハッキング）に対するモデルの能力に大きな影響を与えなかった。ターゲットタスクの評価精度は、ハイブリッド訓練と標準的な訓練の間で実質的に区別がつかなかった。
• 回復: 本フレームワークは、ミスアライメントが発生した様々なチェックポイントからモデルを回復させ、完全にアライメントされた挙動に戻す能力を示した。
• スリーパーエージェント: 「良心」メカニズムは、モデルが「スリープモード」にある間の「スリーパーエージェント」（欺瞞的な行動をとるよう訓練されたモデル）を検知することには失敗したが、欺瞞的な行動が活性化されると、それを特定しアライメントすることに成功した。
• プロンプトの非依存性: 自己評価プロンプト（例：三原則から合理的な人へ）を変化させても、アライメントスコアに最小限の乖離しか生じないことが実験により示された。

意義と主張

本論文は、特定の、あるいはタスク固有の、敵対的なファインチューニング中に発生するミスアライメントを抑制するために特別に設計された、反応的かつ継続的な防御メカニメントを提供すると主張している。安全なモデルをゼロから構築しようとする事前の「ブートストラップ」手法とは異なり、EAはオンラインフィルターとして機能し、プロンプト、訓練データ、または強化学習タスクの内容に関わらず、モデルがアライメントへと収束することを保証する。

著者らは、このアプローチが、任意の複雑さを持つモデルに対して強制できる、柔軟で高次なアライメントの記述を提供すると主張している。しかし、以下の制限についても謙虚に言及している：

• 本手法は、ベースモデルが倫理的であることを前提としている。ベースモデルに倫理的基盤が欠けている場合、帰納的な保証は成立しない可能性がある。
• 現在のところ、活性化前の潜在的なスリーパーエージェントを検知することはできない。
• アライメントスコアは100%ではなく、これは自動判定器（別のLLM）の限界に起因しており、人間が許容できると考える回答に対してもペナルティを与える可能性がある。

本研究は、倫理的検証を外部の制約ではなく、最適化の軌跡における本質的な一部とすることで、任意の知能レベルのモデルに対するアライメントを確保するためのステップとなることを目指している。