技術的概要：独立モジュールによる安定した価値アライメントへの道

1. 問題定義

本論文は、大規模言語モデル（LLM）を人間の価値観とアライメントさせる際の構造的な欠陥を特定している。それは、安定した価値表現の必要性と、極めて動的な残差ストリームの性質との間の不一致である。

• 動的な残差ストリーム: 標準的なトランスフォーマーアーキテクチャにおいて、残差ストリームは高レベルの概念のための分散表現構造を形成する。しかし、これらの表現は、特徴量の相互作用や非線形変換によって絶えず再構成される。
• 価値信号の脆弱性: 安全性や倫理といった価値関連の表現は、この動的なストリーム内で脆弱かつ低次元の性質として存在する。それらは、一貫した発現に必要な安定性と本質的に両立しない。
• 結果: モデルが新奇な入力や敵対的入力に直面した際、価値関連の表現は「タスクノイズ」や支配的な文脈信号によって予測不可能にシフトする可能性がある。これにより、安全性データで訓練された場合でも、有害または偏った出力を生成するアライメント失敗が発生する。パラメータ（RLHF、DPO）または隠れ状態（推論時のステアリング）を直接修正する既存の方法は、しばしば価値の好みをモデルの内部ダイナミクスに結びつけており、その頑健性と汎化能力を制限している。

2. 手法：安定した価値ガイダンス・トランスフォーマー（SVGT）

著者は、バックボーン LLM のタスク駆動型ダイナミクスから価値処理を分離することによりモジュール型アライメントを実現するプラグアンドプレイアーキテクチャであるSVGTを提案する。SVGT は、バックボーンのパラメータや残差ストリームを直接修正するのではなく、「潜在価値ブリッジ」を介して生成を誘導する独立したモジュールとして機能する。

コアアーキテクチャ

このシステムは、凍結されたバックボーン（$\theta_{LLM}$）と、隠れ状態 $h$ 上で動作する独立した価値ポリシー（$\pi_\phi$）で構成される。生成確率は、明示的な潜在価値文脈 $c_v$ に条件付けられる：
$$P(y_t|y_{<t}, x, c_v)$$
ここで、$c_v$ はブリッジトークンの系列として具体化される。

SVGT モジュールは、2 段階の変換を実行する：

1. 価値空間の構築（独立した価値モデリング）:

   • 二重エンコーディング: モジュールは指定された層 $l^*$ から隠れ状態を抽出し、2 つの経路で処理する。
     • 無条件経路: 文脈に依存しないパターン（例：普遍的な毒性）を特定する。
     • 条件付き経路: 交差注意（cross-attention）を介してプロンプト文脈を統合し、特定の入力に対する価値を解釈する。
   • 価値状態（$z$）: これらの経路を集約し、バックボーンから隔離された専用価値空間内で安定した価値状態 $z$ を形成する。
   • 方向性修正（$\Delta z$）: 識別器 $D$ が $z$ にスカラースコアを割り当てる。修正信号はこのスコアの勾配として導出される（$\Delta z = \nabla_z D(z)$）。これにより、タスク駆動型の幾何学的歪みから分離された、安定した規範的なアライメント方向が提供される。

2. 潜在価値ブリッジ（LVB）（明示的な行動ガイダンス）:

   • ブリッジトークン（$B$）: 抽象的な修正 $\Delta z$ は、$K$ 個の学習可能なブリッジトークンに変換される。これらのトークンは、凍結されたバックボーンに対する明示的な注意ターゲットとして機能する。
   • 後期バインディング機構: トークンは、文脈 - 価値多様体（プロンプトの終端状態と投影された価値修正を組み合わせる）から情報を取得し、交差注意を介して合成される。
   • 動的更新: 生成中、ブリッジトークンは指数移動平均（EMA）を用いて周期的（$R$ ステップごと）に更新される。ここでモーメンタムは $\beta$ である。これにより、ガイダンスは変化する意味文脈に適応し、生成多様体を乱すことなくリアルタイムで「価値の慣性」を修正できる。

訓練カリキュラム

SVGT は、3 段階の漸進的カリキュラムに従う：

1. 無条件識別: 単独のテキスト上で無条件エンコーダと識別器を訓練し、頑健で文脈フリーの価値事前分布（有害の普遍的な兆候を検出）を構築する。
2. 条件付き識別: プロンプト - 応答ペア上で条件付き経路を訓練し、非対称な学習率を用いて事前分布を保持しつつ、文脈依存のアライメント判断を処理する。
3. 価値誘導生成: 潜在価値ブリッジ（LVB）を訓練し、抽象的な修正を実行可能な言語的ガイダンスに変換する。この段階では、クロスエントロピー（流暢性）、安全性損失（密なトークンレベルの監督）、多様体正則化（安定性の確保）を組み合わせた多目的損失（$L_{total}$）を使用する。

3. 主な貢献

1. モジュール型アライメント: 本論文は、アライメントを生成時の最適化として実用化する。すなわち、独立したモジュールが生成を能動的に知覚・判断・誘導し、数十億のパラメータに価値を暗黙的に埋め込むのではなく、これを行う。
2. SVGT アーキテクチャ: ブリッジトークンを介してリアルタイムのアライメント信号を適用する新規アーキテクチャ。この設計により、価値信号は頑健で解釈可能であり、バックボーンの内部ダイナミクスから構造的に隔離されたまま保たれる。
3. 実証的検証: SVGT が生成の流暢性を維持しながら有害スコアを大幅に低減することを示す包括的な実験により、アーキテクチャに根ざした価値モデリングの有効性が検証された。

4. 実験結果

実験は、4 つのバックボーンモデル（GPT-2、Qwen2-1.5B、Llama-3.2-3B、Mistral-7B）と複数の安全性ベンチマーク（WildGuardMix、BeaverTails、HarmBench） across 実施された。

• 安全性パフォーマンス: SVGT は一般的に有害スコアを70% 以上低減する（例：GPT-2 における WildGuardMix で 89.1% の低減）ほか、HarmBench における攻撃成功率（ASR）をすべてのモデルスケールで**72〜80%**低減する。
• 能力の維持: 隠れ状態への干渉によりしばしばパープレキシティ（PPL）を増加させる推論時ステアリング手法（例：ITI、RE-Control）とは異なり、SVGT は PPL をベースラインレベルに近づけ（場合によっては改善する）。これは、侵入的な注入ではなく、意味的に一貫した注意ターゲットとして機能するブリッジトークンによるものである。
• リアルタイム修正: 生成中の潜在有害スコアの分析により、SVGT が敵対的プロンプトによるアライメントの崩壊をリアルタイムで修正し、高リスク領域からの軌道を動的に誘導することが示された。
• 効率性: この手法は中程度の遅延オーバーヘッド（+52〜65%）と無視できるメモリオーバーヘッド（+3%）を導入するのみであり、バックボーン全体を通じた逆伝播を必要とする手法（例：PPLM）よりも効率的である。

5. 意義と主張

本論文は、SVGT が一貫した価値ガイダンスに対する頑健でアーキテクチャに根ざしたアプローチを提供すると主張する。その意義は、動的な残差ストリームにおける価値表現の根本的な不安定性に対処することにある。

• 慣性に対する安定性: 価値モデリングを独立したモジュールに隔離することで、SVGT はタスク駆動型ダイナミクスによって価値信号が歪められるのを防ぎ、多様な文脈において安全性基準が安定していることを保証する。
• 非侵入的ガイダンス: 注意ターゲットとしてのブリッジトークンの使用により、モデルは内部言語表現を乱したりパラメータ更新を必要としたりすることなく価値制約に準拠できる。これにより、モデルの生成流暢性と推論能力が維持される。
• 汎用性: このアプローチは、異なるモデルアーキテクチャとスケールにわたって一貫した安全性の向上を示しており、モジュール型アライメントがアライメント問題に対するスケーラブルな解決策であることを示唆している。

著者らは結論として、SVGT は制御されたスループットトレードオフを導入するが、明示的な行動適応を通じて価値の慣性を是正する能力により、浅い出力パターンや脆弱な内部状態の操作に依存する手法よりも優れた代替手段であると述べている。