We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

技術的概要：多目的 LLM 整合のための適応型マルチブランチ・ステアリング（AMBS）

問題定義
大規模言語モデル（LLM）は、人間の意図との整合性を必要とし、これは通常、Helpfulness（有用性）、Harmlessness（無害性）、Honesty（誠実性）という 3 つの競合する目的（HHH）を通じて実務化されます。先行研究は、教師あり微調整（SFT）または人間のフィードバックに基づく強化学習（RLHF）を通じて整合性を達成してきましたが、これらの手法は、特に複雑な状況下において、推論時に HHH 目的を同時に満たすことにしばしば苦慮します。

既存の推論時整合アプローチ、例えばステアリング・ベクトルなどは、通常、目的を個別に扱います。単一の共有表現を 1 つの目的に向けてステアリングすると、他の目的を上書きしたり干渉したりする可能性があります。「1-to-N」トランスフォーマ設定（共有表現を複数の経路に複製するもの）への最近の拡張は、独立した変換を適用することでこれを緩和しようと試みます。しかし、これらの独立した更新は経路間の関係性に対する制約を欠いており、一貫性のない応答や目的間での乖離を引き起こします。さらに、トレーニングベースのトレードオフ手法（安全 RLHF、Mixture-of-Experts など）は、推論中に共有表現内の目的固有の変換を制約しないため、「軸の崩壊（axis collapse）」や競合する目的を同時に満たせない非連結な表現をもたらします。

手法：適応型マルチブランチ・ステアリング（AMBS）
著者は、共有表現に対する目的固有の変換をパラメータ化する、1-to-N トランスフォーマ設定向けに設計された 2 段階フレームワークである AMBS を提案します。中核的な革新は、独立した修正ではなく、共通の参照からの偏差として更新を定義することです。

1. ステージ I：共有表現の計算
   トランスフォーマは、与えられた入力に対して層 $\ell$（通常は最終層 $L$）において共有隠れ表現 $h^{(0)}_\ell$ を計算します。この表現は共通の基底として機能し、すべての目的で再利用されます。

2. ステージ II：参照ガイド型変換
   共有表現は $N$ 個の経路に複製されます（$h^{(i)}_\ell = h^{(0)}_\ell$）。各目的 $i$ に対して、共有参照 $h^{ref}_\ell = h^{(0)}_\ell$ に対する変換 $\Delta h^{(i)}_\ell$ が適用されます。

   • 偏差ベース更新： 独立した更新ではなく、変換は参照からの偏差の関数として定義されます：$\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$。
   • 低ランクパラメータ化： ポリシー $f_i$ は、加法バイアスを伴う低ランク射影として実装されます：$\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$。ここで、$A_i$ と $B_i$ は学習可能な低ランク行列であり、$b_i$ は学習可能なバイアスです。重要なのは、バイアス $b_i$ がゼロでない初期偏差を確保し、反復的な固定点計算なしに単一のフォワードパス内で低ランク更新を即座に活性化することです。
   • 出力生成： 各経路は目的固有の出力分布 $p^{(i)}_\theta$ を生成します。これらはデコーディング時に重み付き幾何平均を用いて単一の結合分布 $p^{joint}_\theta$ に結合されます。

3. 最適化目的
   フレームワークは複合損失関数を最小化します：
   $$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$$

   • $L^{(i)}_{obj}$：経路 $i$ に対する目的固有の損失（例：交差エントロピー）。
   • $L_{cons}$：経路間の変換済み表現間の二乗ユークリッド距離を測定する一貫性項。この項は、必要な目的固有のバリエーションを許容しつつ過度な乖離を罰し、他の結合手法で見られる「崩壊」を防ぎます。

主な貢献

• フレームワーク設計： 変換を共有参照からの偏差としてパラメータ化することにより 1-to-N トランスフォーマ設定を拡張する AMBS の導入。これにより、経路の独自性を維持しつつ干渉を制御します。
• 理論的定式化： 経路間の差異がベース状態の独立した変換ではなく、偏差項（$\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$）のみに依存するという数学的定式化。非退化初期化と低ランクパラメータの即時活性化を証明する補題によって支持されています。
• 実証的パフォーマンス： 4 つの異なるバックボーンモデル（LLaMA-2-7B、Mistral-7B、Gemma-7B、DeepSeek-7B）全体で、計算効率を維持しながら HHH 性能を向上させる AMBS の実証。

結果
実験は標準ベンチマーク（有用性：Alpaca、無害性：BeaverTails、誠実性：TruthfulQA）で行われました。

• 性能向上： AMBS はバックボーン全体で最高平均スコア（Avg）を達成しました。LLaMA-2-7B の場合、AMBS は平均 56.5% に達し、以前の最先端手法である TrinityX（55.1%）や AlignX（51.3%）を上回りました。
• 目的別改善：
  • 有用性： 勝率（WR）を 53.0% に向上（RAHF の 48.7% 対比）。
  • 無害性： 安全性スコア（SS、低いほど良い）を 5.3% に低減（Aligner の 7.2% 対比）。
  • 誠実性： 真実性 - 情報性（TI）を 37.9% に改善（DExperts の 31.7% 対比）。
• 干渉分析： 目標が変化すると大幅な性能低下を示す単一目的手法や、目的間で同一スコアを示す「崩壊」を起こす結合手法とは異なり、AMBS は目的間で高水準ながら非均一な性能（例：37.0% / 25.8% / 14.3%）を維持し、崩壊なしに干渉が軽減されていることを示しました。
• 効率性： ベースモデルを固定し低ランクパラメータのみを最適化することで、高いスループット（例：189 トークン/秒）と低いトレーニングコスト（9 GPU 時間）を維持します。

意義と主張
本論文は、AMBS が推論時の多目的整合における重要なギャップに対処すると主張しています。共有表現内の目的固有変換を制約することで、このフレームワークは、異なる目的（有用性、無害性、誠実性）の充足と、それら間の一貫性の維持というトレードオフを成功裡にバランスしています。著者は、このアプローチが先行する結合整合手法で見られる「軸の崩壊」や不安定性を防ぎ、高価な再トレーニングや複雑なモジュラーアーキテクチャなしで信頼性の高い LLM を展開するための堅牢な解決策を提供すると述べています。結果は、整合性が表現レベルで効果的に捉えられており、デコーディングは利益の主要な源泉ではなく、統合ステップとして機能することを示唆しています。

限界
著者は、評価の規模、指標のためのプロキシ判定者（LLM）への依存（広範な人間評価の欠如）、および現在デコーダ専用モデルに焦点を当てていることなどの限界を認めています。今後の研究として、より大規模な人間による調査、より広範な安全性設定、およびマルチモーダルモデルへの拡張が提案されています。