技術サマリー: H3Fusion

問題提起

事前学習済み大規模言語モデル（LLM）のアライメントは、応答がHelpful（有益）、Harmless（無害）、Honest（誠実）（HHH）であることを保証することを目的としています。しかし、現在のアプローチは以下の重大な課題に直面しています：

1. トレードオフ: ある特性（例：安全性）のために微調整を行うと、他の特性（例：有益性や真実性）が低下することがよくあります。例えば、過度な安全性チューニングは、ユーザーを支援できなくなるほど慎重すぎるモデルを招き、高い有益性はハルシネーション（幻覚）を増加させる可能性があります。
2. ユーザーの多様性: 異なるユーザープロファイルは、これらの次元を異なる優先順位で重視します（例：デザイナーは有益性よりも安全性を優先する場合がある）。これにより、複雑な選好のランドスケープが生まれます。
3. 既存の融合手法の限界:
   • アンサンブル手法: 推論時のアンサンブル（例：多数決、要約）は、複数のモデルに対する非同期推論を必要とする場合が多く、高い計算コストとレイテンシを招きます。
   • モデル・マージング: 重みのマージ技術（例：Task Arithmetic, DARE）は、複数のモデルバリアントを同時に保持する必要があり、大幅なメモリオーバーヘッドが発生するほか、アンダーフィッティングやヒューリスティックな選択の問題に陥る可能性があります。
   • 表現部分空間: モデルの表現部分空間において、すべてのHHH特性を同時に満たす単一の点を特定することは依然として困難です。

手法: H3Fusion

H3Fusionは、個別にアライメントされたモデル（Helpful、Harmless、Honest）を単一の堅牢なアーキテクチャへと統合するために、Mixture-of-Experts (MoE) ベースの融合メカニズムを提案します。このアプローチは、アライメントを表現部分空間内における制御可能な「ドリフト（漂流）」として扱います。

1. アーキテクチャ設計

• ベース・ブループリント: 本手法は、標準的な事前学習済みLLM（例：LLaMA-2, LLaMA-3, Qwen-2）から開始します。
• MoEの統合: 標準的なフィードフォワードネットワーク（FFN）層を、スパース・ゲーテッドMoE層に置き換えます。
• エキスパートの初期化: ランダムな初期化ではなく、エキスパート（$FFN_1, \dots, FFN_k$）を、個別にアライメントされたモデル（有益性のためのモデル、安全性のためのモデル、真実性のためのモデル）の重みで初期化します。
• ルーター: ルーターネットワークが入力に基づいてアクティブなエキスパートを動的に選択します。出力は加重和となります：$\sum G(h)_i \cdot FFN_i(h)$。
• 効率性: 各層でアクティブになるエキスパートのサブセット（例：$k=2$）のみを使用するため、推論コストを線形に増加させることなく、モデルの容量を拡張できます。

2. 目的関数および損失設計

アライメントは、埋め込み距離と活性化の管状化（canalization）を含むデュアル目的関数として定式化され、以下の3つの損失成分を通じて最適化されます。

• ドリフト認識型正則化 ($L_R$):

  • モデルのアライメントを、元の投影行列に加えられる摂動（ドリフト）$\epsilon$ としてモデル化します。
  • $\sum \gamma_j \|W_j\|^2$ という正則化項を導入し、ここで $\gamma_j$ は各エキスパートの「チューナー」として機能します。
  • メカニズム: エキスパートの投影行列のノルムをスケーリングすることで、最終的なモデルが特定のエキスパートの挙動からどの程度逸脱するかを制御します（例：安全性のドリフトを減少させて有益性を高める）。

• ゲーティング損失 ($L_G$):

  • ルーターの選択エラーにペナルティを与えるクロスエントロピー損失として定式化されます。
  • 目的: 与えられた入力（例：有益なデータセットからの入力）に対して、ルーターが対応するエキスパート（例：有益なエキスパート）を高い確率で活性化するようにします。
  • デュアル目的: MoEアンサンブルの埋め込みと、特定のタスクに対するターゲットのアライメント済み埋め込みとの距離を最小化します。

• 総損失:
  $$L_{total} = L_{CE} + \lambda L_G + L_R(\gamma_1, \gamma_2, \gamma_3)$$
  ここで、$L_{CE}$ は標準的なクロスエントロピー損失、$\lambda$ はゲーティングの重み、$\gamma$ は正則化定数です。

3. トレーニングプロセス

• データ: 混合データセット $D_{mix} = D_{helpful} \cup D_{safe} \cup D_{truth}$ を使用します。
• ファインチューニング: モデルは少数のファインチューニングステップを経て更新されます。ルーターの重みとエキスパートの投影が更新されますが、ベースとなるアーキテクチャはほぼそのまま維持されます。
• ブートストラップ: 既存のアライメント済みモデルの専門知識をブートストラップすることで、エキスパートを一から訓練する必要を回避します。

主な貢献

1. MoEベースの融合: 標準的なFFN層を置き換えることで、3つの独立してアライメントされたモデルを単一のMoEアーキテクチャに統合する、新しいコンセンサス学習アプローチを導入しました。
2. ドリフト正則化: アライメントを制御可能なドリフトとして定式化し、競合するアライメント次元を動的にバランスさせるためのエキスパート定数（$\gamma_i$）を持つ正則化損失を導入しました。
3. ゲーティング損失: ルーターの活性化を管状化（canalize）するためのゲーティング損失を提案し、モデルが入力コンテキストに最も適したエキスパートを動的に選択できるようにしました。
4. 効率性: 既存のアンサンブル手法や重いモデル・マージング技術と比較して、少ないファインチューニングステップと低い計算複雑度で高いパフォーマンスを実現しました。

実験結果

著者らは、3つのベンチマークデータセット（Alpaca-Eval（有益性）、BeaverTails（無害性）、TruthfulQA（真実性））を用いてH3Fusionを評価しました。

• 個別モデルとの比較: H3Fusionは、3つの次元すべてにおいて、個別にアライメントされた各モデルを平均で 11.37% 上回りました。
• アンサンブルとの比較: 最先端のLLMアンサンブル手法と比較して、13.77% 高い堅牢性を示しました。
• モデル・マージングとの比較: モデル・マージング手法（例：Task Arithmetic, DARE, Localize-Stitch）を 6.18% 上回りました。
• 具体的な利得:
  • 最高の個別有益モデルと比較して、H3Fusionは有益性を約13%向上させました。
    رش安全モデルと比較して、有益性を維持しながら安全性の性能を向上させました。
  • LLaMA-2-7Bのスコア（$(Helpfulness + Truthfulness - Safety)/3$ で算出）において、より少ないアクティブパラメータ（11.06B vs 13.01B）でありながら、標準的なファインチューニング済みLLaMA-2-13Bの27.73%を上回る 30.97% を達成しました。
• パラメータ効率: H3Fusionは、複数のモデルバリアントを必要とする手法と比較して、より小さなメモリフットプリント（22GB）でこれらの結果を達成しました。

重要性と主張

論文は、H3Fusionが、従来のアンサンブルによる計算オーバーヘッドや、モデル・マージングによるメモリコストを伴わずに、競合するアライメント目的（Helpful, Harmless, Honest）のバランスを取るという根本的な課題に対処していると主張しています。

• 制御可能性: この手法は、モデルの振る舞いを「操る」メカニズムを提供します。正則化定数（$\gamma$）を調整することで、ユーザーはモデル全体を再学習させることなく、アライメント・プロファイルを動的にシフトさせることができます（例：より安全にするが有益性は下げる、あるいはその逆）。
• 堅牢性: このアプローチは、個別のアライメント済みモデルや単純な重み平均技術よりも、ゼロショット・プロンプトに対してより良く汎化する、より堅牢なアライメントモデルを作成します。
• スケーラビリティ: スパース・ゲーティングを利用することで、単一モデルのパスと同等の推論効率を維持しながら、HHHへの適合のためのモデリング容量を拡張できます。

著者らは、事前アライメント済みモデルの必要性や、評価（特にGPT-4oを用いた有益性の評価）のコストに関する限界を認めていますが、その手法がLLMにおける統合的かつ多次元的なアライメントへの実行可能な道筋を提供すると主張しています。