技術要約：データの混合か、モデルの統合か？ モデル・マージングによる大規模言語モデルの有用性、誠実性、および無害性のバランス調整

問題提起

大規模言語モデル（LLM）の信頼性の高いデプロイには、有用性（正確でタスクに沿った応答）、誠実性（ハルシネーションの回避）、無害性（有害な出力の防止）という、総称して3H最適化と呼ばれる3つの重要な次元におけるバランスの取れた最適化が必要です。RLHF（人間からのフィードバックによる強化学習）やDPO（直接選好最適化）といった既存のアライメント技術は、個々の側面を改善してきましたが、これらには固有のトレードオフが存在するため、同時にバランスを取ることは依然として大きな課題です。例えば、有用性を最適化しようとすると、意図せず有害なコンテンツが生成されることがあり、逆に無害性の調整を行うと、誠実な応答が損なわれることがあります。

これらの衝突を解決するための従来のアプローチは、多様なデータセットを組み合わせて単一のモデルをファインチューニングするデータ混合戦略に依存しています。しかし、これらの手法は、データキュレーションに対する専門知識への高い依存、高い計算コスト、およびファインチューニング中の競合する最適化シグナルの管理の難しさといった限界に直面しています。一方、モデル・マージング（特化したモデルのパラメータを統合すること）は、破滅的忘却を軽減し、目的をバランスさせるための、コスト効率の高いパラメータレベルの代替案を提供しますが、3H最適化におけるその具体的な有効性と限界については、これまで十分に探求されていませんでした。この領域における主な課題には、選好ノイズの蓄積（複数のアライメント済みモデルをマージすることで、真のタスク方向を不明瞭にする外れ値的な重みの更新が導入されること）や、レイヤーのスパース性適応（既存の手法が、LLMの異なるレイヤー間におけるスパース性パターンの差異を考慮できていないこと）が含まれます。

手法

ベンチマークと分析

著者らはまず、3H最適化のためのデータ混合とモデル・マージングの手法を体系的に比較するための包括的なベンチマークを構築しました。これには以下が含まれます：

• データセット: 5つの注釈次元（有用性、誠実性、無害性、およびそれらの組み合わせ）をカバーする10個の選好データセット。
• ベースライン: 12個のトレーニングフリーなモデル・マージング戦略（Weight Average、Task Arithmetic、TIES、DARE、TSVMなど）と、3個のデータ混合戦略（Heuristic、ArmoRM、Hummer）を含む15個の代表的な手法。
• モデル: 静的（シングルステージ）および継続的（マルチステージ）な最適化設定の両方における、2つの指示チューニング済みLLMファミリー（Llama-3-8BおよびMistral-7B）。

このベンチマークを通じて、著者らはこれまで見落とされていた3H次元間の協調的および競合的な関係を明らかにしました。特に、「有用な」トレーニングは3Hすべての次元に同時に利益をもたらす一方で、「誠実な」トレーニングと「無害な」トレーニングはしばしば互いに弱め合うことを発見しました。

提案手法：RESM

マルチオブジェクティブ・マージングにおける選好ノイズとレイヤーのスパース性という特定の課題に対処するため、本論文では**Reweighting Enhanced task Singular Merging (RESM)**を提案します。この手法は、Task Singular Vector (TSV) マージングに基づき、以下の2つの新しいメカニズムを導入しています。

1. 外れ値認識型重み付け（選好ノイズへの対処）:

   • 複数のアライメント済みモデルのマージが選好ノイズを蓄積することを認識し、RESMは3σ原則に基づく統計的有意性フィルタリングメカニズムを採用しています。
   • 各レイヤーにおける重みの偏差（$\Delta$）の行方向の平均（$\mu$）と標準偏差（$\sigma$）を計算します。
   • しきい値関数によって低振幅の変動（ノイズ）を抑制し、統計的に有意な偏差のみを保持します。
   • 集約重み（$\alpha$）は、これらの疎な外れ値の大きさをL1正規化することによって計算され、多様なタスクからのバランスの取れた寄与を保証し、高振幅の更新がマージを支配することを防ぎます。

2. スパース性適応型ランク選択（レイヤーのスパース性への対処）:

   • 従来の手法は、すべてのレイヤーに対して一律のランク選択しきい値（$k$）を使用しますが、これはパラメータの重要度の不均一性を考慮できていません。
   • RESMは、各レイヤーのスパース性コンセンサス（$\Omega_l$）に基づいて、動的にランク（$k_l$）を決定します。
   • スパース性は、小さなしきい値 $\epsilon$ 未満のパラメータ偏差の割合をカウントすることで計算されます。
   • 動的ランクは $k_l = \lfloor d_l(\gamma_0 + \gamma\Omega_l) \rfloor$ と定義されます（ここで $d_l$ はレイヤーの次元）。これにより、スパースなレイヤーでは高いランクを保持し（重要な方向的特徴を保存）、密なレイヤーでは強力な次元削減を実現（ノイズを抑制）することが可能になります。

最終的なマージ後のレイヤーは、これらの再重み付けされた特異ベクトルを統合することで計算されます：
$$\theta^{RESM}_l = \theta^0_l + \sum_{i=1}^n U^{(i)}_{l\perp}[:, : k_l] \cdot (\alpha^{(i)}_l S^{(i)}_l) \cdot V^{(i)\top}_{l\perp}[: k_l, :]$$

主な結果

パフォーマンス比較

Llama-3およびMistralモデルを用いた広範な評価により、モデル・マージングは、バランスの取れた3H最適化においてデータ混合手法よりも優れた性能を示すことが実証されました：

• 静的最適化: Llama-3において、最良のデータ混合手法（Hummer）は**10.16%の正規化ゲインを達成しました。対照的に、モデル・マージング手法は一貫してこれを上回り、提案されたRESMは14.97%**のゲインを達成しました。ベースラインであるTSVMは13.00%でした。
• Mistralの結果: 同様の傾向が見られ、RESMはベースラインに対して**3.36%**のゲインを達成し、最良のデータ混合手法の1.53%を上回りました。
• 安定性: ランダムなスパース化手法（DAREやDELLAなど）が異なるランダムシード間で不安定なパフォーマンスを示したのに対し、RESMはSVDベースのアプローチと適応戦略により、堅牢で一貫した結果を示しました。

アブレーション研究

アブレーション研究により、RESMにおける両コンポーネントの必要性が確認されました：

• 外れ値の重み付けを除去すると、Llama-3の正規化ゲインは14.97%から13.60%に低下しました。
• 適応型ランク選択を除去すると、ゲインは13.71%に低下しました。
• 両方の戦略を組み合わせることで最高のパフォーマンスが得られ、ノイズの蓄積とレイヤーのスパース性の両方に対処することが極めて重要であることが検証されました。

継続的最適化

連続的なDPOトレーニング設定（逐次的なデータを伴う実世界のシナリオをシミュレート）において、RESMは最終ステージのモデルに対して優れた性能を維持しました。著者らは、破滅的忘却の効果が相互作用的な最適化を通じて逆説的に3Hアライメントを強化したことを観察しました。また、中間的なチェックポイントではなく基礎的なチェックポイントからマージするというRESMの戦略が、以前の目的への過学習を効果的に抑制したことも示されました。

重要性と主張

本論文は、3H最適化のためのデータ混合とモデル・マージングを比較する初の体系的なベンチマークを提供することを主張しています。その主な貢献は以下の通りです：

1. 経験的知見: モデル・マージングが、競合するアライメント目的を効果的に交渉するフェーズ化された最適化パラダイムを提供し、競合するシグナルに苦しむデータ混合戦略をしばしば凌駕することを明らかにしました。
2. 手法の進展: 提案されたRESMアルゴリズムは、外れ値の重み付けと適応型ランク選択を通じて、追加のトレーニングデータを必要とせずに、選好ノイズとレイヤーのスパース性というLLMマージングの特定の技術的ハードルに対処し、最先端のバランスの取れたアライメントを実現しました。
3. 理論的基盤: 本研究は、衝突確率に関する理論的境界を提供し、適応型ランク選択が固定ランクのアプローチと比較して、タスクベクトルの方向的衝突の可能性を低減することを実証しました。

著者らは、重み付けとスパース性認識戦略によって強化されたモデル・マージングが、倫理的に制約された多目的アライメントLLMを構築するための、実行可能かつ効率的な経路を提示していると結論付けています。彼らは、RESMは誠実性と無害性を大幅に改善するものの、「有用性」の次元については次元内の衝突が存在するため依然として課題が残っていることを強調し、将来的な階層的衝突解決フレームワークの必要性を示唆しています。