技術要約：パーソナライズされた嗜好モデリングのための疎な混合エキスパート報酬モデル

問題提起

強化学習（RLHF）は、大規模言語モデル（LLM）を人間の価値観に適合させるために報酬モデルに依存しています。しかし、既存のアプローチは通常、単一のグローバルな報酬関数を学習しており、これは統一された人間の価値観という概念を暗黙のうちに仮定しています。この仮定は、人間の嗜好に内在する多元性や異質性を捉えることができず、パーソナライズされたアライメントの有効性を制限しています。

異質な嗜好をモデル化するための従来の手法では、多面的な属性注釈やユーザー固有のラベルといった追加の監督信号を組み込む方法が探索されてきました。これらは効果的ではあるものの、高いアノテーションコストを伴い、定義済みの嗜好次元に依存するため、スケーラビリティと柔軟性に欠けます。代替となるデータ駆動型のアプローチは、追加のアノテーションなしでバイナリの嗜好データから複数の嗜好コンポーネントを直接学習しようと試みています。しかし、解釈可能性のための明示的な設計がない場合、学習されたコンポーネントは絡み合い不整合なパターンを捉えてしまうことが多く、監査が困難であり、透明性のあるパーソナライゼーションにおいて効果が低くなります。

手法

著者らは、標準的なバイナリ嗜好データのみを用いて学習される疎な混合エキスパート（Sparse Mixture-of-Experts: MoE）報酬モデルを提案しています。このアーキテクチャは、$K$ 個のエキスパート報酬関数 $\{r_{\theta_k}\}$ と、入力プロンプト $x$ に基づいてエキスパートに対するソフトマックス分布を生成するルーター $\pi_\phi(x)$ で構成されます。最終的な報酬は、エキスパート・スコアの加重平均となります。

モデルに解釈可能で特化したエキスパートを学習させるため、学習目的関数には、標準的なブラッドリー・テリー嗜好損失（$L_{RM}$）に3つの特定の正則化項を加えたものが含まれます。

1. 局所的スパース性（Local Sparsity: $L_{ls}$）: 個々の入力に対するルーティング・ウェイトのエントロピーを最小化します。これにより、ルーターがいかなるプロンプトに対しても単一（または極めて少数）のエキスパートを選択するように促し、一様な分布を防ぎます。
2. グローバルな均衡（Global Balance: $L_{gb}$）: バッチ全体における平均的なルーティング分布のエントロピーを最大化します。これにより、ルーターがすべての入力に対して単一のエキスパートに依存してしまう「モデル崩壊」を防ぎ、エキスパート・プールのバランスの取れた利用を保証します。
3. エキスパートの多様性（Expert Diversity: $L_{div}$）：異なるエキスパート間の報酬差（$\Delta_k = r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)$）のピアソン相関係数にペナルティを課します。これにより、各エキスパートが明確かつ分離された嗜好信号を捉えるように強制します。

全損失関数は以下のように定義されます：
$$L = L_{RM} + \lambda_{ls}L_{ls} + \lambda_{gb}L_{gb} + \lambda_{div}L_{div}$$

解釈と適応：

• 解釈: エキスパートは、高頻度で活性化する例をLLMを用いて要約することで解釈され、各エキスパートが専門とする特定のドメインやタスクに関する自然言語による記述が得られます。
• パーソナライゼーション: テスト時にはエキスパートは固定され、個人の嗜好に合わせるために少数の適応例（例：50例）を用いてルーターをファインチューニングします。適応後のエキスパート・ウェイトの変化は、モデルがどのように適応するかを分析するための定性的なレンズとして機能します。

主な貢献

1. アーキテクチャ: 追加の属性注釈やユーザーラベルを必要とせず、バイナリ嗜好データから分離された特化したエキスパートを学習する、疎なMoE報酬モデルの導入。
2. 解釈可能性メカニズム: 学習中にスパース性と多様性を強制することで、ルーティング・パターンが人間が解釈可能な意味構造（例：特定のトピック、タスクタイプ、またはドメイン）と一致することの証明。
3. パーソナライゼーションの有効性: 分離されたエキスパートが、最小限のデータで個人の嗜好に迅速に適応するための効果的な構成要素として機能することの提示。
4. 診断能力: 適応後のエキスパート・ウェイトの変化が、特定のエキスパートの活性化とターゲットとなる嗜好属性を結びつけることで、モデルの適応挙動に対する透明な視点を提供することを確立。

実験結果

著者らは、制御された設定および実世界の環境の両方で手法を評価しました。

• 制御実験（カテゴリ回収）: ラテント（潜在的）カテゴリ（Academic, Professional, Cooking, Fiction）が既知であるStanford Human Preferences (SHP) データセットにおいて、Sparse MoEは4つのカテゴリすべてを正常に回収しました。Vanilla MoEやMiCRoと比較して、85.60%のエキスパート純度（ベースラインは約50%）および5.77%のエキスパート専門化を達成し、一貫したルーティング・パターンを学習する点で大幅に上回りました。
• 属性ステアリング: Reasonable Preference Reversal (RPR) データセットにおいて、ルーティング・ウェイトを操作することで、モデルの挙動を特定の属性（例：「創造性」対「科学的厳密性」）へと効果的に誘導できることを示しました。Sparse MoEは43.83%の反転率を達成し、最強のベースラインを4.52ポイント上回りました。
• 実世界の解釈可能性: preference-700Kデータセットにおいて、Sparse MoEは最高の**記述忠実度（Description Fidelity: 0.38）およびエキスパート専門化（Expert Specialization: 15.13）**スコアを記録しました。人間による評価により、Sparse MoEのルーティング・パターンはベースラインよりも有意に一貫していることが確認されました。
• パーソナライゼーション性能: RPRにおけるテスト時パーソナライゼーションにおいて、Sparse MoEはわずか50個の適応例で全体の精度を25.81ポイント向上させ、ベースライン（10ポイント未満の向上）を大幅に上回りました。同様の利得がPersonalLLMデータセットにおけるユーザーレベルの適応でも観察されました。

意義と主張

本論文は、Sparse MoE報酬モデルが、コストのかかる定義済みの注釈に依存しない、パーソナライズされた嗜好モデリングのためのスケーラブルな解決策を提供することを主張しています。解釈可能で特化したエキスパートをバイナリデータから直接学習することで、以下のことが可能になります。

• 透明なパーソナライゼーション: モデルが「どのように」適応するかを明確に理解しながら（エキスパート・ウェイトの変化を通じて）、LLMを個人の嗜好に適応させる能力。
• 分離された表現: グローバルな報酬モデルでは隠されてしまう潜在的な意味構造の回収。
• 効率性: 非常に少ない適応例（わずか5例）で効果的なパーソナライゼーションを実現し、ユーザーデータが乏しい実世界の展開において実用的であること。

著者らは、この手法がハイパーパラメータ調整の複雑さを導入することや、ユニバーサルな嗜好モデリングの精度がわずかに低下することを指摘し、限界を認めています。また、モデルが有害な行動を強化したり安全制約を回避したりするように適応される可能性があるという倫理的リスクについても言及しており、実世界への展開にあたっては慎重な倫理的監視を推奨しています。