技術要約：ルーティング重みを超えて：貢献度コントラストによる混合エキスパート（MoE）報酬モデルの忠実なレスポンスレベルの解釈

1. 問題提起

報酬モデルは、人間のフィードバックからの強化学習（RLHF）および大規模言語モデル（LLM）を人間の好みに適合させるプロセスにおいて中心的な役割を果たします。しかし、その予測を駆動する特定の特性を理解することは依然として困難です。近年のスパースな混合エキスパート（MoE）報酬モデルは、プロンプトを特化したエキスパートにルーティングすることで解釈性を向上させようと試みていますが、既存の解釈手法は不十分です。

Wangら（2026）による手法などの既存のアプローチは、ルーティング重みが最も高い例を用いてエキスパートを特徴付けます。この手法は、エキスパートがどのプロンプトを受け取るか（プロンプトレベルのドメイン）を明らかにしますが、エキスパートがどのようにレスポンスを判断しているかを説明するには至りません。その結果、これらの解釈は、モデルの決定を直接説明するレスポンスレベルの選好次元ではなく、入力割り当てのコンテキストのみを捉えるという、部分的な説明にとどまります。さらに、スコアベースのランキングのような代替手法は、ルーティング重みを無視するため、エキスパートが全体的な影響力は低いものの、スコアの分散が高い例を強調してしまう可能性があります。

2. 手法：貢献度コントラスト（CoCo）

著者らは、MoE報酬モデルにおけるエキスパートの役割を忠実に特徴付けるために設計された、レスポンスレベルの解釈手法である**貢献度コントラスト（Contribution-Contrast: CoCo）**を提案しています。

コア概念

CoCoは、ルーティング重みや生のスコア差のみを用いる手法を超越します。代わりに、貢献度コントラストを主要な解釈信号として使用します。与えられた選好ペア $(x, y_w, y_l)$ およびエキスパート $k$ に対して、符号付き貢献度コントラストは以下のように定義されます：
$$\Delta c_k(x, y_w, y_l) = \pi_{\phi,k}(x) [r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$$
ここで、$\pi_{\phi,k}(x)$ はルーティング重数、$[r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$ は選択されたレスポンスと拒否されたレスポンスのスコア差です。大きさ $c_k$ は、エキスパートがレスポンスをどの程度強く区別しているかを測定し、符号はエキスパートがどちらのレスポンスを支持しているかを示します。

解釈の抽出

エキスパートを解釈するために、CoCoは貢献度コントラストの大きさが最大となる検証例の上位10件を選択します。その後、LLMに対して、これらのペアに共通するコントラスト・パターンを要約し、そのパターンが共有されたコンテキストに関連しているのか、一貫した選好次元に関連しているのか、あるいはその両方であるのかを特定するように促します。

正則化

スパースで多様な貢献パターンを促進するために、著者らはWangら（2026）による既存の解釈正則化（局所的なスパース性、グローバルなバランス、およびエキスパートの多様性）を適応させています。これらをルーティング重みに適用するのではなく、選好ペアの貢献度コントラスト・プロファイルに適用します。この軽量な適応により、基礎となるMoEアーキテクチャを変更することなく、解釈制約をコントラスト的な貢献信号に適合させています。

ベースライン

本論文では、CoCoを以下の手法と比較しています：

1. ルーターベース（Router-based）: ルーティング重みによって例をランク付けする（プロンプトレベルのドメインを捉える）。
2. スコアベース（Score-based）: 絶対的なエキスパート・スコア差によって例をランク付けする（レスポンスレベルの次元を捉えるが、ルーティングの影響を無視する）。
3. SAEベース（SAE-based）: スパース自己符号化器（Sparse Autoencoder）を使用して特徴を抽出するSARMやWIMHFなどの手法。

3. 主な貢献

• 新しい解釈信号: 本論文は、ルーティング挙動と選好挙動を統合的に捉える信号として貢献度コントラストを導入し、ルーティング重みだけではエキスパートの挙動を説明できないというギャップを解消しました。
• レスポンスレベルの特性付け: プロンプトドメインを特定するルーターベースの手法とは異なり、CoCoはレスポンスレベルの選好次元（例：「長いリストではなく簡潔な推奨事項」）を特定し、それはモデルの実際の意思決定プロセスに対して忠実です。
• 体系的な研究: 本研究は、MoE報酬モデルに特化した解釈手法に関する初の体系的な研究であり、ルーターベース、スコアベース、およびSAEベースの代替手法を比較しています。
• 正則化の適応: スパース性と多様性の正則化を、ルーティング重みではなく貢献度コントラストに対して動作するように適応させる方法を示し、エキスパートの役割の明確性を高めました。

4. 実験結果

著者らは、3BパラメータのMoE報酬モデルを用い、700K (Dong et al., 2024) および Reddit (Ethayarajh et al., 2022) の2つのデータセットでCoCoを評価しました。

自動評価

CoCoは、複数の指標において既存のベースライン（SARM, WIMHF, SMoE）および代替信号（ルーターベース、スコアベース）を上回りました。

• 解釈の質: CoCoは最高の忠実度（Fidelity）（信号と、例が解釈に従っているかどうかのLLMの判断との相関）を達成しました。SMoEは700Kデータセットにおいて低い冗長性を示しましたが、CoCoは高い忠実度と誠実さ（faithfulness）を維持しながら、際立ちとバランスの取れた優れた全体的な解釈性を示しました。
• 決定への忠実性: CoCoは、優れたエキスパート・モデル一致度（Expert-Model Agreement）（上位の例においてエキスパートとフルモデルが一致する割合）および除去反転率（Removal Flip Rate）（エキスパートを除去した際にモデルの予測が変わる割合）を示しました。
• エキスパートの専門化: CoCoのエキスパートは、他の手法と比較して、自身のトップランクされた例において高い**エキスパート精度（Expert Accuracy）および相対的エキスパート優位性（Relative Expert Advantage）**を示しました。

ヒューマン評価

5人のアノテーターが、Redditデータセットを用いて、各手法の5つのエキスパートにつき上位10個の例を評価しました。CoCoは、**パターンの一貫性（Pattern Coherence）と記述の質（Description Quality）**の両方において最高の評価を得ており、その解釈がルーターベースやSAEベースの手法よりも一貫しており、エキスパートの役割をより良く記述していることを示しました。

アブレーション研究

異なる正則化目的で訓練された同一のMoEモデル内での比較により、貢献度コントラスト信号が情報量の多い例のセットを選択するために最も効果的であることが確認されました。ルーターベースまたはスコアベースの目的で訓練されたモデルに適用した場合でも、CoCoの解釈は、他の信号から導出された解釈よりも忠実かつ専門化されていました。

5. 意義と主張

本論文は、CoCoが既存の代替手法よりも、MoE報酬モデルのエキスパートに対して、より一貫性があり、忠実で、専門化された解釈を提供することを主張しています。ルーティング挙動と選好挙動を統合的に捉えることで、CoCoはルーティング重数やエキスパートのスコアを単独で使用する場合よりも、モデルの決定を理解するためのより情報量の多い基盤を提供します。

著者らは、自らの主張に対して慎重な立場をとっています：

• CoCoは基礎となるMoEモデルが学習した構造に依存しており、学習されたエキスパートが「クリーン」または意味的に明確な選好次元に対応することを保証できないことを認めています。
• CoCoはデータ中心のアプローチであるため、トレーニングデータに存在しない、あるいは弱く表現されているパターンを回収できない可能性があることを指摘しています。
• 著者らは、使用した指標（忠実度、誠実さなど）は挙動の一貫性と決定の整合性の証拠として機能するものであり、グラウンドトゥルース（正解）の分離可能性の証明ではないことを明確にしています。
• 倫理面において、著者らはCoCoを望ましい人間の価値観の検証器ではなく、監査ツールとして位置付けており、解釈は基礎となるデータセットに存在するバイアスを反映する可能性があると述べています。

結論として、本論文は貢献度コントラストを、MoE報酬モデルを解釈するための優れた信号として確立し、これらのモデルが人間の好みにどのように適合しているかについて、より透明性が高く実行可能な洞察への道筋を提供しています。