技術的サマリー：Owen-Shapley 方策最適化（OSPO）

問題定義

大規模言語モデル（LLM）は、生成型推薦システムへの展開が増加しており、ユーザーの好みを統合し検索クエリを洗練させることで、下流の検索およびランキングを条件付けます。グループ相対方策最適化（GRPO）のような強化学習（RL）手法は、シーケンスレベルの終端報酬（例：検索器からの NDCG）を使用することで、パラメトリックな価値モデルなしに学習を可能にしますが、重要なクレジット割り当てのギャップに悩まされています。

標準的な価値モデルフリーの RL では、生成されたシーケンス内のすべてのトークンに一様に単一のスカラー利得が割り当てられます。これにより、高品質な出力に実際に寄与した特定のフレーズや意味セグメントが不明瞭になります。この制限は、ラベルなしの不完全な言語から潜在的なユーザー意図を推論する必要がある推薦タスクにおいて特に顕著です。さらに、一様なクレジット割り当ては、モデルが表面レベルの手がかりに過剰適合するか、ブラックボックスの検索器におけるショートカットを悪用する報酬ハッキングに対して脆弱にします。プロセス報酬モデル（PRM）のような既存の解決策はラベル付きの中間ステップを必要とし、アテンションベースの手法はしばしば偽の相関を絡み合わせます。

手法：Owen-Shapley 方策最適化（OSPO）

著者は、最終結果に対する意味的一貫性のあるトークンセグメント（連合）の限界貢献に基づいてシーケンスレベルの利得を再分配するフレームワークであるOSPOを導入します。OSPO は、外部価値ネットワークを必要としないクリティックフリーのレジームで動作します。

中核メカニズム

1. セグメンテーションと連合: 生成された応答は、$N$個の意味的に意味のあるセグメント（例：フレーズ、文）に分解されます。すべての $2^N$ 個の可能な部分集合（非現実的）を評価する代わりに、OSPO は連続する連合（連続するセグメント）への評価を制限します。これにより、意味的一貫性が維持され、計算複雑性が指数関数的から線形 $O(N \cdot w_{max})$ に削減されます（ここで $w_{max}$ は最大連合幅です）。
2. Owen-Shapley 帰属: 協力ゲーム理論を用いて、OSPO は各セグメントに対してOwen 値を計算します。セグメント $j$ の値 $\phi_j$ は、さまざまな連続する連合 $S$ に追加された際の報酬への期待限界貢献です：
   $$\phi_j^{Owen} = \frac{1}{|C_j|} \sum_{S \in C_j} (v(S \cup \{j\}) - v(S))$$
   ここで、$v(S)$ は、連合 $S$ のセグメントを連結して形成された部分シーケンスで検索器（または報酬モデル）にクエリすることで得られる報酬です。
3. 利得の再分配: シーケンスレベルの利得 $\hat{A}^{(g)}$（GRPO におけるグループ相対正規化を通じて計算される）は、個々のトークンに再分配されます。トークンレベルの利得 $A_t^{(g)}$ は以下のように計算されます：
   $$A_t^{(g)} = T \cdot \tilde{\phi}_t^{(g)} \cdot \hat{A}^{(g)}$$
   ここで、$\tilde{\phi}_t$ はトークンのセグメントに対する正規化された Owen 値、$T$ はシーケンス長です。$T$ による乗算は長さ不変性を確保し、長いシーケンスが短いシーケンスと比較して不釣り合いに弱い勾配信号を受け取るのを防ぎます。
4. 目的関数: 方策は、PPO/GRPO と同様のクリップされた代理目的関数を使用して更新されますが、これら微細粒度の Owen 重み付きトークン利得を利用します。

変種

本論文は、3 つの再分配戦略を評価しています：

• OSPO-PROP: 正規化された Owen 値に基づく比例再分配。
• OSPO-RANK: 騒がしい推定値を処理するために、Owen 値の順序ランクに基づいて再分配する手法。
• OSPO-CLIP: 安定性のためにチェビシェフの不等式に基づいた範囲に再分配された利得を制限する手法。

主要な貢献

1. 価値モデルなしの原理的なクレジット割り当て: OSPO は、Owen-Shapley 値を活用することで、スパースな終端報酬と微細粒度のトークン更新の間のギャップを埋め、学習されたクリティックやプロセス報酬モデルの必要性を排除します。
2. 連合ベースの意味論: 意味的一貫性のあるフレーズを連合ゲームのプレイヤーとして扱うことで、OSPO は応答のどの部分が下流の有用性（例：検索の成功）を推進するかを特定し、一様な割り当てよりも優れた解釈可能性を提供します。
3. 効率性とスケーラビリティ: 連続する連合の制約により、計算がオンライン RL 学習に対して実行可能となり、 prior の Shapley ベースの作業における二次近似とは異なり、セグメント数に対して線形にスケーリングします。
4. 分布シフトへの頑健性: この手法は、見えない検索器や埋め込み空間にもよく一般化する検索器に依存しないクエリ表現を学習します。

実験結果

著者は、2 つの E コマースデータセットで OSPO を評価しました：Amazon ESCI（商品検索クエリの洗練）とH&M Fashion（文脈化された検索とユーザープロファイルの要約）。

• 性能向上: OSPO-PROP は、すべての指標（NDCG、AP、MRR、Recall）において、ベースライン（SFT、DPO、GRPO）を一貫して上回りました。ESCI データセットでは、OSPO-PROP（7B）は NDCG 0.522 を達成し、32B モデル（0.496）および 72B モデル（0.543、ただし H&M では劣化）を上回りました。H&M では、OSPO-PROP（7B）は 0.436 の NDCG に達し、GRPO（0.379）を上回り、パラメータ数の一部で GPT-4o（0.433）の性能に迫りました。
• サンプル効率: OSPO は、GRPO よりも約50% 少ないトレーニングステップで目標性能に到達しました。
• 一般化: クロス検索器評価（1 つの埋め込みモデルで学習し、別のモデルでテスト）において、OSPO は強力な性能を維持しましたが、GRPO やオフライン手法（DPO、SFT）は著しく劣化しました。これは、OSPO がより転送可能なアライメント信号を学習することを示唆しています。
• 安定性: OSPO は低い報酬分散を示し、トレーニングの後期段階で GRPO において観察された「報酬ハッキング」の崩壊（例：空または最小限のシーケンスの生成）を回避しました。
• アブレーション研究: 著者は、中程度の幅を持つ連続する連合（例、$w_{max}=4$ から $8$）が、十分なサンプリングと組み合わさることで、局所的文脈と探索の間の最良のバランスを提供することを発見しました。非連続的な連合は性能の崩壊をもたらし、非常に狭い連合は表面のパターンへの過剰適合を引き起こしました。

意義と主張

本論文は、OSPO が生成型推薦におけるクレジット割り当て問題を解決するための原理的かつクリティックフリーのアプローチを提供すると主張しています。トークンレベルの一様性からセグメントレベルの限界帰属へ移行することで、OSPO はモデルが応答が成功した理由を学習することを可能にし、高貢献度の意味単位に勾配更新を集中させます。

著者は、このアプローチにより、7B のような小規模モデルが、特定の検索タスクにおいて 32B、72B のようなはるかに大規模なモデルや、最先端のゼロショットモデル（GPT-4o）と競合するか、それらを凌駕できることを強調しています。さらに、この手法の見えない検索器や埋め込み空間への一般化能力は、真の好みが潜在し、フィードバックがスパースである動的な推薦環境での堅牢な展開における可能性を浮き彫りにしています。この研究は、連合ベースの帰属が、価値関数のトレーニングの計算オーバーヘッドなしに、安定した、転送可能で、解釈可能な行動を促進する内在的な正則化剤として機能することを示唆しています。