技術的概要：推論時パーソナライゼーション：スケーリング失敗に対する診断フレームワークと確率的解決策

1. 問題定義

大規模言語モデル（LLM）のパーソナライゼーションに対する現在のアプローチは、主に微調整やアライメントを通じてより優れたパーソナライズドモデルを構築すること、あるいはプロンプティングを通じてより優れた入力を作成することに焦点を当てており、推論を単一のショット生成プロセスとして扱っている。推論時の計算量のスケーリングは推論タスクにおいて有効であることが証明されているが、パーソナライゼーションへの応用は未だ十分に探求されていない。具体的には、パーソナライズドポリシーから $N$ 個の候補を生成し、パーソナライズド報酬モデルを通じて最良のものを選択するという、ポリシーモデル自体のスケーリングという軸は、厳密に研究されていない。

ここで扱われる中心的な問題は、この「推論時パーソナライゼーション（TTP）」アプローチが信頼性を持って性能を向上させ得るかどうかである。初期の観察では、標準的な報酬モデル（グローバルおよびユーザー固有の両方）は TTP の理論的潜在能力を実現できず、しばしばランダム選択と同等の性能しか示さないことが示唆されている。本論文は、これらの標準モデルがなぜ失敗するのかを診断し、安定したスケーリングを可能にする手法を提案することを目的としている。

2. 手法

2.1 理論的基盤：オラクルスケーリング則

著者らはまず、TTP に対する理論的上限を確立する。サンプリングされた応答の真の報酬がサブガウス分布であると仮定すると、真の選好関数へのアクセス権を持つ「オラクル」セレクターは、候補数 $N$ に対して対数的に成長する期待効用をもたらすことが証明される：
$$\bar{U}_{oracle}(N) \leq \bar{\mu} + \bar{\sigma} \cdot c \sqrt{\ln N}$$
これは、完全なセレクターが存在すれば、弱いポリシーであっても高品質な出力をもたらす可能性があることを示している。

2.2 診断フレームワーク：統合スケーリング則

標準的な報酬モデルがなぜこのオラクルの上限に近づけないのかを説明するために、著者らは Best-of-$N$ 効用曲線を 4 つの測定可能な量に分解する統合スケーリング則を導出した：

1. 崩壊率（$\alpha$）： 報酬モデルが真の報酬との相関が低いほぼ一定の予測を行うユーザーの割合。
2. 報酬ハッキング率（$\beta$）： 報酬モデルの予測が真の品質と負の相関を示すクエリの割合。
3. 実効相関： ハッキングされていないクエリにおける正の相関と、ハッキングされたクエリにおける負の相関の加重平均。
4. 基底分散（$\bar{\sigma}$）： ポリシーの出力品質に内在する多様性。

この統合則は、集団レベルの効用が以下のように近似されると仮定している：
$$\bar{U}(N) \approx \bar{\mu} + (1 - \alpha) \cdot [(1 - \beta)\bar{\rho}_+ - \beta|\bar{\rho}_-|] \cdot \bar{\sigma} \cdot c \sqrt{\ln N}$$
このフレームワークは、2 つの異なる失敗モードを特定する：

• ユーザーレベルの崩壊： モデルが特定のユーザー（特に真のラベルの分散が低いユーザー）に対して定数予測に退化する。
• クエリレベルの報酬ハッキング： モデルが偽のパターンを学習し、特定のクエリにおいて負の相関をもたらす。

2.3 提案手法：確率的パーソナライズド報酬モデル

診断フレームワークに基づき、著者らは確率的パーソナライズド報酬モデルを提案する。単一の決定論的スコアを予測するのではなく、このモデルは各候補に対して平均（$\mu$）と分散（$\sigma^2$）を予測する。

• 学習目的： モデルは、ガウス負対数尤度（NLL）損失とコントラストマージン損失を組み合わせて学習される。
• メカニズム：
  • 勾配バッファリング： 真の報酬の予測が困難（崩壊を起こしやすい）な入力に対しては、学習された分散 $\sigma^2$ が増加する。これにより平均に関する勾配の大きさが減衰し、モデルが定数予測に崩壊するのを防ぐ。
  • 暗黙的正則化： 信号が一貫しないクエリに対しては、モデルは高い分散を学習し、学習中にこれらのサンプルを実質的に重み付けを下げる。これにより、報酬ハッキングを引き起こす偽のパターンへの過学習を防ぐ。
• 推論： 候補は予測された平均 $\mu$ のみに基づいて選択される。分散は学習の安定化のためにのみ学習時に使用される。

3. 主要な貢献

1. 推論時パーソナライゼーション（TTP）パラダイム： 学習時の適応に依存するのではなく、推論時にポリシーモデルの計算量をスケーリングする新しいパーソナライゼーションの軸として TTP を導入。
2. 診断フレームワークとスケーリング則： 4 つの測定可能な量（$\alpha, \beta, \bar{\rho}_+, \bar{\rho}_-$）から Best-of-$N$ 性能を予測する統合スケーリング則の導出。このフレームワークは、標準的な報酬モデルがスケーリングに失敗する理由を説明する 2 つの失敗モード（ユーザーレベルの崩壊とクエリレベルの報酬ハッキング）を正常に診断する。
3. 確率的報酬モデリング： 学習された分散を通じて両方の失敗モードを緩和する確率的報酬モデルの提案。これにより、複数のタスクおよびポリシータイプにわたる単調なスケーリングが可能になる。

4. 実験結果

このフレームワークは、LaMP および LongLaMP ベンチマークからの 5 つのパーソナライズドテキスト生成タスク（ニュース見出し、学術タイトル、抄録、製品レビュー、トピック執筆）で評価された。

• スケーリング性能： 確率的ユーザー RM は、すべてのタスクで一貫した単調なスケーリングを示す唯一の手法である。$N=30$ において、ランダム選択とオラクル上限の間のギャップの 51% から 84% を回復する。これは、トレーニングベースのベースライン（ユーザーごとの LoRA 微調整）および標準的な決定論的報酬モデルを一貫して上回る。
• スケーリング則の検証： 統合スケーリング則から導出された理論的予測は、観測された実証的曲線と密接に一致しており、すべてのタスクおよび報酬モデルのバリエーションにおいて相対平均絶対誤差（relMAE）が 3% 未満である。
• 失敗モードの緩和：
  • 確率的モデルは、ユーザーレベルの崩壊率（$\alpha$）を決定論的モデルの約 15% から 0% に削減した。
  • クエリレベルの報酬ハッキング率（$\beta$）を約 25% から約 6% に削減した。
  • 分析により、学習された分散は予測誤差と強く相関することが示され、モデルが信頼性の低い信号を特定し重み付けを下げる能力を確認した。
• ポリシーの直交性： 得られた改善は、異なるポリシーファミリー（RAG、ペルソナプロンプティング、ペルソナ＋RAG）全体で保持されており、TTP が報酬モデルの品質によって決定されるポリシーに直交する増幅器として機能することを確認した。

5. 意義と主張

本論文は、効果的な報酬モデルが構築されれば、推論時パーソナライゼーションが従来のトレーニングベースの手法を超えた性能向上への有望な道筋を提供すると主張している。主な意義は、経験的な試行錯誤を超えて、標準的なパーソナライゼーションのスケーリングがなぜ失敗するのかを理論的に説明する診断フレームワークにある。

著者らは、確率的アプローチが、高い基底相関、低い崩壊率、低いハッキング率を同時に達成する唯一の設計であると主張している。分散ヘッドは（勾配バッファリングと暗黙的正則化を通じて）学習の安定性に不可欠であるが、推論時の選択には使用されない点を強調しており、これは他のアライメント文脈で使用される不確実性認識推論戦略とは区別される。

この研究はその範囲について控えめであり、ROUGE 派生の報酬を持つテキスト生成タスクに焦点を当て、学習のための十分なユーザーごとのデータを前提としていることを指摘している。コールドスタートシナリオや非テキストモーダリティは未解決の課題のまま残されており、将来的にはこの診断フレームワークを他の推論時スケーリング軸（例えば、ユーザーインタラクションの拡張や報酬モデル推論の拡張）に拡張できる可能性が示唆されている。