技術要約：Best-of-N 嗜好データからの報酬学習

問題提起

Best-of-N (BoN) サンプリングは、現代のAIシステム、特に報酬モデルの訓練や大規模言語モデル（LLM）の整列（アライメント）において、ペアワイズの嗜好データを構築するための広く用いられているメカニズムである。このプロセスでは、$N$ 個の候補レスポンスがベース分布からサンプリングされ、オラクル（人間またはモデルベース）が最も優れたレスポンスを「選ばれた（chosen）」例として選択する。「拒絶された（rejected）」例は、通常、残りの候補から一様に選択される（Best-vs-Random）、あるいは最も劣った候補として選択される（Best-of-Worst）。

この手法の普及にもかかわらず、このようなデータからの報酬学習に関する理論的特性は不明確なままである。具体的には、以下の点が十分に理解されていない：

1. 結果として得られるデータセットによって、どのような特定の報酬関数が誘導されるのか？
2. 学習効率を最適化するために、候補セットのサイズ $N$ とベース分布をどのように選択すべきか？

一般的な直感では、より大きな $N$ は、選ばれたレスポンスの絶対的な質を高めるため、より良いデータをもたらすとされている。しかし、本論文は、この直感は不完全であると主張する。なぜなら、データの有用性は、選ばれたレスポンスの質だけでなく、そのデータセットがどのような比較を可能にするかという点にも依存するためである。

手法

著者らは、最近の分布に依存しないフレームワーク（Pukdee et al., 2026）に基づき、条件付き嗜好分布（Conditional Preference Distribution: CPRD）の観点から報酬学習を分析している。このフレームワークは、嗜好データがBradley-Terry（BT）表現を許容する条件を特徴付け、有限サンプル学習が2つの主要な量、すなわちマージン（margin）（ペアを区別する難易度）と連結性（connectivity）（比較空間のカバー範囲）によって支配されることを明らかにしている。

本論文では、このフレームワークをBoNデータに対して以下のように適用している：

1. 閉形式のターゲットの導出： 選ばれたサンプルと拒絶されたサンプルが独立して描画される「独立型（Independent）」バリアント（Best-vs-Independent および Best-vs-Worst-Independent）を分析する。これらの設定において、著者らはBT損失の母集団最小化子の明示的な閉形式の式を導出している。
2. 実用的なバリアントの分析： 実用的な Best-vs-Random および Best-vs-Worst 設定への拡張を行う。ここでは、選ばれたレスポンスと拒絶されたレスポンスが結合されており（同じ $N$ 個の候補セットから描画されている）、厳密なBT表現可能性は一般に成立しない。著者らは、$N$ が大きくなるにつれて、これらの実用的な設定の最小化子が、独立型バリアントのターゲットに収束することを示す。
3. トレードオフの特性付け： $N$ が誘導される嗜好分布のマージンと連結性に同時にどのように影響するかを調査する。
4. 実験による検証： 合成データおよび実世界のデータセット（UltraFeedback, PKU-SafeRLHF, GSM8K）を用いて、$N$ を変化させ、ベース分布を再形成することで、理論的予測を検証する。

主な貢献

1. 報酬ターゲットの特性付け

• 独立型バリアント： Best-vs-Independent において、誘導される報酬ターゲット $r^*_{BI}$ は、Best-of-N 分布とベース分布の対数比として示される：$r^*_{BI}(x, y) = \log \frac{P_{BoN}(y|x)}{P_{base}(y|x)} + c(x)$。極めて重要なことに、このターゲットは基礎となる真の報酬 $r^*$ のランキングを保持する。
• 実用的なバリアント： Best-vs-Random および Best-vs-Worst では、サンプルの結合により、最小化子は単純な閉形式を持たない。しかし、著者らは $N$ が増加するにつれて、これらの設定の最小化子が、マージン半ノルムにおいて独立型バリアントのターゲットに近づくことを証明している。具体的には、Best-vs-Random では距離が $O(1/N)$ で減衰し、Best-vs-Worst では指数関数的に減衰する。

2. マージンと連結性のトレードオフ

本論文は、$N$ によって制御される根本的なトレードオフを特定している：

• マージン： $N$ を増やすことは、ペアワイズのマージンを増幅させる。2つの結果 $y$ と $y'$ の間のマージンは、$N$ に比例して増大する（「間の質量（between mass）」、すなわち $y$ と $y'$ の報酬スコアの間に位置するベース分布の確率質量によってスケールされる）。マージンが大きくなると、個々の比較がより情報量豊かになり、推定誤差に対して頑健になる。
• 連結性： $N$ を増やすことは、連結性を低下させる。$N$ が大きくなると、BoN サンプリングは高報酬の結果に集中し、一方で Worst-of-N は低報酬の結果に集中する。これにより、観察される比較の範囲が狭まり、中間的なペアが過小評価される。連結度は $N$ に対して指数関数的に減少する。

3. 設計原則

このトレードオフに基づき、著者らは2つの実行可能な設計原則を提案している：

• リソース・ボトルネックの原則： 最適な $N$ は、嗜好ラベルの希少性に依存する。
  • ラベル限定レジーム： 人間のアノテーションがボトルネックとなっている場合（サンプルサイズ $n$ が小さい場合）、大きな $N$ が好ましい。マージンの増加は、限定されたデータによる高い推定誤差を克服するのに役立つ。たとえ連結性が低下したとしても、その効果は大きい。
  • 生成限定レジーム： ラベルが安価または自動化されている場合（$n$ が大きい場合）、小さな $N$ が好ましい。データが豊富な場合、大きな $N$ による連結性の損失はマージンの利益を上回る。節約した計算予算を用いて、より小さな $N$ でより多くのトリプレットを収集する方が効率的である。
• 間の質量の原則： ベース分布を形成することで、選択的にマージンを増幅できる。2つのレスポンスの間に誘導されるマージンは、報酬の順序においてその間に配置されるベース分布の質量が増えるにつれて増大する。実務者は、ターゲットとなる評価分布（例：安全性タスクにおける有害な出力と許容可能な出力の間）に対して最も重要なレスポンスのペアの間に質量を配置するように、ベース分布を形成すべきである。

結果

• 合成データ： 実験は予測されたトレードオフを裏付けている。サンプルサイズ $n$ が小さい場合、大きな $N$ はテスト精度を高める。$n$ が大きくなるにつれて、最適な $N$ は減少し、十分に大きな $n$ では、連結性の良さから、大きな $N$（例：$N=8$）よりも小さな $N$（例：$N=2$）の方が優れた性能を示す。
• 実世界データ： UltraFeedback においても同様の傾向が見られる。大きな $N$ は小規模データレジームで有利であるが、大規模データレジームでは小さな $N$ が同等またはより優れた性能を発揮する。
• ベース分布の再形成： 安全性（PKU-SafeRLHF）、推論（GSM8K）、および一般的（UltraFeedback）なタスクに関する実験は、ターゲットとなる比較に対して「間の質量」を増やすようにベース分布を再形成することで、テスト精度が向上することを実証している。例えば、安全性タスクにおいて、「中程度（欠陥はあるが危険ではない）」のレスポンスをアップサンプリングすることで、有害な出力と許容可能な出力の間のマージンが増大し、性能が向上した。

意義

本論文は、Best-of-N 嗜好データからの報酬学習に対する学習理論的な基礎を提供している。これは、「候補が多いほど常に良い」というヒューリスティックな見解を超え、誘導される報酬ターゲットとサンプル複雑性のトレードオフを厳密に特徴付けている。

その意義は以下の点にある：

1. 信号の明確化： 報酬学習が BoN データからどのような信号を回収するのかを特定した。ランキングは保持されるものの、具体的な報酬関数は $N$ とベース分布に依存することを示した。
2. データ設計の指針： リソース制約に基づいて $N$ を選択する方法や、特定のダウンストリームタスクに対して学習効率を最大化するためにベース分布をどのようにエンジニアリングすべきかについて、実務者に具体的かつ原理的なガイドラインを提供している。
3. 理論と実践の架け橋： マージンと連結性という抽象的な概念を、Best-of-N サンプリングの実践的なメカニズムに結びつけ、なぜ特定のレジームにおいて非常に大きな $N$ を用いると性能が低下するのか、そしてそれをどのように緩和できるのかを説明している。

著者らは、嗜好データの構築は単なる詳細事項ではなく、どのような 報酬が学習されるか、そしてそれがいかに効率的に学習されるかを形作る、極めて重要な設計レバーであると結論付けている。