技術要約：モード・ロッタリーからの脱出：マルチレスポンス学習による言語モデルの汎化性能向上

問題提起

現代の言語モデルのファインチューニングは通常、単一のプロンプトに対して単一のレスポンスをペアリングするという慣習に従っています。これは分類タスクには適していますが、「リストをソートする関数を記述せよ」のような、プロンプトが複数の妥当な補完を許容する場合が多いオープンエンドな生成においては不適切です。単一のレスポンスのみで学習を行うことで、モデルは多峰的な条件付き分布の極めて狭いスライスにのみさらされることになります。著者らはこの現象を**「モード・ロッタリー（mode lottery）」**と呼んでいます。ここでは、トレーニングデータが（最も一般的、あるいは生成が容易、または報酬が高いといった）特定のサブセットのモードを繰り返し強調する一方で、他の妥当かつ価値のあるモードが統計的に不可視の状態に置かれる可能性があります。

既存のパイプラインでは、複数の候補を生成した上で、単一の「最良」のレスポンスを選択（例：報酬最大化による）することがよくあります。本論文は、複数のレスポンスを保持することがいつ有益であるか、どの程度の利得が期待できるか、そしてどのレスポ жизни を保持すべきかについて、この分野には確立された理論的説明が欠けていると主張しています。

手法および理論的枠組み

本論文では、プロンプトに対して $K > 1$ 個のレスポンスを用いる**マルチレスポンス学習（Multi-Response Training, MRT）**を定式化し、これを標準的なシングルレスポンス学習（Standard Single-Response Training, SRT, $K=1$）と対比させています。核心となる理論的洞察は、プロンプトとレスポンスは異なる統計的リソースであるという点です。

• 追加のプロンプトは、周辺入力分布（$P(x)$）に関する不確実性を減少させます。
• 同一プロンプトに対する追加のレスポンスは、条件付き出力分布（$P(y|x)$）に関する不確実性を減少させます。

1. 分散・予算則（Variance–Budget Law）

著者らは、経験的損失の分散の構造的分解を導出しています。固定されたモデル $\theta$ に対して、MRT推定量の分散は次のように分解されます。
$$\text{Var}[\hat{L}_{MRT}(\theta)] = \frac{V_x(\theta)}{N_p} + \frac{V_{y|x}(\theta)}{N_p K}$$
ここで、

• $V_x$ はプロンプト間の分散（入力分布に関する不確実性）です。
• $V_{y|x}$ はプロンプト内の期待分散（条件付き出力分布に関する不確実性）です。
• $N_p$ は一意なプロンプトの数です。
• $K$ はプロンプトあたりのレスポンス数です。

この分解は、「プロンプトのフロア（底値）」の存在を明らかにしています。すなわち、$K$ を増やしても第2項は減少しますが、第1項（$V_x/N_p$）を減少させることはできません。したがって、MRTはプロンプトレベルの不確実性が支配的になった時点で収穫逓減となります。

獲得コスト（プロンプトに対する $C_p$、レスポンスに対する $C_r$）を導入し、固定予算 $B = N_p(C_p + K C_r)$ を設定すると、著者らはコストを考慮した最適マルチプリシティ（多重度） $K^\star$ を導出します。
$$K^\star = \sqrt{\frac{V_{y|x}}{V_x} \cdot \frac{C_p}{C_r}}$$
この規則は、レスポンスが安価であり、プロンプトが高価であり、かつ条件付きレスポンス分布が高度に多様である（$V_{y|x}/V_x$ が高い）場合に、MRTが最も価値を持つことを示唆しています。

2. 汎化境界（Generalization Bounds）

論文では、潜在的な利得を定量化するために、2つの補完的な汎化境界を提供しています。

• バーンスタイン境界（Bernstein Bound）: 固定されたモデルにおいて、$K$ を増やすことで、汎化誤差の境界が $V_{y|x}/K$ に依存する因子によって減少することを示します。ただし、プロンプトレベルの項は変化しません。
• 階層的ラデマッハー境界（Hierarchical Rademacher Bound）: MRTデータの非独立同一分布（non-i.i.d.）構造に対処します。モデルクラスの極限（supremum）が適切に処理されている限り、たとえ階層構造が存在しても、MRTの利得は総プロンプト・レスポンス対の数（$N_p K$）に対してスケールすることを証明しています。これにより、MRTによる利得がモデル選択においても維持されることが保証されます。

3. ターゲットを意識したレスポンス選択

異なる選択戦略がどのように学習ターゲットを変化させるかを分析しています。

• Random-K-of-N (RKoN): $K$ 個のレスポンスを一様にランダムにサンプリングします。これは偏りのないデフォルトの分布的ファインチューニングであり、候補分布を保持し、勾配の分散を $1/K$ のレートで減少させます。
• Best-K-of-N (BKoN): 報酬スコアに基づいてレスポンスを選択します。著者らは、これが**持続的な上裾バイアス（upper-tail bias）**を誘発することを示しています。候補プールが大きくなるにつれ、BKoNは報酬優位のモードに集中し、妥当なモードを崩壊させ、真の分布的目的関数から勾配を乖離させる可能性があります。
• GRADES (Greedy Reward-Aware DiversE Subsetting): 品質と多様性のバランスを取る劣モジュラ最適化手法です。これは、高品質なレスポンスと多様なレスポンスのバランスを保持するための $(1 - 1/e)$ 近似保証を提供し、層化サンプリングの実用的なプロキシとして機能します。

実験結果

著者らは、制御されたシミュレーションと、4つのドメイン（指示遂行：Gold、対話：Nectar、選好アライメント：UltraFeedback、コード生成：CodeContests）における大規模なLLMファインチューニングを通じて、理論を検証しています。

1. 分散の分解: 制御されたシミュレーションにより、$K$ を増やすことでプロンプト内の分散成分のみが減少し、予測されたプロンプト・フロアに漸近的に近づくことが確認されました。
2. 最適マルチプリシティ: 固定予算の下で、テスト性能はU字型の曲線を描き、その最小値は予測された $K^\star$ 付近に現れました。プロンプトレベルの変動に対してレスポンスレベルの変動が大きいデータセット（例：CodeContests）は、MRTによる最大の利得を示しましたが、プロンプト主導のデータセット（例：Nectar）では改善は小さくなりました。
3. セレクターの影響:
   • RKoN は、$K$ が増加するにつれて、参照損失（条件付き分布への適合度）とカバレッジを一貫して向上させました。
   • BKoN は、より高い報酬スコアを達成しましたが、多様性が低下し、参照尤度が悪化しました。これはターゲットシフトを裏付ける結果となりました。
   • GRADES/DBKoN (Diverse-Best-K-of-N) は、品質とカバレッジのバランスをうまく取り、純粋な多様性選択や純粋な報酬選択よりも、参照カバレッジの指標において優れた性能を示しました。
4. 暗黙的MRT: プロンプトの冗長性（パラフレーズ）を用いた実験により、高度に冗長なコーパスは、パラフレーズが異なる条件付きモードを露出させている場合に、MRTの効果を模倣できることが示されました。しかし、パラフレーズがレスポンスの重複に近いものと組み合わされている場合、その利点は無視できる程度でした。

意義と主張

本論文は、レスポンスの多重性を単なるヒューリスティックではなく、明確な統計的指針を持つデータ割り当て問題として再定義しています。主な主張は以下の通りです。

1. 文脈依存の価値: MRTは普遍的に優れているわけではありません。その価値は、プロンプト内とプロンプト間の分散の比率、およびデータの獲得コストに依存します。
2. 統計的根拠: レスポンスが安価で多様であり、かつプロンプトが高価である場合、複数のレスポンスを保持することは、条件付き構造をより多く学習することで「モード・ロッタリー」を回避するための、統計的に根拠のある選択肢となります。
3. 選択の重要性: セレクターの選択は極めて重要です。報酬ベースの選択は特定の指標を最適化しますが、妥当なモードを崩壊させる可能性があります。分布的な汎化のためには、偏りのない選択（RKoN）または多様性を考慮した選択（GRADES）が必要です。
4. 暗黙的 vs 明示的: 大規模で冗長なコーパスは「暗黙的MRT」効果を提供できますが、明示的なマルチレスポンス学習は、各プロンプトがタスク分布の異なる領域をカバーしているような、低冗長性のレジームにおいて最も効果的です。

結論として、MRTは「一つのプロンプト、一つのレスポンス」という慣習を超え、オープンエンドな生成の多峰的な性質をより良くモデル化するための、原理的な方法を提供します。