技術要約：報酬の不確実性を用いて強化学習における多様な行動を誘発する

問題提起

古典的な強化学習（RL）は、通常、スカラー報酬の期待値合計を最大化する決定論的な方策を追求する。この仮定は、最適な決定論的方策の存在を保証する一方で、大規模言語モデル（LLM）のファインチューニングや科学的発見といった現代的なアプリケーションにおいて重大な限界を提示する。これらの領域では、単一の振る舞いへの収束は望ましくないことが多い。例えば、創造的なタスクや思考の連鎖（chain-of-thought）においては、事前学習された方策の多様性を維持することが極めて重要である。さらに、報酬モデルが真の潜在的な好みの不完全なプロキシ（代理指標）である場合、単一の決定論的な方策への過度な最適化は、生成品質の低下（報酬ハッキング）を招く可能性がある。

エントロピー正則化や多様性ボーナスといった既存の救済策は、確率性を強制しようとするが、以下の決定的な欠点を抱えている：

1. 脆弱なトレードオフ: エントロピー正則化は、確率性を高めることが期待報酬の減少というコストを伴うというトレードオフを強いる。
2. 不適切な方策の順序付け: 多様性ボーナスは、高い平均報酬を持つ方策よりも、高い多様性を持つ劣った方策が優先されるという、望ましくないランキング結果をもたらすことが多い。
3. 表現力の欠如: バニラな方策勾配や期待スカラー化リターン（ESR）を含む多くの目的関数は、本質的に決定論的な最適方策を持つため、必要な多様性を誘発できない。
4. 最適化の課題: スカラー化期待リターン（SER）の定式化は、非線形な目的関数に対する不偏でサンプルベースの勾配推定量を欠くことが多い。

著者らは、多様性は人工的な制約ではなく、報酬関数における不確実性に対する合理的な応答として理解されるべきであると主張している。報酬関数が完全に既知ではない場合（曖昧な好みや不完全な報酬モデルに起因する場合）、単一の行動に固執することは最適ではない可能性がある。

手法：ROSA

本論文は、スカラー報酬を報酬関数の分布に置き換え、アクションの集合に対する非線形な目的関数を適用することによる、RL目的関数の根本的な再定式化を提案する。このフレームワークは、Randomized Objectives, Set Actions (ROSA) と呼ばれる。

ROSA+Max 基準

コンテキスト・バンディットの設定に焦点を当て、著者らは主要な目的関数である ROSA+Max を定義する。$\rho$ を報酬関数 $R$ の分布とし、$\mathbf{Y} = (Y_i)_{i=1}^n$ を方策 $\pi_\theta$ から独立同一にサンプリングされた $n$ 個のアクションのマルチセットとする。目的関数は以下の通りである：

$$J_{\text{ROSA+Max}}(\pi_\theta) = \mathbb{E}_{X \sim \mu, \mathbf{Y} \sim \pi_\theta} \left[ \mathbb{E}_{R \sim \rho} \left[ \max_{1 \le i \le n} R(X, Y_i) \right] \right]$$

直感的には、この基準は、各サンプリングされた報酬関数に対して、サンプリングされたアクション集合の中で達成された最大報酬を集計する。これにより、方策は「平均的な報酬」のために最適化するのではなく、「あらゆる可能な報酬関数の実現に対して、集合内の少なくとも一つのアクションが優れたパフォーマンスを発揮する」ことを保証するように促される。

勾配推定

著者らは、この目的関数に対する、原理に基づいた不偏かつ分散低減された方策勾配推定量を導出している。$m$ 個のサンプリングされた報酬関数と $n$ 個のサンプリングされたアクションが与えられたとき、勾配推定量は以下のようになる：

$$\hat{g}(\theta) = \frac{1}{m} \sum_{k=1}^m \left[ \sum_{i=1}^n \left( \max_{1 \le j \le n} R_k(X, Y_j) - \max_{1 \le j \le n, j \ne i} R_k(X, Y_j) \right) \nabla_\theta \log \pi_\theta(Y_i|X) \right]$$

この推定器は、特定の報酬関数サンプルに対して最大報酬を達成したアクションにのみクレジットを割り当て、第2項は分散低減のためのコントロール・バリアート（制御変数）として機能する。

一般化

このフレームワークは、集合関数 $f$ のファミリーへと一般化される。著者らは、バイナリ報酬関数に対して、報酬の和に対して厳密に増加し、かつ厳密に凹である（例：Softmax）任意の集合関数 $f$ は、最大に多様な最適方策をもたらすことを証明している。

主な貢献

1. ROSA フレームワーク: 報酬関数の分布を通じて較正された多様性制御を提供する、新しいRL目的関数のファミリーの導入。
2. 理論的分析:
   • 最適方策: バイナリ報酬関数に対する一様分布に対して、ROSA+Maxの唯一の最適方策は、すべての異なる最適アクションに等しい確率質量を割り当てるものであることを証明した。
   • 制御可能な多様性: 非一様な報酬関数分布がどのように特定の制御可能な確率的方策を誘導するかを示す公式を導出し、報酬分布の重みを通じて特定の正解をサンプリングする確率を調整できることを示した。
   • ランドスケープ分析: ROSA+Maxが、エントロピー正則化の「平坦な」ランドスケープや、多様性ボーナスの「再順序付け」の問題を回避し、報酬と多様性を同時に高める勾配方向を提供することを実証した。
3. 実証的検証: トイ・ドメインおよび大規模な設定（LLMのポストトレーニングを含む）における広範な実験により、相反する好みや未知の真の報酬があるシナリオにおいて、ROSAが標準的な方策勾配や多様性ボーナスのベースラインを上回り、期待報酬を犠耗させることなく多様な振る舞いを誘発することを実証した。

実験結果

論文では、以下の3つの主要なシナリオにおいてROSAを評価している：

1. 相反する好み: 矛盾する2つの報酬関数（例：パリティ vs アンチパリティ）を持つタスクにおいて、バニラな方策勾配は報酬の相殺により失敗する。ROSAは、両方の好みのバランスを取る方策を正常に学習し、多様な有効な出力を生成する。
2. 複数の正解: 複数の回答の長さが有効となる数学的推論タスクにおいて、ROSAで訓練された方策は指定された長さの好みのすべてからサンプリングするが、標準的な方策勾配は単一の長さ範囲に崩壊する。
3. 未知の真の報酬: ノイズの多い報酬モデル（精度の異なるアンサンブル・ジャッジによってシミュレート）を用いた設定において、ROSAは優れた堅牢性を示す。ROSAは、報酬関数の不確実性を捉えて報酬モードに重みに比例して確率質量を分配するが、エントロピー正則化されたPGは、最も可能性の高い報酬に過学習するか、あるいは劣ったアクションへと探索しすぎる。

アウト・オブ・ディストリビューション（OOD）評価（AIME 2025）において、ノイズの多いMATHデータでROSAを用いて訓練されたモデルは、標準的なPGおよび悲観的なアンサンブル・ベースラインと比較して、より高いpass@k率を達成した。

意義と主張

本論文は、従来の定式化が望ましいエージェントの振る舞いの広がりを誘発できない複雑なRLタスクにおいて、ROSAが堅牢で理論的に裏付けられた代替案を提供すると主張している。多様性を報酬の不確実性への合理的な応答として再定義することで、このフレームワークは報酬最大化と方策エントロピーの間の緊張関係を解消する。

著者らは、ROSAが以下の特性を持つことを強調している：

• バニラな方策勾配と、最近のアクションセット・アプローチ（Best-of-$n$など）の両方を自然に一般化する。
• エントロピー係数の脆弱なハイパーパラメータ調整ではなく、報酬関数の分布を通じて多様性を制御するメカニズムを提供する。
• 最適な解が確率的な方策であることを保証し、報酬モデルが不完全であっても、単一の決定論的な振る舞いへの崩壊を防ぐ。

最終的に、本研究は、複数の有効な解が存在するドメイン（LLMのファインチューニングや科学的発見など）において、環境と同じくらい多様で適応力のある確率的方策を訓練するための、原理的な基礎を提供するものである。