技術要約：報酬学習における表現力と合理化可能性のトレードオフ

問題提起

人間からのフィードバックを用いた強化学習（RLHF）において、核心となる学習タスクは、複数のアノテーターによる異質なペア比較の集合を、単一のスカラー報酬関数 $r(x, y)$ へと変換することである。古典的な社会選択理論によれば、アノテーターのサンプルが異質である場合、集約された選好はコンドルセの循環（例：$A \succ B, B \succ C, C \succ A$）を引き起こす可能性があり、これにより、あらゆるスカラー報酬がすべての応答ペアを一貫してランク付けすることは不可能になる。

近年の文献では、社会選択論の観点からRLHFを分析しているが、それらの研究は通常、固定され、事前に列挙された有限の選択肢の集合を想定している。しかし、現代のパイプラインでは、応答は学習された表現 $\phi(x, y)$ とそれに続くスカラーヘッド $g$ によってスコア化されるため、$r(x, y) = g(\phi(x, y))$ となる。この埋め込み $\phi$ は、どの応答を区別可能な選択肢として扱い、どの比較を報酬モデルに可視化するかを決定する。本論文は、根本的な問いを調査している：$\phi$ の表現能力を向上させることは、常に人間の選好への適合性を改善するのか？

著者らは、表現力が豊かになれば信号が増え、したがって適合も向上するという一般的な直感は不完全であると主張している。むしろ、埋め込み自体が集約問題を変容させる。$\phi$ を精緻化すると、より多くの応答が「崩壊（collapse）」し、以前は区別不可能であったペアが明確な選択肢へと変化する。これは情報の損失を減少させる一方で、スカラー報酬では合理化できない循環を形成する可能性のあるペアの比較を、より多く露呈させることになる。

方法論および理論的枠組み

1. 過剰損失の分解

本論文は、任意の性質を持つアノテーターの異質性を伴うランダム効用モデル（RUM）の下での学習問題を定式化している。著者らは、学習された報酬 $r$ の、ベイズ最適損失 $L^*$（集約された選好に関する完全な知識が得られた場合の最善のパフォーマンス）に対する過剰クロスエントロピー損失を定義する。

彼らは、この過剰損失が以下の二つの項に正確に分解できることを証明している：
$$L(r) - L^* = E_{\text{emb}}(\phi) + E_{\text{agr}}(\phi, r)$$

• 埋め込み損失 ($E_{\text{emb}}$): 埋め込み $\phi$ が区別可能な応答を同一の点に潰してしまうことで失われる情報の尺度。これは $\phi$ がより豊かになる（高次元または高表現力になる）につれて減少する。
• 合意コスト ($E_{\text{agr}}$): 集約された選好の非還元性を測るもの。たとえ $\phi$ がすべての区別を完全に保持したとしても（単射であっても）、集約された選好には、スカラー報酬によって同時に合理化することを妨げる循環が含まれている可能性がある。これは $\phi$ が豊かになるにつれて増加する。なぜなら、より多くの潜在的な循環が露呈するためである。

2. 下界とトレードオフ分析

著者らは、これら二つの項の間の緊張関係を明示的に定量化する、過剰損失の理論的な下限を導出している：
$$L(r) - L^* \geq 2e_d + \frac{\ell_\delta^2}{2} \bar{P}_d^\delta$$
ここで：

• $e_d$ は埋め込み誤差（$d$ 次元の埋め込み次元に関連）であり、これは埋め込み次元 $d$ に対して単調に非増加である。
• $\bar{P}_d^\delta$ は、次元 $d$ において可視化されるコンドルセの循環の曲率重み付き確率であり、これは $d$ に対して非減少である。
• $\ell_\delta$ はマージン依存の定数である。

（特に、埋め込みによって生成されるシグマ集合が増大するという）緩やかな仮定の下で、本論文はこれら二つの項の低界が互いに逆方向に動くことを示している。その結果、極端に粗い表現と極端に細かい表現の両方が劣化したものとなり得ることが示唆され、データセットに依存する最適な埋め込み次元が存在することが示される。

3. DPOおよび共同学習への拡張

• 直接選好最適化 (DPO): 著者らは、この分解および下界の構造がDPOにも適用されることを示し、明示的な報酬モデルが存在しない場合でも、表現と合理化可能性のトレードオフが選好ベースの方策学習を支配していることを実証している。
• 共同学習 (Joint Training): 本論文は、埋め込みと報酬ヘッドを共同で学習する際のダイナミクスを分析している。彼らは、共同更新が各ラウンドにおいてどちらのトレードオフ項も減少させることを保証しないことを証明している。具体的には、最適化のダイナミクスは、報酬の傾き（reward-tilt）共分散を介して、埋め込み誤差と循環確率をシフトさせる。共同更新の任意の固定点において、報酬はデータ上で定数となり、選好信号を提供しなくなる。したがって、共同学習は、このトレードオフの「スイートスポット」へ暗黙的に収束するわけではない。

主な結果

理論的知見

1. 正確な分解: 過剰損失は、埋め込み損失（情報損失）と合意コスト（合理化の失敗）の厳密な和である。
2. 単調性: 標準的な仮定（例：入れ子状のシグマ集合）の下で、埋め込み次元を増やすことは埋め込み損失を減少させるが、合意コスト（循環の確率）の下限を増加させる。
3. 非凸な最適化: 埋め込みと報酬の共同学習は、このトレードオフを自動的に見つけ出すことは保証されず、報酬が定数となる退化した点に停滞する可能性がある。

実証的検証

合成データを用いて実験が行われた：

• 遷移的、循環的、およびノイズを含む効用成分を持つ合成データ。
• 実世界のデータセット：Jester（ジョークの評価）、Sushi（寿司の選好）、MT-Bench（LLMの対話選好）。

観察事項:

• 埋め込み次元が増加するにつれて、埋め込み損失は減少し、一方で合意コストは増加する。
• 総過剰損失は、中間的な埋め込み次元において極小値を示すことが多く、理論的なトレードオフを裏付けている。
• これらの傾向は、明示的な報酬モデリング（RLHF）と、暗黙的な報酬抽出（DPO）の両方において、異なる事前学習済みエンコーダ（all-MiniLM-L6-v2, mpnetなど）にわたって成立している。
• 合成データの可視化は、次元が増加するにつれて、応答がコンドルセの循環を形成する埋め込み空間の領域が拡大することを示しており、より豊かな表現が、解決不可能な選好を露呈させることを裏付けている。

意義と主張

本論文は、RLHFにおける報酬モデリングの理解を、純粋な表現力の課題から集約の問題へと転換させるものであると主張している。主な意義は、学習された埋め込みが単なる特徴抽出器ではなく、比較可能な選択肢の集合を定義する構造的なコンポーネントであると特定した点にある。

主な主張は以下の通りである：

1. スカラー報酬の限界: 異質な選好が存在する場合における一貫したスカラー・ランキングの不可能性は、単なる統計的なアーティファクトではなく、表現に依存して調整可能な特性である。
2. 最適な複雑性: RLHFにおける表現の豊かさに関して、「多ければ多いほど良い」というルールは存在しない。最適な次元は、選好の区別を捉えることと、非還元的な循環を露呈させることの間のバランスである。
3. 学習ダイナミクス: 標準的な共同学習手順は、このトレードオフを自動的にナビゲートすることはない。これは、現在のRLHFパイプラインが、この表現と集約の緊張関係を明示的に考慮しない限り、最適ではない可能性があることを示唆している。

著者らは、自らの研究は主に理論的なものであり、新しいモデルや展開可能なシステムを提案するのではなく、むしろ、異質な人間からのフィードバックの下での現在のスカラー報酬モデリングのアプローチにおける根本的な限界を明らかにすることであると、控えめな立場をとっている。