技術要約：「2つのRLHF目的関数はいつ同一と言えるのか？」

問題提起

人間の好みに言語モデルを適合させるための標準的なパラダイムとして、強化学習からの人間によるフィードバック（RLHF）が定着している。元々のパイプラインは、報酬モデルの学習とそれに続くProximal Policy Optimization（PPO）で構成されていたが、近年の発展により、数多くのDirect Preference Optimization（DPO）の派生手法やゲーム理論的な定式化（例：SPPO、Nash-MD、GRPO、KTO）が登場している。これらはそれぞれ異なる改善を報告しているものの、根本的な問いが未解決のまま残されている。すなわち、**「いつ、2つの選好最適化手法は真に異なると見なされるべきか？」**という問いである。

異なる理論的観点（例：報酬モデリング vs ゲーム理論）から導出された手法が、異なる目的関数を最適化しているのか、それとも単に同じ損失関数の代数的な再構成に過ぎないのかは、現時点では不明確である。この曖昧さは、アルゴリズムの新規性の評価や、手法選択における実用的な意思決定を困難にしている。

手法：Opalフレームワーク

これに対処するため、著者らは、2つの選好目的関数が代数的に等価であるかどうかを判定するために設計された正規化アルゴリズムであるOpalを導入する。このフレームワークは、ペアごとの選好手法は、共通の基礎となるマージン $\Delta = s(y^+) - s(y^-)$（ここで $s$ はスコアリング関数）の変換として表現できるという前提に基づいている。

Opalは、あらゆる選好損失を、以下の3つの原始的な操作の合成として分解する：

1. Add[$\phi$]（加算）: 個々の応答に依存するペナルティ項を追加する（例：KL正則化、長さの正規化）。
   • $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
2. Reweight[$\omega$]（再重み付け）: マージンに重みを乗じる（例：温度パラメータ、重要度重み）。
   • $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
3. Link[$g$]（連結）: マージンに単調関数を適用する（例：ロジスティック、ヒンジ、または二乗損失）。
   • $\Delta(y, z) \mapsto g(\Delta(y, z))$

可約条件

ある手法が可約（すなわち、一意な標準形に写像可能）であると見なされるには、以下の3つの条件を満たさなければならない：

• (R1) 推移性 (Transitivity): マージンはスコアの差 $\phi(y) - \phi(z)$ として表現可能でなければならない。これに違反する場合、マージンが個々のスコアだけでなく、それ以上の要素に依存する非推移的な選好が存在することを意味する。
• (R2) ペア独立性 (Pair-Independence): 重みは特定のペア $(y, z)$ やバッチの構成ではなく、プロンプト $x$ のみに依存しなければならない。
• (R3) 単調性 (Monotonicity): 変換関数 $g$ は、選好の順序を保持するために厳密に単調でなければならない。

標準化とウィットネス（証拠）

• 標準形 (Canonical Form): 手法が (R1)–(R3) を満たす場合、Opalはそれを一意な標準形 $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$ に還元する（ここで $\Phi$ は中心化されている：$\sum \Phi(y) = 0$）。2つの手法は、それらの標準形（および結果としてのハッシュ値）が一致する場合に限り、等価である。
• ウィットネス (Witnesses): 手法がいずれかの条件に失敗した場合、Opalは非等価性を証明する具体的なウィットネスを生成する。例として以下が挙げられる：
  • サイクル・ウィットネス (Cycle Witness): 非ゼロのサイクル和を持つトリプル $(a, b, c)$。これは推移性に違反する。
  • ペア依存の重み (Pair-Dependent Weight): 同じプロンプトに対して異なる重みを受け取る2つのペア。
  • グループ依存の重み (Group-Dependent Weight): バッチの構成に応じて異なる有効な重みを受け取る同一のペア。

本フレームワークは、トークンレベルの手法（例：RTO）およびエピソード（軌跡）レベルの手法（例：PPO-RLHF）を明示的に除外している。これらは完全な応答ペア間のスカラー・マージン上で動作しないため、ペアのマージン分析の範囲外となる。

主な貢献

1. Opalアルゴリズム: 目的関数を標準形に還元するか、あるいは非等価性の検証可能なウィットネスを生成することによって、代数的な等価性を判定する体系的なツール。
2. 33の手法の分析: 著者らは、ペアワイズ、リストワイズ、グループベース、トークンレベル、およびエピソードレベルの設定における33の選好最適化手法を分析した。
   • 結果: 25の手法は可約であり、14個の異なる標準形へと集約された。
   • 等価性: 10の手法（DPO、SPPO、Nash-MD、INPO、DNO、APO、RSO、XPO、cDPO、rDPOを含む）は、DPOと同じ標準形に還元される。
   • 非可約性: GRPO、RLOO、KTO、WPO、BCO、RTO、PPO-RLHF、ReMaxを含む8つの手法は、証明可能な非可約手法である。
3. GRPOの非可約性の証明: 本論文は、GRPOがDPOとは根本的に異なることを証明する明示的なウィットネスを提供している。これは、GRPOのグループ正規化が、応答ペアの勾配への寄与を特定のバッチ構成に依存させることを示しており（R2に違反）、他の応答の存在に基づいてマージンの相対的なスケールを変化させている。
4. 直交する設計軸: 著者らは、標準的な等価性と直交する、真に異なる目的関数を生み出す4つの構造的メカニズムを特定した：
   • グループ正規化（例：GRPO）。
   • ペア依存の重み付け（例：KTO）。
   • トークンレベルの構造（例：RTO）。
   • エピソードレベルの最適化（例：PPO-RLHF）。

結果

• 代数的等価性: 広く引用されている多くの手法は、代数的に同一である。例えば、ゲーム理論的なミニマックス目的から導出されたSPPOとNash-MDは、DPOと全く同じ標準形に還元される。これらを使用することは、最適化対象を変えるのではなく、単に導出方法を変えることに過ぎない。
• 構造的相違: 可約条件（特にR2）に違反する手法は、根本的に異なる最適化ランドスケープを示す。GRPOのバッチ依存の正規化は、同じ応答ペアであってもバッチによって異なる勾配を受け取ることを意味しており、これは可約な手法では不可能な特性である。
• ハッシュ検証: 著者らは、各可約手法の標準形に対するSHA-256ハッシュを提供しており、これにより実務者が等価性をプログラムで検証することを可能にしている。

意義と主張

本論文は、Opalが**「表現の変化」と「実体の変化」**を分離することを主張している。

• 新規性の明確化: 本フレームワークは、選好最適化の文献における見かけ上の多様性の多くが、少数の基礎となる目的関数の再パラメータ化から生じていることを示唆している。真のアルゴリズムの新規性は、少なくとも一つの可約性仮定（R1–R3）を破ることを要求する。
• 実用的な指針: 実務者にとって、等価な手法（例：DPO vs SPPO）の選択は、根本的に異なるアルゴリズム的挙動への期待ではなく、実装の詳細、数値的安定性、または暗黙的なバイアスに基づいて行われるべきである。
• 決定論的等価性: 等価な手法は、同じベイズ最適選好順序を誘導し、すべてのマージンの符号に一致するが、勾配の大きさや収束速度においては異なる可能性がある。

著者らは、本研究を、ヒューリスティックな分類を超えて、形式的な証明を用いて「これら2つの手法は同じか？」という問いに答えることができる最初のアルゴリズム的フレームワークとして位置づけている。