技術的サマリー：TokenRatio (TBPO)

1. 問題定義

直接選好最適化（DPO）は、強化学習（RL）の複雑さを回避することで、大規模言語モデル（LLM）を人間の選好に整合させるための標準的手法となっています。しかし、根本的なミスマッチが存在します。LLM は自動回帰的にテキストを生成する（接頭辞に条件付けられたトークンごとの意思決定を行う）のに対し、DPO やその派生手法は通常、全体を分割不可能な対象として扱ってシーケンス全体の選好をモデル化します。

既存の「トークンレベル」の拡張手法（例：TDPO、TIS-DPO）は、時系列にわたってシーケンスレベルのブラッドレー・テリー目的関数を分解することで、この問題に対処しようとしています。しかし、本論文は、これらの手法は依然として本質的にシーケンスレベルのモデルを最適化しており、接頭辞ごとの（状態ごとの）最適性が暗黙のうちに留め置かれていると主張しています。これにより、初期トークンのわずかな誤りがカスケードするなどの不適切なクレジット割り当てが生じ、モデルは各生成ステップで局所的に最適なトレードオフを行うように明示的に訓練されていません。核心的な問題は、DPO を魅力的にする単純性と効率性を犠牲にすることなく、標準的なシーケンスレベルのペアワイズ比較データのみを用いて、トークンレベルの選好最適性をいかに回復させるかです。

2. 手法：トークンレベル・ブレグマン選好最適化（TBPO）

著者は、シーケンスレベルのデータのみを依存しつつ、密度比マッチングを通じて明示的にトークンレベルの選好をモデル化するフレームワークである**トークンレベル・ブレグマン選好最適化（TBPO）**を提案します。

2.1. トークンレベル・ブラッドレー・テリーモデル

TBPO は、完全な応答を単一の単位として扱うのではなく、トークンレベルのブラッドレー・テリーモデルを仮定します。選好ペア $(y_w, y_l)$ と特定の時間ステップ $t$ において、モデルは、勝者側の接頭辞 $s^w_t = [x, y^w_{<t}]$ からの次のトークン $y^w_t$ と、敗者側の接頭辞 $s^l_t = [x, y^l_{<t}]$ からの次のトークン $y^l_t$ とを比較します。

選好確率は以下のように定義されます：
$$p_{data}(y^w_t \succ y^l_t | s^w_t, s^l_t) = \sigma(S(s^w_t, y^w_t) - S(s^l_t, y^l_t))$$
ここで、$S(s, a)$ はトークンレベルのスコア関数、$\sigma$ はシグモイド関数です。

2.2. 2 つの実装

このフレームワークは、スコア関数 $S$ の選択に基づいて 2 つの変種を生み出します：

1. TBPO-Q：参照ポリシーの状態 - 行動価値関数 $Q^{\pi_{ref}}$ をスコアとして使用します。これは、選好ラベルを 1 先読みユーティリティのノイズを含む比較として扱います。
2. TBPO-A：参照ポリシーのアドバンテージ関数 $A^{\pi_{ref}}$ をスコアとして使用します。これは、ポリシーがすべての状態において勝者と敗者の拡張間のアドバンテージギャップを増大させることを促します。

2.3. 密度比マッチングと状態ごとの重み

異なる接頭辞（状態）間で行動を比較するには、補正項が必要であるという重要な理論的洞察があります。著者は、最適ポリシー $\pi^*_\theta$ と参照ポリシー $\pi_{ref}$ を結びつける等式を導出しました。これには状態ごとの重み $w_t$ が含まれます：
$$\frac{\pi^*_\theta(y^w_t | s^w_t)}{\pi^*_\theta(y^l_t | s^l_t)} = \frac{\pi_{ref}(y^w_t | s^w_t)}{\pi_{ref}(y^l_t | s^l_t)} \times \left( \frac{p_{data}(y^w_t \succ y^l_t)}{p_{data}(y^l_t \succ y^w_t)} \right)^{1/\beta} \times w_t$$

• TBPO-Q において、$w_t$ は 2 つの接頭辞の分配関数（ソフト値）の比率です。
• TBPO-A において、$w_t$ は 2 つの接頭辞間の KL 発散ベースラインの差です。

これを扱いやすくするため、著者は実用的な推定量を提案します：

• TBPO-Q：ログ分配関数を予測する軽量な MLP ベースラインヘッドを学習し、メインの LLM バックボーンへの勾配を停止させます。
• TBPO-A：現在のポリシーと参照ポリシーに基づき、不偏モンテカルロ推定量（K3 推定量）を用いて KL 発散の差を推定します。

2.4. 最適化目的関数

このフレームワークは、選好最適化をブレグマン発散密度比マッチング問題として定式化します。トークンレベルにおいて、経験データ比率とモデル比率の間のブレグマン発散を最小化することで、この手法は扱いやすい損失関数を導出します。これは、トークンレベルモデルが誘発する最適ポリシーを保持しつつ、ロジスティック/DPO 損失を一般化します。この損失関数は、ペア内のより短いシーケンスの時系列全体で平均化されます。

3. 主要な貢献

1. フレームワーク：シーケンスレベルの比較データのみを使用して、密度比マッチングを通じて明示的にトークンレベルの選好をモデル化する最初のフレームワークである TBPO の導入。
2. 理論：TBPO 目的関数の最小化が、十分なモデル容量の下でトークンレベルの最適ポリシーを回復することを示す厳密な導出。著者は、最小化器がトークンレベルのブラッドレー・テリーモデルによって定義される所望の最適ポリシーに対応することを証明しています。
3. 変種：状態依存の補正項を異なる方法で処理する 2 つの特定の実装（学習されたベースラインによる TBPO-Q と、アドバンテージ正規化による TBPO-A）の提案。
4. 柔軟性：ブレグマン生成関数を変更することで（例：調整の柔軟性のためにスケールド・バスーの幂発散を使用）、ペアワイズ選好損失の「プラグ＆プレイ」ファミリーを可能にする定式化。

4. 実証結果

著者は、複数のベンチマークにおいて Mistral 7B v0.1 および Llama 3 8B 上で TBPO を評価しました：

• 汎用能力：Open LLM リーダーボード（ARC、HellaSwag、MMLU、TruthfulQA、Winogrande、GSM8K）において、TBPO 変種は強力なベースライン（SFT、DPO、TDPO、TIS-DPO、BPO）を一貫して上回りました。
  • TBPO-Q は Mistral 7B で最高平均スコア（60.95）を達成し、TBPO-A は Llama 3 8B で最高スコア（70.50）を達成しました。
  • 推論を多く必要とするタスク（例：GSM8K、MMLU）で顕著な改善が観察されました。
• 生成品質（MT-Bench）：LLM ジャッジ（Llama 3 70B および Mixtral-8x22B）による評価において、TBPO は低損失率で先行するベースラインに対するペアワイズ勝利率をより高く達成しました。
• 有用性と無害性：Anthropic HH-RLHF データセットにおいて、TBPO 変種はより短い応答を生成しながら、長さ制御（LC）された勝利率で最高を達成しました。これは、改善が冗長性によるものではなく、真の品質の整合によるものであることを示唆しています。
• 多様性：多様性を崩壊させる（高い Self-BLEU、低いエントロピー）一部のトークンレベル手法とは異なり、TBPO はより良いトレードオフを達成し、高い予測エントロピーと Distinct-1 スコアを維持しつつ、Self-BLEU を低く保ちました。

5. 意義と主張

本論文は、TBPO が言語生成の自動回帰的性質とシーケンスレベルの選好最適化の間のギャップを埋めると主張しています。トークンレベルで最適性を明示的に強制することにより、TBPO はシーケンスレベル手法の間接的なクレジット割り当ての問題を回避します。

著者は、自らのアプローチが以下の点に重点を置いていることを強調しています：

• トークンレベル最適性の回復：学習されたポリシーがシーケンス全体の平均だけでなく、すべての状態（接頭辞）において最適であるという理論的保証を提供します。
• 単純性の維持：明示的な報酬モデルやオンポリシー RL を必要としない「DPO 的な」単純性を維持しつつ、軽量なベースライン推定コンポーネントのみを追加します。
• 安定性と多様性の向上：実証結果は、TBPO が既存のトークンレベルベースラインよりも優れた訓練安定性を提供し、出力の多様性をよりよく保持することを示唆しています。

この研究は、特定のハイリスク領域での即時展開を主張することなく、より信頼性が高く理解しやすい整合用機械学習システムの設計に対する方法論的貢献として提示されています。