技術要約：Autoregressive Direct Preference Optimization (ADPO)

問題提起

Direct Preference Optimization (DPO) は、明示的な報酬モデルを必要とせずに、Bradley-Terry (BT) モデルから最適な方策を解析的に導出することで、大規模言語モデル (LLM) を人間の好みに適合させる標準的な手法となっています。しかし、著者らは標準的な DPO 定式化における理論的な限界を指摘しています。すなわち、LLM は本質的に自己回帰的（トークンを逐次生成する）であるにもかかわらず、標準的な DPO の目的関数は、方策の自己回帰的な性質を仮定した後に、完全な応答レベルで BT モデルを適用してしまうという点です。

具体的には、標準的な DPO は出力空間 $\mathcal{Y}$ 上の BT モデルを用いて目的関数を導出し、その後に初めて対数確率をトークンレベルの項の総和へと展開します。その結果、ログシグモイド関数の内部でトークンレベルの対数比の総和が行われる損失関数となります。著者らは、この順序付けは、方策モデルの導出過程において自己回帰的な仮定を十分に活用できておらず、最適化の粒度や理論的一貫性を制限する可能性があると主張しています。

手法：Autoregressive DPO (ADPO)

本論文では、BT モデルを適用する前に自己回帰的な仮定を明示的に組み込んだ新しいバリアントである Autoregressive DPO (ADPO) を提案しています。

理論的定式化

1. 接頭辞閉包（Prefix Closure）とエネルギー関数: ADPO は、報酬関数のドメインを完全な出力空間 $\mathcal{Y}$ から、その接頭辞閉包 $\mathcal{Y}^*$（すべての不完全な応答の集合）へと拡張します。そして、これらの接頭辞に対して「接頭辞単位」のエネルギー関数 $E^*_1$ および $E^*_2$ を定義します。
2. 接頭辞単位の Bradley-Terry モデル: 完全なシーケンスに対して好みをモデリングする代わりに、ADPO は接頭辞単位の BT モデルを定義します。好ましいシーケンス $y_w$ が好ましくないシーケンス $y_l$ に対して選ばれる確率は、各接頭辞ステップ $i$ における好みの確率の積として定式化されます。
3. 損失の導出: 接頭辞単位の BT フレームワーク内で参照モデル $\pi_{ref}$ と学習対象モデル $\pi_\theta$ に自己回帰的な仮定を適用することにより、著者らは新しい損失関数を導出します。
   • 構造的な主な違い: 標準的な DPO では、損失は $-\log \sigma(\sum_i \Delta_i)$ ですが、ADPO では、総和がログシグモイド関数の外側へと移動しています：
     $$\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$$
   • この定式化は、好みの最適化を、単一のシーケンスレベルの決定ではなく、一連のトークンレベル（またはサブシーケンスレベル）の決定として扱います。

理論的分析：長さの尺度

論文では、DPO と ADPO の関係を明確にするために、2 つの長さの尺度を導入しています。

• トークン長 ($\mu$): LLM の自己回帰的な性質に固有の、シーケンス内のトークン数。
• フィードバック長 ($\mu'$): 人間のフィードバックが適用される粒度。
  • 標準的な DPO は、$\mu'(y) = 1$ である特殊なケース（フィードバックが完全な応答に対してのみ与えられる場合）に対応します。
  • ADPO は $\mu'$ が $\mu$ から独立することを可能にし、任意の粒度（例：トークンレベル、文レベル、または固定ウィンドウレベル）での訓練を可能にします。

著者らは、接頭辞単位の BT モデルと整合的なあらゆる報酬関数は、自己回帰モデルによって再パラメータ化可能であることを証明しており、これにより ADPO が KL 制約付き報酬最大化問題と理論的に一貫していることを保証しています。

主な貢献

1. ADPO の定式化: エネルギーのドメインを接頭辞閉包 $\mathcal{Y}^*$ に拡張することで、BT モデルに自己回帰的な仮定を明示的に統合した、好みの最適化目的関数としての ADPO の導入。
2. 損失関数の革新: トークンレベルの対数比の総和をログシグモイド関数の外側に移動させた損失関数を導出し、より細かい粒度の訓練を促進するための理論的に一貫した方法を提供。
3. 粒度に関する理論的洞察: トークン長 ($\mu$) とフィードバック長 ($\mu'$) を区別し、両者の関係を明らかにしました。論文では、DPO が $\mu' \equiv 1$ である ADPO の特殊なケースであること、および $\mu'$ を変化させることで、フルレスポンスからトークンレベルの最適化まで、一連のアルゴリズムが可能になることを示しています。
4. 再パラメータ化の完全性: 緩やかな仮定の下で、あらゆる報酬関数が接頭辞単位のフレームワーク内で自己回帰モデルによって再パラメータ化可能であることを証明。

実験結果

著者らは、複数の LLM アーキテクチャ（Llama-3, Qwen, Gemma, DeepSeek-Math）を用いて、数学的推論および対話タスクで ADPO を評価しました。

• 数学的推論 (GSM8K, MATH500):
  • ADPO のバリアントは、すべてのモデルにおいて、標準的な DPO およびトークンレベルのコントラスティブ手法である cDPO を一貫して上回りました。
  • 最良の結果は cADPO（ADPO とクリティカル・トークン特定を組み合わせたもの）によって達成され、Qwen-3-8B は GSM8K で 91.74% の精度に達しました。
  • 粒度分析: 「Static」（固定ウィンドウサイズ $k$）および「Adaptive」（固定セグメント数 $m$）のファミリーを用いた実験により、粒度が細かいほど一般に性能が向上することが示されました。具体的には、トークンレベル ($k=1$) および高セグメントの Adaptive 設定 ($m \ge 128$) は、フルレスポンス DPO よりも優れた結果をもたらしました。
• 対話タスク (AlpacaEval 2, Arena-Hard, MT-Bench):
  • ADPO は DPO を上回り、すべてのベンチマークにおいて SimPO と同等またはそれ以上の性能を示しました。
  • $m=256$ の Adaptive ファミリーは、AlpacaEval 2 で最高の長さ制御勝率（Length-Controlled Win Rate: 45.8%）を達成しました。
• 訓練ダイナミクス: 対数確率の分析により、AD_PO は、特に粒度が増すにつれて、好ましいシーケンスと好ましくないシーケンスの区別をより効果的に増幅させることが示されました。
• 効率性: ADPO によって導入された接頭辞単位の追加計算による訓練オーバーヘッドは、無視できる程度（実時間で約 5.7% の増加）でした。

重要性と主張

本論文は、ADPO が LLM の自己回帰的な性質により良く適合する、理論的に一貫した DPO の拡張であることを主張しています。ログシグモイド関数の外側に総和を移動させることで、ADPO は基礎となる好みの最適化の原則を損なうことなく、任意の粒度での最適化を可能にします。

著者らは、本研究がトークン長とフィードバック長を明示的に区別した最初の研究であり、フルレスポンス（DPO）とトークンレベルのアプローチの両方を包含する統一されたフレームワークを提供していることを強調しています。実験結果は、複雑な推論タスクにおいて、計算コストを大幅に増やすことなく、より細かい粒度を活用することが、より堅牢なアライメントにつながることを示唆しています。結論として、ADPO は元の KL 制約付きフレームワークに依存していますが、将来的には発散メトリクスの一般化や、非自己回帰モデルに対するエネルギー定義の適応を探索できる可能性があると述べています。