🤖 machine learning

The Differences Between Direct Alignment Algorithms are a Blur

本論文は、SFT フェーズとハイパーパラメータを標準化する統一的な枠組みのもとで評価した場合、直接アライメントアルゴリズムにおけるアライメント品質の主要な決定要因は、最適化される特定のスコアやトレーニング段階の構成ではなく、ランキング目的（ペアワイズ対ポイントワイズ）であることを示す。

原著者： Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、少し反抗的なロボット（大規模言語モデル）に、いかにして親切で指示に従うように教えるかを想像してみてください。長らく、これを行う標準的な方法は「三段階のダンス」のようでした。まず、基礎を教える。次に、人間の審査員を雇ってその回答にスコアをつける。そして最後に、複雑な報酬システムを用いて、より高いスコアを獲得するように訓練するのです。

最近、研究者たちは「直接アライメントアルゴリズム（DAAs）」を発明しました。これらは、人間の審査員や複雑な報酬システムをスキップするショートカットであり、単一の数式を用いてロボットに直接教えることを試みます。問題は、誰もが独自の数式を発明し、自らのものが「最高」だと主張するようになったものの、なぜある方が他方よりも優れているのかについて誰も合意できなかったことです。まるで、それぞれが特定のブランドの塗料が最高だと主張しながら、実際には異なる壁に塗っていることに気づいていないような状況でした。

この論文は、ついに混乱を解き明かす探偵物語のようです。以下に、著者たちが発見したことをシンプルに説明します。

1. 「統合ワークショップ」実験

著者たちは、これらの異なるアルゴリズムがすべて異なる「ワークショップ」（訓練設定）でテストされていたことに気づきました。一部はすでに基礎を学んだロボット（SFT）から始め、他方は基礎とアライメントを同時に教える試みでした。

公平な比較を行うために、彼らは**「統合ワークショップ」**を構築しました。すべてのアルゴリズムに以下の条件を強制しました。

まず、別々のクラスで基礎を学ぶ（SFT）。
次に、アライメントのクラスを受ける。
訓練の厳しさを制御する共通の「温度ノブ」（ $\beta$ と呼ばれる）を使用する。

結果： 全員を同じワークショップに置くと、特定の数式（「スカラー」）の違いはほとんど消えました。アルゴリズムが使用した特定の数学的トリックよりも、いかにして回答を比較するかが重要であることが判明したのです。

2. 真のヒーロー：「ペアワイズ」対「ポイントワイズ」

この論文は、最も重要な要因が特定の数式ではなく、回答を比較する戦略であることを発見しました。彼らは主に 2 つの戦略を見つけました。

「ポイントワイズ」戦略（ソロ活動）： 教師が学生の論文を単独で見て採点する様子を想像してください。「この論文は良いか？はい/いいえ。」次に、悪い論文を見て、「これは悪いか？はい/いいえ。」彼らは独立して採点します。
「ペアワイズ」戦略（討論）： 教師が良い論文と悪い論文を並べて見る様子を想像してください。「さて、この 2 つを考えると、どちらが優れているか？」彼らは 2 つの違いに完全に焦点を当てます。

発見： ペアワイズ戦略（討論）が一貫して勝利しました。これは、個別的に判断するのではなく、選手同士を比較することに注力するコーチのようです。「ポイントワイズ」戦略は、質問（プロンプト）の特定の癖に混乱し、修正する必要のないものを修正しようとエネルギーを浪費することが多かったです。

3. なぜこれが起こるのか？「バイアス」の比喩

著者たちは、バイアスと精神的エネルギーに関する巧妙な比喩でこれを説明します。

ロボットには学習するための限られた「精神的エネルギー」（容量）があると想像してください。

ポイントワイズの問題： ロボットが単一の回答を独立して見る場合、すべてを修正しようとします。もし質問に奇妙なバイアス（トリック質問など）がある場合、ロボットはそのトリックを「忘却」しようとすべてのエネルギーを費やします。トリックの修正に忙殺されすぎて、実際には難しい問題を解く方法を学ぶことを忘れてしまいます。
ペアワイズの利点： ロボットが 2 つの回答を並べて比較する場合、質問の奇妙なトリックは無視します。気にするのは「回答 A は回答 B より優れているか？」だけです。質問のバイアスを修正しようとエネルギーを浪費せず、ランキングに集中するのです。

絶妙なポイント：

簡単なタスク： タスクが非常に簡単であれば、ロボットには十分なエネルギーがあります。どちらの戦略も問題なく機能します。
難しいタスク： タスクが非常に難しい場合、ロボットは圧倒されすぎて、どちらの戦略もうまく機能しません。
中程度の難易度： ここで魔法が起きます。ロボットは学習するのに十分なエネルギーを持っていますが、すべてのバイアスを修正するには不足しています。ペアワイズ戦略がここで勝利します。なぜなら、エネルギーを難しい部分に節約できるからです。一方、ポイントワイズ戦略はバイアスにエネルギーを浪費してしまいます。

4. 「データ効率」の驚き

もう一つの興味深い発見は、これらのロボットを教えるために膨大な量のデータライブラリは不要だということです。著者たちは、通常の訓練データのわずか**5% から 10%**を使用するだけで、ロボットが潜在能力の 95% に達するのに十分であることを発見しました。まるで、良い物語を書く方法を学ぶために百科事典全体を読む必要はなく、いくつかの重要な章で十分だと気づいたようなものです。

まとめ

この論文は、「最良の」アルゴリズムが特定の数式ブランドではないと結論付けています。代わりに、勝者はペアワイズアプローチ（回答を並べて比較する）です。なぜなら、それはロボットの限られた脳力の使い方が賢明だからです。個々の質問の癖に気を取られることを避け、実際に重要なこと、つまり「どちらの回答が他方より優れているか」を知ることに集中できるようにします。

著者たちは、以前に一つのアルゴリズムが「優れている」と主張されたことは、しばしば異なる条件でテストされたか、違いが問題にならないタスクで行われたためであると警告しています。競争環境を公平に整えれば、ペアワイズ戦略が明確なチャンピオンであることがわかります。

技術的概要：直接アライメントアルゴリズム間の差異は曖昧である

問題提起

直接アライメントアルゴリズム（DAA）は、明示的な報酬モデリングと強化学習の段階を迂回し、言語モデルの方針を直接最適化することで、人間からのフィードバックに基づく強化学習（RLHF）に対する簡素化された代替手段として登場した。Direct Preference Optimization（DPO）の二段階パラダイムから、Odds Ratio Preference Optimization（ORPO）やAligned Supervised Fine-Tuning（ASFT）のような一段階・オッズ比ベースのアプローチに至るまで、手法は多様化しているにもかかわらず、文献は断片化されたままとなっている。

扱われている核心的な問題は、アライメント品質の向上を実際に駆動している特定の設計選択を特定することが困難である点である。既存の比較は、トレーニングプロトコルの違い（例：一段階対二段階パイプライン）、参照方針の存在の有無、およびハイパーパラメータ空間（特に $\beta$ パラメータ）のばらつきによって混乱させられている。その結果、アルゴリズムの優越性に関する主張は、根本的なアルゴリズム的優位性というよりも、設定に起因するアーティファクトに由来する可能性のある僅かな差異に基づいていることが多い。

手法

これらの要因を解きほぐすため、著者はすべてのDAAを同等の条件に置く統一されたトレーニングフレームワークを提案する。このフレームワークは、既存の手法に対する2つの重要な修正を含む：

二段階パイプラインへの標準化: 著者は、元々一段階であった手法（ORPO、ASFT）を二段階パイプラインに変換する。これには、方針（ $\pi_{SFT}$ ）を得るための明示的な教師あり微調整（SFT）フェーズに続き、オフラインの選好最適化フェーズを行うことが含まれる。これにより、アライメント損失をSFT損失から分離し、アライメント目的そのものを制御された条件下で比較可能にする。
$\beta$ パラメータの導入: 著者は、従来このハイパーパラメータを欠いていた一段階のオッズ比手法（ORPO、ASFT）に、温度/スケーリングパラメータ $\beta$ を導入する。これにより、DPO、IPO、SimPOなどを含むすべての手法を共通のハイパーパラメータ空間に配置し、体系的な感度分析を可能にする。

この統一された設定において、著者はDAAを主に2つの軸で分析する：

スカラースコアファミリー: 基盤となるスコア関数の選択、具体的にはDPOで使用される方針–参照比（ $r^{ref}_\theta$ ）対ORPO/ASFTで使用されるオッズ比（ $r^{odds}_\theta$ ）。
ランキング目的: 損失の構造的定式化、すなわち、選択された回答と棄却された回答の相対的なギャップを最適化するペアワイズ目的（DPO、IPO、SimPO、ORPOなど）と、選択された回答と棄却された回答の絶対的な尤度を独立して最適化するポイントワイズ目的（ASFT、NCA、Cal-DPO、APO-Zeroなど）を区別する。

評価は、指示遂行タスク（AlpacaEval 2、ArenaHard）および数学推論ベンチマーク（GSM8K、MATH500など）にまたがり、複数のモデル規模（Llama 3.2 3B、Llama 3.1 8B、Mistral 7B、Qwen 2.5 7B/14B）で行われた。

主要な貢献

DAAの統一プロトコル: 本論文は、一段階手法を明示的なSFTフェーズを伴う二段階パイプラインに変換し、 $\beta$ パラメータを導入することが、オッズ比目的であってもパフォーマンスを最大化するために不可欠であることを確立した。
主要な駆動要因としてのランキング目的: 統一プロトコル下では、ハイパーパラメータ調整後、特定のDAAの以前報告されていた優位性は大半が消失することがわかった。アライメント品質の主要な決定要因は、スカラースコアの選択（方針–参照対オッズ比）ではなく、ランキングタイプ（ペアワイズ対ポイントワイズ）である。ペアワイズ手法は、特に中間的なタスクの難易度とモデル規模において、ポイントワイズ手法を一貫して凌駕する。
パフォーマンスギャップのメカニズム: 本論文は、パフォーマンスギャップが生じるのは、目的関数とプロンプト固有のバイアスとの相互作用によるものであるという証拠を提供する。
- ペアワイズ目的は、特定のプロンプトに対するスコアの均一なシフトに対して構造的に不変であり、相対的なランキングのみに焦点を当てる。
- ポイントワイズ目的は、モデルが各プロンプトの絶対スコアレベル（周辺化スコア）を調整することを促す勾配信号を生成する。容量が制限された領域では、このプロンプト固有のバイアスの「忘却」が主要なランキングタスクと競合し、より困難なタスクにおけるサブオプティマルなパフォーマンスにつながる。
データ効率: 本研究は、ほとんどのDAAが極めてデータ効率的であり、フルデータのパフォーマンスの $\ge$ 95%に到達するためにSFTデータセットのわずか5–10%のみを必要とすることを示している。

結果

パフォーマンスの収束: 統一プロトコル下で比較すると、ほとんどのDAAは標準的なDPOと同程度かそれ以下のパフォーマンスを示す。特定のアルゴリズムに対する先行文献で主張されていた明確な優位性は、しばしば消滅する。
ペアワイズの優越性: 指示遂行および数学推論ベンチマーク全体において、ペアワイズ手法（DPO、IPO、SimPO、ORPO）は、ポイントワイズ手法（ASFT、NCA、Cal-DPO、APO-Zero）よりも一貫して高いピークスコアを達成する。この傾向は、UltraFeedbackデータセットにおける8Bモデル規模と、Qwen 2.5による数学推論タスクで最も顕著である。
スカラースコアの無関係性: ランキング目的とトレーニングプロトコルが制御されている場合、方針–参照比とオッズ比の間の選択は、同等の結果をもたらす。
難易度への感度: ペアワイズ手法とポイントワイズ手法のパフォーマンスギャップは、非常に簡単なタスク（容量がランキングとバイアス除去の両方を処理するのに十分である場合）および非常に困難なタスク（容量がどちらにも不十分である場合）では無視できる。このギャップは主に中間的な難易度で顕在化し、ポイントワイズ手法はバイアス除去とランキングの洗練のバランスを取るのに苦労する。
$\beta$ の影響: ORPOおよびASFTに $\beta$ パラメータを導入することは、それらのアライメント品質を著しく向上させ、効果的な温度調整メカニズムとしてのその役割を確認する。

意義と主張

本論文は、DAA研究の分野が、パフォーマンスの真の駆動要因を曖昧にする断片化された評価プロトコルによって妨げられてきたと主張する。トレーニング設定を統一することで、著者はランキング目的の選択（ペアワイズ対ポイントワイズ）がアライメント品質に影響を与える支配的な構造的因子であり、特定のスコアパラメータ化は二次的な役割を果たすことを示している。

著者は、これまでに「最良の」DAAに関する主張は、根本的なアルゴリズム的優位性というよりも、設定とデータバイアスの未探索の詳細に依存していることが多いと主張する。その発見は、過度に単純化された主張を避けるための、ニュアンスに富んだ制御された評価の必要性を強調している。さらに、目的とプロンプト固有のバイアスとの相互作用の特定は、観察されたパフォーマンスの違いに対するメカニズム的な説明を提供し、モデル容量がタスクの難易度に対して制約されているシナリオではペアワイズ目的の方がより堅牢であることを示唆している。

本論文は結論として、オッズ比DAA（ORPOなど）は効果的であり得るが、他の手法と同様に構造的な調整（SFTの分離と $\beta$ の調整）から著しく恩恵を受け、そのパフォーマンスは最終的に同じペアワイズ対ポイントワイズのダイナミクスによって支配されると述べている。