技術概要：ロバストな選好アライメントのための幾何学的アンカー（GAPO）

1. 問題定義

選好最適化（DPO、SimPO など）による大規模言語モデル（LLM）のアライメントは、通常、好ましい回答（$y_w$）と好ましくない回答（$y_l$）の間のマージンを最大化することに依存しています。効果的である一方で、標準的なマージンベースの損失関数は、現在のマージンの大きさに基づいてすべての選好ペアを均等に扱います。このアプローチは、以下の 2 つを区別することに失敗します：

1. 情報量の多いハードな例： 学習を真に必要とする低マージンのペア。
2. 脆いペア： ノイズのあるラベル、長さバイアス、または偽の相関によって引き起こされた低マージンのペア。

現在の手法は、しばしば両方のタイプに対して大きな更新を生み出し、汚染された教師信号への過学習や「報酬ドリフト」を引き起こす可能性があります。核心的な問題は、強い更新を適用する前に、選好シグナルが信頼に足るほど安定しているかどうかをテストするための局所的な診断手段が欠如していることです。

2. 手法：幾何学的アンカー選好最適化（GAPO）

GAPO は、各選好ペアに対してバッチ条件付きの局所的ストレステストを実行する、幾何学的な知見を取り入れた目的関数を導入します。ペアを現在のマージンのみで判断するのではなく、GAPO は共有された悲観的な摂動下での安定性を評価します。

2.1 幾何学的アンカー

各ミニバッチ $B$ に対して、GAPO は現在のポリシー $\theta$ を、バッチ平均選好マージンが最も急速に減少する方向に摂動させることで、「悲観的アンカー」$\tilde{\theta}$ を構築します。

• インスタンス $i$ の選好マージンを $M_i(\theta)$ とします。
• バッチ平均マージンは $\bar{M}_B(\theta) = \frac{1}{|B|} \sum_{j \in B} M_j(\theta)$ です。
• 摂動方向は、バッチ平均マージンの正規化された負の勾配です：
  $$\epsilon^*_B = -\rho \frac{\nabla_\theta \bar{M}_B(\theta)}{\|\nabla_\theta \bar{M}_B(\theta)\|_2}$$
• アンカーは $\tilde{\theta} = \theta + \epsilon^*_B$ と定義されます。ここで $\rho$ は小さな摂動半径です。重要なのは、$\tilde{\theta}$ がその後の損失計算において凍結された参照（stop-gradient）として扱われる点です。

2.2 アンカーギャップ

GAPO は、この共有敵対的摂動下での特定ペアのマージンの劣化をアンカーギャップ（$\Gamma_i$）として定義します：
$$\Gamma_i(\theta) = M_i(\theta) - \text{sg}(M_i(\tilde{\theta}))$$
ここで $\text{sg}(\cdot)$ は stop-gradient 演算子を表します。

• 大きな $\Gamma_i$： ペアのマージンがバッチ条件付きストレステスト下で崩壊することを示し、局所的な脆さ（おそらくノイズまたは偽の相関）をシグナルします。
• 小さな $\Gamma_i$： ペアが安定したままであることを示し、ロバストな選好シグナルを示唆します。

2.3 目的関数と再重み付け

GAPO の目的関数は、アンカーギャップに対するロジスティック損失です：
$$\mathcal{L}_{\text{GAPO}}(\theta) = -\frac{1}{N} \sum_{i=1}^N \log \sigma(\beta \Gamma_i(\theta) - \gamma)$$
ここで $\gamma$ は目標マージンです。

最適化の解釈：
この損失を微分すると、GAPO が標準的な選好勾配方向（$\nabla_\theta M_i(\theta)$）を保持しつつ、インスタンスごとの重み $w_i(\theta)$ によってそれをスケーリングすることがわかります：
$$\nabla_\theta \mathcal{L}_{\text{GAPO}} = -\mathbb{E} [ w_i(\theta) \cdot \nabla_\theta M_i(\theta) ]$$
ここで $w_i(\theta) = \beta \sigma(\gamma - \beta \Gamma_i(\theta))$ です。

• 大きなアンカーギャップを持つペア（脆い）は、小さな重みを受け取ります。
• 小さなアンカーギャップを持つペア（安定した）は、大きな重みを保持します。

GAPO はデータをフィルタリングしたり、明示的にノイズをモデル化したりするものではありません。代わりに、脆い勾配を減衰させつつ、ロバストな勾配の方向を保持する、リスクを考慮した再重み付け機構として機能します。

3. 理論的解析

本論文は、滑らかさの仮定の下でのアンカーギャップの局所的な理論的特徴付けを提供します。アンカーギャップは以下の 3 つの構成要素に分解されます：

1. 勾配の大きさ： インスタンスの勾配のノルム。
2. バッチ方向の整合性： インスタンスの勾配と共有されたバッチ平均勾配方向との整合性（$\alpha_{i,B}$）。
3. 方向曲率： バッチ方向に沿ったインスタンスのマージンの 2 次曲率。

この分解により、GAPO が単純な勾配ノルム再重み付けに還元できないことが証明されます。バッチ方向の整合性項は、この手法が現在のバッチの最適化軌道に対して不安定なペアを特にターゲットにすることを保証します。

4. 実験結果

GAPO は、指示追従および推論ベンチマークにおいて、4 つのオープンウェイトモデルファミリー（Mistral-7B、Llama-3-8B、Gemma-2-9B）で評価されました。

4.1 アライメントおよび推論性能

• 指示追従： GAPO は、AlpacaEval 2.0 および Arena-Hard において、強力なベースライン（DPO、SimPO、ORPO、$\alpha$-DPO）と一貫して同等かそれ以上の性能を発揮しました。例えば、Mistral-7B において、GAPO は Arena-Hard で 38.7% の勝率を達成し、SimPO（34.8%）および DPO（24.9%）を上回りました。
• 推論の維持： 「アライメント税」（推論能力の低下）に苦しむいくつかの選好最適化手法とは異なり、GAPO はアライメントを改善しつつ、GSM8k および ARC-C における推論スコアを維持または向上させます。

4.2 ノイズのある教師信号に対するロバスト性

GAPO は、ランダムなラベルの反転と、構造化された長さ依存ノイズ（短い回答が誤って好ましいとされる）の下でテストされました。

• 性能： GAPO は、ノイズ分布を明示的にモデル化することなく、さまざまなノイズ率において、専用のノイズロバストなベースライン（Dr. DPO、r-DPO など）を上回りました。
• メカニズム： 制御されたノイズ環境下では、ラベルが反転したペアは著しく大きなアンカーギャップを発展させ、より強く重みが低下しました。1 エポックの終わりまでに、反転したペアはクリーンなペアよりも約 16.9% 小さな重みを受け取りました。重みの下位 20%（最も減衰したもの）には 30.1% の反転率が含まれていましたが、上位 20% では 16.9% でした。

4.3 アブレーション研究

• 勾配ノルム対アンカーギャップ： 勾配ノルム再重み付けのみを使用するベースライン（GradNorm-Reweight）は SimPO よりも改善されましたが、GAPO には達せず、バッチ方向の整合性と曲率が不可欠な構成要素であることを確認しました。
• SAM との比較： Sharpness-Aware Minimization（SAM）を用いた SimPO との比較により、GAPO のインスタンスごとの再重み付けは、均一なオプティマイザレベルの平坦性探索と比較して、優れたアライメント - 推論のトレードオフを提供することが示されました。
• 計算コスト： アンカー勾配の計算により、GAPO はステップあたり約 2 倍のウォールクロックオーバヘッドを発生させます。ただし、ウォールクロックを一致させた比較では、GAPO の 1 エポックが SimPO の 2 エポックを上回っており、この利益が単にトレーニング時間の延長によるものではないことを示しています。

5. 意義と主張

本論文は、局所的幾何学的劣化が安定した選好最適化のための有用なシグナルとして機能し、固定参照アンカーと明示的なノイズモデル化の中間的な立場を提供すると主張しています。

主な貢献は以下の通りです：

1. GAPO フレームワーク： 局所マージンの劣化を測定するために、バッチ条件付きの悲観的アンカーを構築する新しい手法。
2. 理論的特徴付け： アンカーギャップが不安定性に対するバッチ方向のプローブとして機能し、勾配の大きさ、整合性、曲率に分解されることの証明。
3. 経験的ロバスト性： 汚染されたデータを明示的に特定またはフィルタリングすることなく、脆いシグナルを保守的に減衰させることで、GAPO がランダムおよび構造化された選好ノイズの両方に対するロバスト性を向上させるという証拠。

著者らは、GAPO はデータフィルタではなく、再重み付け機構であると強調しています。これは局所的安定性に基づいて更新強度を継続的に調節し、モデルが頑丈だが困難な例から学習できるようにしつつ、ノイズのあるまたは偽の相関によって駆動される更新を抑制します。