技术摘要：用于鲁棒偏好对齐的几何锚定（GAPO）

1. 问题陈述

通过偏好优化（例如 DPO、SimPO）对大型语言模型（LLM）进行对齐，通常依赖于最大化首选响应（$y_w$）与非首选响应（$y_l$）之间的间隔。尽管这种方法行之有效，但基于标准间隔的损失函数仅根据当前间隔大小对所有偏好对一视同仁。这种方法无法区分：

1. 具有信息量的困难样本：间隔较低且真正需要学习的样本对。
2. 脆弱样本对：由噪声标签、长度偏差或虚假相关性导致的低间隔样本对。

现有方法通常会对这两类样本产生大幅更新，可能导致过拟合被污染的监督信号或引发“奖励漂移”。核心问题在于缺乏一种局部诊断机制，以在应用强更新之前测试偏好信号是否足够稳定以值得信赖。

2. 方法论：几何锚定偏好优化（GAPO）

GAPO 引入了一种感知几何的目标函数，为每个偏好对执行基于批次的局部压力测试。GAPO 并非仅凭当前间隔来评判样本对，而是评估其在共享的悲观扰动下的稳定性。

2.1 几何锚点

对于每个小批量 $B$，GAPO 通过沿最快速降低批次平均偏好间隔的方向扰动当前策略 $\theta$，构建一个“悲观锚点” $\tilde{\theta}$。

• 设 $M_i(\theta)$ 为实例 $i$ 的偏好间隔。
• 批次平均间隔为 $\bar{M}_B(\theta) = \frac{1}{|B|} \sum_{j \in B} M_j(\theta)$。
• 扰动方向为批次平均间隔的归一化负梯度：
  $$\epsilon^*_B = -\rho \frac{\nabla_\theta \bar{M}_B(\theta)}{\|\nabla_\theta \bar{M}_B(\theta)\|_2}$$
• 锚点定义为 $\tilde{\theta} = \theta + \epsilon^*_B$，其中 $\rho$ 是一个小的扰动半径。关键在于，在随后的损失计算中，$\tilde{\theta}$ 被视为冻结参考（停止梯度）。

2.2 锚点间隙

GAPO 将锚点间隙（$\Gamma_i$）定义为特定样本对在共享对抗性扰动下的间隔退化程度：
$$\Gamma_i(\theta) = M_i(\theta) - \text{sg}(M_i(\tilde{\theta}))$$
其中 $\text{sg}(\cdot)$ 表示停止梯度算子。

• 大的 $\Gamma_i$：表明样本对的间隔在基于批次的压力测试下崩溃，信号出局部脆弱性（可能是噪声或虚假相关性）。
• 小的 $\Gamma_i$：表明样本对保持稳定，暗示存在鲁棒的偏好信号。

2.3 目标函数与重加权

GAPO 的目标函数是基于锚点间隙的逻辑损失：
$$\mathcal{L}_{\text{GAPO}}(\theta) = -\frac{1}{N} \sum_{i=1}^N \log \sigma(\beta \Gamma_i(\theta) - \gamma)$$
其中 $\gamma$ 是目标间隔。

优化解释：
对该损失求导表明，GAPO 保留了标准的偏好梯度方向（$\nabla_\theta M_i(\theta)$），但通过实例级权重 $w_i(\theta)$ 对其进行缩放：
$$\nabla_\theta \mathcal{L}_{\text{GAPO}} = -\mathbb{E} [ w_i(\theta) \cdot \nabla_\theta M_i(\theta) ]$$
其中 $w_i(\theta) = \beta \sigma(\gamma - \beta \Gamma_i(\theta))$。

• 具有大锚点间隙（脆弱）的样本对获得较小的权重。
• 具有小锚点间隙（稳定）的样本对保留较大的权重。

GAPO 不筛选数据，也不显式建模噪声；它作为一种风险感知的重加权机制，在衰减脆弱梯度的同时，保留鲁棒梯度的方向。

3. 理论分析

该论文在平滑性假设下提供了锚点间隙的局部理论表征。锚点间隙分解为三个组成部分：

1. 梯度幅值：实例梯度的范数。
2. 批次方向对齐：实例梯度与共享批次平均梯度方向（$\alpha_{i,B}$）之间的对齐程度。
3. 方向曲率：实例间隔沿批次方向的二阶曲率。

这种分解证明，GAPO 不能简化为简单的梯度范数重加权。批次方向对齐项确保该方法专门针对相对于当前批次优化轨迹不稳定的样本对。

4. 实验结果

GAPO 在四个开源权重模型系列（Mistral-7B、Llama-3-8B、Gemma-2-9B）上进行了评估，测试了指令遵循和推理基准。

4.1 对齐与推理性能

• 指令遵循：GAPO 在 AlpacaEval 2.0 和 Arena-Hard 上始终匹配或超越强基线（DPO、SimPO、ORPO、$\alpha$-DPO）。例如，在 Mistral-7B 上，GAPO 在 Arena-Hard 上实现了 38.7% 的胜率，优于 SimPO（34.8%）和 DPO（24.9%）。
• 推理保持：与某些遭受“对齐税”（推理能力下降）的偏好优化方法不同，GAPO 在提升对齐的同时，保持或提高了 GSM8k 和 ARC-C 上的推理分数。

4.2 对噪声监督的鲁棒性

GAPO 在随机标签翻转和结构化长度依赖噪声（较短响应被错误地视为首选）下进行了测试。

• 性能：GAPO 在多种噪声率下均优于专门的噪声鲁棒基线（如 Dr. DPO、r-DPO），且无需显式建模噪声分布。
• 机制：在受控的噪声设置中，标签翻转的样本对发展出显著更大的锚点间隙，并受到更大幅度的降权。到第一个 epoch 结束时，翻转样本对获得的权重比干净样本对小约 16.9%。权重最低的 20%（衰减最严重）包含 30.1% 的翻转率，而权重最高的 20% 中仅为 16.9%。

4.3 消融研究

• 梯度范数与锚点间隙：仅使用梯度范数重加权（GradNorm-Reweight）的基线虽然优于 SimPO，但未能达到 GAPO 的水平，证实了批次方向对齐和曲率是不可或缺的组成部分。
• SAM 比较：将 GAPO 与结合锐度感知最小化（SAM）的 SimPO 进行比较，结果显示 GAPO 的实例级重加权在平衡对齐与推理方面优于统一的优化器级平坦度搜索。
• 计算成本：由于锚点梯度的计算，GAPO 每一步的挂钟时间开销约为 2 倍。然而，在挂钟时间匹配的对比中，一个 epoch 的 GAPO 表现优于两个 epoch 的 SimPO，表明其收益并非仅仅源于延长的训练时间。

5. 意义与主张

该论文主张，局部几何退化可作为稳定偏好优化的有用信号，在固定参考锚定和显式噪声建模之间提供了中间地带。

主要贡献包括：

1. GAPO 框架：一种新颖的方法，通过构建基于批次的悲观锚点来测量局部间隔退化。
2. 理论表征：证明了锚点间隙充当不稳定的批次方向探针，可分解为梯度幅值、对齐和曲率。
3. 实证鲁棒性：证据表明，GAPO 通过保守地衰减脆弱信号，提高了对随机和结构化偏好噪声的鲁棒性，而无需显式识别或过滤被污染的数据。

作者强调，GAPO 是一种重加权机制，而非数据过滤器。它根据局部稳定性持续调节更新强度，使模型能够从困难但稳定的样本中学习，同时抑制由噪声或虚假相关性驱动的更新。