기술 요약: 강건한 선호도 정렬을 위한 기하학적 앵커링 (GAPO)

1. 문제 제기

선호도 최적화 (예: DPO, SimPO) 를 통한 대규모 언어 모델 (LLM) 정렬은 일반적으로 선호되는 응답 ($y_w$) 과 비선호되는 응답 ($y_l$) 사이의 마진을 극대화하는 데 의존합니다. 효과적이기는 하지만, 표준 마진 기반 손실 함수는 모든 선호도 쌍을 현재 마진 크기에 기반하여 동등하게 취급합니다. 이 접근법은 다음 두 가지를 구분하지 못합니다:

1. 정보성이 높은 어려운 예시: 실제로 학습이 필요한 낮은 마진을 가진 쌍.
2. 취약한 쌍: 노이즈가 있는 레이블, 길이 편향, 또는 우연한 상관관계로 인해 낮은 마진이 발생한 쌍.

현재의 방법론은 종종 두 유형 모두에 대해 큰 업데이트를 생성하여, 손상된 감독 신호에 과적합하거나 "보상 드리프트 (reward drift)"를 유발할 수 있습니다. 핵심 문제는 강력한 업데이트를 적용하기 전에 선호도 신호가 신뢰할 수 있을 만큼 안정적인지 테스트할 수 있는 국소 진단 도구가 부족하다는 점입니다.

2. 방법론: 기하학적 앵커 선호도 최적화 (GAPO)

GAPO 는 각 선호도 쌍에 대해 배치 조건부 국소 스트레스 테스트를 수행하는 기하학적 인식을 갖춘 목적 함수를 도입합니다. 현재 마진만으로 쌍을 판단하는 대신, GAPO 는 공유된 비관적 교란 하에서의 안정성을 평가합니다.

2.1 기하학적 앵커

각 미니배치 $B$에 대해 GAPO 는 배치 평균 선호도 마진을 가장 빠르게 감소시키는 방향으로 현재 정책 $\theta$를 교란시켜 "비관적 앵커" $\tilde{\theta}$를 구성합니다.

• $M_i(\theta)$를 인스턴스 $i$의 선호도 마진이라고 합시다.
• 배치 평균 마진은 $\bar{M}_B(\theta) = \frac{1}{|B|} \sum_{j \in B} M_j(\theta)$입니다.
• 교란 방향은 배치 평균 마진의 정규화된 음의 기울기입니다:
  $$\epsilon^*_B = -\rho \frac{\nabla_\theta \bar{M}_B(\theta)}{\|\nabla_\theta \bar{M}_B(\theta)\|_2}$$
• 앵커는 $\tilde{\theta} = \theta + \epsilon^*_B$로 정의되며, 여기서 $\rho$는 작은 교란 반경입니다. 중요한 점은 $\tilde{\theta}$가 후속 손실 계산에 대해 고정된 참조 (stop-gradient) 로 취급된다는 것입니다.

2.2 앵커 갭

GAPO 는 이 공유된 적대적 교란 하에서 특정 쌍의 마진이 저하되는 정도를 앵커 갭($\Gamma_i$) 으로 정의합니다:
$$\Gamma_i(\theta) = M_i(\theta) - \text{sg}(M_i(\tilde{\theta}))$$
여기서 $\text{sg}(\cdot)$는 stop-gradient 연산자를 나타냅니다.

• 큰 $\Gamma_i$: 배치 조건부 스트레스 테스트 하에서 쌍의 마진이 무너짐을 나타내며, 국소적 취약성 (아마도 노이즈나 우연한 상관관계) 을 신호합니다.
• 작은 $\Gamma_i$: 쌍이 안정적으로 유지됨을 나타내며, 견고한 선호도 신호를 시사합니다.

2.3 목적 함수 및 재가중

GAPO 목적 함수는 앵커 갭에 대한 로지스틱 손실입니다:
$$\mathcal{L}_{\text{GAPO}}(\theta) = -\frac{1}{N} \sum_{i=1}^N \log \sigma(\beta \Gamma_i(\theta) - \gamma)$$
여기서 $\gamma$는 목표 마진입니다.

최적화 해석:
이 손실을 미분하면 GAPO 가 표준 선호도 기울기 방향 ($\nabla_\theta M_i(\theta)$) 을 유지하지만 인스턴스별 가중치 $w_i(\theta)$로 스케일링함을 알 수 있습니다:
$$\nabla_\theta \mathcal{L}_{\text{GAPO}} = -\mathbb{E} [ w_i(\theta) \cdot \nabla_\theta M_i(\theta) ]$$
여기서 $w_i(\theta) = \beta \sigma(\gamma - \beta \Gamma_i(\theta))$입니다.

• 큰 앵커 갭을 가진 쌍 (취약한 경우) 은 더 작은 가중치를 받습니다.
• 작은 앵커 갭을 가진 쌍 (안정적인 경우) 은 더 큰 가중치를 유지합니다.

GAPO 는 데이터를 필터링하거나 명시적으로 노이즈를 모델링하지 않습니다. 대신 견고한 기울기의 방향은 유지하면서 취약한 기울기를 감쇠시키는 위험 인식형 재가중 메커니즘으로 작용합니다.

3. 이론적 분석

이 논문은 매끄러움 (smoothness) 가정 하에서 앵커 갭에 대한 국소적 이론적 특성을 제공합니다. 앵커 갭은 세 가지 구성 요소로 분해됩니다:

1. 기울기 크기: 인스턴스 기울기의 노름.
2. 배치 방향 정렬: 인스턴스 기울기와 공유된 배치 평균 기울기 방향 사이의 정렬 ($\alpha_{i,B}$).
3. 방향 곡률: 배치 방향을 따라 인스턴스 마진의 2 차 곡률.

이 분해는 GAPO 가 단순한 기울기 노름 재가중으로 환원될 수 없음을 증명합니다. 배치 방향 정렬 항은 이 방법이 현재 배치의 최적화 궤적에 상대적으로 불안정한 쌍을 구체적으로 대상으로 함을 보장합니다.

4. 실험 결과

GAPO 는 지시 따르기 및 추론 벤치마크에서 네 가지 오픈 가중 모델 계열 (Mistral-7B, Llama-3-8B, Gemma-2-9B) 에 걸쳐 평가되었습니다.

4.1 정렬 및 추론 성능

• 지시 따르기: GAPO 는 AlpacaEval 2.0 및 Arena-Hard 에서 강력한 기준선 (DPO, SimPO, ORPO, $\alpha$-DPO) 과 일관되게 일치하거나 이를 능가합니다. 예를 들어, Mistral-7B 에서 GAPO 는 Arena-Hard 에서 38.7% 의 승리율을 달성하여 SimPO(34.8%) 와 DPO(24.9%) 를 능가했습니다.
• 추론 보존: 일부 선호도 최적화 방법이 "정렬 세금 (alignment tax, 추론 능력 저하)"으로 고통받는 것과 달리, GAPO 는 정렬을 개선하는 동시에 GSM8k 및 ARC-C 에서의 추론 점수를 유지하거나 향상시킵니다.

4.2 노이즈가 있는 감독에 대한 강건성

GAPO 는 무작위 레이블 뒤집기와 구조화된 길이 의존적 노이즈 (짧은 응답이 잘못 선호되는 경우) 하에서 테스트되었습니다.

• 성능: GAPO 는 노이즈 분포를 명시적으로 모델링하지 않고도 다양한 노이즈율에서 전용 노이즈 강건 기준선 (예: Dr. DPO, r-DPO) 을 능가했습니다.
• 메커니즘: 통제된 노이즈 환경에서 레이블이 뒤집힌 쌍은 훨씬 더 큰 앵커 갭을 발전시켰으며 더 강하게 하향 가중되었습니다. 첫 번째 에포크가 끝날 때, 뒤집힌 쌍은 깨끗한 쌍보다 약 16.9% 더 작은 가중치를 받았습니다. 가중치 하위 20%(가장 감쇠된 부분) 에는 30.1% 의 뒤집기 비율이 포함되어 있었으며, 상위 20% 에서는 16.9% 였습니다.

4.3 제거 실험

• 기울기 노름 vs 앵커 갭: 기울기 노름 재가중 (GradNorm-Reweight) 만을 사용하는 기준선은 SimPO 보다 개선되었으나 GAPO 를 따라잡지 못했습니다. 이는 배치 방향 정렬과 곡률이 필수적인 구성 요소임을 확인시켜 주었습니다.
• SAM 비교: Sharpness-Aware Minimization(SAM) 을 적용한 SimPO 와 GAPO 를 비교한 결과, GAPO 의 인스턴스별 재가중이 균일한 옵티마이저 수준의 평탄함 추구보다 우수한 정렬 - 추론 트레이드오프를 제공함이 나타났습니다.
• 계산 비용: 앵커 기울기 계산으로 인해 GAPO 는 단계당 약 2 배의 실제 시간 (wall-clock) 오버헤드가 발생합니다. 그러나 실제 시간 일치 비교에서 GAPO 의 한 에포크는 SimPO 의 두 에포크보다 우수한 성능을 보여주어, 이러한 이득이 단순히 연장된 훈련 시간 때문이 아님을 시사합니다.

5. 중요성 및 주장

이 논문은 국소 기하학적 저하가 안정적인 선호도 최적화를 위한 유용한 신호로 작용하며, 고정된 참조 앵커링과 명시적 노이즈 모델링 사이의 중간 지점을 제공한다고 주장합니다.

주요 기여 사항은 다음과 같습니다:

1. GAPO 프레임워크: 국소 마진 저하를 측정하기 위해 배치 조건부 비관적 앵커를 구성하는 새로운 방법.
2. 이론적 특성화: 앵커 갭이 불안정성에 대한 배치 방향 탐침으로 작용하며 기울기 크기, 정렬, 곡률로 분해됨을 증명.
3. 실증적 강건성: 손상된 데이터를 명시적으로 식별하거나 필터링할 필요 없이 취약한 신호를 보수적으로 감쇠시킴으로써 무작위 및 구조화된 선호도 노이즈에 대한 강건성을 향상시킨다는 증거.

저자들은 GAPO 가 데이터 필터가 아닌 재가중 메커니즘임을 강조합니다. 이는 국소적 안정성에 기반하여 업데이트 강도를 지속적으로 조절하여, 모델이 어렵지만 안정적인 예시로부터 학습하도록 허용하면서 노이즈가 있거나 우연한 상관관계에 의해 주도되는 업데이트는 억제합니다.