기술 요약: 분포 강건 리스트와이즈 선호도 최적화 (Distributionally Robust Listwise Preference Optimization)

문제 정의

현재의 대규모 언어 모델(LLM) 정렬을 위한 강건한 선호도 최적화 방법들은 주로 쌍체(pairwise) 감독(예: Bradley-Terry 또는 DPO 모델)에 집중하며, 데이터셋, 프롬프트, 또는 선호 쌍의 분포 수준에서의 강건성을 다룹니다. 그러나 현대의 선호도 데이터셋은 점차 리스트와이즈(listwise) 형태로 변화하고 있으며, 이는 단일 프롬프트에 대해 여러 후보 응답의 전체 또는 부분적인 순위를 포함합니다.

리스트와이즈 감독에서 해결되지 않은 중요한 불확정성의 원인은 **조건부 순위-레이블 모호성(conditional ranking-label ambiguity)**입니다. 프롬프트와 후보 리스트가 고정되어 있더라도, 관찰된 순위 레이블은 다음과 같은 이유로 신뢰할 수 없을 수 있습니다:

• 주석가(Annotator)의 일관성 부족.
• 후보들 간의 미세한 차이(near-ties).
• 손실이 있는 순위 피드백(lossy rankwise feedback).
• 온라인 정렬 시 보상 모델(Reward Model)에서 발생하는 노이즈.

기존의 강건한 방법들은 실현된 후보 리스트가 주어졌을 때의 순위 레이블 자체에 존재하는 불확실성을 직접적으로 모델링하지 못합니다. 본 논문은 이러한 유형의 불확실성 하에서 강건한 리스트와이즈 선호도 최적화를 연구하기 위한 프레임워크를 제안합니다.

방법론

1. 공식화: 점별 총변동(Total-Variation) 강건성

저자들은 고정된 프롬프트 $x$와 후보 리스트 $Y = (y_1, \dots, y_K)$에 대한 순위 레이블 $\sigma^\star$의 불확실성을 점별 총변동(Pointwise Total-Variation, TV) 모호성 집합을 사용하여 모델링합니다.

• 경험적 순위 $\sigma^\star$는 대칭군 $S_K$ 상의 디락 델타 함수(Dirac point mass)로 취급됩니다.
• 적대적 공격자는 반지름 $\rho \in [0, 1]$인 TV 볼 내에서 이 분포를 섭동(perturb)할 수 있습니다.
• 강건한 목적 함수는 이 모호성 집합에 대한 최악의 기대 Plackett-Luce(PL) 손실을 최소화합니다:
  $$\ell_{\text{rob}}(\theta; x, Y, \sigma^\star) := \max_{P \in U_{TV}(\delta_{\sigma^\star}, \rho)} \mathbb{E}_{\sigma \sim P} [\ell_{PL}(\theta; x, Y, \sigma)]$$

2. 이론적 트랙터빌리티(Tractability): 정확한 분해 및 정렬

내부의 $K!$ 가능한 순열에 대한 최대화 문제가 PL 손실의 특성 덕분에 **정확하게 계산 가능하다(exactly tractable)**는 핵심적인 구조적 통찰이 존재합니다.

• 보조정리 1 (정확한 분해): 강건한 손실은 명목 PL 손실과 최악의 PL 손실의 볼록 조합으로 분해됩니다:
  $$\ell_{\text{rob}} = (1-\rho)\ell_{PL}(\sigma^\star) + \rho \max_{\sigma \in S_K} \ell_{PL}(\sigma)$$
• 정리 1 (최악의 순위): PL 손실을 최대화하는 최악의 순위 $\sigma_{wc}$는 현재의 암시적 점수 $g_\theta(x, y_i)$를 **오름차순(ascending order)**으로 정렬함으로써 얻어집니다 (가장 낮은 점수부터 우선).
• 복잡도: 이는 내부 최대화 문제를 $O(K!)$의 열거에서 $O(K \log K)$의 정렬 연산으로 줄여줍니다. 따라서 강건한 손실은 명목 손실과 단일 적대적 손실 항의 효율적인 결합이 됩니다.

3. 최적화 이론

저자들은 두 가지 설정에서 수렴성을 분석합니다:

• 오프라인 고정 리스트 설정: 로그-선형 정책 클래스를 가정할 때, 강건한 목적 함수는 **볼록(convex)**합니다. 저자들은 투영 확률적 서브그레이디언트(projected stochastic subgradient)가 $O(\epsilon^{-2})$의 샘플 복잡도로 전역 $\epsilon$-최적성에 도달함을 증명합니다.
• 온라인 정책 유도 설정: 후보 리스트가 현재 정책 $\pi_\theta$로부터 샘플링되는 경우, 목적 함수는 더 이상 전역적으로 볼록하지 않습니다. 저자들은 **약볼록성(weak convexity)**을 확립하고, 오름차순 정렬 메커니즘으로부터 유도된 명시적인 클라크 서브그레이디언트(Clarke-subgradient) 오라클을 사용하여 $\tilde{O}(\epsilon^{-2})$ 모로 엔벨로프(Moreau-envelope) 정체성 보장을 증명합니다.

주요 기여

1. 새로운 공식화: 본 연구는 LLM 정렬을 위한 리스트와이즈 선호도 최적화에서 조건부 순위-레이블 불확실성을 연구한 최초의 연구입니다. 기존의 강건한 DPO 방법들이 데이터나 프롬프트 분포를 섭동시키는 것과 달리, 이 방법은 실현된 후보 리스트가 주어졌을 때의 순위 레이블 자체를 타겟팅합니다.
2. 정확하고 계산 가능한 강건 손실: 저자들은 강건한 PL 손실이 정확한 분해를 수반함을 입증했습니다. 최악의 순위는 단순히 오름차순 점위 순서이며, 이는 $O(K \log K)$ 평가 알고리즘을 가능하게 합니다. 이 교정은 본질적으로 리스트와이즈적이며, $K \ge 3$인 경우 독립적인 쌍체 교정으로 축소되지 않습니다.
3. 강력한 최적화 보장:
   • 오프라인: 투영 확률적 서브그레이디언트에 대한 볼록성 및 $O(\epsilon^{-2})$ 샘플 복잡성.
   • 온라인: 약볼록성 및 $\tilde{O}(\epsilon^{-2})$ 모로 엔벨로프 정체성.
   • 이러한 비율은 유사한 로그-선형 오라클 모델 하에서의 관련 강건 선호도 최적화 이론과 일치하거나 이를 개선합니다.
4. 실험적 검증: 실험 결과, 본 방법은 깨끗한 레이블에서는 성능을 유지하면서 구조화된 레이블 오염(특히 상위 순위 노이즈) 하에서 성능을 크게 향상시킴을 보여줍니다. 온라인 설정에서, 이는 보상 모델에 의해 순위가 생성될 때 더 큰 후보 리스트($K=4$)를 더 신뢰할 수 있게 만듭니다.

실험 결과

오프라인 평가

UltraFeedback 데이터셋($K=4$)을 사용하여, 저자들은 합성 레이블 오염 상황에서 명목 BT(DPO), 명목 PL, 그리고 Robust PL을 비교했습니다:

• 깨끗한 레이블: Robust PL은 명목 PL에 비해 미미한 성능 저하만을 보였습니다.
• 오염된 레이블: "근접 타이(near-tie)" 및 "상위 순위(top-rank)" 오염 하에서 Robust PL은 베이스라인보다 크게 우수한 성능을 보였습니다. 개선 효과는 심각한 상위 순위 오염($\epsilon=1.0$) 상황에서 가장 두드러졌으며, 이때 Robust PL은 Qwen3-0.6B 및 Qwen3-8B 모델 모두에서 명목 PL 대비 Kendall's $\tau$를 실질적으로 향상시켰습니다.
• 비교: Robust PL은 리스트와이즈 설정으로 변형된 기존의 강건한 DPO 베이스라인들(TV-DR-DPO, KLDPO)보다 우수한 성능을 보였습니다.

온라인 평가

고정된 보상 모델을 사용하는 SAIL 스타일 파이프라인의 온라인 정렬 설정에서:

• 리스트 크기 민감도: 강건성 없이 후보 리스트 크기를 $K=2$에서 $K=4$로 단순히 늘리는 것은 성능 개선을 일관되적으로 보장하지 못했으며, 이는 더 큰 리스트가 더 세밀한 보상 모델 노이즈를 유입시킬 수 있음을 시사합니다.
• 강건성 이점: 강건한 교정($\rho > 0$)을 도입하면 $K=4$ 변형 모델이 더 신뢰할 수 있게 되었습니다. Qwen3-0.6B 및 Qwen3-8B의 경우, Robust $K=4$ 설정이 가장 강력한 보상 모델 선호도 점수와 순위 일치 지표(Top-1, Pairwise, Kendall's $\tau$)를 달성했습니다.
• 일반화: 개선 사항은 외부 GPT-4 판사 지표로도 전이되었으며, 이는 강건성 이점이 훈련에 사용된 특정 보상 모델을 넘어 확장됨을 나타냅니다.

의의 및 주장

본 논문은 Robust PL이 보수적인 순위-레이블 정규화 도구(conservative ranking-label regularizer) 역할을 한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 공백 해결: 기존의 강건한 DPO 연구가 다루었던 분포 변화와는 구별되는, 리스트와이즈 감독에서의 순위 레이블 불확실성을 타겟팅합니다.
2. 이론적 타당성: 오프라인 및 온라인 설정 모두에서 엄격한 수렴 보장을 갖춘, 계산 가능하고 정확한 솔루션을 제공하는 최초의 리스트와이즈 강건 최적화 방법입니다.
3. 실용적 신뢰성: 깨끗한 데이터에서의 성능을 희생하지 않으면서도, 노이즈가 많은 감독 소스를 유용한 선호 신호로 전환함으로써 온라인 정렬에서 더 큰 후보 리스트를 안전하게 사용할 수 있게 합니다.

저자들은 강건성 반지름 $\rho$를 튜닝해야 하는 한계를 언급하며, 적응형 선택 및 더 큰 규모의 실험에 대한 향후 연구 과제를 제시했습니다. 또한, 이 기술들이 방법론적이고 분석적이며, 즉각적인 부정적 사회적 영향은 보이지 않는다고 강조했습니다.