기술 요약: 선호도에 대한 선호도를 통한 적응형 마진 RLHF (Adaptive Margin RLHF via Preference over Preferences)

문제 정의

인간의 선호도에 LLM을 정렬하는 RLHF(Reinforcement Learning from Human Feedback)에서는 일반적으로 쌍별(pairwise) 선호도 데이터에 의존한다. Bradley-Terry(BT) 모델 및 DPO(Direct Preference Optimization)와 같은 표준적인 접근 방식은 모든 선호 쌍을 동일하게 취급하거나 고정된 마진(margin)에 의존하는 경우가 많다. 마진 기반 최적화는 분류 작업에서 일반화 성능과 강건성을 향상시키는 것으로 알려져 있으나, 기존의 RLHF 방법론들은 다음과 같은 중대한 한계에 직면해 있다:

1. 마진의 부재 또는 고정된 마진: 많은 방법이 마진을 적용하지 않거나 일정한 마진을 적용하며, 이는 선호도의 강도(즉, 어떤 선호는 응답 간의 명확한 구분을 나타내는 반면, 어떤 것은 모호함)를 반영하지 못한다.
2. 노이즈가 섞인 스칼라 레이팅(Scalar Ratings): 존재하는 적응형 마진 접근 방식들은 종종 인간이나 LLM이 제공하는 스칼라 선호도 점수(예: 리커트 척도)로부터 마진을 도출한다. 그러나 이러한 점수는 빈번하게 보정(calibration)이 잘 되지 않고, 주석 작성자 간에 일관성이 없으며 노이즈가 많아 신뢰할 수 없는 마진 정보를 제공한다.
3. 정확한 점수에 대한 의존성: 정확한 선호도 점수에 접근할 수 있다고 가정하는 방법들은 실제 적용 시 어려움을 겪는데, 이는 인간이 선호의 강도에 대한 신뢰할 수 있는 수치적 레이팅을 제공하는 데 어려움을 느끼기 때문이다.

핵심 문제는 스칼라 레이팅에 의존하지 않고, 데이터 포인트마다 변하는 적응형 마진(adaptive margins)—즉, 선호의 강도에 따라 변하는 마진—을 어떻게 추론할 것인가 하는 것이다.

방법론

저자들은 선호도에 대한 선호도(Preference-over-Preference, PoP) 감독을 통한 적응형 마진 RLHF라는 프레임워크를 제안한다. 단일 선호에 대해 수치적 점수를 할당하도록 요청하는 대신, 이 방법은 두 개의 선호 쌍을 비교하여 어떤 것이 더 강한 구분을 나타내는지 결정하도록 한다.

핵심 개념: 선호도에 대한 선호도 (PoP)

두 개의 선호 인스턴스 $A \succ B$와 $C \succ D$가 주어졌을 때, 주석 작성자(인간 또는 LLM)는 어떤 선도가 더 강한지를 라벨링한다. 만약 $(A \succ B)$가 $(C \succ D)$보다 강하다고 판단된다면, 이는 보상 차이 $r(A) - r(B)$가 $r(C) - r(D)$보다 크다는 것을 의미한다.

• 추론: 약한 선호의 보상 차이는 강한 선호의 하한선(lower bound, 즉 마진) 역할을 한다.
• 장점: 이 공식화는 주석 작업을 상대적 크기에 대한 이진 판단으로 축소시키며, 이는 인지적으로 자연스럽고 MACBETH 의사결정 분석 원리에 근거한다. 이는 이산적(discrete) 레이팅 척도의 보정 문제를 피할 수 있게 해주며, 이산적 레이팅보다 풍부한 정보를 제공하여 연속적인 실수 값의 마진을 추론할 수 있게 한다.

알고리즘: DPO-PoP

본 논문은 이 프레임워크를 DPO 알고리즘 내에 구현하여 DPO-PoP를 도출한다.

1. 손실 함수: 표준 DPO 손실은 약한 선호 쌍으로부터 도출된 적응형 마진을 포함하도록 수정된다. 강한 선호 쌍 $(x_s, y^+_s, y^-_s)$과 약한 쌍 $(x_w, y^+_w, y^-_w)$에 대하여, 손실 함수는 강한 쌍의 암시적 보상 차이가 약한 쌍의 차이보다 크도록 강제한다.
   $$\min_{\theta} \mathbb{E}_{D_{PoP}} \left[ -\log \sigma \left( m_\theta(x_s, y^+_s, y^-_s) - \text{sg}[m_{\hat{\theta}}(x_w, y^+_w, y^-_w)] \right) \right]$$
   여기서 $m_\theta$는 암시적 마진이며, $\text{sg}$는 마진 항이 정책 파라미터의 업데이트에 직접 영향을 미치는 것을 방지하기 위한 스톱-그레이디언트(stop-gradient) 연산자이다.
2. 안정화: 경계가 없는 마진으로 인한 불안정한 그래디언트 문제를 해결하기 위해 저자들은 다음을 수행한다:
   • 마진 값을 고정된 구간 $[0, M_{max}]$로 클리핑(clip)한다.
   • 마진 참조를 계산하기 위해 폴리악 평균(Polyak averaging)을 통해 느리게 업데이트되는 타겟 정책 $\hat{\theta}$를 사용함으로써 훈련 중 급격한 변동을 방지한다.
3. 샘플링 전략: PoP 데이터셋($D_{PoP}$)을 구축하기 위해 두 가지 전략을 탐색한다:
   • 반복 샘플링(Iterative Sampling): 각 선호는 $k$개의 약한 선호와 비교된다. 이는 모든 선호의 균등한 표현을 보장하지만, 약한(노이즈가 섞인) 비교를 과잉 대표할 수 있다.
   • 무작위 샘플링(Random Sampling): 선호 쌍이 무작위로 선택되어 비교된다. 이는 강한 선호가 더 자주 등장하는 데이터셋을 생성한다.

주요 기여

1. PoP 감독 프레임워크: 스칼라 레이팅이 아닌 선호 간의 서열 비교로부터 적응형 마진을 도출하는 새로운 방법으로, 보정 능력과 강건성을 개선한다.
2. DPO-PoP 알고리즘: 별도의 보상 모델 훈련 단계 없이도 마진 인지형 정렬을 가능하게 하는, PoP 감독이 통합된 DPO의 구체적인 확장 모델이다.
3. 트레이드오프 발견: 저자들은 판별 성능(선호 레이블에 대한 분류 정확도)과 생성 성능(생성된 텍스트의 품질) 사이의 근본적인 트레이드오프를 식별하였다.
   • **DPO-PoP-Iter (반복 샘핑)**는 판별 작업(약한 선호를 올바르게 분류하는 것)에서 탁월하지만, 노이즈가 섞인 약한 신호에 과적합되어 생성 품질이 저하될 수 있다.
   • **DPO-PoP-Random (무작위 샘플링)**은 강하고 명확한 선호에 더 집중함으로써, 분포 외(OOD) 벤치마크에서 우수한 생성 성능과 강건한 판별 정확도를 달 모두 달성한다.
4. 이론적 통찰: 적응형 마진 분류기에 대한 일반화 경계(generalization bound)를 제공하여, 일반화 오차가 역 제곱 마진의 합($\sum 1/m_i^2$)에 의존함을 보여준다. 이는 왜 Random 샘플링(더 적은 약한 마진)이 Iterative 샘플링보다 더 나은 일반화 경계를 제공하는지를 설명한다.

결과

Llama-3.2-3b 및 Llama-3.1-8b 모델과 함께 UltraFeedback 데이터셋을 사용하여 실험을 진행하였으며, RewardBench, AlpacaEval-2, UltraRM 승률로 평가하였다.

• 판별 성능: DPO-PoP-Iter는 테스트 분류 정확도(UltraFeedback에서 약 80%)에서 가장 높은 수치를 기록하며, 실제 정답 마진(ground-truth margins)을 사용하는 베이스라인보다 약 8%포인트 높은 성능을 보였다. 그러나 강한 선호에 대한 정답 마진과의 상관관계는 낮았다.
• 생성 성능: DPO-PoP-Random은 정답 마진을 사용하는 베이스라인을 포함한 모든 모델을 일관되게 능가하는 생성 지표를 보여주었다.
  • AlpacaEval 2.0에서 DPO-PoP-Random은 14.2%의 승률을 기록하여, 가장 가까운 경쟁 모델(12.4%)보다 유의미하게 높은 성과를 냈다.
  • RewardBench에서 DPO-PoP-Random은 가장 높은 종합 점수를 확보하여 Chat, Safety, Reasoning 카테고리 전반에서 안정성을 입증했다.
• 소규모 데이터 환경: 저데이터 설정에서 DPO-PoP-Random은 DPO-margin-gt 대비 승률을 17%포인트 향상시켜, PoP 주석이 제한된 데이터에서도 효과적임을 시사했다.
• LLM 주석: PoP 레이블을 정답 점수가 아닌 LLM(GPT-4.1-mini)을 통해 생성했을 때도 DPO-PoP-Random은 견고한 성능을 유지하여, 이 접근 방식의 실질적인 실행 가능성을 검증했다.

의의 및 주장

본 논문은 DPO-PoP가 RLHF에서 수치적 레이팅 척도 주석에 대한 실용적이고 효과적인 대안을 제공한다고 주장한다. 선호에 대한 비교 판단을 활용함으로써, 이 방법은 주석 작성자 간에 더 신뢰할 수 있게 보정된 미세한 마진 정보를 추론한다.

이 연구의 의의는 판별-생성 트레이드오프를 탐색하는 데 있다:

• 도메인 내 높은 분류 정확도를 원하는 실무자는 Iterative Sampling을 사용할 수 있다.
• 고품질 텍축 생성과 분포 변화에 대한 강건성을 우선시하는 실무자는 Random Sampling을 사용할 수 있다.

저자들은 이 접근 방식이 복잡한 보상 모델링이나 강화 학습 루프를 요구하지 않으며, 최소한의 계산 오버헤드(추가적인 포워드 패스 하나)로 기존 DPO 파이프라인에 매끄럽게 통합된다는 점을 강조한다. 이 연구는 "선호에 대한 선호도"가 LLM 정렬을 개선하기 위한 인지적으로 자연스럽고 정보가 풍부한 신호임을 시사한다.