기술 요약: RLHF 보상 모델 교정을 위한 PEBS

문제 정의

강화 학습으로부터의 인간 피드백(RLHF)은 일반적으로 수천 명의 주석가(annotator)로부터 얻은 선호도를 단일 글로벌 보상 모델(RM)로 집계한다. 표준 파이프라인은 모든 평점을 하나의 가능도 함수(likelihood function)로 통합하여 단일 글로벌 아핀 교정기(기울기와 오프셋)를 적합시킨다. 이러한 접근 방식은 체계적으로 다른 오프셋과 기울기를 사용하는 0–100 평점 척도를 사용하는 주석가들을 하나의 "평균 주석가" 적합 모델로 붕괴시킨다. 결과적으로, 생성된 모델은 개별 주석가의 교정에 부합하지 않으며, 교정의 이질성을 보상 신호와 혼동하게 된다. 이러한 개별 주석가 정확도의 저하는 전체 집계 모델의 정확도가 높더라도 지속되며, 이는 DPO(Direct Preference Optimization) 및 PPO(Proximal Policy Optimization)에서 사용되는 교정 민감형 손실 함수에 잠재적인 해를 끼칠 수 있다.

방법론: PEBS

본 논문은 베이스 보상 모델을 재학습하지 않고도 주석사별 아핀 교정을 수정하기 위해 설계된 폐쇄형(closed-form), 사후(post-hoc) 추정량인 PEBS(Per-rater Empirical-Bayes Shrinkage)를 제안한다.

핵심 메커니즘

PEBS는 공유된 보상 모델 $\hat{r}_\phi$의 출력을 기반으로 작동한다. 각 주석사 $j$에 대해, 해당 주석사의 연속적 선호 점수 $s_{ji}$를 모델의 스칼라 예측에 대한 선형 변환으로 모델링한다:
$$s_{ji} = \alpha_j \hat{r}_\phi(x_{ji}) + \beta_j + \epsilon_{ji}$$
여기서 $\alpha_j$는 주석사별 곱셈 기울기이며, $\beta_j$는 가산 오프셋이다.

절차는 3단계 과정을 따른다:

1. 로컬 추정(Local Estimation): 충분한 데이터($n_j \geq 6$ in PRISM)를 가진 각 주석사에 대해, 국소 매개변수 $(\hat{\alpha}^{OLS}_j, \hat{\beta}^{OLS}_j)$를 추정하기 위해 최소제곱법(OLS)을 사용한다.
2. 분산 추정(Variance Estimation): 모멘트법(Method-of-moments, MoM)을 사용하여 인구 집단 전체의 국소 매개변수에 대한 교차 클러스터 분산($\hat{\tau}^2$)을 추정한다.
3. 경험적 베이즈 수축(Empirical-Bayes Shrinkage): 로컬 추정치를 Morris–James–Stein 경험적 베이즈 가중치를 사용하여 인구 평균($\alpha_{pop}, \beta_{pop}$) 방향으로 수축시킨다:
   $$\hat{\alpha}^{shrunk}_j = \omega_j \hat{\alpha}^{OLS}_j + (1 - \omega_j) \alpha_{pop}$$
   여기서 $\omega_j = \hat{\tau}^2 / (\hat{\tau}^2 + V(\hat{\alpha}^{OLS}_j))$이다. 이 가중치는 샘플링 분산이 높은 주석사(일반적으로 평점 수가 적은 경우)의 가중치를 자동으로 낮춘다.

이론적 특성

• 쌍-정확도 불변성(Pair-Accuracy Invariance): Proposition 1은 수축된 기울기가 양수(+)를 유지한다면, 아핀 맵이 엄격하게 단조(monotone)임을 입증한다. 따라서 PEBS는 응답의 순위(argmax)를 보존하며, 쌍-정확도 벤치마크(예: RewardBench 2)를 변경하지 않는다. 이 방법의 가치는 오직 RMSE와 같은 교정 민감형 지표를 개선하는 데 있다.
• 오라클 부등식(Oracle Inequality): Theorem 1은 기울기 수축에 대한 오라클 부등식을 제공하며, PEBS 추정량의 리스크가 실제 분산을 알고 있는 오라클 추정량의 $(1 + c/J)$ 인자 내에 머무름을 증명한다(명시적 상수 $c$ 포함).
• 예측기(Forecaster): 폐쇄형 Morris $g$-함수를 통해 실무자가 짧은 파일럿 샘플만을 사용하여 PEBS를 새로운 코퍼스에 적용했을 때의 잠재적 RMSE 이득을 예측할 수 있으며, 이는 연속 평점 코퍼스에서 0.2 퍼센트 포인트 이내의 오차로 검증되었다.

주요 기여

1. 폐쇄형 사후 교정(Closed-Form Post-Hoc Calibration): PEBS는 RLHF 파이프라인에 고전적 통계 교정 기법(Efron–Morris–James–Stein 부분 풀링)을 도입하며, 보상 모델의 스칼라 예측 하류(downstream)에서 모델 재학습 없이 작동한다.
2. 경험적 검증: 이 방법은 여러 데이터셋과 베이스 모델에 대해 내부 사용자 홀드아웃(held-out) RMSE를 유의미하게 감소시킴을 입증했다.
3. 범위 규정: 본 논문은 모델 아키텍처(Dense vs. MoE)와 훈련 헤드(Coherence vs. Verbosity) 사이의 특정 상호작용이 성공과 실패를 결정함을 식별함으로써, 방법론의 전이 가능성에 대한 경계를 엄격히 정의한다.
4. 인구통계학적 독립성: 분석 결과, 인구통계학적 그룹화(연령, 성별, 지역 등)가 개별 사용자 교정을 대체할 수 없음을 보여준다. 분산의 극히 일부만이 인구통계학적으로 설명되므로, 이질성은 개별 주석사 특유의 것임을 확인하였다.

실험 결과

• PRISM 데이터셋: Qwen-2.5-7B 베이스 모델을 사용한 PRISM 정렬 코퍼스에서, PEBS는 풀링된 인구 기울기(pooled population-slope) 베이스라인 대비 내부 사용자 홀드아웃 RMSE를 8.58% 감소시켰다. 이 개선은 통계적으로 유의미했으며($p < 10^{-108}$), 작은 샘플에서 과적합 문제를 겪는 단순 개별 사용자 OLS보다 우수한 성능을 보였다.
• 교차 코퍼스 복제: 이 방법은 PluriHarms(해로움 평점)에서 **9.66%**의 RMSE 감소를, HelpSteer2 속성에서도 효과를 보였으며, 풀링된 다중 코퍼스 데이터셋에서도 긍정적인 이득을 나타냈다.
• 베이스 모델 전이:
  • 성공: Qwen-2.5 제품군 내에서 성공적으로 전이되었으며, Phi-3-medium-14B 참조 모델에서도 성공적으로 전이되었다(5개 시드 평균 이득 +42.15%).
  • 실패/역전: "Coherence" 헤드로 훈련된 Llama 계열 Dense 베이스 모델에서는 부정적인 이득(예: Llama-3-8B에서 -171%)이 발생했다. 그러나 동일한 베이스 모델에 "Verbosity-only" 제어 실험을 수행했을 때는 긍합적인 이득을 회복하였는데, 이는 실패의 원인이 일반적인 verbosity 편향이 아니라 특정 coherence-head/dense-architecture 간의 상호작용 때문임을 시사한다.
• 다운스트림 영향: 사전 등록된 PPO 프로브에서, 교정되지 않은 보상 모델은 KL 발산이 $\geq 1.0$일 때 붕괴한 반면, PEBS로 수축된 암(arm)은 안정적으로 유지되었다.

의의 및 주장

본 논문은 PEBS를 단일 글로벌 RM이 개별 주석가를 제대로 대변하지 못하는 RLHF의 "측정 타당성 문제(measurement-validity problem)"에 대한 필수적인 교정책으로 규정한다.

• 선택 vs. 교정: 저자들은 PEBS가 선택(selection) 축(최선의 응답을 선택하는 것)이 아닌 교정(calibration) 축(점수의 스케일링 및 오프셋)을 다룬다는 점을 명확히 한다. 즉, 점수 크기에 의존하는 손실(RMSE, NLL)은 개선하지만, 순위 기반 지표는 변경하지 않는다.
• 다원적 정렬(Pluralistic Alignment): PEBS는 다원적 정렬의 네 번째 축인 **교정 이질성(calibration heterogeneity)**을 다룬다. 기존 연구들이 내용적 불일치(분포적, 조종 가능하거나 Overton 축)에 집중하는 반면, PEBS는 서로 다른 주석사들이 동일한 모델 출력을 서로 다른 개인적 척도로 매핑한다는 사실을 해결한다.
• 일반화에 대한 겸허함: 저자들은 이 절차가 모든 아키텍처에 대해 보편적으로 일반화되지 않는다고 명시적으로 밝힌다. Llama 계열 모델에서 관찰된 "부호 반전(sign-flip)"은 구조적 한계를 나타내며, 이 방법이 모든 RLHF 파이프라인을 위한 속성 불가지론적(attribute-agnostic) 해결책이라고 주장하지 않는다.
• 소수 주석가 트레이드오프: 논문은 표준적인 수축 트레이드오프를 인정한다. 즉, PEBS는 평균 성능을 향상시키지만, 데이터가 적은 주석사(종종 소외된 인구 집단)를 평균 쪽으로 공격적으로 수축시킨다. 저자들은 정책 결정이 희귀하고 진정한 극단 사례에 달려 있을 경우 소수 주석사 감사를 권장한다.

요약하자면, PEBS는 RLHF에서 개별 주석사의 예측 오류를 크게 줄이면서도 베이스 모델의 순위 특성을 유지하는, 계산 비용이 들지 않는 폐쇄형 방법론을 제공한다.