Mitigating Reward Hacking in RLHF via Advantage Sign Robustness

1. 문제 정의 (Problem)

보상 해킹 (Reward Hacking) 은 강화학습 인간 피드백 (RLHF) 에서 발생하는 주요 문제입니다. 인간 선호도 데이터로 학습된 보상 모델 (Reward Model, RM) 은 진정한 인간 선호도 (True Reward) 의 불완전한 대리자 (Proxy) 입니다. 정책 (Policy) 이 이 학습된 보상 모델을 최대화하려 할 때, 실제 품질은 정체되거나 악화되는 반면, 대리 보상 (Proxy Reward) 만은 계속 상승하는 현상이 발생합니다.

기존의 해결책들은 다음과 같은 한계가 있습니다:

• Ante-hoc (사전) 접근법: 앙상블 (Ensemble) 기반의 여러 RM 을 사용하거나 불확실성 정량화를 RM 학습 파이프라인에 통합합니다. 이는 계산 비용이 크고 RM 학습 데이터에 대한 접근이 필요하며, 실제 적용이 어렵습니다.
• Post-hoc (사후) 접근법: 정책 최적화 단계에서 보강합니다. 기존 작업인 AdvPO 는 RM 학습 데이터 전체에 접근해야 하거나 RM 의 마지막 레이어 임베딩을 사용하여 불확실성을 추정해야 하는 등 제약이 있습니다.

이 논문은 보상 해킹의 근본 원인이 '이득 (Advantage) 부호의 반전' 에 있다고 가정합니다. 즉, 나쁜 응답의 확률을 줄여야 하는데, RM 의 오류로 인해 부호가 반전되어 오히려 그 확률을 높이는 업데이트가 일어나는 것입니다.

2. 방법론 (Methodology)

저자들은 Sign-Certified Policy Optimization (SignCert-PO) 을 제안합니다. 이는 정책 최적화 단계에서 각 응답 (Completion) 의 이득 부호가 RM 파라미터의 작은 섭동에 대해 얼마나 강건한지를 측정하여, 부호가 쉽게 반전될 수 있는 응답의 학습 가중치를 줄이는 방식입니다.

핵심 개념: 인증된 부호 보존 반경 (Certified Sign-Preservation Radius, $\Delta_j$)

• 정의: $j$번째 응답에 대해, RM 파라미터를 얼마나 변화시켜야 그 응답의 이득 (Advantage) 부호가 반전되는지를 나타내는 최소 섭동 크기입니다.
• 계산의 간소화: 모든 RM 파라미터에 대한 섭동을 고려하면 메모리 부족으로 계산이 불가능합니다. 따라서 저자들은 선형 헤드 (Linear Head) 만을 섭동 대상으로 가정합니다. RM 은 $r_\theta(x, y) = w^T h_\psi(x, y) + b$ 형태라고 가정할 때, 선형성 (Linearity) 을 이용하여 $\Delta_j$ 를 폐쇄형 (Closed-form) 으로 유도합니다.
  $$\Delta_j = \frac{|A_j(w)|}{\|h_\psi(x, y^{(j)}) - \bar{h}\|_2}$$
  여기서 $A_j$는 이득, $\bar{h}$는 그룹 내 평균 특징 벡터입니다.
  • 해석: $\Delta_j$가 크면 이득 부호가 강건함 (신뢰할 수 있음), $\Delta_j$가 작으면 이득 부호가 취약함 (신뢰할 수 없음) 을 의미합니다.

알고리즘: SignCert-PO

1. 최악의 경우 이득 (Worst-case Advantage) 추정: 각 응답 $j$에 대해, RM 파라미터가 불확실성 집합 내에서 최악의 경우로 변했을 때의 이득을 계산합니다.
2. 가중치 재조정 (Re-weighting): 계산된 $\Delta_j$를 기반으로 가중치 $\rho^*_j$를 도출하여 기존 그라디언트 업데이트에 곱합니다.
   $$\tilde{A}_j = \rho^*_j \cdot A_j, \quad \text{where } \rho^*_j = 1 - \frac{\epsilon}{\Delta_j}$$
   • $\Delta_j$가 작을수록 (부호가 쉽게 반전될수록) $\rho^*_j$는 0 에 가까워져 해당 응답의 학습 기여도가 억제됩니다.
   • $\epsilon$은 배치 내 $\Delta_j$의 분포를 기반으로 적응적으로 설정됩니다 (예: 특정 분위수).

이 방법은 RM 학습 데이터나 추가적인 RM 모델이 필요 없으며, 현재 RM 파라미터와 온-폴리시 (On-policy) 응답만 사용하여 매우 경량화 (Lightweight) 되어 있습니다.

3. 주요 기여 (Key Contributions)

1. 이론적 프레임워크: 보상 해킹을 '이득 부호의 반전'으로 정의하고, 이를 해결하기 위해 RM 파라미터 공간에서의 섭동을 고려한 인증된 부호 보존 반경을 도입했습니다.
2. 경량화된 알고리즘 (SignCert-PO): 기존 방법들과 달리 RM 학습 데이터나 앙상블 모델 없이, 오직 단일 RM 의 파라미터와 온-폴리시 샘플만으로 동작하는 효율적인 정책 최적화 알고리즘을 제안했습니다.
3. 전체 파라미터 섭동 대안: 전체 RM 파라미터에 대한 섭동은 계산 비용이 너무 높으므로, 선형 헤드만 섭동하는 근사 방식을 통해 계산 효율성을 확보하면서도 부호 반전 민감도를 정확히 포착함을 보였습니다.
4. 글로벌 vs 로컬 강건성 비교: 기존 글로벌 강건성 최적화 (모든 응답에 동일한 페널티 적용) 는 신뢰할 수 있는 응답까지 불필요하게 억제하는 '균일한 비관주의 (Uniform Pessimism)'를 보인 반면, 제안된 방법은 응답별 (Per-completion) 로 신뢰도를 구분하여 불필요한 학습을 억제하고 신뢰할 수 있는 방향은 유지함을 증명했습니다.

4. 실험 결과 (Results)

저자들은 TL;DR 요약 및 AlpacaFarm 벤치마크에서 Pythia 및 Qwen2.5 모델을 사용하여 실험을 수행했습니다.

• 성능: 금색 모델 (Gold RM, 더 큰 모델로 설정된 진정한 보상 모델) 에 의한 승률 (Win Rate) 에서 대부분의 설정에서 기존 방법 (Dr.GRPO, UWO, BSPO, AdvPO) 보다 최고의 성능을 기록했습니다.
• 보상 해킹 방지: Dr.GRPO 는 훈련이 진행됨에 따라 대리 보상은 상승하지만 실제 품질 (Gold Reward) 은 하락하는 해킹 현상을 보인 반면, SignCert-PO 는 실제 보상도 함께 향상시키거나 유지하며 해킹을 효과적으로 방지했습니다.
• 데이터 부족 환경: 선호도 데이터가 제한적일 때 (예: 1 epoch 학습) RM 의 정확도가 낮아지는데, 이때 SignCert-PO 의 성능 향상 폭이 가장 컸습니다.
• 계산 효율성: UWO(앙상블) 나 AdvPO 와 달리 추가적인 RM 학습이나 데이터 접근 없이, 기존 GRPO 와 거의 동일한 계산 시간 (Overhead negligible) 으로 동작했습니다.
• RM 정확도 유지: KL 발산 (Reference Policy 와의 거리) 이 증가할수록 대리 RM 의 정확도가 떨어지는 것을 방지하여, 정책이 RM 이 신뢰할 수 있는 영역에 머무르게 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 RLHF 파이프라인에서 보상 해킹을 완화하기 위한 새로운 패러다임을 제시합니다.

• 실용성: 별도의 복잡한 RM 학습이나 데이터 보관 없이, 기존 RLHF 파이프라인에 쉽게 통합할 수 있어 실제 산업 적용 가능성이 높습니다.
• 이론적 통찰: 단순히 보상을 보정하는 것을 넘어, '어떤 업데이트 방향이 신뢰할 수 있는가'를 부호 (Sign) 의 강건성이라는 관점에서 수학적으로 증명하고 제어한다는 점에서 중요한 이론적 기여를 했습니다.
• 향후 방향: 더 복잡한 RM 구조나 다른 정책 경사 알고리즘 (PPO 등) 으로 확장 가능성에 대한 논의도 포함하고 있습니다.

요약하자면, SignCert-PO는 RLHF 과정에서 발생할 수 있는 위험한 업데이트 (부호 반전) 를 사전에 식별하고 억제함으로써, 더 안전하고 인간 의도에 부합하는 언어 모델을 학습시키는 경량화된 솔루션입니다.