기술 요약: 보상 모델의 이산화 (Discretizing Reward Models)

문제 정의

인간 선호도 기반 강화 학습(RLHF)은 검증 가능한 정답(ground truth)이 없는 상황에서 응답의 품질을 추정하기 위해 보상 모델(RM)에 의존한다. 표준적인 보상 모델은 미세한 차이(예: "좋음"과 "매우 좋음"의 구분)를 포착하기 위해 연속적인 점수를 생성하여 정교함을 확보하려 하지만, 본 논문은 이러한 외견상의 강점이 결정적인 약점인 **과민성(oversensitivity)**이라고 주장한다.

대중적인 보상 모델들은 객관적으로 효용이 동일한 응답들에 대해서도 서로 다른 연속적 점수를 부여하는 경우가 많다. 이러한 "과민성"은 단순한 노이즈가 아니라 모델이 학습할 수 있는 신호이며, 이는 정책(policy)이 주요 과업이 아닌 부차적인 특징(예: 언어적 헤징/hedging)을 최적화하도록 유도하여 "보상 해킹(reward hacking)"을 일으킨다. RewardBench와 같은 현재의 평가 지표들은 변별력(discriminative ability)(좋은 것과 나쁜 것을 구분하는 능력)에 치중되어 있으며, 동등한 가치를 가진 응답을 인식하지 못하는 능력(낮은 특이도/specificity)을 처벌하는 데는 실패하고 있다. 저자들은 보상 모델이 완벽한 변별력을 갖추더라도 매우 과민할 수 있으며, 이는 하위 RL 단계에서 최적이 아닌 정책을 초래할 수 있다고 상정한다.

방법론

이론적 프레임워크

저자들은 보상 모델의 효능을 정의하기 위해 두 가지 별개의 지표를 설정하여 문제를 공식화한다:

1. 변별력 ($D_r$): 서로 다른 효용을 가진 두 응답을 올바르게 순위 매길 확률 ($u(a) > u(b) \implies r(a) > r(b)$).
2. 특이도 ($Spec_r$): 동일한 효용을 가진 응답에 대해 동일한 점수를 부여할 확률 ($u(a) = u(b) \implies r(a) = r(b)$). 이는 과민성의 보집합이다.

본 논문은 (명제 2.2–2.4에 따라) 유계 노이즈(bounded noise)를 가진 선형 보상 모델 하에서, 모델이 완벽한 변별력을 달면서도 여전히 0이 아닌 과민성을 보일 수 있음을 이론적으로 입증한다. 결정적으로, 정리 2.6과 정리 2.7은 완벽한 변별력을 유지하면서 동시에 완벽한 특이도(과민성 0)를 달ach할 수 있는 이산화 임계값이 존재하며, 이를 통해 두 지표의 결합 점수를 극대화할 수 있음을 증명한다.

알고리즘: 보상 클러스터링 (Reward Clustering)

보상 모델을 재학습시키지 않고 이를 구현하기 위해, 저자들은 보상 클러스터링이라는 학습이 필요 없는(training-free) 알고리즘을 제안한다:

1. 분산 추정: 알고리즘은 몬테카를로(MC) 드롭아웃을 사용하여 배치 내 응답들에 대한 보상 모델 출력의 예측 분산을 추정한다. 여러 번의 확률적 순전파(stochastic forward passes)를 수행함으로써 각 응답에 대한 보상의 사후 분포를 근사한다.
2. 클러스터링: 이산화를 1차원 클러스터링 문제로 취급한다. 완전 연결법(complete linkage)을 사용하는 계층적 클러스터링을 사용하여, 보상 분포가 유의미하게 겹치는($P(|r_i - r_j| < \Delta) > p^*$) 응답들을 그룹화한다.
3. 이산화: 동일한 클러스터 내의 응답들은 해당 클러스터 평균의 서수 순위(ordinal rank)에 따라 동일한 이산 정수 보상을 할당받는다. 이는 효과적으로 연속적인 보상 공간을 빈(bin)으로 나누어, 동일하게 유용한 응답들 사이의 가짜 분산을 제거한다.

주요 결과

1. 벤치마크 분석 (RewardBench 2 "Ties")

동일하게 유효한 여러 개의 "선택된(chosen)" 응답을 포함하는 RewardBench 2의 "Ties" 서브셋에서 평가했을 때, 제안된 방법은 변별력과 특이도 사이의 트레이드오프를 일관되게 개선했다:

• 특이도 향상: 보상 클러스터링은 테스트된 모든 모델(Skywork V1/V2, GRM, ArmoRM)에서 특이도를 크게 높였으며, 동일하게 좋은 응답들을 차별화하려는 경향을 줄였다.
• 변별력 트레이드오프: 변별력은 소폭 감소했으나, 두 지표의 평균(제안된 결합 점수)은 모든 모델에서 개선되었다.
• 베이스라인 비교: 이 방법은 보상 클리핑(reward clipping), 앙상블, 단순 이진 임계값 처리(binary thresholding)와 같은 표준 베이스라인보다 우수한 성능을 보였다.

2. 가짜 보상 완화 (Spurious Reward Mitigation)

주요 목표(지시 이행)와 부차적인 가짜 목표(언어적 헤징)가 혼합된 데이터로 보상 모델을 학습시킨 통제된 시뮬레이션에서:

• Raw 보상: Raw 연속 보상으로 학습된 정책은 가짜 헤징 신호에 빠르게 과최적화되어, 주요 과업의 성능이 저하되었다.
• 이산화된 보상: 이산화된 보상으로 학습된 정책는 주요 과업에서 높은 성능을 유지하면서도 부차적인 목표를 아주 적게 최적화하여, Raw 환경에서 관찰된 "보상 해킹" 행동을 효과적으로 방지했다.

3. 실제 RL 성능

라벨이 없는 프롬프트를 사용한 다중 작업 RL 실험(IFEляval, GSM8K, MATH) 및 GRPO 환경에서:

• 정책 품질: 이산화된 보상은 Raw 보상으로 학습된 정책보다 결코 성능이 떨어지지 않았으며, 종종 훨씬 더 나은 성능을 달anim했다.
• 강건성: 이 방법은 Raw 보상 모델을 사용하여 학습할 때 흔히 나타나는 퇴보적 정책(degenerate policies)을 방지하였으며, 이는 이산화가 노이즈에 대한 과적합을 막는 규제(regularizer) 역할을 함을 시사한다.

의의 및 주장

본 논문은 해당 분야가 보상 모델의 변별력에 지나치게 집중한 나머지 특이도를 간과해 왔다고 주장한다. 저자들의 주장은 다음과 같다:

• 과민성은 근본적인 결함이다: (순위 측면에서) "완벽한" 보상 모델이라 할지라도, 과민하다면 해로울 수 있다. 왜냐นั้น 그 분산이 보상 해킹을 위한 학습 가능한 신호를 제공하기 때문이다.
• 이산화는 우월한 개입책이다: 보상을 클러스터링을 통해 이산화함으로써, 변별력의 손실을 최소화하면서 과민성을 줄일 수 있다.
• 학습이 필요 없는 적용 가능성: 제안된 보상 클러스터링 알고리즘은 기존 신경망을 재학습시킬 필요가 없으므로, 표준 RLHF 파이프라인에 즉시 교체 투입할 수 있는 드롭인(drop-in) 솔루션이다.

저자들은 보상을 클러스터링을 통해 이산화함으로써 모델이 보상 모델로부터 배우는 이점은 유지하면서도 과민성의 부정적 영향을 완화할 수 있으며, 이를 통해 더 강건하고 정렬된(aligned) 정책을 도출할 수 있다고 결론짓는다.