Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 인간 정렬 (Alignment) 은 Reinforcement Learning from Human Feedback (RLHF) 을 통해 이루어지며, 이 과정에서 **Reward Model (RM)**은 인간의 선호도를 반영하는 핵심 메커니즘으로 작용합니다. 그러나 기존 연구와 벤치마크는 다음과 같은 한계를 가지고 있습니다:

• 일반적 선호도 중심: 기존 벤치마크 (예: RewardBench) 는 정확성, 관련성, 유용성 등 보편적인 '일반적 품질'에 초점을 맞추고 있습니다.
• 개인화 부재: 개별 사용자의 고유한 배경 지식, 스타일적 선호도, 특정 제약 조건 등을 고려한 **개인화된 선호도 (Personalized Preferences)**를 평가하는 도구가 부족합니다.
• 하류 작업과의 괴리 (Proxy Gap): 정적 벤치마크에서의 높은 정확도가 실제 정책 최적화 (Policy Optimization) 나 Best-of-N (BoN) 과 같은 하류 작업의 성능 향상으로 이어지는지 검증된 바가 드뭅니다.
• 데이터 편향: 기존 벤치마크의 '거부된 (Rejected)' 응답은 종종 저품질 모델에서 생성되거나 오류를 인위적으로 주입하여 만들어지는데, 이는 일반 품질이 낮기 때문에 거부된 것이지, 개인적 선호도와 무관할 수 있습니다.

2. 방법론 (Methodology)

저자들은 Personalized RewardBench라는 새로운 벤치마크를 제안하며, 다음과 같은 혁신적인 데이터 구축 및 평가 방식을 도입했습니다.

A. 데이터 구축 (Dataset Construction)

• 기반 데이터: LaMP-QA(개인화 질문 답변) 데이터셋을 활용하여 'Arts & Entertainment', 'Lifestyle & Personal Development', 'Society & Culture' 등 세 가지 고변동성 도메인에서 데이터를 구성했습니다.
• 사용자 프로필 (User Profile): 사용자의 과거 질문 및 상호작용 기록을 Contriever 를 통해 검색하여 추출한 히스토리 ($u$) 를 프로필로 정의합니다.
• 선호도 쌍 생성 (Preference Pairs):
  • 선택된 응답 ($y_c$): 사용자 프로필과 특정 **개인화 루브릭 (Personal Rubrics, $R_u$)**을 엄격히 준수하도록 생성합니다.
  • 거부된 응답 ($y_r$): 동일한 질문과 프로필을 기반으로 하되, 루브릭을 의도적으로 위반하도록 생성합니다.
  • 핵심 특징: 거부된 응답은 사실적 정확성이나 문법적 유창성 (General Quality) 이 매우 높지만, 사용자의 개인적 기준을 충족하지 못한다는 점에서만 거부됩니다. 이는 일반 품질이 아닌 '개인적 정렬'이 유일한 차별 요소임을 보장합니다.

B. 인간 평가 (Human Evaluation)

• 생성된 데이터의 품질을 검증하기 위해 Factuality, Relevance, Helpfulness 등 일반 품질 지표와 Personal Rubrics 준수를 평가했습니다.
• 결과: 선택된 응답과 거부된 응답 모두 일반 품질 지표에서 높은 점수 (4.5 이상) 를 받았으나, Personal Rubrics 항목에서만 선택된 응답이 압도적으로 높은 점수를 받았습니다. 이는 두 응답의 차이가 오직 개인적 선호도 준수 여부에 있음을 입증했습니다.

C. 사용자 프로필 처리 전략

• 일반 Reward Model 은 프로필 데이터를 직접 처리하는 데 어려움을 겪습니다.
• Planner 모듈 도입: 사용자 히스토리에서 현재 쿼리에 맞는 '추정된 루브릭 ($\tilde{R}_u$)'을 추론하는 Planner 를 학습시켜, Reward Model 에 구조화된 루브릭을 입력으로 제공합니다. 이는 원시 프로필을 직접 주입하는 것보다 성능이 훨씬 뛰어났습니다.

3. 주요 기여 (Key Contributions)

1. Personalized RewardBench 제안: 사용자 프로필과 개인화 루브릭을 명시적으로 통합한 최초의 Reward Model 벤치마크입니다. 이는 개인화 QA 의 최종 목표에 부합하는 평가 체계를 제공합니다.
2. 엄격한 인간 검증: 선택/거부 응답 쌍이 일반 품질은 동일하지만 개인적 정렬만 다르다는 것을 인간 평가를 통해 입증했습니다.
3. 하류 작업과의 상관관계 검증: 기존 벤치마크보다 본 벤치마크의 점수가 실제 정책 모델의 성능 (BoN, PPO) 과 훨씬 높은 상관관계를 보임을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 기존 모델의 한계: 최신 Reward Model 들 (Skywork, InternLM, RM-R1, Claude, GPT 등) 을 평가한 결과, 개인화된 선호도를 구분하는 데 어려움을 겪었습니다. 최상위 모델 (Gemini-3-Flash) 의 정확도조차 **75.94%**에 그쳤습니다.
• 모델 규모와 성능의 불일치: 모델 파라미터 수가 증가한다고 해서 개인화 성능이 비례하여 향상되지 않았습니다. 오히려 작은 모델이 더 좋은 성능을 보이는 경우도 있어, 개인화 정렬은 단순한 규모가 아닌 특수한 학습 목표가 필요함을 시사합니다.
• 하류 작업 상관관계 (Correlation with Downstream Performance):
  • Best-of-N (BoN) 및 PPO 설정에서 Reward Model 의 벤치마크 순위와 실제 정책 모델의 성능 순위 간의 상관관계를 측정했습니다.
  • Personalized RewardBench는 Chatbot Arena-Personalized 나 PRISM 과 같은 기존 벤치마크에 비해 NDCG, Spearman's $\rho$, Weighted $\tau$ 등 모든 지표에서 압도적으로 높은 상관관계를 보였습니다. 이는 본 벤치마크가 실제 모델 성능을 예측하는 더 강력한 지표임을 의미합니다.

5. 의의 및 결론 (Significance)

• 새로운 표준 제시: 개인화된 LLM 개발에 있어 '일반적 품질'이 아닌 '사용자별 정렬'을 평가할 수 있는 표준 벤치마크를 제시했습니다.
• 개인화 격차 (Personalization Gap) 발견: 현재 SOTA 모델들도 사용자의 고유한 니즈를 파악하는 데 한계가 있음을 드러내어, 향후 연구의 방향성을 제시했습니다.
• 실용적 가치: 정적 벤치마크 점수가 실제 RLHF 파이프라인 (PPO 등) 의 성공 여부를 예측할 수 있음을 입증함으로써, 효율적인 Reward Model 선별 및 개발을 가능하게 합니다.

결론적으로, 이 논문은 LLM 의 정렬이 보편적 기준을 넘어 개별 사용자의 맥락과 선호도에 기반해야 함을 강조하며, 이를 평가하고 개선하기 위한 견고한 프레임워크를 제공합니다.