Scaling Reward Modeling without Human Supervision

이 논문은 인간 감독 없이 대규모 웹 코퍼스를 기반으로 선호도 학습을 수행하는 '보상 기반 확장 (RBS)' 기법을 제안하여, 인간 주석 없이도 RewardBench 점수를 크게 향상시키고 하류 작업의 성능을 개선할 수 있음을 입증합니다.

핵심

이 논문은 **"인간이 일일이 가르치지 않아도 AI 가 스스로 더 똑똑하고 안전한 말을 배울 수 있을까?"**라는 질문에 대한 흥미로운 답을 제시합니다.

기존의 AI 학습 방식은 마치 엄마가 아이에게 "이건 좋은 말, 이건 나쁜 말"이라고 일일이 알려주는 것과 비슷합니다. 하지만 이 방식은 비용이 너무 많이 들고, 사람마다 기준이 달라서 일관성이 없다는 문제가 있었습니다.

이 연구팀은 **"인터넷에 떠도는 수천만 개의 글만으로도 AI 가 스스로 '옳음'과 '그름'을 구분하는 법을 배울 수 있다"**는 것을 증명했습니다.

---

🍕 비유로 이해하는 이 연구의 핵심

1. 기존 방식: "엄마의 지도" (기존 RLHF)

기존에는 AI 에게 답변을 여러 개 만들어내고, 인간이 "이게 더 좋아요"라고 표시해주면 AI 가 그걸 배웠습니다.

• 문제점: 인간이 일일이 표시해주려면 돈도 많이 들고, 사람마다 취향이 달라서 AI 가 혼란을 겪기도 합니다. 마치 100 명 이상의 엄마가 아이에게 서로 다른 규칙을 가르쳐서 아이가 미쳐버리는 상황과 같습니다.

2. 이 연구의 방식: "자연스러운 흐름" (RBS - Reward-Based Scaling)

연구팀은 인간이 개입하지 않고, 인터넷에 있는 수학 문제와 해설 글을 이용했습니다.

• 비유: imagine 완성된 요리책을 보세요.
  • 전체 문장 (Prefix): "계란을 3 개 깨서..."
  • 자연스러운 다음 문장 (Suffix): "...볼에 넣고 휘저어 주세요." (이건 정답, AI 가 선택한 '좋은' 답변)
  • 어색한 다음 문장 (Negative): "...그냥 먹어 버리세요." (이건 오답, AI 가 배척한 '나쁜' 답변)

AI 는 수많은 요리책 (인터넷 데이터) 을 읽으면서, "자연스러운 흐름 (정답)"과 "어색한 흐름 (오답)"을 스스로 구별하는 법을 배웁니다. 인간이 "이게 좋아!"라고 말해주지 않아도, 글의 흐름이 자연스럽게 이어지는지만 보면 AI 는 스스로 "아, 이게 맞는 말이구나"라고 깨닫는 것입니다.

3. 핵심 기술: "동일한 반 (Batch) 의 친구들"

AI 는 한 번에 여러 개의 문장 조각을 보고 비교합니다.

• 상황: "계란을 3 개 깨서..."라는 문장이 주어졌을 때, 같은 반에 있는 다른 문장들 ("...그냥 먹어 버리세요", "...냉장고에 넣으세요") 과 비교합니다.
• 학습: AI 는 "아, '휘저어 주세요'가 가장 자연스럽게 이어지네. 나머지는 어색하구나"라고 스스로 판단하며 점수를 매깁니다. 이를 수백만 번 반복하면 AI 는 인간이 가르치지 않아도 '옳은 말'을 알아내는 **감 (Reward Model)**을 갖게 됩니다.

---

🚀 이 연구가 가져온 놀라운 결과

1. 비용 절감: 인간이 일일이 표시해 줄 필요 없이, 무료로 구할 수 있는 인터넷 데이터만으로도 훌륭한 AI 평가자가 만들어졌습니다.
2. 범용성: 이 방법은 수학 문제에만 국한되지 않습니다. 수학 데이터로 훈련된 AI 평가자가 **안전성 (폭력적인 말 거부)**이나 일반적인 대화에서도 잘 작동했습니다. 마치 수학 문제를 잘 푸는 아이가 논리력을 바탕으로 다른 과목도 잘 푸는 것과 같습니다.
3. 성능: 이 '스스로 배운 AI 평가자'는 인간이 만든 데이터로 훈련된 최신 AI 평가자들과 비슷하거나 더 좋은 성능을 보여주었습니다.

💡 결론: 왜 이것이 중요한가요?

이 연구는 **"인간의 개입 없이도 AI 는 거대한 데이터 속에서 스스로 '선 (善)'과 '악 (惡)', '옳음'과 '그름'을 학습할 수 있다"**는 것을 보여줍니다.

앞으로 AI 를 더 안전하고 똑똑하게 만들기 위해 수천억 원의 비용이 드는 인간 평가자를 고용할 필요가 줄어들 수 있습니다. 대신 인터넷에 쌓인 방대한 지식을 활용하여, AI 가 스스로 성장할 수 있는 길을 연 것입니다.

한 줄 요약:

"엄마 (인간) 가 일일이 가르치지 않아도, 아이 (AI) 가 도서관 (인터넷) 에 가서 책 (데이터) 을 읽으며 스스로 옳고 그름을 배울 수 있다!"

기술 요약

1. 문제 정의 (Problem)

최근 최첨단 언어 모델 (LLM) 의 능력 향상과 안전성 확보를 위해 인간 피드백을 통한 강화학습 (RLHF) 이 핵심적인 역할을 하고 있습니다. 그러나 RLHF 의 효과성은 다음과 같은 심각한 제약에 직면해 있습니다.

• 비용 및 확장성 문제: 고품질의 선호도 데이터셋 (Preference Dataset) 을 구축하기 위해서는 막대한 인력과 비용이 소요됩니다.
• 데이터 품질 및 노이즈: 인간의 주관성, 일관성 부족, labeling 오류로 인해 데이터에 노이즈가 발생할 수 있으며, 이는 보상 모델 (Reward Model, RM) 을 잘못된 방향으로 유도할 수 있습니다.
• 보상 해킹 (Reward Hacking): 불완전한 보상 모델을 최적화하는 과정에서 모델이 의도하지 않은 해킹 행동을 하거나, 안전성을 우회하는 등 심각한 정렬 실패 (Misalignment) 가 발생할 위험이 있습니다.

이러한 문제들을 해결하기 위해, 인간의 명시적인 감독 없이 대규모 웹 텍스트만으로 보상 모델을 학습할 수 있는지를 탐구하는 것이 본 연구의 핵심 동기입니다.

2. 방법론 (Methodology)

저자들은 보상 기반 확장 (Reward-Based Scaling, RBS) 이라는 새로운 프레임워크를 제안합니다. 이는 인간의 라벨링 없이 대규모 웹 코퍼스에서 암시적 선호 신호 (Implicit Preference Signals) 를 추출하여 보상 모델을 학습하는 방식입니다.

핵심 알고리즘: 온라인 연속성 기반 선호도 학습

1. 데이터 변환 (Prefix-Suffix Splitting):

   • 대규모 웹 텍스트 (수학 관련 데이터) 를 임의의 지점에서 끊어 프롬프트 (Prefix) 와 연속어 (Suffix) 쌍을 생성합니다.
   • 원본 텍스트의 연속어는 "선택된 응답 (Chosen Response)"으로, 같은 배치 (Batch) 내의 다른 텍스트 조각들은 "거부된 응답 (Rejected Response)"으로 간주합니다.
   • 이를 통해 인간 라벨 없이도 온라인 (Online) 으로 선호도 쌍 (Preference Pairs) 을 무한히 생성할 수 있습니다.

2. 학습 목표 (Bradley-Terry Objective with Regularization):

   • Bradley-Terry 손실 함수: 선택된 응답의 점수가 거부된 응답보다 높도록 최적화합니다.
     $$\mathcal{L}_{BT} = -\log \sigma(s_\theta(p_i, r_i) - s_\theta(p_i, r_j))$$
   • 점수 중심화 정규화 (Score-Centering Regularizer): 웹 데이터의 노이즈로 인해 보상 점수의 크기가 과도하게 커지거나 (Overconfidence) 편향되는 것을 방지하기 위해, 선택된 응답과 거부된 응답의 점수 제곱 합을 패널티로 부과합니다.
     $$\mathcal{L}_{center} = \mathbb{E}[s_\theta(p_i, r_i)^2 + s_\theta(p_i, r_j)^2]$$
   • 최종 손실 함수는 \mathcal{L} = \mathcal{L}_{BT} + c \cdot \mathcal{L}_{center 입니다.

3. 데이터 처리 전략:

   • 배치 크기 (Batch Size): 배치 내 교차 쌍 (Cross-pairs) 을 활용하여 부정적 샘플 (Negatives) 의 수를 $B(B-1)$ 개로 늘려 학습 효율을 극대화합니다.
   • 문장 분할 (Sentence Splitting): 문장 경계를 유지하거나 깨뜨리는 방식 중, 문장을 깨뜨리는 방식이 더 어려운 부정적 샘플을 생성하여 학습 성능을 향상시킵니다.

3. 주요 기여 (Key Contributions)

• 인간 감독 없는 보상 모델 학습의 가능성 입증: 11M 토큰 규모의 수학 중심 웹 데이터만으로 학습한 보상 모델이 인간이 라벨링한 데이터로 학습된 모델과 경쟁력 있는 성능을 보임을 증명했습니다.
• RBS 프레임워크 제안: 웹 텍스트의 구조적 특성 (다음 토큰 예측) 을 활용하여 선호도 데이터를 생성하는 간단하지만 확장 가능한 방법을 제시했습니다.
• 강한 일반화 능력: 학습된 보상 모델이 훈련 도메인 (수학) 을 넘어 안전성 (Safety) 및 일반 지시 따르기 (Instruction Following) 과 같은 OOD (Out-of-Distribution) 영역에서도 성능 향상을 보였습니다.
• 하류 작업 (Downstream Tasks) 에의 효과: Best-of-N 선택 및 정책 최적화 (GRPO) 시, 학습된 보상 모델이 수학 문제 해결 능력을 크게 향상시켰습니다.

4. 실험 결과 (Results)

• RewardBench 성능:
  • RewardBench v2 에서 평균 7.7 점 향상 (최대 16.1 점, 수학 도메인 내).
  • 안전성 (Safety) 및 일반 (General) 하위 집합에서도 일관된 개선을 보였습니다.
  • 다양한 초기화 백본 (Llama-3.2, Qwen2.5 등) 과 모델 규모 (1B~7B) 에서 일관된 성능 향상을 확인했습니다.
• Best-of-N (BoN) 선택:
  • 학습된 보상 모델을 사용하여 생성된 후보 중 최상의 응답을 선택할 때, GSM8K 및 MATH500 데이터셋에서 정확도가 크게 향상되었습니다.
  • 특히 모델 크기가 커질수록 성능 향상이 뚜렷하게 나타났습니다.
• 정책 최적화 (GRPO):
  • 학습된 보상 모델을 GRPO 의 보상 신호로 사용하여 Llama-3.1-8B 및 Llama-3.2-3B 모델을 미세 조정 (Fine-tuning) 한 결과, MATH 및 GSM8K 테스트 정확도가 Skywork-Reward-V2와 같은 강력한 감독 기반 보상 모델 기반선 (Baseline) 과 경쟁하거나 이를 능가하는 결과를 보였습니다.
  • 무작위 초기화 된 보상 모델보다 학습된 모델이 항상 더 나은 성능을 내어, 학습된 보상 신호의 유효성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 비용 효율성과 확장성: 고비용의 인간 라벨링 없이도 대규모 웹 텍스트에서 잠재된 선호 신호를 추출하여 고품질 보상 모델을 구축할 수 있음을 보여주었습니다.
• 신뢰성 있는 정렬: 인간 피드백의 노이즈와 편향을 줄일 수 있는 대안적인 경로를 제시하며, RLHF 파이프라인의 확장성을 높입니다.
• 미래 전망: 본 연구는 인간 피드백을 완전히 대체하기 위한 것이 아니라, 인간 피드백의 비용을 줄이고 범위를 확장하는 보조적 기반 (Complementary Foundation) 으로 작용할 수 있음을 시사합니다. 또한, 대규모 텍스트 코퍼스 자체가 이미 상당량의 정렬 정보를 포함하고 있을 가능성을 제시합니다.

요약하자면, 이 논문은 인간의 명시적 개입 없이도 대규모 웹 데이터를 통해 효과적이고 확장 가능한 보상 모델을 학습할 수 있음을 실증적으로 증명하였으며, 이는 향후 더 안전하고 비용 효율적인 AI 모델 개발을 위한 중요한 이정표가 될 것입니다.