Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

이 논문은 인간과 AI 의 시너지를 통해 4 천만 개의 선호도 데이터를 대규모로 선별한 'SynPref-40M'을 구축하고, 이를 기반으로 인간 선호도, 안전성, 객관성 등 다양한 측면에서 기존 오픈소스 보상 모델들을 압도하는 성능을 보이는 'Skywork-Reward-V2' 시리즈를 제안합니다.

핵심

🎓 핵심 주제: "AI 의 선생님"을 어떻게 더 똑똑하게 만들까?

AI 가 글을 쓰거나 코딩을 할 때, **"이 답변이 인간에게 더 만족스러울까?"**를 판단해주는 역할을 하는 AI 를 **'리워드 모델 (선생님)'**이라고 부릅니다. 이 '선생님'이 얼마나 잘 가르치느냐에 따라, 최종 AI 학생의 실력이 결정됩니다.

하지만 기존에 공개된 '선생님'들은 시험 점수는 좋지만, 실제 수업 (실제 대화) 을 시키면 엉뚱한 답을 하거나, 스타일만 보고 판단하는 등 약점이 많았습니다.

이 논문은 **"왜 기존 선생님들은 실력이 부족했을까?"**를 분석하고, "4 천만 개의 데이터를 인간과 AI 가 협력해서 완벽하게 다듬은 뒤" 새로운 선생님 (Skywork-Reward-V2) 을 만들어냈습니다. 그 결과, 이 새로운 선생님은 기존에 있던 어떤 선생님보다도 훨씬 똑똑해졌습니다.

---

🏗️ 어떻게 만들었을까? (두 단계의 협력 프로젝트)

연구팀은 거대한 데이터 (4 천만 개) 를 단순히 쌓아두는 게 아니라, **'인간의 눈'**과 **'AI 의 손'**이 협력하는 두 단계의 공정을 거쳤습니다.

1 단계: "소규모 정예 부대"의 훈련 (인간 + AI 협력)

• 상황: 처음에는 데이터가 너무 많고 질이 제각각이라서, AI 가 혼자 판단하면 엉터리가 될 수 있습니다.
• 해결책: 소수의 **전문가 (인간)**가 먼저 "이게 좋은 답이야, 저건 나쁜 답이야"라고 엄격하게 체크합니다.
• 협력: 이 전문가의 판정을 본 AI가 "아, 인간은 이렇게 생각했구나"라고 배워서, 비슷한 다른 데이터들도 자동으로 분류합니다.
• 비유: **명장 (인간)**이 제자 (AI) 를 가르쳐서, 제자가 명장의 눈으로 다른 작품들을 심사할 수 있게 만드는 과정입니다.

2 단계: "거대한 자동화 공장" 가동

• 상황: 1 단계에서 훈련된 AI 가 이제 4 천만 개의 데이터를 혼자서 처리합니다.
• 해결책: AI 가 판단한 결과와, 1 단계에서 만든 '명장용 기준 (Gold Model)'을 비교합니다.
  • 둘의 의견이 일치하면: "OK, 이 데이터는 믿고 쓰자!"
  • 둘의 의견이 다르면: "잠깐, 이 데이터는 다시 검토하거나 반대로 바꿔야겠다."
• 비유: **품질 관리 팀 (AI)**이 공장에서 나온 수백만 개의 제품을 검사합니다. 기준에 맞는 건 통과시키고, 의심스러운 건 다시 고치거나 버립니다. 인간은 더 이상 개입하지 않아도 됩니다.

---

🌟 이 새로운 '선생님' (Skywork-Reward-V2) 의 놀라운 능력

이렇게 만들어진 새로운 AI 선생님들은 기존에 없던 능력을 보여줍니다.

1. 작은 몸집, 큰 실력:

   • 보통 AI 는 몸집이 클수록 똑똑합니다. 하지만 이 연구팀은 80 억 개 (8B) 파라미터의 작은 모델로도, **700 억 개 (70B)**나 되는 거대 모델보다 더 좋은 성적을 냈습니다.
   • 비유: "키가 작은 천재가 거인보다 더 똑똑한 시험을 본 것"입니다. 데이터의 '양'보다 '질'이 중요하다는 것을 증명했습니다.

2. 스타일 속임수 간파:

   • 기존 AI 는 "글이 길고 화려하면 좋은 거야"라고 착각하는 경우가 많았습니다. 하지만 이 모델은 내용의 진정성을 봅니다.
   • 비유: "화려한 포장지에 속지 않고, 안의 과일이 신선한지 직접 확인하는 정직한 장터 상인" 같습니다.

3. 안전과 윤리:

   • 해로운 답변이나 위험한 내용을 잘 걸러냅니다.

---

💡 이 연구가 우리에게 주는 교훈

이 논문은 **"데이터를 무작정 많이 모으는 것 (Quantity)"**보다 **"인간의 도움을 받아 데이터를 꼼꼼히 다듬는 것 (Quality)"**이 훨씬 중요하다는 것을 증명했습니다.

• 과거의 방식: "데이터를 100 개 모아서 AI 에게 던져주자." (AI 가 혼란스러워함)
• 이 연구의 방식: "인간이 10 개를 완벽하게 가르치고, AI 가 그 원리를 배워서 100 만 개를 처리하게 하자." (AI 가 명확하게 성장함)

🚀 결론

이 연구는 **"인간과 AI 가 서로의 장점을 합치면 (인간의 엄격한 기준 + AI 의 빠른 처리 속도), 기존에 상상하지 못했던 고품질의 AI 를 만들 수 있다"**는 것을 보여주었습니다. 이제부터 우리가 사용하는 AI 챗봇들은 이 새로운 '선생님'을 통해 더 똑똑하고, 안전하며, 인간에게 더 친절한 답변을 할 수 있게 될 것입니다.

기술 요약

이 논문은 Skywork-Reward-V2를 소개하며, 강화학습 인간 피드백 (RLHF) 의 핵심 요소인 보상 모델 (Reward Model, RM) 의 성능 한계를 극복하기 위한 대규모 선호도 데이터 수집 및 정제 파이프라인을 제안합니다. 기존 오픈 소스 보상 모델들이 벤치마크에서 높은 점수를 얻음에도 불구하고 실제 하류 작업 (Downstream tasks) 에서 일관된 성능 향상을 보이지 못하는 '취약성 (Brittleness)' 문제를 해결하기 위해, 데이터의 양적 확장보다는 **고품질의 데이터 선별 (Curation)**에 중점을 둔 접근법을 제시합니다.

다음은 논문의 상세한 기술적 요약입니다.

---

1. 문제 정의 (Problem)

• 보상 모델의 취약성: 현재 최첨단 오픈 소스 보상 모델들은 기존 평가 벤치마크 (예: RewardBench) 에서 높은 점수를 기록하지만, 실제 RLHF 파이프라인이나 Best-of-N 샘플링과 같은 하류 작업에서의 성능 향상과 상관관계가 약하거나 역상관 관계를 보이는 경우가 많습니다.
• 데이터의 한계: 기존 선호도 데이터셋은 범위가 좁거나, 합성적으로 레이블이 지정되어 있으며, 엄격한 품질 관리가 부족합니다. 단순히 데이터 양을 늘리는 것만으로는 성능이 향상되지 않는 '스케일링 법칙의 붕괴' 현상이 관찰됩니다.
• 평가의 불일치: 단일 벤치마크 점수만으로는 보상 모델의 실제 능력을 판단하기 어렵습니다. 다양한 평가 차원 (일반적 선호도, 객관적 정확성, 스타일 편향 저항성 등) 을 포괄하는 평가가 필요합니다.

2. 방법론 (Methodology)

저자들은 SynPref-40M이라는 4 천만 개의 선호도 쌍을 포함하는 대규모 데이터셋을 구축하고, 이를 인간-AI 시너지 (Human-AI Synergy) 기반의 2 단계 정제 파이프라인을 통해 2600 만 개의 고품질 데이터로 선별했습니다.

2.1 SynPref-40M 데이터셋

• Hugging Face 의 40 개 이상의 다양한 소스에서 수집된 공개 선호도 쌍을 기반으로 구성되었습니다.
• 데이터는 정보 추구, 코딩, 수학, 창의적 글쓰기 등 다양한 태스크를 포함하며, 약 95% 가 영어로 되어 있습니다.

2.2 2 단계 정제 파이프라인 (Two-Stage Curation Pipeline)

1 단계: 소규모 인간-인공지능 루프 (Human-in-the-Loop) 정제

• 초기화: 소량의 고품질 시드 데이터 (Seed data) 로 시작합니다.
• 속성 생성 (Attribute Generation): LLM 을 사용하여 각 선호도 쌍에 대해 태스크 카테고리, 객관성, 논쟁성, 원하는 속성, 주석 가이드라인 등 5 가지 속성을 생성합니다.
• 인간 검증 및 주석: 인간 주석가가 외부 도구 (검색 엔진, 최첨단 LLM 등) 를 활용하여 엄격한 프로토콜 하에 데이터를 검증하고 레이블을 수정합니다. 이 과정에서 생성된 'Gold' 데이터는 검증용으로, 'Silver' 데이터는 학습용으로 사용됩니다.
• 적응형 검색 (Adaptive Retrieval): 현재 보상 모델이 오분류하거나 확신이 낮은 (Low-confidence) 데이터를 식별하여, 유사한 Gold 데이터를 Few-shot 예시로 제공한 후 LLM 이 다시 주석을 달게 합니다. 이를 통해 모델이 약한 부분을 집중적으로 학습합니다.
• 반복: 이 과정을 8 회 반복하며, 모델 성능이 향상될 때마다 새로운 데이터를 추가합니다.

2 단계: 대규모 자동 정제 (Large-Scale Automatic Curation)

• 일관성 필터링: 1 단계에서 훈련된 최상의 보상 모델 (Best RM) 과 인간 검증 데이터로 훈련된 Gold 보상 모델을 사용합니다.
• 선호도 일치 확인: 야생 데이터 (In-the-wild data) 에 대해 두 모델의 예측이 일치하는 경우를 유지하고, 불일치하는 경우 LLM 주석 (인간 가이드 포함) 을 통해 재검토하거나 레이블을 반전 (Flipping) 시킵니다.
• 인간 개입 최소화: 2 단계에서는 추가적인 인간 주석 없이 LLM 과 보상 모델의 일관성만 기반으로 수천만 개의 데이터를 자동으로 정제합니다.

2.3 Skywork-Reward-V2 모델 훈련

• 모델 아키텍처: Llama 3.1/3.2 및 Qwen3 기반의 8 개의 보상 모델 (0.6B ~ 8B 파라미터) 을 훈련했습니다.
• 학습 목표: Bradley-Terry 목적 함수를 사용하여 2600 만 개의 정제된 선호도 쌍으로 학습했습니다.
• 데이터 활용: 훈련 데이터의 1.8% (약 29 만 쌍) 만으로도 기존 70B 모델의 성능을 능가할 수 있음을 확인했습니다.

3. 주요 기여 (Key Contributions)

1. SynPref-40M: 현재까지 알려진 가장 큰 정제된 선호도 혼합 데이터셋 (4 천만 쌍, 정제 후 2 천 6 백만 쌍) 을 공개했습니다.
2. Skywork-Reward-V2 시리즈: 0.6B 에서 8B 까지 다양한 크기의 8 개 최첨단 보상 모델을 공개했습니다. 특히 8B 모델은 70B 모델보다 뛰어난 성능을 보입니다.
3. 효율적인 정제 파이프라인: 인간의 품질 검증과 LLM 의 확장성을 결합한 2 단계 파이프라인을 제안하여, 소량의 고품질 인간 데이터로 대규모 데이터를 정제하는 방법을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: 7 개의 주요 보상 모델 벤치마크 (RewardBench, RewardBench v2, PPE, RMB, RM-Bench, JudgeBench 등) 에서 Skywork-Reward-V2-Llama-3.1-8B-40M이 모든 모델 중 최상위권 (SOTA) 성능을 기록했습니다.
  • RewardBench 점수: 97.8 (기존 SOTA 대비 압도적 우위)
  • RewardBench v2 점수: 86.5
  • 평균 점수: 88.6
• 모델 크기 대비 성능: 8B 모델은 70B 모델 (예: INF-ORM-Llama3.1-70B) 을 모든 벤치마크에서 능가하며, 1.7B 모델조차 70B 모델과 경쟁할 수 있는 성능을 보입니다.
• 다양한 능력 평가:
  • Best-of-N (BoN) 스케일링: N 이 증가함에 따라 성능이 지속적으로 향상되는 강력한 스케일링 특성을 보입니다.
  • 스타일 편향 저항성 (Style Bias): RM-Bench 에서 스타일적 차이에도 불구하고 내용 (Substance) 을 올바르게 판단하는 능력이 기존 모델들보다 훨씬 뛰어납니다.
  • 객관적 정확성: 수학, 코딩, 사실 확인 (Factuality) 과 같은 객관적 태스크에서 최첨단 추론 모델 (o3-mini 등) 과 경쟁하거나 능가하는 성능을 보입니다.
• Ablation Study:
  • 정제되지 않은 데이터를 단순히 늘리는 것은 성능 향상을 가져오지 못했습니다.
  • 인간 주석과 적응형 검색이 포함된 정제 프로세스가 성능 향상의 핵심 요인임을 확인했습니다.
  • 버려진 데이터 (Discarded data) 를 레이블 반전을 통해 재활용 (Recycling) 하는 것이 추가적인 성능 향상을 가져왔습니다.

5. 의의 및 결론 (Significance)

• 데이터 품질의 중요성 재확인: 이 연구는 보상 모델의 성능 향상이 단순히 모델 크기나 데이터 양에 비례하는 것이 아니라, 데이터의 품질과 정제 과정에 크게 의존함을 강력하게 증명했습니다.
• 오픈 소스 생태계 발전: 8B 모델이 70B 모델을 능가하는 성능을 보여주어, 비용 효율적인 오픈 소스 보상 모델 개발의 새로운 기준을 제시했습니다.
• 인간-AI 협업의 효율성: 소수의 인간 주석가가 LLM 을 가이드하고, LLM 이 대규모 데이터를 처리하는 시너지 방식이 고품질 선호도 데이터를 확보하는 가장 효율적인 방법임을 입증했습니다.
• 향후 연구 방향: 단일 벤치마크 점수보다 하류 작업 성능과 더 밀접한 연관이 있는 평가 체계의 필요성을 강조하며, RLHF 연구의 방향성을 데이터 중심 (Data-centric) 으로 전환하는 계기를 마련했습니다.

요약하자면, Skywork-Reward-V2는 방대하지만 잡음이 많은 기존 데이터를 인간-AI 협업 파이프라인을 통해 정제함으로써, 소규모 모델로도 최첨단 성능을 달성할 수 있음을 보여주며 RLHF 분야의 새로운 이정표가 되었습니다.