CoRPO: Adding a Correctness Bias to GRPO Improves Generalization

이 논문은 GRPO 의 평균 기준이 잘못된 해법에도 긍정적 이점을 부여하는 문제를 해결하기 위해 정답 임계값을 기반으로 기준을 클리핑하는 'CoRPO'를 제안하여, 모델의 과적합을 방지하고 도메인 간 일반화 능력을 향상시킨다고 설명합니다.

핵심

🧠 "코르포 (CoRPO)": AI 가 실수를 배우지 않도록 만드는 '안전장치'

이 논문은 최근 AI(대형 언어 모델) 가 수학이나 코딩 같은 복잡한 문제를 풀 때 사용하는 **'GRPO'**라는 학습 방법의 치명적인 약점을 발견하고, 이를 해결하는 새로운 방법인 **'CoRPO'**를 제안합니다.

비유를 들어 쉽게 설명해 드릴게요.

---

1. 기존 방식 (GRPO): "반대편이 나쁘면, 내가 잘한 거야?"

기존의 GRPO 방식은 AI 를 가르칠 때 **"비교"**에 의존합니다.
한 번에 4~16 개의 답안 (예: 코딩 코드나 수학 풀이) 을 만들어내고, 그중 평균적으로 가장 나쁜 답을 기준으로 삼아 다른 답안들을 평가합니다.

• 상황: 시험을 치르는데, 반 전체 학생이 다 엉터리 답안을 썼어요.
  • A 학생: "1+1=3" (정답 아님)
  • B 학생: "1+1=2" (정답)
  • C 학생: "1+1=100" (정답 아님)
  • D 학생: "1+1=50" (정답 아님)
• GRPO 의 판단: "평균 점수가 너무 낮네? 그럼 C 학생이 A 나 D 보다 조금 낫잖아? C 학생을 칭찬하자!"
• 문제점: C 학생은 여전히 틀린 답을 냈는데, 다른 친구들이 더 못해서 상대적으로 '잘했다'는 평가를 받아 칭찬 (보상) 을 받습니다.
• 결과: AI 는 "틀린 답이라도 다른 것보다 조금 낫다면 칭찬받는다"는 잘못된 규칙을 배우게 되어, 실수를 고치기보다 엉뚱한 방향으로 더 열심히 학습하게 됩니다. 이를 '과적합 (Overfitting)'이라고 합니다.

2. 새로운 방식 (CoRPO): "틀리면 무조건 감점!"

저자들은 이 문제를 해결하기 위해 CoRPO를 제안합니다. 핵심은 **'정답 기준선 (Correctness Threshold)'**을 설정하는 것입니다.

• 규칙: "비교 대상이 누구든 상관없다. 정답의 기준선 (예: 0 점) 을 넘지 못하면, 아무리 다른 친구들보다 낫더라도 '감점'을 받는다."
• 상황: 다시 위의 시험 상황을 보죠.
  • C 학생 (1+1=3) 은 평균보다 낫지만, 정답 기준선 (2) 을 못 넘었습니다.
  • CoRPO 의 판단: "너는 틀렸어. 평균이 낮다고 해서 너를 칭찬하지 않아. 감점!"
  • B 학생 (1+1=2) 은 기준선을 넘었으니 칭찬받습니다.
• 효과: AI 는 **"틀린 답은 절대 칭찬받지 못한다"**는 것을 확실히 깨닫습니다. 그래서 엉뚱한 답을 고집하는 대신, 진짜 정답을 찾기 위해 더 안전하게 탐색하게 됩니다.

3. 왜 이것이 중요한가요? (실제 효과)

이 논문은 이 방법이 단순히 점수만 올리는 게 아니라, AI 의 '지능'을 더 넓고 튼튼하게 만든다고 말합니다.

• 비유:
  • GRPO 로 학습한 AI: 특정 학교 (훈련 데이터) 에서만 잘하는 '특기생'입니다. 그 학교 문제만 풀면 100 점이지만, 다른 학교 (새로운 문제) 로 가면 당황해서 망칩니다.
  • CoRPO 로 학습한 AI: **원리를 제대로 이해한 '진짜 천재'**입니다. 훈련할 때는 조금 더디게 성장할지 몰라도, 전혀 다른 문제 (수학 vs 코딩, 혹은 다른 난이도) 가 나와도 유연하게 대처합니다.

실제 실험 결과:

• 코딩 문제로 훈련한 AI 가 수학 문제를 풀 때, 기존 방식 (GRPO) 보다 CoRPO 가 훨씬 잘 풀었습니다.
• 이는 AI 가 특정 문제의 '해법'을 외우는 게 아니라, 문제를 푸는 '논리' 자체를 배우게 되었다는 뜻입니다.

4. 요약: CoRPO 가 가져온 변화

1. 안전장치 설치: "틀리면 무조건 감점"이라는 규칙을 넣어, AI 가 엉뚱한 답을 칭찬받지 못하게 막았습니다.
2. 탐험의 자유: AI 가 "틀리면 안 돼"라는 두려움 때문에 무조건 안전한 (하지만 틀린) 답만 고집하지 않고, 진짜 정답을 찾기 위해 더 과감하게 시도할 수 있게 했습니다.
3. 범용성 향상: 한 분야 (코딩) 에서 배운 지식이 다른 분야 (수학) 로도 잘 전달되도록 만들었습니다.

🎯 결론

이 논문은 **"AI 를 가르칠 때, '남보다 낫다'는 기준보다 '진짜 맞다'는 기준이 더 중요하다"**는 사실을 증명했습니다. CoRPO 는 AI 가 실수를 반복하며 나쁜 습관을 들이는 것을 막고, 진짜 지혜를 배우도록 도와주는 훌륭한 '스승' 역할을 합니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 추론 능력을 강화하기 위해 강화 학습 (RL) 이 널리 사용되고 있으며, 특히 검증 가능한 보상 (Verifiable Rewards) 을 이용한 RLVR 분야에서 그룹 상대적 정책 최적화 (GRPO, Group-Relative Policy Optimization) 가 사실상의 표준 알고리즘으로 자리 잡았습니다. GRPO 는 학습된 가치 함수 (Critic) 대신 샘플링된 트래젝토리 (trajectories) 의 평균 보상을 기준 (Baseline) 으로 사용하여 계산 효율성을 극대화합니다.

하지만 저자들은 GRPO 의 기저 (Baseline) 설계에 근본적인 한계가 있다고 지적하며 다음과 같은 두 가지 주요 문제를 제기합니다:

1. 편의 과대평가 (Advantage Overestimation): GRPO 는 소수의 샘플 (일반적으로 4~16 개) 로 그룹 평균 보상을 추정합니다. 이때 샘플 평균이 실제 기대 보상보다 낮게 추정되는 경우, 부정확한 솔루션조차도 그룹 평균보다 낫다는 이유로 긍정적 편익 (Positive Advantage) 을 부여받게 됩니다. 이는 잘못된 행동을 강화하고 과도한 업데이트를 유발합니다.
2. 순서형 보상 (Ordinal Rewards) 하에서의 신호 왜곡: LLM-as-a-judge 와 같이 보상이 순서형 (예: 1~5 점) 이거나 보정되지 않은 경우, GRPO 는 객관적으로 틀린 솔루션이라도 그룹 내 다른 실패 사례보다 나으면 긍정적 편익을 받습니다. 이는 학습 신호를 근본적으로 반전시켜, 실패한 행동을 강화하는 결과를 초래합니다.

이러한 현상은 모델이 훈련 데이터에 과적합 (Overfitting) 되거나, 분포가 좁아지는 (Distribution Sharpening) 현상을 일으켜 범주 외 (Out-of-Domain, OOD) 작업으로의 일반화 능력을 저해합니다.

---

2. 방법론 (Methodology)

저자들은 GRPO 의 한계를 해결하기 위해 정확도 상대적 정책 최적화 (CoRPO, Correctness-Relative Policy Optimization) 를 제안합니다. 이는 GRPO 의 목적 함수에 매우 간단한 수정을 가한 것으로, 그룹 평균 기준을 '최소 정확도 임계값 (Correctness Threshold)'으로 클립 (Clipping) 하는 방식입니다.

핵심 메커니즘

기존 GRPO 의 기준 $b_{mean}$을 다음과 같이 수정합니다:
$$b_{CoRPO} = \max(R_{min\_correct}, b_{mean})$$
여기서 $R_{min\_correct}$는 솔루션이 '정확하다'고 간주되기 위한 최소 보상 임계값입니다.

학습 동역학의 두 단계

1. 정확도 추구 단계 (Correctness-Seeking Regime):
   • 모델의 성능이 낮아 그룹 평균 보상 ($b_{mean}$) 이 임계값 ($R_{min\_correct}$) 보다 낮을 때, 기준은 임계값으로 고정됩니다.
   • 이 구간에서는 보상이 임계값보다 낮은 모든 트래젝토리 (틀린 솔루션) 는 항상 부정적 편익 (Negative Advantage) 을 받습니다.
   • 이로 인해 잘못된 행동이 강화되는 것을 방지하고, 과대평가된 편익을 억제하여 안정적인 학습을 유도합니다.
2. 품질 추구 단계 (Quality-Seeking Regime):
   • 모델이 충분히 학습되어 그룹 평균이 임계값을 상회하면, 기준은 다시 그룹 평균 ($b_{mean}$) 으로 전환됩니다.
   • 이 시점부터는 올바른 솔루션들 간의 상대적 우위를 비교하여 더 높은 품질의 해답을 찾도록 경쟁을 유도합니다.

이 방식은 GRPO 의 계산 효율성을 유지하면서, 잘못된 행동을 절대 강화하지 않는 보호적 편향 (Protective Bias) 을 추가합니다.

---

3. 주요 기여 (Key Contributions)

1. GRPO 실패 모드 분석: 그룹 구성의 변동성으로 인한 편익 과대평가와 순서형 보상 하에서의 부호 반전 (Sign Inversion) 문제를 이론적으로 규명했습니다.
2. CoRPO 제안: GRPO 의 효율성을 해치지 않으면서 위 두 가지 문제를 동시에 해결하는 단순하지만 효과적인 기준 수정 (Baseline Clipping) 을 제안했습니다.
3. 일반화 성능 입증: CoRPO 가 훈련 분포에 대한 과적합을 줄이고, 교차 도메인 (Cross-domain) 일반화 능력을 향상시킨다는 것을 실험적으로 증명했습니다.

---

4. 실험 결과 (Experimental Results)

저자들은 수학 (Math) 과 코딩 (Coding) 작업에 대해 Qwen3-8B 모델을 기반으로 GRPO 와 CoRPO 를 비교 실험했습니다.

• 범주 외 (OOD) 일반화 향상:
  • 코딩 데이터로 훈련된 CoRPO 모델은 수학 작업에서 GRPO 보다 90.1% vs 88.8% (Pass@16) 로 더 높은 성능을 보였습니다.
  • 반대로 수학 데이터로 훈련된 모델도 코딩 작업에서 더 나은 일반화 성능을 보였습니다. 이는 CoRPO 가 도메인 특화 휴리스틱이 아닌 강건한 추론 패턴을 학습했음을 시사합니다.
• 훈련 역학 분석:
  • 부정적 강화의 우위: CoRPO 는 훈련 초기에 틀린 솔루션에 대한 부정적 편익 (Negative Reinforcement) 을 통해 학습을 주도합니다. 이는 GRPO 가 초기에 긍정적/부정적 편익을 동등하게 학습하며 일찍 수렴 (Premature Exploitation) 하는 것과 대조적입니다.
  • 암묵적 커리큘럼 학습: CoRPO 는 어려운 문제를 먼저 해결하기보다 먼저 '정확성'을 확보한 후 난이도를 높이는 암묵적 커리큘럼을 따릅니다. 이로 인해 초기에는 훈련 도메인에서 성장이 느릴 수 있으나, 최종적으로는 OOD 성능에서 GRPO 를 압도합니다.
• 작은 그룹 크기에서의 강건성: 샘플 수 (Rollouts) 가 4 개로 줄어든 상황에서도 CoRPO 는 GRPO 보다 100 스텝 만에 OOD 성능에서 앞서나갔으며, 이는 편향된 기준 추정에서도 CoRPO 가 더 안정적인 학습 신호를 제공함을 보여줍니다.

---

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 RLVR 분야에서 GRPO 가 가진 구조적 결함을 지적하고, 이를 해결하기 위한 정확도 기반의 편향 (Correctness Bias) 을 도입한 CoRPO 를 제안했습니다.

• 기술적 의의: 단순한 기준 클립핑 (Clipping) 만으로 GRPO 의 '잘못된 행동 강화' 문제를 해결하고, 모델이 분포 sharpening (Distribution Sharpening) 에 빠지는 것을 방지합니다.
• 실용적 가치: 계산 비용 증가 없이 (기존 GRPO 와 동일한 효율성) 모델의 범용성 (Generalization) 과 강건성 (Robustness) 을 크게 향상시킵니다.
• 미래 전망: CoRPO 는 특히 검증 가능한 보상이 존재하는 복잡한 추론 작업 (수학, 코딩, 과학 등) 에서 모델이 더 넓은 범위의 문제에 적용될 수 있도록 하는 핵심 기술로 평가받습니다.

결론적으로, CoRPO 는 "상대적 순위"에만 의존하던 기존 RLVR 접근법의 한계를 넘어, "절대적 정확성"을 보장하는 학습 신호를 도입함으로써 LLM 의 추론 능력을 더욱 신뢰할 수 있고 일반화되도록 만드는 중요한 진전입니다.