EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 검증 가능한 보상 (Verifiable Rewards) 을 활용한 강화학습 (RLVR) 이 주목받고 있습니다. 특히 그룹 상대적 정책 최적화 (GRPO, Group Relative Policy Optimization) 는 별도의 가치 네트워크 (Critic) 없이 그룹 내 보상 평균을 기준으로 삼아 계산 효율성이 뛰어나 널리 사용되고 있습니다.

그러나 GRPO 는 다음과 같은 안정성 및 수렴 문제에 직면해 있습니다:

• 높은 추정 분산 (High Estimator Variance): 컴퓨팅 자원 제약으로 인해 그룹 크기 (Group Size, $G$) 가 작을 때, 그룹 내 평균 보상이 노이즈에 민감하여 추정이 불안정해집니다.
• 소멸된 기울기 신호 (Vanishing Gradient Signals): 모델이 어려운 프롬프트에서 모든 시도를 실패하여 모든 보상이 0 인 "포화 실패 (Saturated Failure)" 상태가 되면, 그룹 내 상대적 이득 (Advantage) 이 0 이 되어 기울기 신호가 사라집니다. 이는 학습 단계를 낭비하게 만듭니다.
• 데이터 낭비: 기존 방법들 (예: DAPO) 은 불안정한 업데이트를 필터링하거나 재가중치하여 이를 해결하려 하지만, 이는 문제 있는 데이터를 폐기함으로써 데이터 효율성을 떨어뜨립니다.

2. 제안 방법: EBPO (Methodology)

저자들은 경험적 베이지안 (Empirical Bayes, EB) 추론의 관점을 도입하여 EBPO (Empirical Bayes Policy Optimization) 프레임워크를 제안했습니다. 이 방법은 지역적 그룹 통계에 "전역적 힘 (Global Strength)"을 빌려와 베이스라인을 정규화합니다.

핵심 메커니즘

1. Shrinkage Estimator (축소 추정기):

   • GRPO 의 순수한 지역적 그룹 평균 ($\mu_{group}$) 대신, 전역 정책의 평균 성공률 ($\mu_{glob}$) 을 사전 정보 (Prior) 로 활용합니다.
   • 새로운 베이스라인 $V^{EB}_q$는 다음과 같이 정의됩니다:
     $$V^{EB}_q = (1 - S_q)\mu_{group} + S_q\mu_{glob}$$
   • 여기서 축소 계수 (Shrinkage factor) $S_q$는 **그룹 내 분산 ($\sigma^2$)**과 **그룹 간 분산 ($\tau^2$)**의 비율에 따라 동적으로 결정됩니다.
     • 그룹 내 분산이 크거나 데이터가 적을수록 전역 평균 ($\mu_{glob}$) 으로 더 많이 수렴 (Shrink) 하여 노이즈를 줄입니다.
     • 그룹 내 분산이 작을수록 지역적 평균을 더 신뢰합니다.

2. 온라인 업데이트 (Welford's Algorithm):

   • 전역 통계량 ($\mu_{glob}, \sigma^2, \tau^2$) 을 학습 역사 (Training History) 에서 실시간으로 추정하기 위해 Welford 의 온라인 알고리즘을 사용하여 확장성과 안정성을 보장합니다.

3. 클러스터링 샘플링 (Clustered Sampling):

   • 학습 데이터의 이질성 (예: 쉬운 문제와 어려운 문제가 섞임) 으로 인한 전역 사전 정보의 편향을 줄이기 위해, 주제 (Topic) 또는 **난이도 (Difficulty)**에 따라 데이터를 클러스터링하여 학습 순서를 조정합니다. 이를 통해 특정 도메인에 맞는 더 정밀한 전역 평균을 추정합니다.

3. 주요 기여 및 이론적 보장 (Key Contributions & Theoretical Guarantees)

1. 소멸된 기울기 문제 해결:
   • 이론 3.2: 모든 보상이 0 인 포화 실패 상황에서도, 전역 평균 $\mu_{glob} > 0$인 경우 EBPO 는 0 이 아닌 유익한 기울기 (penalty signal) 를 제공합니다. 이는 모델이 실패한 것이 "전반적으로 어려운 문제"인지 "쉬운 문제"인지에 따라 적응형 페널티를 부여합니다.
2. 평균 제곱 오차 (MSE) 감소:
   • 이론 3.3: EBPO 의 축소 추정기는 GRPO 의 단순 표본 평균보다 참값 (잠재적 성공 확률) 을 추정할 때 엄격하게 낮은 MSE를 보장합니다. (편향 - 분산 트레이드오프를 통해 분산을 크게 줄임).
3. 엔트로피 보존 및 탐색 강화:
   • Proposition 3.6: EBPO 는 정책의 엔트로피 감소 (Exploration collapse) 를 GRPO 보다 엄격하게 제한합니다. 이는 모델이 특정 해법으로 일찍 수렴하는 것을 방지하고 지속적인 탐색을 유도합니다.
4. 알고리즘적 프레임워크:
   • GRPO 프레임워크에 온라인 경험적 베이지안 추정을 통합하여 이득 (Advantage) 계산을 안정화하는 새로운 알고리즘을 제안했습니다.

4. 실험 결과 (Results)

저자들은 AIME-2024, OlympiadBench, MATH-500 등 다양한 수학 추론 벤치마크에서 Qwen3, LLaMA3 등 다양한 모델 크기로 실험을 수행했습니다.

• 성능 향상:
  • EBPO 는 GRPO, DAPO, Dr. GRPO 등 기존 최첨단 방법론들을 일관되게 능가했습니다.
  • Qwen3-8B 모델에서 평균 Pass@1 이 **64.39%**로, 기존 GRPO(58.72%) 보다 약 5.6%p 향상되었습니다.
  • 전체 15 가지 (모델, 데이터셋) 조합 중 9 가지에서 최고 성능을 기록했습니다.
• 샘플 효율성 (Group Size Sensitivity):
  • 그룹 크기 ($G$) 가 작을 때 (예: $G=8$) EBPO 의 우위가 극명하게 나타났습니다. $G=8$ 조건에서 EBPO 는 GRPO 보다 평균 11.28% 더 높은 성능을 보였습니다. 이는 EBPO 가 작은 그룹에서도 전역 정보를 활용하여 노이즈를 효과적으로 제어함을 의미합니다.
• 학습 안정성:
  • 기울기 노름 (Gradient Norm): GRPO 는 학습 후기 실패 시 기울기가 0 에 수렴하는 반면, EBPO 는 학습 내내 견고한 기울기 흐름을 유지했습니다.
  • KL 발산 (KL Divergence): GRPO 는 불안정한 업데이트 크기를 보인 반면, EBPO 는 업데이트 크기를 엄격하게 제한하여 모델 붕괴 (Model Collapse) 를 방지했습니다.
  • 엔트로피: EBPO 는 학습 내내 더 높은 정책 엔트로피를 유지하여 탐색 능력을 보존했습니다.
• 커리큘럼 학습 효과:
  • 난이도 기반 클러스터링 (EBPO-diff) 을 적용하면, 특히 고난이도 벤치마크 (AIME, Olympiad) 에서 성능이 추가로 향상되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 EBPO를 통해 검증 가능한 보상을 활용한 강화학습 (RLVR) 의 핵심적인 불안정성 문제를 해결했습니다.

• 이론적 통찰: 그룹 기반 RL 에서 지역적 통계의 노이즈를 전역적 통계로 보완하는 경험적 베이지안 접근법이 수학적으로 타당하며, 특히 소규모 그룹 학습이나 희소 보상 환경에서 필수적임을 입증했습니다.
• 실용적 가치: 계산 비용이 큰 가치 네트워크 (Critic) 없이도, 데이터 효율성과 학습 안정성을 동시에 확보하여 고난도 수학 및 논리 추론 과제를 해결하는 데 최적화된 솔루션을 제공합니다.
• 미래 방향: 난이도 기반 커리큘럼 학습과 결합할 때 그 효과가 극대화되므로, 복잡한 추론 작업에 대한 효율적인 후학습 (Post-training) 전략으로 자리 잡을 것으로 기대됩니다.

요약하자면, EBPO 는 "작은 그룹에서도 전역적 맥락을 활용하여 노이즈를 줄이고, 실패 시에도 학습 신호를 유지하며, 탐색을 보존하는" 차세대 RLVR 알고리즘입니다.