Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity

다음은 논문 "Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity(균일 - 정답 정책 최적화: RLVR 의 다양성 무관성 타파)"에 대한 상세한 기술 요약입니다.

1. 문제 제기

**검증 가능한 보상을 활용한 강화 학습 (Reinforcement Learning with Verifiable Rewards, RLVR)**은 수학과 같은 추론 작업에서 대규모 언어 모델 (LLM) 의 단일 시도 정확도 (Pass@1) 를 크게 향상시켰습니다. 그러나 중요한 부작용이 발견되었습니다: 다양성 붕괴 (Diversity Collapse).

• 현상: RLVR 은 하나의 정답을 생성할 확률을 높이지만, 종종 Pass@K(샘플링된 K 개의 답변 중 적어도 하나가 정답일 확률) 를 급격히 감소시킵니다. 이는 모델의 해 공간이 수축하여 정답의 일부 좁은 하위 집합에 확률 질량을 집중시키고 다른 유효한 추론 경로를 억제함을 나타냅니다.
• 근본 원인: 저자들은 표준 RLVR 목적 함수 (예: GRPO-Group Relative Policy Optimization) 에 구조적 한계가 있음을 규명했습니다. 이러한 목적 함수는 정답들 사이에서 확률 질량이 어떻게 분포되는지에 대해 **무관심 (indifferent)**합니다.
  • 수학적으로, 정답 집합 $Y^+$에 100% 의 질량을 배치하는 모든 정책은, 그 질량이 하나의 해에 집중되어 있든 (붕괴) 모든 유효한 해에 균일하게 분포되어 있든 (다양성), 동일한 최대 보상을 제공합니다.
  • 온 - 정책 (on-policy) 샘플링 역학과 결합될 때, 이 무관심은 자기 강화 피드백 루프를 생성합니다: 약간 더 자주 샘플링된 해는 더 큰 기울기 업데이트를 받아, 그 확률과 샘플링 빈도를 더욱 증가시키고 되돌릴 수 없는 모드 붕괴를 초래합니다.

2. 방법론

A. 이론적 분석

저자들은 붕괴 메커니즘을 공식화하고 최적 정책 구조를 정의했습니다:

1. 붕괴 메커니즘: 저자들은 GRPO 하에서 샘플링 편향이 불균등한 샘플 수를 초래함을 증명했습니다. 기울기 업데이트는 이러한 수에 비례하여 스케일링되므로, 지배적인 해의 확률을 증폭시키고 소수 해를 억제합니다. 한 번의 해가 샘플링 임계값 ($\pi(y) \ll 1/K$) 아래로 떨어지면, 기울기 신호를 받지 못해 회복할 수 없습니다.
2. 최적 정책 정의: 저자들은 최적 정책이 **균일 - 정답 정책 (Uniform-Correct Policy, UCP)**이어야 한다고 제안합니다. 이 정책은 두 가지 기준을 충족합니다:
   • 강건성: 정답의 일부 하위 집합이 비활성화될 경우 (예: 분포 변화로 인해) 최악의 경우 유지되는 확률 질량을 최대화합니다.
   • 엔트로피 정규화 최적성: 정답 집합 내에서 정확성과 다양성 (엔트로피) 의 균형을 맞추는 목적 함수를 유일하게 최대화합니다.
   • 정의: UCP 는 부정확한 출력에 대해서는 0 의 확률을 부여하고, 모든 정답에 걸쳐 확률을 균일하게 분배합니다 ($\pi(y|x) = 1/|Y^+|$ for $y \in Y^+$).

B. 제안된 솔루션: 균일 - 정답 정책 최적화 (Uniform-Correct Policy Optimization, UCPO)

균일 - 정답 정책을 달성하기 위해 저자들은 GRPO 목적 함수를 수정한 UCPO를 제안합니다.

• 목적 함수: UCPO 는 표준 정확도 최대화에 조건부 균일성 페널티를 추가합니다.
  $$\mathcal{L}_{UCPO} = \underbrace{\log Z_\theta(x)}_{\text{정확도 질량}} - \tau \underbrace{KL(u(\cdot|x) \parallel q_\theta(\cdot|x))}_{\text{균일성 페널티}}$$

  • $Z_\theta(x)$: 정답 출력에 대한 총 확률 질량.
  • $q_\theta(\cdot|x)$: 정답 출력에 대한 정책의 조건부 분포.
  • $u(\cdot|x)$: 정답 출력 집합에 대한 균일 분포.
  • $\tau$: 균일성 페널티의 강도를 조절하는 하이퍼파라미터.

• 기울기 메커니즘:

  • 표준 GRPO 는 현재 샘플링 빈도로 기울기를 가중치하여 (지배적인 모드를 선호) 처리합니다.
  • UCPO 는 이 편향을 상쇄하기 위해 기울기 신호를 재가중합니다. 이는 현재 조건부 분포와 균일 목표 사이를 보간합니다.
  • 역가중치 (Inverse-Weighting): 기울기 추정기는 과소 대표된 정답 (현재 확률이 낮은 해) 에 더 높은 가중치를 부여하고 지배적인 해에는 더 낮은 가중치를 부여합니다. 이는 총 정확도 질량을 희생하지 않으면서 소수 정답 응답을 증폭시키기 위해 "이점 예산 (advantage budget)"을 효과적으로 재분배합니다.

3. 주요 기여

1. 무관심성 규명: 본 논문은 표준 RLVR 목적 함수가 정답 집합 내 다양성에 무관심하며, 확률적 훈련 역학이 되돌릴 수 없는 모드 붕괴를 유발할 수 있음을 공식적으로 증명합니다.
2. 이론적 특성화: 균일 - 정답 정책을 강건성과 엔트로피 정규화 기준 하에서 유일한 최적 해로 확립합니다.
3. 알고리즘 설계 (UCPO): GRPO 를 단순하면서도 효과적으로 수정하여 균일 - 정답 정책을 유일한 최적점으로 강제하는 UCPO 를 유도합니다.
4. 기울기 재분배: 과소 대표된 정답 응답으로 기울기 신호를 재분배하여 자기 강화 붕괴 사이클을 깨는 메커니즘을 도입합니다.

4. 실험 결과

저자들은 세 가지 모델(15 억, 70 억 파라미터) 과 다섯 가지 수학 추론 벤치마크(AIME24/25, AMC, MATH, OlympiadBench) 에 걸쳐 UCPO 를 평가했습니다.

• Pass@K 개선: UCPO 는 경쟁력 있는 Pass@1 을 유지하면서 Pass@K(특히 Pass@64) 를 일관되게 향상시킵니다.
  • AIME24(7B 모델): 표준 GRPO 대비 Pass@64 에서 +10% 절대적 개선을 달성했습니다.
  • 평균 개선: 모든 모델을 통틀어 UCPO 는 GRPO 대비 평균 Pass@64 를 +3.5 에서 +4.8 포인트 향상시켰습니다.
• 다양성 지표:
  • UCPO 는 GRPO 대비 정답 집합 내에서 최대 45% 높은 수식 수준 다양성을 달성했습니다.
  • 잘못된 답변으로 질량을 퍼뜨리는 경향이 있는 글로벌 엔트로피 정규화와 달리, UCPO 는 정답 집합을 다양화하면서도 높은 정확도 질량 ($Z_\theta \approx 1$) 을 유지합니다.
• 베이스라인 비교: UCPO 는 엔트로피 정규화 (Ent-Reg), KL-공분산 제어, Focal GRPO 와 같은 다른 다양성 보존 방법들을 능가했습니다. 글로벌 엔트로피 정규화는 취약하며 종종 Pass@1 을 저하시키거나 정답 집합 내 다양성을 개선하지 못하는 것으로 나타났습니다.
• 효율성: UCPO 는 (이득의 스칼라 재가중치만 추가) 무시할 수 있는 계산 오버헤드를 도입하며, 추가 롤아웃이나 참조 모델이 필요하지 않습니다.

5. 의의

이 연구는 추론 모델을 위한 현재 RLVR 훈련 패러다임의 근본적인 결함을 해결합니다. 단순히 "하나의 정답 찾기"에서 "모든 정답의 다양성 있는 분포 유지"로 초점을 이동시킴으로써 UCPO 는 다음과 같은 효과를 가집니다:

• 해 공간 수축 방지: 미세 조정 중 모델이 유효한 추론 경로를 "잊지" 않도록 보장합니다.
• 강건성 향상: 여러 정답을 포괄하는 정책은 분포 변화나 검증자 노이즈에 대해 더 강건합니다.
• 원칙적 목표 제공: 휴리스틱 엔트로피 보너스를 넘어 최적 정책의 구조를 명시적으로 목표로 하는 이론적으로 근거 있는 목적 함수를 제시합니다.

요약하자면, UCPO는 RLVR 의 다양성 붕괴 문제에 대한 확장 가능하고 이론적으로 타당한 솔루션을 제공하여, LLM 이 단일 시도 정확도를 희생하지 않으면서 더 높은 다중 샘플 커버리지를 달성할 수 있게 합니다.