CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 을 복잡한 추론 작업에 최적화하기 위해 강화 학습 (RL) 이 널리 사용되고 있지만, 정책 엔트로피 (Policy Entropy) 의 불안정성이 주요한 과제로 남아있습니다.

• 엔트로피 붕괴 (Entropy Collapse) 와 폭발 (Entropy Explosion):
  • 기존 PPO(Proximal Policy Optimization) 및 그 변형 알고리즘은 학습 안정성을 위해 중요도 샘플링 비율 (Importance Sampling Ratio) 을 특정 구간 (Clipping Interval, $1 \pm \epsilon$) 내로 제한하는 '클리핑 (Clipping)' 메커니즘을 사용합니다.
  • 그러나 이 클리핑 메커니즘은 **확률이 낮지만 중요한 토큰 (Low-probability tokens)**에서 발생하는 유용한 그래디언트 신호를 폐기합니다.
  • PA&LP (Positive Advantage & Low Probability) 토큰이 클리핑되면 모델의 탐색 (Exploration) 능력이 저하되어 엔트로피 붕괴가 발생합니다.
  • NA&LP (Negative Advantage & Low Probability) 토큰이 클리핑되면 모델이 과도하게 탐색하게 되어 엔트로피 폭발이 발생하거나 수렴이 지연됩니다.
• 기존 방법의 한계: DAPO 와 같은 기존 방법들은 클리핑 상한을 확장하는 전략을 사용하지만, 여전히 클리핑 구간 밖의 토큰들이 가진 엔트로피 조절의 미세한 균형을 완전히 해결하지 못했습니다.

2. 제안 방법: CE-GPPO (Methodology)

저자들은 **CE-GPPO (Coordinating Entropy via Gradient-Preserving Policy Optimization)**라는 새로운 알고리즘을 제안합니다. 이 알고리즘은 클리핑 구간 밖의 토큰 그래디언트를 보존하고 조절하여 엔트로피 역학을 정밀하게 제어합니다.

• 핵심 아이디어:

  • 클리핑 구간 밖의 토큰 (PA&LP 및 NA&LP) 에서의 그래디언트를 완전히 버리는 대신, Stop-Gradient 연산을 도입하여 그래디언트를 보존하되 그 크기를 조절합니다.
  • 이를 통해 탐색 (Exploration) 과 활용 (Exploitation) 사이의 균형을 동적으로 조절합니다.

• 알고리즘 구조:

  • 목적 함수는 기존 PPO/GRPO 와 유사하지만, 클리핑 구간 밖의 토큰에 대해 가중치 계수 $\beta_1$과 $\beta_2$를 적용합니다.
  • $\beta_1$ (NA&LP 토큰 조절): 확률이 낮고 부정적 이득 (Negative Advantage) 을 가진 토큰의 그래디언트 크기를 조절합니다. 값이 클수록 활용 (Exploitation) 을 촉진하여 엔트로피 감소 속도를 높입니다.
  • $\beta_2$ (PA&LP 토큰 조절): 확률이 낮고 긍정적 이득 (Positive Advantage) 을 가진 토큰의 그래디언트 크기를 조절합니다. 값이 클수록 새로운 가능성 탐색을 장려하여 엔트로피 감소 속도를 늦춥니다.
  • 수식적 특징:
    $$\ell(i) = \begin{cases} \beta_1 \cdot \frac{1-\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A}_{i,t} & \text{if } \delta < 1-\epsilon, \hat{A}_{i,t} < 0 \\ \beta_2 \cdot \frac{1+\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A}_{i,t} & \text{if } \delta > 1+\epsilon, \hat{A}_{i,t} > 0 \\ \delta \cdot \hat{A}_{i,t} & \text{otherwise} \end{cases}$$
    (여기서 $\text{sg}(\cdot)$는 Stop-Gradient 연산자이며, $\delta$는 중요도 비율입니다.)

• 안정성 보장:

  • 클리핑 구간 밖의 그래디언트를 포함하지만, $\beta$ 계수와 $(1 \pm \epsilon)$ 항을 통해 업데이트 크기를 제한함으로써 기존 PPO 와 유사한 학습 안정성을 유지합니다.
  • 추가적인 포워드 패스나 보조 컴포넌트 없이 기존 PPO 와 동일한 계산 및 메모리 복잡도를 가집니다.

3. 주요 기여 (Key Contributions)

1. 엔트로피 역학의 메커니즘 규명: LLM 강화 학습에서 엔트로피 변화가 토큰 확률 분포와 이득 함수 (Advantage Function) 의 상호작용, 특히 클리핑 구간 밖의 토큰에 의해 결정됨을 이론적으로 및 실험적으로 규명했습니다.
2. CE-GPPO 알고리즘 제안: 클리핑 구간 밖의 그래디언트를 보존하고 조절하여 정책 엔트로피를 세밀하게 제어하는 새로운 알고리즘을 제안했습니다.
3. 강건한 성능 입증: 다양한 모델 규모 (1.5B, 7B) 와 다양한 벤치마크 (수학, 코딩, 지시 따르기) 에서 기존 강력한 베이스라인 (GRPO, DAPO, CISPO, GSPO 등) 을 능가하는 성능을 보여주었습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • 수학 추론 (AIME24/25, HMMT25, MATH500 등): CE-GPPO 는 모든 모델 규모에서 가장 우수한 성과를 기록했습니다. 특히 7B 모델에서 DAPO 대비 약 3 포인트, 1.5B 모델에서 2.5 포인트 이상의 개선을 보였습니다.
  • 코드 추론 및 지시 따르기: HumanEval, LCB, IFBench 등에서도 일관된 성능 향상을 보였습니다.
• 엔트로피 동역학 분석:
  • GRPO: 학습 초기에 엔트로피가 급격히 붕괴 (Collapse) 되어 성능 저하를 겪었습니다.
  • DAPO: 'Clip Higher' 전략으로 붕괴는 막았으나, 학습 후반부에 엔트로피가 과도하게 유지되거나 (과도한 탐색) 불안정해지는 경향이 있었습니다.
  • CE-GPPO: 학습 전반에 걸쳐 높고 안정적인 엔트로피를 유지했습니다. 초기에는 탐색을 장려하고 후기에는 점진적으로 수렴하도록 조절하여 최적의 성능을 달성했습니다.
• 하이퍼파라미터 강건성: $\beta_1=0.5, \beta_2=1$ 설정이 다양한 모델에서 일관된 성능 향상을 보였으며, 다른 RL 알고리즘 (CISPO, GSPO) 대비 모델 붕괴 (Model Collapse) 위험이 낮았습니다.

5. 의의 및 결론 (Significance)

• 새로운 관점 제시: RL 학습에서 '클리핑'은 단순히 업데이트를 제한하는 도구가 아니라, 엔트로피 조절의 핵심 메커니즘임을 보여주었습니다.
• 실용적 가치: CE-GPPO 는 추가적인 계산 비용 없이 기존 RL 파이프라인에 쉽게 통합할 수 있으며, LLM 의 추론 능력을 극대화하는 데 필수적인 '탐색과 활용의 균형'을 자동으로 조절합니다.
• 안정성과 성능의 동시 달성: 기존 방법들이 엔트로피 붕괴를 막기 위해 과도한 탐색을 유도하거나, 반대로 수렴을 위해 탐색을 억제하는 딜레마를 해결하여, 안정적인 학습 과정과 높은 최종 성능을 동시에 달성했습니다.

이 논문은 강화 학습 기반 LLM 최적화 분야에서 엔트로피 관리의 중요성을 재조명하고, 이를 해결하기 위한 실용적이고 효과적인 알고리즘을 제시했다는 점에서 의의가 큽니다.