Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 후속 학습 (Post-training) 단계에서 강화 학습 (RL) 은 모델의 능력과 정렬 (Alignment) 을 향상시키는 핵심 패러다임으로 자리 잡았습니다. 특히 검증 가능한 보상 (RLVR) 을 사용하는 접근법은 추론 능력을 크게 개선했습니다. 그러나 이러한 RL 학습은 여전히 신뢰 영역 (Trust Region) 이탈이라는 근본적인 도전에 직면해 있습니다.

• Off-policy 학습의 한계: 현대 LLM 의 RL 은 종종 오프-폴리시 (off-policy) 방식을 채택합니다. 이는 현재 정책을 업데이트하는 데이터가 이전 행동 정책 (Old Policy) 에 의해 생성된 것이기 때문에, 정책 간 분포 이동 (Distributional Shift) 이 발생합니다.
• 기존 방법 (PPO-Clip) 의 맹점: 주요 방법론인 PPO-Clip 은 중요도 샘플링 비율 (Importance Sampling Ratio) 을 클리핑하여 국소적인 업데이트를 제한합니다. 그러나 이는 **샘플링된 행동 (Sampled Actions)**의 확률 변화만 제어할 뿐, **샘플링되지 않은 행동 (Unsampled Actions)**의 확률 분포 변화는 전혀 통제하지 못합니다.
• 발생하는 문제:
  1. 엔트로피 불안정성: 샘플링되지 않은 행동들의 분포가 크게 이동하면서 전체 정책의 엔트로피가 급격히 변동하여 과도한 탐색 또는 탐색의 붕괴를 초래합니다.
  2. 그래디언트 불안정성: 분포 이동으로 인해 그래디언트 노름 (Gradient Norm) 이 폭발하거나 소실되어 학습이 불안정해집니다.
  3. 신뢰 영역 위반: 국소적인 클리핑만으로는 전체 분포의 신뢰 영역 이탈을 방지하지 못해 학습이 수렴하지 않거나 성능이 저하됩니다.

2. 제안 방법론 (Methodology)

저자들은 **엔트로피 비율 (Entropy Ratio)**을 새로운 글로벌 메트릭으로 도입하고, 이를 기반으로 엔트로피 비율 클리핑 (Entropy Ratio Clipping, ERC) 메커니즘을 제안합니다.

2.1 엔트로피 비율 (Entropy Ratio)

기존의 중요도 비율이 샘플링된 토큰의 확률 변화만 본다면, 엔트로피 비율은 새로운 정책 ($\pi_\theta$) 과 이전 정책 ($\pi_{old}$) 의 전체 엔트로피 변화를 측정합니다.

• 정의: $\rho_t = \frac{H(\pi_\theta, t)}{H(\pi_{old}, t)}$
• 특징: 샘플링된 행동뿐만 아니라 샘플링되지 않은 모든 행동의 분포 변화를 포괄적으로 측정하여, 정책의 전체적인 탐색 (Exploration) 정도 변화를 정량화합니다.

2.2 엔트로피 비율 클리핑 (ERC) 메커니즘

ERC 는 PPO-Clip 을 대체하는 것이 아니라 보완하는 이중 클리핑 (Bidirectional Clipping) 구조를 가집니다.

• 작동 원리:
  1. 기존 PPO-Clip 은 중요도 비율 ($r_t$) 을 $[1-\epsilon, 1+\epsilon]$ 범위 내에서 클리핑합니다.
  2. ERC 는 엔트로피 비율 ($\rho_t$) 이 사전 정의된 범위 $(1-\beta_{low}, 1+\beta_{high})$ 를 벗어나는 경우 해당 토큰의 그래디언트를 **하드 트러네이션 (Hard Truncation)**하여 0 으로 만듭니다.
  3. 목적 함수에 지시 함수 $I_{i,t}$를 추가하여 조건을 만족하지 않는 샘플의 기여도를 차단합니다.
• 효과:
  • 글로벌 제약: 샘플링되지 않은 행동들의 분포 이동까지 통제하여 신뢰 영역 이탈을 방지합니다.
  • 양방향 제어: 엔트로피가 급격히 증가 (과도한 무작위성) 하거나 감소 (탐색 붕괴) 하는 두 가지 방향 모두를 제한합니다.
  • 적응성: KL 페널티와 달리 학습 내내 강제로 제약을 가하는 것이 아니라, 엔트로피가 허용 범위를 벗어날 때만 활성화되어 탐색 능력을 보존합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 메트릭 도입: RL 학습 중 정책 탐색의 상대적 변화를 정량화하는 엔트로피 비율을 제안하여, 정책 분포의 글로벌 드리프트를 측정하는 새로운 차원을 제공했습니다.
2. ERC 메커니즘 개발: 엔트로피 비율에 기반한 양방향 클리핑 메커니즘을 설계하여, 신뢰 영역 이탈을 완화하고 학습 안정성을 극대화했습니다.
3. 범용성 검증: DAPO 와 GPPO 등 다양한 RL 알고리즘에 ERC 를 통합하여 적용했습니다. 실험을 통해 ERC 가 다양한 모델 규모 (1.5B, 7B) 와 벤치마크에서 일관된 성능 향상을 제공함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 DeepSeek-R1-Distill-Qwen 모델 (1.5B, 7B) 을 기반으로 수학 추론 (AIME, HMMT, MATH 등), 코드 추론, 지시 따르기 (Instruction Following) 벤치마크에서 실험을 수행했습니다.

• 성능 향상:
  • ERC 를 적용한 모델 (ERC-DAPO, ERC-GPPO) 은 기존 PPO-Clip 기반 베이스라인 (GRPO, DAPO, GPPO) 대비 모든 벤치마크에서 일관된 성능 향상을 보였습니다.
  • 특히 AIME25, HMMT25 와 같은 고난도 추론 작업에서 성능 격차가 두드러졌습니다.
• 학습 안정성:
  • 엔트로피 안정화: ERC 를 적용하면 학습 중 엔트로피의 급격한 변동이 억제되어 부드러운 학습 곡선을 보입니다.
  • 그래디언트 안정화: 그래디언트 노름의 폭발/소실 현상이 감소하여 수렴이 원활해집니다.
• 클리핑 비율 분석:
  • PPO-Clip 은 약 0.02% 의 토큰만 클리핑하는 반면, ERC 는 약 **20.29%**의 토큰을 클리핑합니다.
  • 이는 ERC 가 노이즈가 많거나 학습을 방해하는 과도한 업데이트 (특히 저엔트로피 영역의 결정론적 토큰) 를 효과적으로 제거함을 의미하며, 오히려 더 높은 성능을 이끌어냅니다.
• 비교 분석:
  • KL 정규화 vs ERC: ERC 는 KL 페널티보다 더 유연하게 탐색을 허용하면서도 안정성을 유지하여 더 빠른 수렴과 높은 최종 성능을 달성했습니다.
  • 엔트로피 정규화 vs ERC: 단방향 엔트로피 제약을 넘어 양방향 (상하한선) 제약을 통해 엔트로피 폭발과 붕괴를 모두 방지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 강화 학습에서 국소적인 샘플링 행동의 제어만으로는 부족하며, 전체 분포의 글로벌 제어가 필수적임을 증명했습니다.

• 이론적 통찰: PPO-Clip 의 근본적인 한계 (샘플링되지 않은 행동의 무방비 상태) 를 해결하기 위해 엔트로피 비율이라는 새로운 관점을 제시했습니다.
• 실용적 가치: ERC 는 기존 RL 알고리즘 (DAPO, GPPO 등) 에 쉽게 통합될 수 있는 모듈러한 메커니즘으로, 학습의 안정성을 높이고 복잡한 추론 작업에서의 모델 성능을 획기적으로 개선합니다.
• 향후 전망: 수학 추론 분야에서 검증된 이 방법은 코드 생성 및 에이전트 기반 RL 등 다른 분야로 확장될 가능성이 높으며, RL 기반 LLM 학습의 표준적인 안정화 기법으로 자리 잡을 수 있을 것으로 기대됩니다.

요약하자면, ERC는 "샘플링된 행동의 확률 변화"뿐만 아니라 "전체 분포의 엔트로피 변화"까지 통제함으로써, RL 학습의 불안정성을 근본적으로 해결하고 모델의 추론 능력을 극대화하는 강력한 솔루션입니다.