기술 요약: 그래디언트 보존 관점에서의 RLVR 유연한 엔트로피 제어

문제 제기

검증 가능한 보상을 활용한 강화학습 (RLVR) 은 특히 그룹 상대적 정책 최적화 (GRPO) 를 사용하여 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 핵심적인 방법으로 자리 잡았습니다. 그러나 이러한 패러다임에서의 지속적인 학습은 종종 정책 엔트로피 붕괴를 초래합니다. 이 현상은 정책 엔트로피가 급격히 감소하여 거의 0 에 수렴하는 특징을 가지며, 이로 인해 과도한 확신이 조기에 발생하고, 출력 다양성이 감소하며, 그래디언트 노름이 소실되어 궁극적으로 추가 학습을 억제하고 모델 성능을 저하시킵니다.

이러한 역학을 주도하는 주요 요인은 그래디언트 보존 클리핑입니다. 이는 클리핑된 근사 정책 최적화 (PPO-Clip) 에서 계승된 메커니즘으로, 중요도 샘플링 비율을 신뢰 구간 (trust region) 내에서 제한합니다. 기존 완화 전략인 'Clip-Higher'와 같은 접근법은 클리핑 임계값을 정적으로 조정함으로써 이를 해결하려 시도하지만, 클리핑 메커니즘과 정밀한 엔트로피 제어 간의 연결을 설명하는 이론적 틀이 부족합니다. 결과적으로 현재 방법론들은 종종 정적이며, 효과적인 RL 학습에 필요한 유연하고 단계별 엔트로피 조절을 제공하지 못합니다.

방법론

본 논문은 RLVR 의 엔트로피 제어를 그래디언트 보존 관점에서 재구성하는 새로운 접근법을 제안합니다. 이 방법론은 다음 세 가지 핵심 구성 요소에 기반합니다:

1. 엔트로피 역학에 대한 이론적 및 실증적 분석

저자들은 강화학습 업데이트 그래디언트와 전역 엔트로피 그래디언트 간의 관계를 이론적으로 분석합니다. 목적 함수 그래디언트 ($\nabla_z L$) 와 엔트로피 그래디언트 ($\nabla_z H$) 의 내적을 계산함으로써, 엔트로피가 증가하거나 감소하는지를 결정하는 중요도 샘플링 비율 ($r_t$) 의 네 가지 구역을 식별합니다:

• E1 (높은 이득): 양의 이득을 가진 고확률 토큰은 추가적인 sharpening(엔트로피 감소) 을 장려합니다.
• E2 (낮은 이득): 양의 이득을 가진 저확률 토큰은 flattening(엔트로피 증가) 을 장려합니다.
• E3 (높은 하락): 음의 이득을 가진 고확률 토큰은 flattening(엔트로피 증가) 을 장려합니다.
• E4 (낮은 하락): 음의 이득을 가진 저확률 토큰은 sharpening(엔트로피 감소) 을 장려합니다.

실증적 검증은 이러한 특정 구역에 그래디언트 보존 클리핑을 선택적으로 적용함으로써 정책 엔트로피의 궤적에 직접적인 영향을 미친다는 것을 확인합니다.

2. 엔트로피 조절을 위한 동적 클리핑 임계값

이론적 발견에 기반하여, 본 논문은 동적 클리핑 임계값 메커니즘을 도입합니다. 고정된 스칼라 경계 ($\epsilon$) 를 사용하는 대신, 클리핑 임계값은 stop-gradient 연산과 함께 현재 정책 확률 ($\pi_\theta$) 의 함수로 정의됩니다:
$$\epsilon(\pi_\theta) := f(\bar{p}_t), \quad \bar{p}_t = \text{sg}[\pi_\theta(a_t|s_t)]$$
여기서 $f(\bar{p}_t)$는 확률과 음의 상관관계를 가집니다.

• 양의 이득의 경우: 저확률 토큰에 대해서는 상단 클리핑 임계값을 높여 (탐색/E2 장려), 고확률 토큰에 대해서는 낮춥니다 (과도한 집중/E1 방지).
• 음의 이득의 경우: 고확률 토큰에 대해서는 하단 클리핑 임계값을 낮춰 (안정성 유지), 저확률 토큰에 대해서는 완화합니다 (비최적 영역 억제/E4).

이 메커니즘은 신뢰 구역을 정밀하게 확률 의존적으로 변조하여 엔트로피 변화를 장려하거나 억제할 수 있게 합니다.

3. 엔트로피 제어 전략

동적 조절 메커니즘을 활용하여 저자들은 학습 수명 주기 전반에 걸친 엔트로피 진화를 관리하기 위해 세 가지 고유한 학습 전략을 설계합니다:

• 증가 후 감소 (ID): SFT 정렬 모델에 적합합니다. 엔트로피 증가 단계 (다양한 추론 장려) 로 시작하여 엔트로피 감소 단계 (최적 성능으로 수렴) 로 이어집니다.
• 감소 - 증가 - 감소 (DID): 기본 모델이나 고엔트로피 모델에 적합합니다. 초기에 엔트로피를 감소시켜 최적화를 안정화한 후, 붕괴를 방지하기 위해 통제된 증가를 허용하고, 최종적으로 수렴을 위해 엔트로피를 감소시킵니다.
• 진동적 감쇠 (OD): 장기 학습 실행이나 지역 최소값에 취약한 시나리오에 설계되었습니다. 현재 엔트로피가 하한선 미만으로 떨어지거나 감쇠하는 상한선을 초과하는지에 따라 엔트로피 증폭 또는 억제를 트리거하는 상태 머신을 사용하여 학습 전반에 걸쳐 동적 균형을 유지합니다.

주요 기여

1. 이론적 통찰: 본 논문은 특정 중요도 샘플링 비율 구역이 엔트로피 증가와 감소에 어떻게 기여하는지에 대한 이론적 유도 및 실증적 검증을 제공하여, 그래디언트 보존 클리핑과 엔트로피 역학 간의 명확한 연결을 확립합니다.
2. 조절 메커니즘: 토큰 확률에 기반하여 상한 및 하한을 변조하는 동적 클리핑 임계값 메커니즘을 제안하여, 엔트로피 변동에 대한 유연하고 정밀한 제어를 가능하게 합니다.
3. 전략 설계: 다양한 모델 상태와 목표에 맞춰 학습 과정을 적응시키는 세 가지 구체적인 엔트로피 제어 전략 (ID, DID, OD) 을 도입하고 평가하여, 엔트로피 붕괴를 효과적으로 완화합니다.

실험 결과

제안된 방법들은 DAPO-MATH 데이터셋을 사용하여 Qwen2.5-Math-7B, Qwen2.5-7B, Phi-4-14B 모델에서 평가되었습니다. 성능은 여러 수학 추론 작업 (AIME24/25, AMC, MATH-500, GSM8k, Olympiad) 과 비수학 분야 (GPQA-Diamond, LiveCodeBench, MMLU-Redux) 에서 벤치마크되었습니다.

• 성능 향상: 세 가지 전략 (ID, DID, OD) 모두 여러 벤치마크에서 기본 GRPO 및 기타 최첨단 방법들 (예: Clip-Higher, Entropy-Regularization, GSPO) 보다 일관되게 우수한 성과를 거두었습니다. 예를 들어, Qwen2.5-Math-7B 에서 Ours-ID 전략은 AIME24 에서 33.1점을 기록하여 GRPO 의 24.4점을 능가했으며, Olympiad 에서는 48.3점을 기록하여 46.2점을 기록한 GRPO 보다 높았습니다.
• 엔트로피 제어: 학습 곡선은 제안된 방법들이 엔트로피 붕괴를 성공적으로 방지했음을 보여줍니다. ID 전략은 초기 엔트로피 상승 후 통제된 감소를 명확하게 보였으며, OD는 조기 수렴을 방지하는 진동적 행동을 유지했습니다.
• 일반화: 이 방법들은 더 큰 모델 (Phi-4-14B) 로의 확장성과 비수학 분야로의 일반화를 입증하여, Pass@K 지표 및 보상 점수에서 일관된 개선을 보여주었습니다.
• 효율성: 동적 클리핑 메커니즘은 최소한의 계산 오버헤드를 도입하여, 학습 시간은 기본 GRPO 와 유사했습니다.

중요성 및 주장

본 논문은 엔트로피 제어의 관점을 정적 임계값 튜닝에서 그래디언트 보존 및 확률 의존적 동적 변조로 전환함으로써, RLVR 에서 탐험과 활용 간의 균형을 정밀하게 관리할 수 있음을 주장합니다.

저자들은 엔트로피 붕괴가 LLM 추론을 위한 RL 확장에서의 병목 현상으로 식별된 중요한 문제를 해결했다고 주장합니다. 이론적 틀과 실용적 전략 (ID, DID, OD) 을 제공함으로써, 본 논문은 지속적인 학습 중 출력 다양성과 그래디언트 흐름을 유지하기 위한 강력한 해결책을 제시합니다. 결과는 유연한 엔트로피 제어가 단순한 정규화 기법이 아니라 대규모 언어 모델에서 우수한 추론 성능을 달성하기 위한 근본적인 구성 요소임을 시사합니다. 이 작업은 이러한 전략들의 효과는 균일한 조정을 적용하는 것이 아니라 토큰의 특정 확률 상태에 따라 신뢰 구간 제약을 적응시키는 능력에 있음을 강조합니다.