기술 요약: EP-GRPO

문제 제기

본 논문은 대규모 언어 모델 (LLM) 에서 검증 가능한 보상을 활용한 강화 학습 (RLVR) 을 위한 선도적인 알고리즘인 그룹 상대적 정책 최적화 (GRPO) 에 내재된 세 가지 근본적인 신용 할당 실패를 식별합니다. 이러한 한계는 추론 작업의 효율성과 효과성을 저해합니다:

1. 균일한 토큰 수준 세분성: 표준 GRPO 는 생성된 시퀀스 내의 모든 토큰에 균일한 이득 (advantage) 값을 할당합니다. 이러한 거친 세분성은 토큰의 이질적인 정보 가치를 무시합니다. 실증 분석에 따르면, 고엔트로피 토큰 (의사 결정 전환점을 나타냄) 은 추론에 결정적이지만, 저엔트로피 토큰은 종종 결정론적이고 중복된 유도를 나타냅니다. 이를 동등하게 취급하면 중요한 의사 결정 시점에서 그라디언트 신호가 희석됩니다.
2. 균일한 극성: GRPO 는 최종 결과에 기반하여 시퀀스의 모든 토큰에 동일한 부호의 이득 (양수 또는 음수) 을 할당합니다. 이는 "극성 불일치"를 초래하여, 실패한 궤적 내의 올바른 중간 단계가 패널티를 받고, 성공한 궤적 내의 잘못된 단계가 부주의하게 보상받게 됩니다. 프로세스 보상 모델 (PRM) 과 같은 기존 솔루션은 이를 해결하지만 비용이 많이 드는 외부 주석이 필요하며 일반화에 어려움을 겪습니다.
3. 제로 분산 붕괴: 그룹 내 모든 샘플된 응답이 동일한 보상을 받는 경우 (초기 학습이나 어려운 작업에서 흔히 발생), 정규화된 이득은 모든 토큰에 대해 0 이 됩니다. 이로 인해 결과 기반 그라디언트 신호가 완전히 소멸하여 학습이 중단됩니다. 그룹 크기를 늘리는 것은 이를 완화하지만 계산 비용이 많이 듭니다. 기존 해결책들은 종종 추가 샘플링이나 논리적 진보와 일치하지 않는 휴리스틱 재구성에 의존합니다.

방법론: EP-GRPO

저자들은 외부 보상 모델 없이 희소하고 결과만 있는 피드백을 조밀하고 자기지도식인 토큰 수준 학습 신호로 변환하는 프레임워크인 **엔트로피 - 진보 정렬 GRPO(EP-GRPO)**를 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어집니다:

1. 엔트로피 게이트된 결과 이득

세분성 문제를 해결하기 위해 EP-GRPO 는 예측 엔트로피 ($H_{i,t}$) 에서 파생된 토큰 수준 가중치를 사용하여 원래 시퀀스 수준 이득 ($\hat{A}_i$) 을 조절합니다.

• 메커니즘: 이 방법은 각 토큰에 대한 예측 엔트로피를 계산합니다. 시그모이드 게이트는 표준화된 엔트로피 값을 가중치 ($W_{i,t}$) 로 매핑합니다.
• 효과: 고엔트로피 토큰 (의사 결정 전환점) 은 증폭된 가중치를 받고, 저엔트로피 토큰 (결정론적 유도) 은 억제됩니다. 조절된 이득은 $\hat{A}^{outcome}_{i,t} = W_{i,t} \cdot \hat{A}_i$입니다. 이는 원래 방향을 유지하면서 정보 내용에 기반하여 크기를 조정합니다.

2. 암시적 진보 이득

극성 및 제로 분산 붕괴 문제를 해결하기 위해 EP-GRPO 는 정책 발산에서 파생된 방향성 신호를 도입합니다.

• 신호 생성: 현재 정책 ($\pi_\theta$) 과 고정된 참조 정책 ($\pi_{ref}$) 간의 로그 확률 발산을 계산합니다: $s_{i,t} = \lambda (\log \pi_\theta - \log \pi_{ref})$. 이는 자기지도식 프로세스 신호로 작용합니다.
• 방향성 고정: 발산은 고유한 방향성이 부족합니다 (신뢰도가 잘못 배치될 수 있음), 따라서 결과 이득에 고정됩니다.
  • 그룹 보상 분산이 0 이 아닌 경우, 고정점은 $\text{sign}(\hat{A}_i)$입니다.
  • 분산이 0 인 경우 (붕괴), 고정점은 원시 보상 부호 ($\text{sign}(r_i - \theta_{reward})$) 로 저하됩니다.
• 진보 정렬: 비동기적 추론 궤적 간에 이러한 신호를 정규화하기 위해, 토큰은 누적 엔트로피($\tau_{i,t}$) 를 기반으로 "논리적 진보 버킷"에 매핑됩니다. 정규화 (Z-score) 는 물리적 위치가 아닌 이러한 버킷 내에서 수행되어 유사한 추론 단계에 있는 토큰들이 비교되도록 합니다.
• 결과: 이는 결과 이득이 소멸할 때도 활성화된 채로 유지되는 방향성 조밀 보상 ($\hat{A}^{progress}_{i,t}$) 을 산출합니다.

3. 최종 토큰 수준 이득

최종 이득은 두 신호를 결합합니다:
$$\hat{A}^{final}_{i,t} = \hat{A}^{outcome}_{i,t} + \hat{A}^{progress}_{i,t}$$
이론적 분석에 따르면, 이 그라디언트는 엔트로피 가중 제곱 로그 비율 항을 가진 정규화된 GRPO 목적 함수와 동일하며, 이는 중요한 의사 결정 시점에서 탐색을 안정화시키는 정밀 유도형 정규화 역할을 합니다.

주요 기여

1. 엔트로피 게이트된 조절: 거친 시퀀스 수준 이득을 토큰 수준 가중치로 변환하여 고엔트로피 의사 결정 전환점에서 그라디언트 업데이트를 우선시하는 메커니즘.
2. 고정된 암시적 프로세스 신호: 결과 이득에 고정함으로써 정책 발산을 방향성 프로세스 보상으로 변환하는 방법. 이는 외부 PRM 없이 세밀한 피드백을 제공하며 제로 분산 붕괴 중에도 그라디언트 흐름을 유지합니다.
3. 논리적 진보 정렬: 비동기적 궤적을 통합된 좌표계로 투영하는 누적 엔트로피 매핑 전략으로, 진보 정렬 정규화를 가능하게 하여 결과 기반 그라디언트가 소멸할 때도 의미 있는 신호를 보장합니다.

실험 결과

저자들은 Qwen2.5-3B 및 Qwen2.5-7B 모델을 다섯 가지 수학 추론 벤치마크 (MATH500, AMC23, Minerva, AIME24, AIME25) 에서 평가했습니다.

• 성능 향상: EP-GRPO 는 표준 GRPO 및 그 변형 (예: 더 높은 온도, 더 많은 롤아웃) 보다 일관되게 우수한 성과를 보였습니다.
  • Qwen2.5-3B에서 평균 정확도는 18.14%(GRPO) 에서 22.93%(+26.4%) 로 향상되었습니다.
  • Qwen2.5-7B에서 평균 정확도는 27.11%(GRPO) 에서 30.34%(+11.9%) 로 향상되었습니다.
  • 특히, 3B EP-GRPO 모델은 AMC23 벤치마크에서 상업용 DeepSeek-R1-671B 를 능가했습니다.
• Pass@k 성능: EP-GRPO 는 샘플 수 ($k$) 가 증가함에 따라 고난이도 데이터셋 (AIME24/25) 에서 상당한 이점을 보여주었으며, 이는 복잡한 시나리오에서 올바른 추론 경로를 발견하는 데 뛰어난 능력을 시사합니다.
• 애블레이션 연구: 단일 구성 요소 (엔트로피 게이팅, 암시적 진보 신호, 또는 제로 분산 저하) 를 제거하면 성능이 저하되어 세 가지 메커니즘이 중복되지 않으며 collectively 필수적임을 확인했습니다.
• 효율성: 추가 계산 (엔트로피, 발산) 이 경량화되어 있으므로 학습 월클록 시간은 표준 GRPO 와 유사했습니다. 그러나 EP-GRPO 는 약 20% 더 긴 추론 체인을 생성하여 시간적 비용 없이 더 깊은 추론을 수행함을 나타냈습니다.

의의

본 논문은 EP-GRPO 가 자기지도식 조밀 신용 할당 메커니즘을 도입함으로써 RLVR 에서 GRPO 의 근본적인 한계를 해결한다고 주장합니다. 모델의 고유한 정보 흐름 (엔트로피) 과 정책 동역학 (발산) 을 활용함으로써 비용이 많이 드는 외부 프로세스 보상 모델의 필요성을 제거하고, 그룹 기반 최적화를 괴롭히는 제로 분산 붕괴를 해결합니다. 결과는 LLM 추론 능력을 향상시키는 데 있어 모델 규모나 샘플링 예산을 단순히 늘리는 것보다 개선된 신용 할당이 더 중요한 레버임을 시사합니다.