기술 요약: 공분산 인식 GRPO 를 통한 극단적 토큰 제어

문제 제기

그룹 상대적 정책 최적화 (GRPO) 는 수학 및 코딩 작업에서 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 표준 접근법으로 자리 잡았습니다. 그러나 GRPO 는 탐색(새로운 추론 전략 탐색) 과 활용(알려진 좋은 해결책 정제) 사이의 균형을 맞추는 데 있어 중요한 한계에 직면해 있습니다.

본 논문은 이러한 불균형이 훈련 중 정책의 엔트로피 역학과 근본적으로 연결되어 있음을 규명했습니다. Cui 등 (2025a) 의 이론적 통찰에 기반하여 저자들은 정책 엔트로피의 변화가 토큰 로그 확률과 해당 이점 추정치 간의 공분산에 의해 지배된다고 지적합니다. 실증 분석 결과, 극단적인 공분산 값을 가진 소수의 토큰이 정책 업데이트를 불균형적으로 지배하는 것으로 나타났습니다. 이러한 이상치들은 엔트로피 불안정성을 초래하여, 비최적 해결책에 대한 과도한 확신 (과도한 활용) 이나 불안정한 훈련 역학 (과도한 탐색) 을 유발하며, 궁극적으로 하류 작업의 성능 저하로 이어집니다.

방법론

제안된 솔루션은 토큰 수준의 공분산을 기반으로 이점 신호를 동적으로 재가중하는 **공분산 인식 GRPO(CW-GRPO)**로, 하이퍼파라미터가 없는 최적화 방법입니다.

1. 이론적 기반

이 방법은 자연 정책 경사 업데이트 하에서 정책 엔트로피의 변화 ($\Delta H$) 가 토큰 로그 확률과 이점 간의 음의 공분산에 대략 비례한다는 관찰에 의존합니다:
$$\Delta H \approx -\eta \cdot \text{Cov}_t(\log \pi_\theta(o_t|q, o_{<t}), \hat{A}_i)$$
이 공분산의 극단적인 값들은 엔트로피를 안정적이고 균형 잡힌 상태에서 멀어지게 만듭니다.

2. 가우시안 커널 이점 재가중

극단적 토큰의 불안정화 효과를 완화하기 위해 저자들은 재가중 메커니즘을 도입했습니다:

• 공분산 계산: 응답 $i$의 각 토큰 $t$에 대해, 중심화된 로그 확률과 중심화된 이점 간의 공분산을 계산합니다:
  $$c_{i,t} = (\log \pi_\theta(o_{i,t}|\dots) - \overline{\log \pi}) \cdot (\hat{A}_i - \overline{\hat{A}})$$
• 가우시안 가중치 적용: 고강도 공분산을 가진 토큰을 억제하기 위해 가우시안 커널을 적용합니다. 대역폭은 공분산 분포의 실증 표준 편차 ($\sigma$) 로 설정됩니다:
  $$w_{i,t} = \exp\left(-\frac{c_{i,t}^2}{2\sigma^2}\right)$$
  이 함수는 엔트로피 붕괴나 폭발을 초래할 수 있는 "이상치" 토큰을 부드럽게 필터링하는 동시에, 중간 정도의 공분산을 가진 토큰의 학습 신호는 보존합니다.
• 정규화: 배치 전반에 걸쳐 기대 손실 크기를 유지하기 위해 가중치를 정규화합니다.
• 수정된 목적 함수: 토큰 수준의 손실은 표준 GRPO 목적 함수를 적용하기 전에 이점 $\hat{A}_i$에 재가중 인자 $\tilde{w}_{i,t}$를 곱하여 업데이트됩니다.

주요 기여

1. 극단적 토큰의 규명: 본 논문은 소수의 극단적 공분산 값을 가진 토큰이 일반 GRPO 에서 정책 업데이트와 엔트로피 불안정성을 불균형적으로 주도한다는 것을 실증적으로 입증했습니다.
2. 하이퍼파라미터 없는 최적화: 제안된 CW-GRPO 방법은 추가적인 조정 가능한 하이퍼파라미터 없이 가우시안 커널을 사용하여 극단적 업데이트를 자동으로 하향 가중합니다.
3. 안정화된 엔트로피 역학: 극단적 공분산 업데이트를 억제함으로써, 이 방법은 훈련 전반에 걸쳐 정책 엔트로피를 적절한 수준으로 유지하여 탐색과 활용 사이의 균형을 효과적으로 맞춥니다.

실험 결과

저자들은 Open-RS 훈련 데이터셋과 다섯 가지 수학 추론 벤치마크 (AIME24, MATH-500, AMC23, Minerva, OlympiadBench) 를 사용하여 두 가지 모델 규모 (1.5B 및 7B) 에서 CW-GRPO 를 평가했습니다.

• 성능 향상:
  • 1.5B 모델 (DeepSeek-R1-Distill-Qwen): CW-GRPO 는 베이스 모델 대비 평균 +6.4%, 일반 GRPO 대비 **+2.7%**의 개선을 달성했습니다. AMC23 및 Minerva 에서 주목할 만한 향상이 관찰되었습니다.
  • 7B 모델 (Qwen2.5-Math): CW-GRPO 는 베이스 모델 대비 평균 +4.3%, 일반 GRPO 대비 **+2.4%**의 개선을 달성했으며, AMC23 및 OlympiadBench 에서 유의미한 향상을 보였습니다.
• 엔트로피 안정성:
  • 일반 GRPO 는 훈련이 진행됨에 따라 성능이 저하되는 심각한 엔트로피 불안정성을 보였습니다 (예: 엔트로피 변동에 따라 MATH-500 점수가 85.0% 에서 79.8% 로 하락).
  • CW-GRPO 는 훈련 체크포인트 전반에 걸쳐 일관된 성능을 유지했습니다 (MATH-500 에서 86.2%–87.0%), 이는 극단적 공분산 값을 제어하는 것이 안정적이고 우수한 추론 성능과 상관관계가 있음을 검증했습니다.

의의 및 주장

본 논문은 이 접근법이 수동 하이퍼파라미터 튜닝 없이 GRPO 에서 탐색과 활용을 균형 있게 조절하는 원칙적인 메커니즘을 제공한다고 주장합니다. 엔트로피 불안정성의 근본 원인인 극단적 토큰 수준 공분산 업데이트를 직접 해결함으로써, 이 방법은 보다 견고한 정책 최적화를 가능하게 합니다.

저자들은 이 작업을 추론을 위한 더 안정적인 강화 학습을 향한 한 걸음으로 위치시키며, 극단적 업데이트를 완화하는 것이 다양한 모델 아키텍처와 수학 벤치마크에서 일관된 하류 개선을 이끈다는 것을 입증했습니다. 저자들은 한계를 인정하며, 실험이 최대 7B 파라미터 모델에서 수행되었고 주로 수학 추론에 초점을 맞췄음을 지적하여, 광범위한 적용 가능성을 확인하기 위해 더 대규모 모델과 다양한 작업에 대한 추가 검증이 필요하다고 언급했습니다.