GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

기술 요약: RLVR 학습에서의 그룹 표준 편차 항등식 (The Group-Standard-Deviation Identity)

문제 정의
검증 가능한 보상(Verifiable Rewards)을 사용하는 강화 학습(RLVR)에서, 언어 모델이 추론하도록 학습시키는 과정은 종종 단일 프롬프트에 대해 여러 개의 후보 답변($G$)을 샘플링하고 자동 검증기를 사용하여 이진 보상(정답 1, 오답 0)을 할당하는 과정을 포함합니다. 이러한 보상을 처리하는 세 가지 주요 방법인 GRPO, Dr. GRPO, 그리고 DAPO는 서로 다른 휴리스틱을 사용하는 것처럼 보입니다. GRPO는 그룹의 보상 표준 편차로 어드밴티지(advantage)를 정규화하며, Dr. GRPO는 이 정규화를 제거하고, DAPO는 모든 답변이 일치하는 그룹(표준 편차가 0인 경우)을 폐기합니다. 본 논문은 이러한 방법들이 별개의 수정책인지, 아니면 하나의 근본적인 메커즘의 변형인지를 질문하며, 이들에 대한 통일된 이론적 이해가 부족함을 지적합니다.

방법론 및 핵심 항등식
본 논문은 유한한 그룹 크기 $G$와 이진 보상을 가진 단일 프로ンプ트에 대한 학습 업데이트를 분리하여 분석합니다. 이를 통해 베이스라인(baseline) 사용 여부와 관계없이 적용되는 단일 프롬프트 정책 경사(policy gradient) 업데이트에 대한 정확한 수학적 항등식을 도출합니다.

$k$를 그룹 크기 $G$ 내의 정답 개수라고 합시다. 그룹 보상 표준 편차는 $\sigma = \sqrt{k(G-k)/G}$입니다. 본 논문은 다음과 같은 **그룹 표준 편차 항등식(Group-Standard-Deviation Identity)**을 증명합니다:
$$g = \sigma (\bar{s}_+ - \bar{s}_-)$$
여기서 $\bar{s}_+$와 $\bar{s}_-$는 각각 정답 롤아웃과 오답 롤아웃의 평균 점수입니다.

이 항등식은 학습 업데이트의 크기가 정확히 그룹의 보상 표준 편차와 같음을 보여줍니다. 업데이트는 그룹이 만장일치일 때($k=0$ 또는 $k=G$이므로 $\sigma=0$) 사라지며, 그룹이 반반으로 나뉠 때($k=G/2$) 정점에 도달합니다.

방법론의 통합
본 논문은 GRPO, Dr. GRPO, DAPO가 서로 다른 알고리즘이 아니라, 이 단일 스칼라 양($\sigma$)에 적용되는 세 가지 서로 다른 연산임을 입증합니다:

1. GRPO: 어드밴티지를 $\sigma$로 나눕니다. 이는 업데이트를 $\sigma$만큼 스케일링하여, 분산 안정화 목적 함수($2\arcsin\sqrt{p}$)를 최적화합니다.
2. Dr. GRPO: $\sigma$로 나누는 과정을 제거합니다. 이는 업데이트가 $\sigma^2$에 비례하게 만들며, 가공되지 않은 성공률($p$)을 최적화합니다.
3. DAPO: $\sigma = 0$인 그룹을 폐기합니다. 이는 정답과 오답 사이의 대조(contrast)를 제공하지 못하는 "침묵하는(silent)" 그룹을 필터링합니다.

주요 기여
본 논문은 다섯 가지 구체적인 이론적 및 실증적 기여를 제공합니다:

1. 정확한 유한 그룹 항등식: 본 논문은 GR-PO 업데이트가 점근적 한계에 의존하지 않고, 임의의 유한한 $G$와 임의의 정책 차원에 대해 유효한, $\sigma$로 스케일링된 대조적 점수 방향임을 확립합니다.
2. 그룹 크기 법칙 (The Group-Size Law): 대규모 그룹의 경사를 달성하기 위해 필요한 샘플 수($G$)를 결정하는 폐쇄형 관계식을 도출합니다. 필요한 그룹 크기는 난이도 가중치의 제곱에 비례하여 스케일링됩니다: $G \gtrsim 1/(8\epsilon p(1-p))$. 이는 어려운 프롬프트(낮은 $p$)가 안정적인 학습 신호를 생성하기 위해 중간 난이도의 프롬프트보다 훨씬 더 큰 그룹 크기를 필요로 함을 의미합니다.
3. 침묵 그룹 비율 (The Silent-Group Rate): 그룹이 "침묵하는"(경사를 제공하지 않는) 확률이 $P = p^G + (1-p)^G$임을 정량화합니다. 이는 특정 그룹을 과잉 샘플링하고 폐기하는 DAPO의 동적 샘플링 메커니즘을 설명합니다.
4. 난이도 편향의 정확한 특성화: 본 논문은 GRPO에서 관찰되는 "난이도 편향"(쉬운 프롬프트와 어려운 프롬프트가 과하게 가중치를 받는 현상)이 $1/\sigma$ 나눗셈의 직접적인 결과임을 증명합니다. 이 나눗셈은 아크사인 변환의 미분값($\partial_p 2\arcsin\sqrt{p} = 1/\sqrt{p(1-p)}$)에 해당하며, 이는 극단적인 난이도에 더 높은 한계 가중치를 할당합니다. 이 나눗셈을 제거하면(Dr. GRPO), 평탄한 난이도 가중치를 가진 가공되지 않은 성공률로 목적 함수가 회귀합니다.
5. 실증적 검증:
   • Big-Math 데이터셋: 215,608개의 문제로 구성된 데이터셋에서, 본 논문은 GRPO의 표준화가 그래디언트 예산을 이동시켜, Dr. GRPO에 비해 극단적 난이도의 프롬프트에 거의 두 배 가까운 몫을 할당함(13.9% $\to$ 24.7%)을 보여줍니다. 또한 표준 그룹 크기($G=8$)에서 44%의 프롬프트가 침묵 그룹을 생성하며, 이는 이론적 예측과 일치함을 확인했습니다.
   • 통제된 학습 실행: 6,000개의 베르누이-로짓(Bernoulli-logit) 프롬프트를 사용한 재현 가능한 실험을 통해, 침묵 그룹 비율과 그래디언트 질량 분포에 대한 폐쇄형 예측이 실제 학습 역학을 매우 높은 정밀도로 추적함을 확인했습니다 ($R^2 = 0.999$).

의의 및 주장
본 논문은 흔히 화장품 같은 정규화 단계로 간주되는 작업이, 사실은 어디에서 얼마나 강력하게 학습이 일어날지를 결정하는 "다이얼(dial)"이라고 주장합니다.

• 신호 대 노이즈: 그룹 표준 편차는 단순한 정규화 인자가 아닙니다. 그것은 학습 신호 그 자체의 크기입니다. 프롬프트는 샘플링된 답변들이 서로 다를 때만 학습을 제공합니다.
• 통합적 관점: 세 가지 방법은 하나의 숫자에 대한 연산으로 통합됩니다. GRPO는 불일치 수준에 따라 신호를 증폭하기로 선택하고, Dr. GRPO는 불일치 수준을 무시하기로 선택하며, DAPO는 불일치가 없는 경우를 무시하기로 선택합니다.
• 실무적 시사점: 본 연구 결과는 균일한 그룹 크기를 사용하는 것이 최적이 아님을 시사합니다. 즉, 고정된 그룹 크기는 어려운 프롬프트(침묵을 피하기 위해 더 큰 $G$가 필요함)에는 과소 지원하고, 중간 난이도 프롬프트에는 과잉 지원합니다. 본 논문은 정확한 유한 그룹 계산을 이해하는 것이 점근적 근사치나 휴리스틱 튜닝에 의존하는 대신, 데이터의 특정 난이도 분포에 따라 그룹 크기와 목적 함수 구성을 정보에 입각하여 선택할 수 있게 해준다고 주장합니다.

결론적으로, 본 논문의 결과는 새로운 알고리즘을 요구하는 것이 아니라 단일 샘플링 그룹에 대한 정확한 계산으로부터 도출되는 것이며, RLVR에서의 보상 형성(reward shaping)을 분석하기 위한 폐쇄형 프레임워크를 제공합니다.