Rollout-Level Advantage-Prioritized Experience Replay for GRPO

기술 요약: GRPO를 위한 롤아웃 레벨 이점 우선순위 경험 재현 (Rollout-Level Advantage-Prioritized Experience Replay)

문제 정의

검증 가능한 보상(Verifiable Rewards)을 이용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 사후 학습(post-training)을 위한 표준인 그룹 상대 정책 최적화(GRPO)로 자리 잡았습니다. 그러나 GRPO는 본질적으로 샘플 효율성이 낮습니다. 표준적인 온-폴리시(on-policy) 설정에서는 각 프롬프트에 대해 일련의 후보 롤아웃들을 생성하고, 이를 단 한 번의 그래디언트 업데이트에 사용한 뒤 즉시 폐기합니다. 이는 강력한 학습 신호를 담고 있는 롤아웃, 예를 들어 오답들 사이에서 발견된 희귀한 정답 롤아웃의 경우 매우 낭비적인 방식입니다.

경험 재현(Experience Replay, ER)은 다른 강화 학습 영역에서는 흔히 쓰이는 기법이지만, 다음 두 가지 이유로 인해 GRPO에 직접 적용하기에는 어렵습니다:

1. 급격한 정책 드리프트(Rapid Policy Drift): LLM 정책은 그래디언트 단계마다 크게 변화합니다. 저장된 롤아웃은 빠르게 "노후화(stale)"되며, 제어 없이 이를 사용하는 것은 학습을 불안정하게 만들 수 있습니다.
2. 그룹 레벨의 입도(Group-Level Granularity): 표준 GRPO는 롤아웃 단위의 학습 신호를 하나의 쿼리 단위 가치(value)로 집계합니다. 단순한 재현 방식이 쿼리 레벨(전체 그룹)의 샘플을 추출할 경우, 학습을 주도하는 그룹 내의 특정 고신호 롤아웃을 분리해내지 못하는 문제가 발생합니다.

GRPO에 재현을 적용하려는 기존 시도들은 대개 무제한적인 노후화 문제에 직면하거나, 그룹 내의 소수 롤아웃에서 발생하는 가장 유익한 그래디언트를 식별하지 못하는 쿼리 레벨 우선순위 신호(예: 그룹 분산)에 의존한다는 한계가 있습니다.

방법론

저자들은 GRPO를 위해 특별히 설계된 롤아웃 레벨 이점 우선순위 경험 재현 버퍼를 제안합니다. 이 방법은 노후화와 신호 격리 문제를 해결하기 위해 세 가지 핵심 구성 요소를 통합합니다:

1. 연령 기반 제거 (Age Eviction, 노후화 제어)

재사용되는 데이터의 정책 격차를 제한하기 위해, 버퍼는 연령 기반 제거 방식을 채택합니다. 각 저장된 롤아웃에는 "탄생 단계($t_b$)"가 태깅됩니다. 임의의 훈련 단계 $t$에서 롤아웃의 연령은 $t - t_b$가 됩니다. 연령이 최대 임계값 $\tau_{max}$를 초과하는 모든 롤아웃은 제거됩니다.

• 모델 규모나 데이터 난이도에 따라 변하는 용량 기반 제거와 달리, 연령 기반 제거는 모델 크기에 관계없이 일정한 단계 수준의 노후화 경계를 제공합니다.
• 이를 통해 어떤 업데이트도 고정된 훈련 단계 이상으로 롤아웃을 재사용하지 않도록 보장하며, 유의미하게 벗어난 오프-폴리시(off-policy) 데이터로 학습할 위험을 완화합니다.

2. 신선한 앵커 기반 구성 (Fresh-Anchored Composition)

저자들은 (신선한 데이터와 재현된 데이터를 하나의 배치에 혼합하는) 표준적인 "풀 구성(pool composition)" 방식을 거부하고, 신선한 앵커 기반 구성 방식을 채택했습니다.

• 각 훈련 단계에서 신선한 온-폴리시 롤아웃 전체 배치를 유지합니다.
• 버퍼에서 별도의 재현 롤아웃 세트를 샘플링하여 신선한 배치에 결합합니다.
• 이는 모든 그래디언트 업데이트에 "신선한 앵커"를 포함하도록 보장하여, 재현된 부분과 관계없이 최악의 경우 발생할 수 있는 정책 격차를 제한합니다. 이는 대규모 모델에서 신선한 데이터와 오래된 데이터를 하나의 풀에 혼합했을 때 성능이 표준 GRPO보다 저하되는 현상이 관찰되었던 점을 고려할 때 매우 중요합니다.

3. 롤아웃 레벨 $|A_i|$ 우선순위

버퍼는 전체 그룹(쿼리 레벨)을 저장하고 샘플링하는 대신, 개별 롤아웃을 저장하고 샘플링합니다.

• 우선순위 신호: 샘플링을 위한 우선순위는 개별 롤아웃의 절대 이점 크기 $|A_i|$입니다. GRPO에서 $A_i$는 그룹 상대적 이점입니다. $|A_i|$가 큰 롤아웃(예: 오답들로 구성된 편향된 그룹 내의 단일 정답)은 학습의 대부분을 차지하는 신호를 제공합니다.
• 메커니즘: 롤아웃 레벨에서 샘플링함으로써, 이 방법은 표준 GRPO에서 단 한 번의 통과 후 버려지는 경우가 많은 고신호 소수 롤아웃을 선택적으로 재활용할 수 있습니다. 이는 모든 롤아웃을 동일하게 취급하여 특정 소수 사례를 우선순위에 두지 못하는 그룹 분산($\sigma_g$)과 같은 쿼리 레벨 신호와 대조됩니다.

훈련 절차(알고리즘 1)는 신선한 롤아웃을 생성하고, 분산이 0인 그룹을 필터링하며, 연령 게이트가 적용된 버퍼에서 $|A_i|$ 우선순위에 따라 재현 롤아웃을 샘플링한 후, 결합된 배치에 대해 GRPO 업데이트를 수행하는 과정을 포함합니다.

주요 기여

1. 새로운 재현 아키텍처: 본 논문은 연령 기반 제거, 신선한 앵커 기반 구성, 롤아웃 레벨 $|A_i|$ 우선순위를 결가한 GRPO 전용 재현 버퍼를 도입했습니다.
2. 경험적 우월성: 제안된 방법은 세 가지 모델 규모(0.6B, 1.7B, 4B)와 다섯 가지 수학 추론 벤치마크에서 표준 GRPO 및 나이브한 재현 베이스라인(균등 샘플링 및 $\sigma_g$ 우선순위 기반 풀 구성)보다 뛰어난 성능을 보였습니다.
3. 스케일링 이득: 성능 향상은 모델 크기에 따라 증가합니다. 가장 큰 개선은 4B 규모에서 관찰되었으며, 다섯 가지 벤치마크 평균 기준으로 GRPO 대비 **+4.35 퍼센티지 포인트(pp)**의 향상을 기록했습니다.
4. 효율성 분석: 정확도와 토큰 생성 길이를 함께 측정하는 정확도-효율성 점수(AES)를 사용하여, 이 방법이 특히 4B 규모에서 GRPO 대비 상당한 효율성 마진(+0.579 AES)을 가짐을 보여주었습니다.
5. 절제 연구(Ablation Studies): 각 구성 요소가 필수적임을 입증하는 축별 절제 연구를 수행했습니다:
   • 연령 기반 제거: 적절한 캡($\tau_{max}=10$)은 재현 볼륨과 노후화 사이의 균형을 맞춥니다. 더 큰 캡은 정책 격차로 인해 성능 저하를 초래합니다.
   • 구성: 신선한 앵커 기반 구성은 규모가 커질수록 필수적입니다. 풀 구성 방식은 4B 모델의 성능을 표준 GRPO 아래로 떨어뜨립니다.
   • 우선순위: 롤아웃 레벨 $|A_i|$ 우선순위는 쿼리 레벨 신호($\sigma_g$ 또는 균등 샘플링)보다 성능이 월등히 높으며, 특히 pass@k(샘플링 다양성)를 개선하는 데 효과적입니다.

결과

• 정확도: 다섯 가지 벤치마크 평균(MATH-500, AIME25, AIME26, HMMT-F25, HMMT-F26)에서 4B 모델은 제안된 방법을 통해 **31.06%**의 정확도를 달성했습니다. 이는 표준 GRPO(26.71%) 및 가장 우수한 나이브 베이스라인(26.70%)과 비교됩니다.
• 샘플링 다양성: 이 방법은 pass@k 지표를 개선하여, 표준 RLVR가 종종 좁히게 되는 샘플링의 다양성을 유지함을 보여줍니다. 4B 모델에서 이 방법은 pass 지표에서 GRPO보다 +10.06 pp 높은 수치를 기록했습니다.
• 토큰 효율성: AES 분석 결과 응답 길이의 비대칭적 변화가 나타났습니다. 모델은 정답 롤아웃에 대해서는 더 긴 응답을 생성하고(+4B 기준 +34.9%), 오답 롤아웃에 대해서는 더 짧은 응답을 생성합니다(-4B 기준 -10.2%). 이는 이 방법이 고확률 정답 솔루션에 토큰 예산을 더 많이 할당하고 오답 시도는 압축함으로써 토큰 예산을 최적화하고 있음을 시사합니다.

의의 및 주장

본 논문은 제안된 방법이 검증 가능한 보상(수학 추론) 작업에 대한 GRPO의 샘플 효율적인 훈련 절차를 제공한다고 주장합니다. 이 연구의 의의는 경험 재현이 (급격한 정책 변화 및 그룹 상대적 이점이라는) LLM 사후 학습의 독특한 제약 조건 속에서도 훈련을 불안정하게 만들지 않고 성공적으로 적응될 수 있음을 입증했다는 데 있습니다.

저자들은 다음과 같은 점을 명시하며 기여를 겸손하게 서술합니다:

• 이 방법은 현재 이진 검증 가능 보상(수학 추推理)에 국한되어 있으며, 추가 연구 없이 비검증 보상(예: 학습된 보상 모델)이나 다른 RL 알고리즘(예: PPO, REINFORCE)으로의 일반화에 대해 주장하지 않습니다.
• 스케일링 트렌드는 테스트된 범위(0.6B ~ 4B) 및 특정 프롬프트 세트 내에서 관찰된 것이며, 더 큰 규모나 수학 외 도메인으로의 전이는 검증되지 않았습니다.
• 결과는 단일 훈련 시드와 특정 평가 설정에 기반하고 있으나, 여러 벤치마크를 사용함으로써 간접적으로 안정성을 입증했습니다.

결론적으로, 본 연구는 롤아웃 레벨의 우선순위 지정과 엄격한 노후화 제어를 결합함으로써 GRPO에서 가치 있는 학습 신호를 효과적으로 재활용할 수 있으며, 모델 크기가 커짐에 따라 정확도와 토큰 효율성 모두에서 상당한 이득을 얻을 수 있음을 확립했습니다.