기술 요약: F-GRPO: 정책이 명백한 것을 학습하고 희귀한 것을 잊지 않도록 하라

문제 제기

검증 가능한 보상을 활용한 강화학습 (RLVR) 은 추론 작업에 대한 대규모 언어 모델 (LLM) 의 사후 학습을 위한 표준 패러다임이 되었습니다. 그러나 점점 더 많은 증거들이 RLVR 이 종종 기저 모델이 이미 접근 가능한 해답을 향해 출력 분포를 날카롭게 만들어, 솔루션 다양성을 축소함으로써 pass@k(k 가 큰 경우) 와 같은 지표의 성능을 저하시킬 수 있음을 시사합니다.

대부분의 현대식 RLVR 시스템 (예: 그룹 상대 정책 최적화, GRPO) 은 보상을 추정하기 위해 그룹 샘플링 (프롬프트당 $N$개의 응답을 롤아웃) 에 의존합니다. 작은 그룹 ($N=2$) 은 계산 효율성이 높고 큰 그룹은 광범위한 커버리지를 제공하지만, 실제 제약 조건으로 인해 $N$은 종종 중간 크기 (예: $N=8$) 로 제한됩니다. 이 논문은 이러한 유한한 그룹 크기가 최적화 역학에 미치는 영향에 대한 이해의 중요한 공백을 지적합니다. 구체적으로, 중간 그룹 크기가 업데이트가 활성화되어 있음 (혼합 보상) 하지만 희귀한 정답 궤적을 샘플링하지 못하는 '테일-미스 (tail-miss)' 상태를 초래할 수 있다고 가정합니다. 이로 인해 확률 질량이 일반적인 샘플링된 해답에 집중되고, 샘플링되지 않은 정답 행동은 억제됩니다.

방법론

이론적 분석

저자들은 테일-미스 사건 ($B_{E,N}(x)$) 의 확률을 유도했는데, 이는 그룹에 정답과 오답 롤아웃이 모두 포함된 활성 업데이트가 특정 저확률 질량을 가진 정답 부분집합 $E_x$를 샘플링하지 못하는 경우로 정의됩니다.

• 비단조적 행동: 이 사건의 확률은 그룹 크기 $N$에 대해 비단조적입니다. 작은 $N$은 종종 비활성 업데이트 (모두 정답이거나 모두 오답) 를 초래하여 비활성화를 통해 다양성을 유지합니다. 큰 $N$은 희귀 모드에 대한 커버리지를 보장합니다. 그러나 중간 $N$은 희귀 정답 영역을 놓치는 활성 업데이트의 확률을 최대화합니다.
• 재분배 메커니즘: 범주형 정책 프레임워크를 사용하여 저자들은 확률 질량이 어떻게 재분배되는지 분석했습니다. 그들은 총 정답 질량 ($Q_{pos}$) 이 증가하더라도 샘플링되지 않은 정답 질량 ($Q_{u,pos}$) 은 감소할 수 있음을 보였습니다. 이는 보상 양의 배치들이 기준선 차감과 소프트맥스 정규화를 통해 샘플링되지 않은 로짓을 하향 조정함으로써, 현재 그룹에서 샘플링되지 않은 정답 해답을 효과적으로 '잊게' 만들기 때문입니다.

제안된 솔루션: F-GRPO

계산 비용 (롤아웃 크기) 을 증가시키지 않고 이를 완화하기 위해, 저자들은 F-GRPO(Focal Group Relative Policy Optimization) 를 제안합니다.

• 포칼 가중치: Focal Loss 에서 영감을 받아, 이 방법은 그룹 상대적 이점에 적용되는 난이도 인식 스케일링 계수 $g(x)$를 도입합니다.
• 메커니즘: 가중치는 $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$로 정의되며, 여기서 $\hat{\mu}_{pos}(x)$는 샘플링된 그룹의 경험적 성공률 (정답 롤아웃 수 $X$를 $N$으로 나눈 값) 입니다.
• 효과: 이는 모델이 해당 프롬프트에 대해 이미 '명백한 것'을 학습한 높은 경험적 성공률을 가진 그룹에서의 업데이트를 하향 조정하고, 희귀한 정답 행동이 여전히 과소 대표될 수 있는 혼합 성공 그룹에서의 신호를 보존합니다. 이는 추가 네트워크가 필요하거나 보상 값을 변경하지 않고 프롬프트 내 모든 롤아웃에 대해 이득 신호를 균일하게 스케일링하는 경량 수정 사항입니다.

주요 기여

1. 테일-미스 확률 유도: 이 논문은 희귀 정답 부분집합을 놓치는 활성 업데이트의 확률을 명시적으로 특징짓고, 그룹 크기에 대한 비단조적 의존성을 입증합니다. 이는 최적 그룹 크기와 관련된 이전의 상반된 발견들을 조화시키는 데 도움이 됩니다.
2. 샘플링되지 않은 정답 질량 분석: 저자들은 이론적 및 실증적으로 총 정답 질량이 증가하는 동안 샘플링되지 않은 정답 질량은 축소될 수 있음을 보여주어, 유한 그룹 설정에서 분포가 날카로워지는 메커니즘을 설명합니다.
3. 단일 솔루션 검증: 각 프롬프트에 정확히 하나의 정답 궤적이 있는 미로 환경을 사용하여, 논문은 프롬프트당 여러 정답이 없더라도 pass@K 저하가 발생할 수 있음을 입증했습니다. 이는 효과를 프롬프트 내 다양성이 아닌 타겟 시퀀스 커버리지로 격리시켰습니다.
4. F-GRPO 알고리즘: GRPO, DAPO, CISPO 에 적용 가능한 간단한 플러그인 재가중치 방식으로, 롤아웃 비용을 증가시키지 않으면서 pass@256 을 개선하고 pass@1 을 유지하거나 향상시킵니다.

실험 결과

저자들은 Qwen2.5-7B, Qwen3-4B-Base, Llama-3.2-3B-Instruct 모델을 다양한 벤치마크 (MATH500, AIME, AMC, GPQA, IFEval, SynLogic) 에서 평가했습니다.

• 범주형 시뮬레이션: 중간 그룹 크기가 유지된 양의 질량 ($M_{ret}$) 을 가장 낮게 만드는 것으로 확인되었으며, 포칼 가중치 ($\gamma=1$) 는 이러한 '집중 영역'에서 질량 유지를 크게 개선했습니다.
• 미로 실험: 단일 솔루션 설정에서 F-GRPO 는 초기 학습 시간의 pass@K 감소를 줄이고, 모든 테스트된 그룹 크기 ($N \in \{4, \dots, 128\}$) 에 걸쳐 최종 pass@1 및 pass@256 을 향상시켰습니다.
• LLM 벤치마크 (N=8):
  • 수학 성능: Qwen2.5-7B 에서 F-GRPO 는 평균 수학 pass@256 을 GRPO 의 64.1 에서 70.3 으로, DAPO 의 69.3 에서 72.5 로 향상시켰습니다.
  • OOD 성능: 모든 방법에서 OOD(Out-of-Domain) pass@256 이 일관되게 향상되었습니다 (예: GRPO: 55.9 $\to$ 63.3; DAPO: 58.4 $\to$ 63.6).
  • 효율성: $N=8$에서의 F-GRPO 는 pass@256 에서 $N=32$의 표준 GRPO 와 유사한 성능을 달성하여, 4 배 적은 계산으로 더 큰 그룹의 이점을 효과적으로 회복했습니다.
  • 일반화: 이 방법은 다양한 옵티마이저 (GRPO, DAPO, CISPO) 와 모델 규모 간에 효과적으로 전이되었습니다.
• 애블레이션: 단순한 학습률 감소나 표준 정규화 (엔트로피/KL) 로는 성취가 재현되지 않았으며, 이는 개선이 성공 기반 재가중치 메커니즘에서 비롯되었음을 시사합니다.

중요성과 주장

이 논문은 그룹 상대 RLVR 의 '날카로워짐 (sharpening)' 문제에 대한 이론적 및 실용적 해결책을 제공합니다. 중간 그룹 크기가 희귀 정답 궤적을 놓칠 위험을 최대화한다는 점을 규명함으로써, 저자들은 계산 제약으로 인해 단순히 $N$을 늘리는 것이 항상 실현 가능하지 않다고 주장합니다.

F-GRPO 는 다음과 같은 저비용 완화 전략을 제공합니다:

1. 중간 그룹 크기를 사용할 때 일반적으로 손실되는 pass@256 성능을 회복합니다.
2. pass@1(단일 샘플 정확도) 을 유지하거나 향상시킵니다.
3. 다양한 RLVR 변형 및 모델 아키텍처에서 작동합니다.
4. 롤아웃 예산을 늘리거나 보조 네트워크를 추가할 필요가 없습니다.

저자들은 F-GRPO 를 표준 RLVR 파이프라인에 필요한 조정으로 위치시켜, 유한 샘플에서 노출된 '명백한' 해답만을 부주의하게 강화하고 견고한 추론에 필요한 '희귀한' 정답 행동을 잊지 않도록 정책 업데이트를 보장합니다.