기술 요약: 기본으로 돌아가기: 생성 확률을 통한 LLM 추론의 탐색 재고

1. 문제 정의

검증 가능한 보상을 사용하는 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력, 특히 긴 사고 사슬(Chain-of-Thought, CoT) 경로를 생성하는 능력을 향상시키는 데 있어 지배적인 패러다임이 되었습니다. 그러나 GRPO(Group Relative Policy Optimization)와 같은 표준 정책 최적화 방법은 **엔트로피 붕괴(entropy collapse)**와 모드 붕괴(mode collapse) 문제를 겪습니다.

핵심 문제는 보상 가중치 기반의 가능도 극대화(likelihood maximization) 목적 함수에서 기인합니다. 최적화 과정에서 이 목적 함수는 높은 보상을 받는(정답인) 궤적의 확률 질량을 불균형적으로 증폭시킵니다. 결과적으로 모델은 낮은 엔트로피 정책으로 수렴하여 유효한 대안적 추론 사슬을 억제하고, 이는 심각한 출력 다양성 결여로 이어집니다. 엔트로피 정규화나 동적 클리핑(dynamic clipping)과 같은 기존 솔루션들이 이를 완화하려고 시나리오를 시도하지만, 이들은 여전히 보상 극대화 프레임워크 내에서의 국소적인 수정에 머물러 있으며, 다양한 추론 경로를 모델링하는 근본적인 개선에는 실패합니다.

2. 방법론: ProGRPO

저자들은 생성 확률의 관점에서 어드밴티지(Advantage) 함수의 구성을 재검토하는 새로운 패러다임인 ProGRPO(Probabilistic based GRPO)를 제안합니다. 핵심 혁신은 모든 정답 응답 간의 신뢰 수준을 균등하게 맞추기 위해 설계된 **어드밴티지 재가중치 메커니즘(Advantage Re-weighting Mechanism, ARM)**입니다.

2.1. 어드밴티지 재가중치 메커니즘 (ARM)

직접적으로 보상 신호를 수정하는 대신(그룹 내 모든 답변이 정답이거나 오답일 경우 업데이트를 왜곡할 수 있음), ProGRPO는 모델 내부 신호를 통합하여 어드밴티지($\tilde{A}_i$)를 조정합니다:

• 프롬프트 신뢰도 ($c_\theta(q_i)$): 입력 프롬프트의 저확률 토큰들의 평균 로그 확률의 지수값으로 계산된 프롬프트에 대한 모델의 신뢰도입니다.
• 답변 신뢰도 ($c_\theta(o_i | q_i)$): 프롬프트 $q_i$에 대해 특정 답변 $o_i$를 생성하는 모델의 신뢰도로, 응답 내 저확률 토큰들에 대해 유사하게 계산됩니다.

재가중된 어드밴티지는 다음과 같이 정의됩니다:
$$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$$
여기서 $A_i$는 표준 GRPO 어드밴티지이며, $\alpha$는 가중치 계수입니다. 이 메커니즘은 보상 신호를 동적으로 재구성합니다. 즉, 과잉 확신된 추론 경로에 대한 그래디언트 업데이트를 감쇄시키고, 덜 탐색된 정답 솔루션 쪽으로 확률 질량을 재분배합니다.

2.2. 저확률 토큰 길이 정규화

저자들은 전체 시퀀스에 대해 길이 정규화를 적용하면 "사소한" 고신뢰 토큰들로 인해 보상 신호가 희석된다는 점을 관찰했습니다. 예측 불확실성은 일반적으로 생성 단계의 작은 부분(약 20%)에 집중되어 있습니다.

• 전략: 이 방법은 가장 높은 예측 불확실성을 나타내는 핵심 토큰 부분 집합($T^{low}$)을 식별합니다.
• 구현: 프롬프트와 답변에 대한 신뢰도 점수는 이 정보가 풍부한 부분 집합에 대해서만 계산되어, 표면적인 확실성이 아닌 추론의 질을 반영하는 의미 있는 변동성을 보존합니다.

2.3. 목적 함수

최종 목적 함수는 이러한 재가중된 어드밴티지를 표준 GRPO 손실에 통합하며, 다양한 탐색을 장려하면서도 훈련 안정성을 보장하기 위해 클리핑된 서로게이트 목적 함수(clipped surrogate objective)를 사용합니다.

3. 주요 기여

• 방법론적 혁신: 신뢰도를 고려한 어드挽티지 재가중치 메커니즘(ARM)을 통합하여 GRPO를 확장한 ProGRPO를 도입했습니다. 이를 통해 훈련 안정성을 해치지 않으면서도 표적화된 탐색이 가능합니다.
• 광범위한 효과성: 다양한 벤치마크(수학 및 코드 생성)와 여러 모델 규모(Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B)를 통해 검증되었습니다. 이 방법은 GRPO 및 FlowRL과 같은 주류 베이스라인을 일관되게 능가합니다.
• OOD 강건성: 미학습 데이터 분포(예: GPQA, MMLU-Pro)에서도 견고한 성능을 유지하는 우수한 분포 외(Out-of-Distribution, OOD) 적응력을 입증했습니다.
• 유의미한 성능 향상: 탐색과 활용 사이의 우수한 트레이드오프를 달 achieves 하여, 정확도와 출력 다양성을 모두 크게 향상시켰습니다.

4. 실험 결과

수학적 추론(AIME, AMC, MATH, OlympiadBench) 및 코드 생성(LiveCodeBench, CodeForces, HumanEval+) 벤치마크에서 실험이 수행되었습니다.

• 수학적 추론:
  • Qwen2.5-7B에서 ProGRPO는 GRPO 대비 Pass@1에서 5.7%, Pass@32에서 13.9% 높은 성능을 보였습니다.
  • Qwen2.5-32B에서 GRPO 대비 Pass@1을 4.8% 개선했습니다.
  • DeepSeek-R1-Distill-Qwen-1.5B에서 Pass@1이 49.4%(GRPO)에서 58.3%(ProGRPO)로 향상되었습니다.
• 코드 생성:
  • CodeForces에서 ProGRPO는 1422.49의 레이팅을 달성하여, GRPO보다 거의 +180점, FlowRL보다 +293점 높은 성과를 거두었습니다.
  • **HumanEval+**에서 **84.01%**의 Avg@16 점수를 기록하며 비교된 방법 중 최고를 달성했습니다.
• 다양성 및 엔트로피:
  • 훈련 엔트로피 분석 결과, GRPO는 엔트로피 붕괴를 보이는 반면, ProGRPO는 엔트로피의 안정적인 상승을 보여 지속적인 탐색이 이루어짐을 나타냈습니다.
  • AIME 2024에 대한 다양성 지표(Self-BLEU, Semantic Cosine)는 GRPO에 비해 ProGRPO 출력의 중복성이 현저히 낮음을 보여주며, 구조적으로 다양한 추론 경로를 생성함을 확인해 줍니다.
• 절제 연구(Ablation Studies):
  • 가중치 계수인 $\alpha$가 매우 중요하다는 것이 밝혀졌습니다. $\alpha$가 0.3일 때 성능과 안정성 사이의 최적의 균형을 제공했습니다. 0(순수 GRPO)인 경우 결과가 더 약했고, 0.7이나 1.0과 같이 높은 값은 신뢰도 신호를 과도하게 강조하여 성능을 저하시켰습니다.

5. 의의 및 주장

본 논문은 ProGRPO가 LLM 추론 작업에서의 근본적인 **탐색-활용 트레이드오프(Exploration-Exploitation trade-off)**를 해결한다고 주장합니다. 단순한 보상 극대화에서 생성 확률과 신뢰도의 균형을 맞추는 것으로 초점을 전환함으로써, 이 방법은 다음을 달성합니다:

1. 엔트로피 붕계 완화: 모델이 단일한 지배적 추론 경로로 수렴하는 것을 방지합니다.
2. 다양성 향식: (k > 1인 경우의) Pass@k 지표의 유의미한 이득을 통해 입증되었듯, 더 다양한 유효한 사고 사슬을 생성합니다.
3. 일반화 능력 향상: OOD 데이터셋에서도 견고한 성능을 유지하여, 학습된 추론 능력이 더 잘 전이될 수 있음을 시사합니다.

저자들은 이 연구를 현재의 RLVR 패러다임의 한계를 해결하기 위해 LLM 생성의 확률적 본질을 재고하는 "기본으로 돌아가는(back to basics)" 접근법으로 규정하며, 추론 모델을 위한 더 안정적이고 탐색적인 강화 학습의 길을 열었다고 평가합니다.