기술 요약: RLVR에서의 탐색(Exploration) 대 활용(Exploitation)

1. 문제 정의

검증 가능한 보상(Verifiable Rewards)을 이용한 강화학습(RLVR)은 특히 수학적 영역에서 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 주요 동력으로 부상했습니다. 그러나 최근의 경험적 관찰은 RLVR의 성능 향상이 표준 강화학습(RL)의 직관, 즉 탐색-활용 트레이드오프(exploration-exploitation trade-off)와 상충하는 것처럼 보이는 두 가지 메커니즘에 기인한다는 역설적인 역동성을 보여줍니다:

1. 가짜 보상(Spurious Rewards): 지면 진실(ground truth)과 독립적인 Bernoulli(1/2) 신호를 사용하는 것과 같은 무작위적이거나 정렬되지 않은 보상을 사용하더라도 특정 모델(예: Qwen-Math)의 성능이 향상되는 것이 관찰되었습니다. 이는 고전적 RL 이론에서 이러한 노이즈가 활용(exploitation)을 저해할 것이라는 견해와 대조됩니다.
2. 엔트로피 최소화(Entropy Minimization): 결정론적이고 높은 신뢰도를 가진 출력을 장려하기 위해 정책 엔트로피를 줄이는 것이 성능 이득과 연결되어 있음이 밝혀졌습니다. 이는 엔트로피 감소가 조기 수렴과 하위 최적 정책(suboptimal policies)을 초래한다는 표준적 관점과 배치됩니다.

본 논문은 이러한 효과들을 화해시키는 근저의 원리를 조사하며, 특히 가짜 보상이 의미 있는 학습 신호를 제공하는지, 클리핑 편향(clpping bias)이 정책 엔트로피와 어떻게 상호작용하는지, 그리고 관찰된 이득이 단순히 데이터 오염(data contamination)이나 모델 특유의 기이한 현상(quirks)에 불과한지를 질문합니다.

2. 방법론 및 이론적 프레임워크

저자들은 여러 모델 제품군(Qwen-Math, Llama, QwQ)과 크기(7B에서 32B)에 걸친 광범위한 경험적 평가와 이론적 분석을 결합하여 연구를 수행했습니다.

2.1 클리핑(Clipping) 및 엔트로피 분석

본 논문은 RLVR의 표준 알고리즘인 GRPO(Group Relative Policy Optimization)를 분석합니다.

• 클리핑 편향(Clipping Bias): 저자들은 상단 클리핑 보정 항($C^+_{tot}$)의 크기에 대한 명시적인 경계(bounds)를 도출합니다. 그들은 무작위 보상 하에서 클리핑 편향이 의미 있는 학습 신호를 구성하지 못함을 증명합니다. 이론적 경계(정리 3.2, 정리 3.4)는 원시 대리 합계(raw surrogate sum, $N_{raw}$)의 크기가 클리핑 보정 항($E[|C^+_{tot}|]$)보다 현저히 크다는 것($E[|N_{raw}|] \gg E[|C^+_{tot}|]$)을 입증하며, 이는 클리핑이 직접적으로 성능 향상을 주도하지 않음을 시사합니다.
• 엔트로피 역학(Entropy Dynamics): 본 논문은 무작위 보상 하에서 엔트로피가 일정하게 유지된다고 제안한 이전 연구(Cui et al., 2025)의 근사치를 반박합니다. 클리핑과 고차항(higher-order terms)을 포함함으로써, 저자들은 "1단계 정책-엔트로피 변화(one-step policy-entropy shift)" 공식을 도출합니다.
  • 클리핑되지 않은 훈련(Unclipped Training): 엔트로피 변화는 초기 정책의 왜도(skewness, $\Phi(\pi_{old})$)에 달려 있습니다. 정책이 충분히 왜도되어 있다면 엔트로피가 증가할 수 있고, 그렇지 않으면 감소합니다.
  • 클리핑된 훈련(Clipped Training): 저자들은 상단 클리핑이 암묵적인 엔트로피 최소화 메커니즘으로 작용함을 증명합니다(정리 4.3). 클리핑은 체계적으로 정책 엔트로피를 감소시켜, 정책을 더 결정론적이고 높은 신뢰도를 가진 롤아웃(rollout)으로 유도합니다.

2.2 보상 미정렬 모델(Reward Misalignment Model)

왜 무작위 보상이 일부 모델에는 도움이 되고 다른 모델에는 그렇지 않은지를 설명하기 위해, 저자들은 확률적 보상 미정렬 모델을 도입합니다. 저자들은 "손상(damage, $\Delta$)"을 무작위 레이블링(오탐 및 미탐)으로 인해 발생하는 정답 롤아웃의 이점 질량(advantage mass) 손실로 정의합니다.

• 모델 강도 의존성(Model Strength Dependency): 분석 결과, 기대 손상과 그 분산은 정답 롤아웃의 수($n_c$)가 증가함에 따라 감소합니다. 결과적으로, 더 강력한 모델(여기서 $n_c > n_i$)은 전체 미정렬 손상이 적고 더 안정적인 훈련 역학을 경험하므로, 무작위 보상으로부터 이득을 얻을 가능성이 더 높습니다.
• 오염 가설(Contamination Hypothesis): 이 모델은 성능 향상이 단순히 데이터 오염(검증 세트의 암기) 때문만이 아니라, 모델의 초기 능력과 데이터셋 난이도 사이의 관계에 의존하는 더 넓은 현상임을 시사합니다.

3. 주요 기여

1. 클리핑에 대한 이론적 경계 도출: 본 논문은 가짜 보상 하에서 클리핑 편향이 의미 있는 학습 신호를 제공하지 못함을 보여주는 명시적 경계를 도출했습니다. 대신, 클리핑이 정책 엔트로피를 체계적으로 감소시킨다는 결정론적 연결 고리를 확립했습니다.
2. 엔트로피와 성능의 분리: 저자들은 정책 엔트로피 감소와 성능 향상 사이에 직접적인 인과 관계가 없음을 입증했습니다. 엔트로피 최소화가 성능 이득과 동시에 나타날 수는 있지만, 약한 모델이나 어려운 데이터셋에서는 성능 붕괴를 초р할 수도 있습니다.
3. 오염을 넘어선 일반화: 오염되지 않은 모델 제품군(Llama, QwQ)과 다양한 데이터셋 난이도(DeepScaleR vs. AIME)에 대한 실험을 통해, 무작위 보상 하에서의 성능 향상이 잠재적으로 오염된 Qwen-Math 모델에 국한되지 않는 견고한 현상임을 보여주었습니다.
4. 보상 미정렬 프레임워크: 무작위 보상이 유익한 조건을 설명하는 새로운 이론적 모델을 제시하며, 성공 여부를 모델의 강도와 정답 대비 오답 롤아웃의 비율에 연결했습니다.

4. 실험 결과

• 클리핑 vs. 비클리핑: 무작위 보상을 사용한 Qwen2.5-Math-7B 실험에서, 클리핑을 비활성화하면 정책 엔트로피가 증가하고 일부 경우에는 성능이 향상되었습니다. 클리핑을 활성화하면 엔트로피가 단조 감소했습니다. 결정적으로, 어려운 AIME 데이터셋에 대한 약한 모델인 Qwen-Math-7B의 경우, 엔트로피 최소화(클리핑을 통해)가 하위 최적의 성능을 초래한 반면, 더 강력한 모델(QwQ-32B, R1-Distill-Llama-8B)은 꾸준한 이득을 보였습니다.
• 그래디언트 폭주(Gradient Explosion): 저자들은 클리핑이 없을 때, 큰 그래디언트 노름을 가진 모델(예: R1-Distill-Llama-8B)이 그래디언트 폭주와 훈련 붕괴를 겪을 수 있음을 관찰했습니다. 이는 클리핑이 성능 동인이 아닌 안정화 메커니즘으로서의 역할을 한다는 점을 강조합니다.
• 모델 강도: 강력한 모델(Llama-8B distilled)은 무작위 보상 하에서 개선되는 반면, 약한 모델(Qwen-1.5B)은 성능이 저하되거나 불안정한 상태를 유지함을 확인했습니다. 이는 정답 궤적을 충분히 생성할 수 있는 모델의 능력이 이득의 전제 조건이라는 보상 미정렬 이론을 뒷받침합니다.
• 하이퍼파라미터 민감도: 클리핑 비율($\epsilon$)과 그룹 크기($G$)를 변화시킨 실험은 엄격한 클리핑이 분산을 줄여주기는 하지만, 클리핑이 엔트로피 조절기 역할을 한다는 결론을 근본적으로 바꾸지는 못함을 보여주었습니다.

5. 의의 및 주장

본 논문은 RLVR에서 "가짜 보상" 현상 뒤에 숨겨진 메커니즘을 명확히 함으로써, 성능 향상이 오로지 데이터 오염 때문이라거나 클리핑 편향이 학습 신호를 제공한다는 기존의 통념을 뒤집습니다.

• 클리핑의 재정의: 저자들은 RLVR에서의 클리핑이 무작위 보상 하에서 정보가 담긴 그래디언트의 원천이라기보다는, 로컬 신뢰 영역(local trust region)을 강제하고 정책 엔트로피를 줄이는 **정규화 도구(regularizer)**로서 기능한다고 주장합니다.
• 맥락 의존적 이득: 본 논문은 가짜 보상과 엔트로피 최소화의 이득이 **레지임 의존적(regime-dependent)**이라고 결론짓습니다. 이들은 정책이 이미 정답 궤적에 집중되어 있는 쉬운 데이터셋의 강한 모델에게는 효과적이지만, 약한 모델이나 어려운 과제에서는 잘못된 모드(incorrect modes)를 강화하고 성능을 저하시킬 수 있습니다.
• 보편적 엔트로피-성능 연결 고리의 부재: 본 연구는 낮은 엔트로피와 높은 성능 사이의 단조로운 관계를 명시적으로 부정하며, 엔트로피 감소가 성능 붕괴와 동반될 수 있음을 보여줍니다.

요약하자면, 본 논문은 RLVR에서 가짜 보상의 성공이 역설이 아니라, 모델의 강도, 데이터셋의 난이도, 그리고 클리핑이 정책 엔트로피에 미치는 암묵적인 정규화 효과 사이의 특정한 상호작용의 결과라고 주장합니다. 이러한 발견은 엔트로피 제어를 보편적인 개선 목표가 아닌 안정화 정규화제로 간-주해야 한다는, 더 효과적인 RLVR 훈련을 위한 원칙을 제공합니다.