기술 요약: 클리핑 병목 현상: 확률적 회복을 통한 RLVR 안정화

1. 문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 수학 및 코딩과 같은 분야에서 대형 언어 모델 (LLM) 의 추론 능력을 확장하는 핵심 패러다임으로 자리 잡았습니다. 그러나 GRPO(Group Relative Policy Optimization) 및 그 변형 (DAPO, GSPO 등) 과 같은 클리핑 기반 목적 함수를 사용할 때, RLVR 의 최적화는 종종 훈련 불안정성, 엔트로피 붕괴, 그리고 비최적 수렴으로 고통받습니다.

저자들은 기존 방법들이 불안정성을 기울기 크기의 분산으로 인한 증상이라고 간주하여, 주로 어드밴티지 (advantage) 재가중치 또는 정규화에 초점을 맞춘 전략을 취해 왔음을 지적합니다. 체계적인 해부를 통해 이 논문은 주요 병목 현상이 기울기의 크기가 아니라 **경직된 이진 결정 (rigid binary decision)**에 의해 유발된다고 주장합니다. 표준 구현에서 신뢰 영역 (중요도 비율 $r_t$로 정의됨) 을 벗어난 토큰들은 계산 그래프에서 엄격하게 분리되어 0 기울기를 기여합니다. 이러한 "경직된 클리핑 (hard clipping)"은 약간 임계값을 초과하지만 여전히 가치 있는 최적화 정보를 포함하는 **경계 근처 영역 (near-boundary region)**에 위치한 정보 있는 학습 신호들을 무분별하게 폐기합니다.

2. 방법론

2.1 경험적 진단

저자들은 불안정성의 근본 원인을 격리하기 위해 일련의 인과적 개입을 수행했습니다:

• 크기 무감각성: 어드밴티지 정규화를 제거하거나 어드밴티지 추정치에 스칼라 노이즈를 주입한 실험 결과, 훈련 성능은 견고하게 유지되었습니다. 이는 기울기 크기 분산이 불안정성의 주요 원인이라는 가설을 반증했습니다.
• 결정 민감성: 저자들은 중요도 비율의 역할을 "심판 (Judge)"(클리핑 마스크 결정) 과 "실행자 (Executor)"(업데이트 크기 주도) 로 분리했습니다.
  • 노이즈가 있는 결정: 결정 비율과 실행 비율을 동시에 교란시키면 훈련 붕괴와 엔트로피 급증이 발생했습니다.
  • 깨끗한 결정: 결정 비율은 깨끗하게 유지하면서 실행 크기만 교란시키면 훈련이 안정화되었고 성능 향상이 나타났습니다.
• 결론: 불안정성은 이진 유지/폐기 결정의 경직성에서 비롯됩니다. 경계 근처의 무작위 교란은 유효한 업데이트를 가리거나 무효한 업데이트를 허용하는 방식으로 결정을 잘못 뒤집을 수 있습니다.

2.2 제안된 해결책: 경계 근처 확률적 구조 (NSR)

진단에 기반하여, 저자들은 클리핑 경계를 대상으로 하는 최소한의 플러그 앤 플레이 수정인 NSR을 제안합니다.

• 메커니즘: NSR 은 표준 "심판" 논리 (원래 중요도 비율 $r_t$가 클리핑 마스크를 결정함) 를 유지하지만, 확률적 "실행자"를 도입합니다. 신뢰 영역을 벗어난 토큰들 ($r_t \notin I$) 에 대해, NSR 은 교란 인자 $z \sim U(1-\delta, 1+\delta)$를 샘플링하여 후보 실행 비율 $\tilde{r}_t = r_t \cdot z$를 생성합니다.
• 구조 논리: 교란된 실행 비율이 다시 신뢰 영역 안으로 떨어지면 ($\tilde{r}_t \in I$), 해당 토큰은 "구조"되어 기울기가 유지됩니다. 여전히 범위를 벗어나면 표준 경직된 클리핑이 적용됩니다.
• 주요 차이점: 전역 신뢰 영역 확장과 달리, NSR 은 경계 국소적 (boundary-local) 개입입니다. 이는 무분별하게 제약을 완화하는 것이 아니라, 경계에서 약간 벗어난 토큰들을 확률적으로 허용합니다.

2.3 이론적 해석

이론적으로 NSR 은 기대값 내에서 암시적 소프트 클리핑 메커니즘을 유도합니다.

• 기대 유효 비율은 "구조 영역" 내에서 선형 항등 함수에서 부드러운 포화 곡선으로 전환됩니다.
• 결과적으로 생성된 기대 기울기는 범위를 벗어난 토큰에 대해 역제곱 감쇠 프로파일 ($\approx O(1/r^2)$) 을 따릅니다.
• 중요한 점은, 제거 연구 (ablation studies) 가 NSR 의 확률적 성질이 결정론적 소프트 클리핑보다 우월함을 보여준다는 것입니다. 결정론적 감쇠는 기울기를 부드럽게 하지만, 신뢰할 수 없는 범위를 벗어난 방향을 지속적으로 전파합니다. NSR 은 확률적 필터로 작용하여 기대값 내에서 유용한 경계 근처 신호를 회복하는 동시에 일시적이거나 신뢰할 수 없는 편차를 완전히 거부합니다.

3. 주요 기여

1. 경직된 클리핑 병목 현상의 진단: 이 논문은 기울기 크기 문제가 아니라 경직된 클리핑의 경직된 이진 결정을 RLVR 의 불안정성과 신호 손실의 주요 원인으로 규명했습니다.
2. NSR 알고리즘: 경계 근처 토큰을 확률적으로 구조하여 경직된 이진 결정을 확률적 허용 과정으로 변환하는 최소한의 플러그 앤 플레이 수정입니다.
3. 메커니즘적 통찰: 저자들은 성능 향상이 단순한 결정론적 기울기 감쇠나 신뢰 영역 확장이 아니라, 검열된 신호의 확률적 회복에서 비롯됨을 입증했습니다.
4. 광범위한 검증: 이 방법은 7B 에서 30B 파라미터에 이르는 모델 크기와, 밀집 (dense) 및 전문가 혼합 (MoE) 아키텍처, 그리고 다양한 베이스라인 (DAPO, GSPO) 을 포괄하여 검증되었습니다.

4. 실험 결과

저자들은 표준 수학 추론 벤치마크 (AIME24, AIME25, AMC) 와 일반 과학 작업 (GPQA, MMLU-Pro) 에서 NSR 을 평가했습니다.

• 성능 향상: NSR 은 강력한 베이스라인 (DAPO 및 GSPO) 을 일관되게 능가했습니다.
  • Qwen2.5-Math-7B 모델에서, NSR 은 AIME24 의 Pass@1 을 4.93% (35.83 에서 40.76 으로) 향상시켰고, Pass@16 은 2.65% 향상시켰습니다.
  • Qwen3-8B 모델에서, AIME24 의 Pass@1 은 6.36% 향상되었습니다.
  • Qwen3-30B (MoE) 모델에서, AIME24 의 Pass@1 은 4.48% 향상되었습니다.
• 안정성: NSR 하의 훈련 역학은 훨씬 더 안정적이었습니다. 이 방법은 베이스라인에서 관찰된 엔트로피 급증 (예: 8B 모델에서) 을 피하고 더 높은 피크 성능으로 더 빠르게 수렴하는 것을 보여주었습니다.
• 일반화: 개선 사항은 밀집 및 MoE 아키텍처 모두에서 관찰되었으며 수학이 아닌 작업 (GPQA) 으로도 일반화되어 특정 도메인을 넘어선 견고성을 나타냈습니다.
• 제거 연구: 표적 제거 연구는 "구조" 메커니즘 (범위를 벗어난 토큰 회복) 이 향상을 주도하는 반면, "밀어내기 (Push-out)" 메커니즘 (범위 내 토큰을 강제로 밖으로 밀어냄) 은 이점을 제공하지 않으며 훈련을 불안정하게 할 수 있음을 확인했습니다.

5. 중요성과 주장

이 논문은 NSR 이 RLVR 훈련의 근본적인 병목 현상에 대한 간단한 플러그 앤 플레이 솔루션을 제공한다고 주장합니다. 기울기 크기에서 결정 경계로 초점을 이동시킴으로써, NSR 은 표준 경직된 클리핑에 의해 일반적으로 폐기되는 가치 있는 학습 신호들을 회복합니다.

저자들은 NSR 을 암시적 소프트 클리핑 기울기 감쇠로 해석할 수 있지만, 확률적 공식화가 결정적인 차별점임을 강조합니다. 이는 신뢰할 수 있는 신호를 회복하면서도 신뢰할 수 없는 신호를 거부하는 경계 국소적 필터로 작용하여 결정론적 소프트 클리핑 베이스라인에 비해 우수한 안정성을 제공합니다.

한계점: 저자들은 그들의 작업이 검증 가능한 보상과 그룹 상대적 어드밴티지 추정을 가진 클리핑 기반 RLVR 목적 함수로 범위가 제한되어 있음을 지적합니다. 그들은 학습된 가치 함수나 밀집 보상을 가진 표준 RL 로의 직접적 이전성을 주장하지 않습니다. 또한, NSR 과 MoE 라우팅 간의 상호작용 및 다양한 클리핑 너비에 대한 광범위한 튜닝 지침은 향후 연구 영역으로 남아 있습니다.