🤖 machine learning

Understanding Diversity Collapse in RLVR via the Lens of Overtraining

본 논문은 검증 가능한 보상이 있는 강화 학습(RLVR)에서의 "다양성 붕괴(diversity collapse)"를 모델의 추론 경계를 좁히는 과적합의 한 형태로 규정하고, 최적화 방향을 미해결 문제로 재지정하여 다양한 추론 벤치마크 전반에서 높은 $k$ -Pass@ $k$ 성능을 향상시키는 "베이지안 경계 게이팅(Bayesian Boundary Gating)"을 제안한다.

원저자: Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: "한 우물만 파는 문제" (The One-Trick Pony Problem)

학생(AI)에게 수학 문제를 풀도록 훈련시킨다고 상상해 보세요. 당신은 학생이 정답을 맞힐 때까지 원하는 만큼 계속 시도할 수 있는 연습 시험지를 주었습니다.

목표: 당신은 학생이 한 번도 본 적 없는 새로운 문제를 푸는 능력이 향려지길 원하며, 여러 가지 다양한 접근 방식을 시도하여 답을 찾아낼 수 있기를 바랍니다.
문제: 이 논문은 학생이 첫 번째 시도에서 정답을 맞히는 능력(Pass@1)은 매우 좋아지지만, 여러 번 시도할 수 있게 허용했을 때(Pass@k) 오히려 답을 찾는 능력은 오히려 떨어진다는 점을 발견했습니다.

저자들은 이를 **"다양성 붕괴(Diversity Collapse)"**라고 부릅니다. 이는 마치 학생이 창의적으로 생각하는 것을 멈춘 것과 같습니다. 다섯 가지 다른 방법으로 문제를 풀려고 노력하는 대신, 자신이 알고 있는 단 하나의 방법만을 계속해서 반복하는 것입니다. 만약 그 한 가지 방법이 실패한다면, 다른 방법을 시도했다면 두 번째나 세 번째 시도에서 답을 찾았을 수도 있음에도 불구하고 학생은 그냥 포기해 버립니다.

원인: "잘못된 것에 대한 과적합(Overtraining)"

왜 이런 일이 발생할까요? 저자들은 이것이 **과적합(Overtraining)**의 사례라고 주장합니다.

코치가 선수가 골을 넣었을 때만 칭찬하는 상황을 생각해 보세요.

설정: 코치(AI 훈련 시스템)가 선수에게 문제를 줍니다. 선수는 8번의 시도(이를 "rollouts"라고 합니다)를 합니다.
함정: 만약 선수가 8번의 시도 중 단 한 번이라도 정답을 맞히면, 코치는 "좋아! 이 문제는 해결되었다!"라고 생각합니다.
실수: 코치는 선수에게 이 "해결된" 문제에 계속 집중하라고 지시하며, 그 문제를 푸는 특정한 방식만을 강화합니다. 그러면 선수는 새로운 각도에서 문제를 바라보는 것을 멈추고, 오직 그 특정 동작 하나만을 완벽하게 만드는 데 몰두하게 됩니다.

이 논문은 표준적인 AI 훈련 방식에서 AI가 훈련 시간을 보내는 대부분의 시간이 이미 한 번이라도 해결된 문제에 낭비된다는 것을 보여줍니다. AI가 이러한 "쉬운" 승리에 계속 매달리면서, 새로운 경로를 탐색하는 법을 잊어버리기 때문입니다. AI는 하나의 특정 기술에는 달인이 되지만, 유연성을 잃게 됩니다.

"추론 경계(Reasoning Boundary)" 비유

저자들은 **"추론 경계(Reasoning Boundary)"**라는 개념을 도입합니다. 이 경계는 AI가 해결할 수 있는 모든 것을 나타내는 벽이라고 상상해 보세요.

Pass@1은 "AI가 첫 번째 시도에서 바로 이 문제를 풀 수 있는가?"를 묻는 것과 같습니다.
**Pass@k (High-k)**는 "만약 256번의 기회를 준다면, AI가 답을 찾아낼 수 있는가?"를 묻는 것과 같습니다.

이 논문은 표준 훈련 방식이 이 벽을 안쪽으로 밀어 넣는다고 주장합니다. AI는 이미 알고 있는 특정 문제들에 대해서는 더 잘하게 되지만, 이전에 풀지 못했던 새로운 문제들을 포함하기 위해 벽을 확장하는 일은 멈추게 됩니다. 이는 마치 정원사가 새로운 꽃들(풀리지 않은 새로운 문제들)에 물이 닿지 않아 죽어가는 동안, 기존에 있던 몇 송이의 꽃들이 거대해질 때까지 똑같은 꽃에만 계속 물을 주는 정원사와 같습니다.

증거: AI가 학습을 못 하는 것이 아니다

AI의 성능 저하가 단순히 AI가 새로운 추론 기술을 배울 수 없다는 의미라는 믿음이 있었습니다. 저자들은 두 가지 실험을 통해 이 믿음이 틀렸음을 증명했습니다.

관찰: 저자들은 훈련 중의 AI를 관찰했습니다. 그들은 AI가 시작 단계에서는 풀지 못했던 일부 문제들을 실제로 풀어내고 있다는 것을 발견했습니다. 하지만 동시에, 예전에 쉽게 풀었던 문제들에서 실패하기 시작했습니다. 즉, "이득"이 "손실"에 의해 가려진 것입니다.
개입: 저자들은 간단한 해결책을 시도했습니다: 이미 해결된 문제에 대해서는 훈련을 중단하는 것. 그들은 AI에게 이렇게 말했습니다. "만약 한 번이라도 맞혔다면, 그 문제는 연습하지 마라. 틀린 문제에만 집중해라."
- 결과: 이렇게 했을 때, 어려운 문제를 해결하는 AI의 능력(Pass@256)이 오히려 시작 지점보다 높아졌습니다. 이는 AI가 새로운 것을 배울 수 있었지만, 표준 훈련 방식이 쉬운 문제들을 과도하게 연습하게 함으로써 의도치 않게 학습을 방해하고 있었다는 것을 입증합니다.

해결책: "베이지안 경계 게이팅(Bayesian Boundary Gating, BBG)"

이를 해결하기 위해 저자들은 **베이지안 경계 게이팅(BBG)**이라는 새로운 방법을 제안합니다.

BBG를 코치를 위한 스마트한 필터라고 생각해보세요. 코치가 어떤 문제를 연습할지 결정하기 전에, BBG는 다음과 같이 묻습니다.

"이 문제가 이미 해결되었는가? 그렇다면 건너뛰어라."
"이 문제가 완전히 해결되지 않았는가? 그렇다면 여기에 집중하라!"
"이 문제가 중간 단계인가? 아마도 약간의 주의만 기울여라."

수학적으로 어떤 문제가 아직 "성장할 여지"가 있는지 추정함으로써, BBG는 AI의 에너지를 쉬운 승리에 과적합하는 것에서 돌려, 실제로 도움이 필요한 문제들로 재배치합니다.

결과

이 새로운 방법을 여러 까다로운 수학 벤치마크에서 테스트했을 때:

표준 AI: 첫 번째 시도에서 정답을 맞히는 능력은 좋아졌지만, 여러 번의 기회가 주어졌을 때 문제를 해결하는 능력은 오히려 떨어졌습니다.
BBG AI: 첫 번째 시도에서 정답을 맞히는 능력도 좋아졌고, 동시에 여러 번의 기회가 주어졌을 때 문제를 해결하는 능력도 유지하거나 오히려 향상시켰습니다.

요약

이 논문은 AI 모델들이 이미 마스터한 문제들을 강제로 연습하게 함으로써 "매너리즘(rut)"에 빠지고 있다고 주장합니다. 이는 모델을 경직되게 만들고 창의성을 떨어뜨립니다. 이미 알고 있는 것은 연습하지 않고 아직 모르는 것에만 집중하게 함으로써, 우리는 AI가 더욱 다재다능하고 유능한 문제 해결사가 되도록 도울 수 있습니다.

기술 요약: 과적합(Overtraining)의 관점에서 본 RLVR의 다양성 붕괴 이해

문제 정의

강화 학습 기반 검증 가능한 보상(RLVR, Reinforcement Learning with Verifiable Rewards)은 객관적으로 확인 가능한 결과를 가진 작업에 대해 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 주요 방법론이 되었습니다. 그러나 이 패러다임에는 **다양성 붕가(diversity collapse)**라고 불리는 지속적인 문제가 존재합니다. 즉, 모델의 단일 샘플 정확도(Pass@1)는 향상되는 반면, 여러 번의 시도 중 정답을 찾아내는 능력(high-k Pass@k)은 훈련이 진행됨에 따라 자주 저하됩니다.

기존의 설명들은 이를 온-폴리시(on-policy) 업데이트의 자기 강화적 특성으로 돌립니다. 즉, 이미 성공할 가능성이 높은 궤적(trajectory)이 더 자주 샘플링되고 강화되어, 정책 분포가 점점 줄어드는 솔루션 집합으로 날카롭게 좁혀지는 현상입니다. 본 논문은 이러한 "날카로워짐 편향(sharpening bias)"이 RLVR 업데이트의 보편적인 속성이지만, 이것이 언제 모델의 추론 경계를 확장하는지, 혹은 언제 단순히 이미 도달 가능한 솔루션들 사이에서 확률 질량(probability mass)을 재배치하는 것인지를 완전히 설명하지는 못한다고 주장합니다. 저자들은 다양성 붕괴를 **과적합(overtraining)**의 관점에서 바라볼 것을 제안합니다. 즉, 특정 문제의 참조 지표(특히 high-k Pass@k)에 대한 기여도가 포화되면, 추가적인 업데이트는 추론 경계를 확장할 수 없으며 단지 확률 질량을 집중시켜 붕괴를 초래한다는 것입니다.

방법론

이론적 분석: 과적합과 포화

저자들은 성공 확률 $p$ 를 가진 문제에 대해 $1 - (1-p)^k$ 로 정의되는 Pass@k를 사용하여 추론 경계를 공식화합니다. 그들은 표준적인 RLVR 설정(통상적으로 문제당 $n=8$ 개의 롤아웃) 하에서 경험적 성공률 $\hat{p}$ 가 양자화됨(예: $0/8, 1/8, \dots$ )을 보여줍니다.

공격적 포화(Aggressive Saturation): 큰 $k$ 값(예: $k=256$ )에 대해, 단 하나의 성공 사례( $\hat{p}=1/8$ )만 관찰되어도 Pass@256 값은 $\approx 1$ 에 도달합니다.
과적합 레짐(Overtraining Regime): 결과적으로, 적어도 하나의 정답 롤아웃을 생성한 모든 문제는 high-k Pass@k 측면에서 "포화된" 레짐에 있게 됩니다. 이러한 문제들에 대한 업데이트(정답 궤적을 강화하든 오답 궤적을 억제하든)는 high-k Pass@k에 대한 한계 이득(marginal gain)이 거의 없으면서도 정책을 계속 날카롭게 만들어 다양성 붕괴를 일으킵니다.
제로 성공 버킷(The Zero-Success Bucket): 추론 경계를 의미 있게 확장할 수 있는 유일한 버킷은 정답 롤아웃이 관찰되지 않은 $B_{0/n}$ 입니다.

경험적 조사

본 연구는 RLVR이 (전체적인 지표가 그렇게 나타나더라도) 실제로 추론 경계를 확장하고 있음을 검증하기 위해 두 가지 상호 보완적인 접근 방식을 사용합니다.

관찰적 추적(Observational Tracking): 베이스 모델에서 해결 불가능했던(Pass@256 = 0) 문제들을 추적합니다. 저자들은 표준 훈련 과정 중에 이전에는 해결 가능했던 문제들이 경계 밖으로 나가는 것과 동시에, 상당한 비율의 문제들이 해결 가능한 상태로 변한다는 것을 발견했습니다.
개입적 제한(Interventional Restriction): 업데이트를 특정 롤아웃 성공 버킷( $B_{m/8}$ )으로 제한하는 훈련 변형을 사용합니다. (유일한 비포화 버킷인) $B_{0/8}$ 에 대한 업데이트를 제한하면 어려운 벤치마크에서 Pass@256의 향상이 나타나는 반면, 더 높은 성공 버킷에 대한 업데이트는 성능 저하를 초래합니다.

제안된 솔루션: 베이지안 경계 게이팅(Bayesian Boundary Gating, BBG)

과적합을 완화하기 위해, 저자들은 포화된 문제로부터 최적화를 우회하는 문제 수준의 방법인 **베이지안 경계 게이팅(BBG)**을 제안합니다.

메커니즘: BBG는 베타-이항 베이지안 모델을 사용하여 추론 경계에 대한 문제의 기대 한계 기여도를 추정합니다. $n$ 번의 롤아웃 중 $m$ 번의 성공이 주어졌을 때, 실제 성공 확률 $p$ 의 사후 분포는 $Beta(m+1, n-m+1)$입니다.
효용 계산: 기대 한계 효용 $u(m; n, k)$ 는 Pass@k 목적 함수의 미분의 기댓값인 $E[k(1-p)^{k-1}]$ 로 계산됩니다.
게이팅 전략: 한계 효용이 미미한 문제(추정된 한계 기여도가 임계값 $\tau$ 미만인 경우)는 하드 게이팅(hard-gated)되어 역전파에서 제외됩니다. 유의미한 한계 효용을 가진 문제(주로 낮은 성공 버킷의 문제들)만이 업데이트를 받습니다.
구현: BBG는 W-RF(Weighted Reinforcement with Negative Reinforcement)와 같은 기존의 목적 함수 설계와 호환되는 문제 수준의 계수로 적용됩니다.

주요 결과

실험은 MATH 데이터셋으로 학습된 Qwen2.5-Math-7B를 사용하여 MATH-500, OlympiadBench, MinervaMath, AIME 2025의 네 가지 벤치마크에서 수행되었습니다.

베이스라인 성능: 표준 RLVR 방법들(REINFORCE, GRPO, W-RF)은 일관되게 Pass@1을 개선하지만, 중간 난이도의 벤치마크에서 high-k Pass@k(예: Pass@256)의 상당한 저하를 겪으며 다양성 붕괴 현상을 확인시켜 줍니다.
BBG 성능:
- BBG는 모든 벤치마크에서 $k \in [1, 256]$ 범위 전체에 대해 가장 높은 평균 Pass@k를 달s합니다.
- 결정적으로, BBG는 네 가지 벤치마크 모두에서 베이스 모델 대비 Pass@256을 유지하거나 향상시키는 유일한 방법이며, 다른 방법에서 관찰되는 붕괴를 효과적으로 방지합니다.
- 가장 어려운 벤치마크인 AIME 2025에서, 다른 방법들이 높은 $k$ 에서 저하되는 것과 달리 BBG는 평가된 전체 범위에서 상당한 이득을 보여줍니다.
어블레이션 통찰(Ablation Insights): 저자들은 조기 종료(early stopping)(검증 Pass@1이 포화될 때 중단)나 버킷 마스킹(bucket masking)(고성공 버킷을 제외)과 같은 단순한 개입이 high-k 성능을 부분적으로 회복할 수 있음을 보여주며, 이는 과적합 가설을 입증합니다. 그러나 BBG는 한계 효용에 따라 업데이트를 동적으로 가중치를 부여함으로써 더 원칙적이고 효과적인 솔루션을 제공합니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

다양성 붕괴의 공식화: 다양성 붕패를 단순한 샘플링 편향 문제가 아니라 과적합의 결과로 재정의합니다. 표준 롤아웃 예산 하에서 RLVR 업데이트의 대다수가 high-k Pass@k에 대한 과적합임을 입증합니다.
총체적 하락의 재해석: 높은 high-k Pass@k의 총체적 하락이 새로운 추론 능력을 습득하는 데 실패했다는 것을 의미하지 않는다는 증거를 제시합니다. 대신, 이는 초기 해결 불가능했던 문제들에서의 이득이 이미 해결 가능한 문제들에서의 과적합 유발 손실에 의해 가려진 순 결과임을 보여줍니다.
BBG를 통한 효과적인 완화: 경계 기여도가 포화되지 않은 문제들로 최적화를 유도함으로써, BBG는 Pass@1의 향상과 high-k Pass@k의 저하를 성공적으로 분리하여 모델의 전반적인 추론 다양성을 개선합니다.

저자들은 실험이 7B 규모의 모델과 단일 훈련 세트로 제한되어 있다는 점을 언급하며 신중한 어조를 유지합니다. 또한 다양성 붕패의 다른 원인(예: 토큰 수준의 크레딧 할당)이 있을 수 있으며, BBG의 고성공 문제에 대한 업데이트 억제가 단일 샘플 정확도가 유일한 우선순위인 시나리오에서는 Pass@1을 감소시킬 수 있음을 인정합니다. 그럼에도 불구하고, 이 연구는 RLVR 훈련 역학에 대한 새로운 관점을 확립하며, 정책의 "날카로워짐"이 종종 특정 문제에 대해 이미 최대화된 지표를 최적화하는 과정의 부산물임을 시사합니다.