How Far Can Unsupervised RLVR Scale LLM Training?

이 논문은 검증 가능한 보상을 활용한 비지도 강화학습 (URLVR) 이 초기 모델의 분포를 강화하는 메커니즘을 통해 학습이 일시적으로 향상되다가 결국 붕괴된다는 이론적·실험적 한계를 규명하고, 이를 극복하기 위한 외부 보상 기반 접근법의 가능성을 제시합니다.

핵심

이 논문은 **"대규모 언어 모델 (LLM) 을 더 똑똑하게 만들기 위해, 정답이 없는 상태에서 스스로 학습할 수 있을까?"**라는 질문에 대한 답을 찾는 연구입니다.

기존에는 수학 문제나 코딩 문제를 풀 때, 정답 (Ground Truth) 을 알려주는 사람이 있어야 모델이 "맞았나요? 틀렸나요?"를 배우고 발전했습니다. 하지만 정답을 알려주는 사람은 한정되어 있고 비용도 비쌉니다. 그래서 연구자들은 **"정답 없이 모델 스스로가 '내가 이걸 맞췄을 것 같아'라는 느낌 (신뢰도) 을 reward(보상) 로 삼아 학습하는 방법"**을 시도했습니다. 이를 '비지도 강화 학습 (URLVR)'이라고 합니다.

이 논문은 이 방법이 얼마나 잘 작동하는지, 그리고 어디까지 확장 가능한지 파헤쳤습니다. 핵심 내용을 쉬운 비유로 설명해 드릴게요.

---

1. 핵심 발견: "자신감"은 양날의 검이다

연구자들은 모델이 스스로 정답을 고르는 과정에서 **"내가 이걸 맞췄을 거야!"라고 확신하는 정도 (신뢰도)**를 보상으로 주었습니다.

• 초반의 성공: 모델이 처음에 이미 알고 있는 문제라면, 이 방법은 아주 잘 작동합니다. 모델이 "아, 이거 내가 잘 풀 수 있어!"라고 확신하는 방향으로 학습을 강화해서 성능이 오릅니다.
• 나중의 붕괴 (Model Collapse): 하지만 학습이 계속되면 문제가 생깁니다. 모델이 틀렸는데도 "내가 맞았어!"라고 너무 확신하게 되는 경우가 생깁니다. 이때 모델은 틀린 답을 고집하며 스스로를 더 똑똑한 척하지만, 실제로는 엉뚱한 길로 빠져버립니다. 이를 **'모델 붕괴'**라고 부릅니다.

🍎 비유: "자신감 있는 바보"
Imagine you are teaching a student who doesn't know the answer to a math problem.

• 초반: 학생이 "아, 이거 2+2 는 4 야!"라고 자신 있게 말하면, 당신은 "좋아! 그거 맞네!"라고 칭찬합니다. 학생은 더 자신감을 얻습니다.
• 후반: 학생이 "2+2 는 5 야!"라고 틀리게 말해도, "아니, 내가 5 라고 확신해!"라고 너무 자신 있게 말하면, 당신은 그 '자신감'을 보고 "오, 이 학생은 확신이 있구나!"라고 착각하고 칭찬해 줍니다.
• 결과: 학생은 2+2 가 5 라는 것을 믿게 되고, 더 이상 올바른 답을 찾지 못하게 됩니다. 이것이 바로 자신감 (신뢰도) 과 정답이 일치하지 않을 때 발생하는 붕괴입니다.

2. 왜 이런 일이 일어날까? (이론적 설명)

논문은 이 현상을 **"초기 성향의 강화 (Sharpening)"**라고 설명합니다.

• 모델은 새로운 지식을 배우는 게 아니라, 처음부터 가지고 있던 '내성 (성향)'을 더 강하게 만드는 것입니다.
• 처음에 "이게 맞다"라고 생각했다면, 그걸 더 확신하게 되어 정답을 잘 찾습니다.
• 하지만 처음에 "이게 맞다"라고 잘못 생각했다면, 그 잘못된 생각을 더 강하게 믿게 되어 틀린 답을 고집하게 됩니다.
• 결국, 모델이 처음에 얼마나 정확한지 (초기 신뢰도와 정답의 일치 여부) 에 따라 성공할지 실패할지가 결정됩니다.

3. 이 방법을 안전하게 쓸 수 있는 곳: "시험 시간 훈련"

그렇다면 이 방법은 쓸모없는 걸까요? 아닙니다. 작은 데이터셋이나 **시험 시간 (Test-Time)**에는 아주 유용합니다.

• 작은 데이터의 힘: 학습 데이터가 아주 적으면 (예: 문제 32 개만 학습), 모델이 전체적인 지식을 망가뜨리지 않고 그 작은 문제들만 "외워버리는" 수준에서 멈춥니다. 이렇게 되면 붕괴가 일어나지 않습니다.
• 시험 시간 훈련 (Test-Time Training): 문제를 풀기 직전에, 그 문제만 보고 잠시 학습을 시키는 방식입니다. 데이터가 적고 특정 문제에만 집중하므로, 모델이 망가지지 않고 그 문제 해결 능력을 높일 수 있습니다.

🎯 비유: "시험 직전 요점 정리"
시험을 보기 직전에, 전체 교과서를 다시 다 읽는 게 아니라 (그건 너무 오래 걸리고 망가질 수 있음), 오늘 나올 문제 30 개만 집중해서 "내가 이거 맞출 수 있어!"라고 연습하는 것입니다. 이 방법은 시험 점수를 높이는 데 아주 효과적입니다.

4. 새로운 지표: "붕괴 시점 (Model Collapse Step)"으로 예측하기

연구자들은 **"어떤 모델이 이 방법으로 학습하기 좋은지"**를 미리 알 수 있는 방법을 고안했습니다.

• 기존 방식: 모델을 실제로 학습시켜서 점수가 오르는지 확인해 보려면, 시간과 돈이 너무 많이 듭니다.
• 새로운 방법 (Model Collapse Step): 모델을 아주 짧게 학습시켜서, **"언제부터 틀린 답을 확신하기 시작하는가?"**를 봅니다.
  • 붕괴가 늦게 오면 = 이 모델은 학습하기 좋습니다 (초기 신뢰도가 정답과 잘 맞음).
  • 붕괴가 빨리 오면 = 이 모델은 학습하기 어렵습니다.
• 이 방법은 정답 (Ground Truth) 없이도 모델을 고를 수 있게 해줍니다. 마치 "이 학생은 시험을 치기 전에 5 분만 연습해도 성적이 오를까?"를 미리 예측하는 것과 같습니다.

5. 미래의 해결책: "외부 검증"으로 넘어가기

논문은 결론적으로 말합니다. "모델 스스로의 느낌 (내부 신호) 에만 의존하는 건 한계가 있다."

• 내부 신호의 한계: 모델이 "내가 맞을 거야"라고 느끼는 것만으로는, 모델이 이미 알고 있는 지식의 범위 밖으로 나가기 어렵습니다.
• 외부 신호의 가능성: 정답을 직접 확인해 주는 **컴퓨터 프로그램 (코드 실행, 수학 계산기 등)**이나 외부 검증 도구를 사용하는 방법이 더 좋습니다.
  • 예: 코드를 짜면 컴퓨터가 "실행 성공/실패"를 알려줍니다. 모델이 틀려도 컴퓨터는 거짓말을 안 하죠.
  • 이렇게 모델의 느낌과 상관없이 객관적으로 검증 가능한 방법이 앞으로의 대안입니다.

---

📝 한 줄 요약

"모델이 스스로 '내가 맞다'고 믿는 것만으로는 한계가 있다. 틀린 답을 믿게 되면 망가진다. 하지만 작은 문제집으로 시험 직전 연습을 하거나, 컴퓨터처럼 객관적으로 정답을 확인해 주는 도구를 쓴다면, 정답 없이도 모델을 더 똑똑하게 만들 수 있다."

이 연구는 AI 가 스스로 배우는 길에서 우리가 어디까지 갈 수 있는지, 그리고 어디에서 멈춰야 하는지 명확한 지도를 그려준 중요한 논문입니다.

기술 요약

논문 요약: Unsupervised RLVR 가 LLM 훈련을 얼마나 확장할 수 있는가? (How Far Can Unsupervised RLVR Scale LLM Training?)

이 논문은 **검증 가능한 보상 (Verifiable Rewards) 을 활용한 비지도 강화학습 (URLVR)**이 대규모 언어 모델 (LLM) 의 훈련을 확장할 수 있는 한계와 가능성을 체계적으로 분석합니다. 저자들은 현재 주류인 '내재적 보상 (Intrinsic Rewards)' 방법론의 근본적인 한계를 이론적, 실험적으로 규명하고, 이를 극복할 수 있는 '외부 보상 (External Rewards)'의 방향성을 제시합니다.

---

1. 문제 정의 (Problem)

최근 LLM 의 추론 능력 향상은 **지도 강화학습 (Supervised RLVR)**을 통해 이루어졌으나, 이는 정답 (Ground Truth) 이 필요한 고품질 데이터에 의존합니다. 초지능 (Superintelligence) 시대로 나아가면서 인간이 제공할 수 있는 정답 데이터의 한계 (Supervision Bottleneck) 가 명확해졌습니다.
이에 따라 정답 없이 모델의 내부 신호나 데이터 구조를 활용해 보상을 생성하는 **비지도 RLVR (URLVR)**에 대한 관심이 높아졌습니다. 그러나 기존 연구들은 초기 성능 향상을 보였으나, **보상 해킹 (Reward Hacking)**이나 **모델 붕괴 (Model Collapse)**와 같은 실패 사례가 보고되면서, 내재적 보상이 실제로 LLM 훈련을 확장 (Scale) 할 수 있는지에 대한 의문이 제기되었습니다.

2. 방법론 및 분류 (Methodology & Taxonomy)

저자들은 URLVR 방법론을 보상의 출처에 따라 두 가지로 분류하고, 내재적 보상의 작동 원리를 이론적으로 분석했습니다.

2.1. URLVR 분류

1. 내재적 보상 (Intrinsic Rewards): 모델의 내부 상태만 활용하여 보상을 생성.
   • 확신 기반 (Certainty-Based): 모델의 출력 확률 (Logits) 이나 엔트로피를 기반으로 신뢰도 높은 예측을 보상 (예: Self-Certainty, Entropy Minimization).
   • 앙상블 기반 (Ensemble-Based): 여러 샘플 생성 후 다수결 (Majority Voting) 등을 통해 일관된 답을 정답으로 간주 (예: TTRL, SRT).
2. 외부 보상 (External Rewards): 모델 외부의 메커니즘을 활용.
   • 레이블 없는 데이터 활용: 다음 토큰 예측, 텍스트 재구성 등 데이터 자체의 구조를 보상 신호로 사용.
   • 생성 - 검증 비대칭성 (Generation-Verification Asymmetry): 생성은 어렵지만 검증은 쉬운 작업 (수학 계산, 코드 실행, 증명 검증 등) 에서 검증기를 통해 객관적인 보상을 제공.

2.2. 이론적 분석: 'Sharpening Mechanism' (선명화 메커니즘)

내재적 보상의 핵심 작동 원리를 이론적으로 규명했습니다.

• 수렴 방향: 모든 내재적 보상 방법은 모델의 초기 분포를 선명하게 만드는 (Sharpening) 방향으로 수렴합니다. 즉, 모델이 처음에 선호하는 답을 강화할 뿐, 새로운 지식을 발견하거나 잘못된 답을 교정하지는 않습니다.
• 이중성:
  • 성공 조건: 모델의 초기 확신 (Confidence) 이 정답 (Correctness) 과 일치할 경우, 이 메커니즘은 성능을 극대화합니다.
  • 실패 조건: 초기 확신이 틀린 경우, 같은 메커니즘이 오류를 지속적으로 증폭시켜 모델 붕괴를 초래합니다.

3. 주요 기여 (Key Contributions)

1. 내재적 URLVR 의 근본적 한계 규명:

   • 모든 내재적 방법은 훈련 초기에는 성능이 향상되다가 (Rise), 결국 **붕괴 (Fall)**하는 'Rise-then-Fall' 패턴을 보임을 실험적으로 증명했습니다.
   • 이는 하이퍼파라미터 튜닝으로 해결할 수 있는 공학적 문제가 아니라, 보상 신호가 모델의 기존 지식에 국한된다는 근본적인 한계임을 밝혔습니다.

2. 안전한 적용 영역 제시 (Test-Time Training):

   • 데이터셋 크기가 작을 때 (예: 128 개 이하) 는 모델 붕괴가 발생하지 않음을 발견했습니다.
   • 이는 **테스트 시간 훈련 (Test-Time Training)**과 같이 소규모 도메인 특화 데이터에서 내재적 보상이 안전하고 유용하게 사용될 수 있음을 시사합니다.

3. 모델 붕괴 단계 (Model Collapse Step) 제안:

   • 모델의 'Prior(선입견)' 강도를 측정하는 새로운 지표인 Model Collapse Step을 제안했습니다. 이는 내재적 URLVR 훈련 중 'Reward Accuracy'가 임계치 아래로 떨어지는 시점을 측정합니다.
   • 이 지표는 고비용의 RL 훈련 없이도 어떤 베이스 모델이 RL 훈련에 적합한지 (Trainability) 를 Pass@k보다 정확하게 예측할 수 있음을 입증했습니다.

4. 확장 가능한 대안 제시 (External Rewards):

   • 내재적 보상의 한계를 극복하기 위해 생성 - 검증 비대칭성을 활용한 외부 보상 (예: 코드 실행, 수학 검증) 을 제안했습니다.
   • 실험 결과, 외부 보상은 모델이 발전함에 따라 검증기의 신뢰도가 떨어지지 않아 붕괴 없이 지속적인 성능 향상이 가능함을 보여주었습니다.

4. 실험 결과 (Results)

• 훈련 동역학: 내재적 보상 (다수결 투표 등) 으로 훈련한 모델은 초기에는 Ground Truth 훈련과 유사한 성능을 보이지만, 훈련이 진행됨에 따라 보상 정확도 (Reward Accuracy) 는 떨어지고 모델은 짧은 답변이나 반복적인 텍스트를 생성하는 등 붕괴합니다.
• 데이터 크기의 영향:
  • ≤128 샘플: 안정적인 성능 유지, 붕괴 없음.
  • ≥512 샘플: 일관된 보상 해킹 및 붕괴 발생.
• 모델 비교: Qwen 계열 모델은 Llama 계열보다 내재적 보상 훈련에 더 안정적이었으며, SFT(지도 미세조정) 를 거친 모델이 Base 모델보다 붕괴 시점이 늦어졌습니다.
• Model Collapse Step 예측력: 7 개의 다양한 모델에 대해 Model Collapse Step 을 측정한 결과, 이 값이 클수록 (붕괴가 늦게 발생할수록) 실제 RL 훈련에서의 성능 향상 (GT Gain) 이 높음과 강한 상관관계를 보였습니다.
• 외부 보상 검증: 'Countdown' 수학 퍼즐 과제를 통해 생성 - 검증 비대칭성을 활용한 Self-Verification 방법을 테스트한 결과, 내재적 보상 (엔트로피 기반) 보다 훨씬 높은 정확도와 안정성을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 내재적 보상 기반의 비지도 RLVR 이 무한히 확장될 수 없다는 것을 명확히 증명했습니다. 내재적 보상은 모델이 이미 알고 있는 것을 강화하는 도구일 뿐, 새로운 능력을 창출하는 도구가 아닙니다.

• 실무적 시사점:
  • 대규모 데이터셋을 활용한 무한한 확장은 불가능하므로, 소규모 데이터셋에서의 테스트 시간 훈련이나 도메인 특화 적용에 내재적 보상을 활용해야 합니다.
  • RL 훈련을 시작하기 전, Model Collapse Step을 통해 베이스 모델의 적합성을 빠르게 진단할 수 있습니다.
• 미래 방향:
  • 진정한 확장 (Scaling) 을 위해서는 모델의 내부 상태가 아닌, **컴퓨팅 비대칭성 (생성 vs 검증)**이나 레이블 없는 대규모 데이터의 구조를 활용한 외부 보상 메커니즘으로의 전환이 필수적입니다.

결론적으로, 이 연구는 현재 URLVR 기술의 경계를 정의하고, 더 강력하고 확장 가능한 LLM 자가 진화를 위한 새로운 패러다임을 제시합니다.