🤖 machine learning

RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training

이 논문은 강화 학습(RL)을 지도 미세 조정(SFT) 이후에만 적용하는 표준 관행에 이의를 제기하며, 사전 학습 단계에서 더 일찍 강화 학습을 통합하고, 데이터 구성을 최적화하며, 강화 학습을 지도 미세 조정 목적 함수와 병합하는 것이 일반적인 능력을 보존하면서도 추론 능력을 효과적으로 향상시키고 모델의 분포를 확장할 수 있음을 입증한다.

원저자: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 뛰어난 재능을 가졌지만 아직 다듬어지지 않은 학생(AI 모델)에게 수학 문제를 푸는 법을 가르치고 있다고 상상해 보세요. 수년 동안 표준적인 레시피는 세 단계였습니다:

사전 학습(Pre-training): 학생이 일반적인 언어와 지식을 배우기 위해 수백만 권의 책을 읽습니다.
SFT (지도 미세 조정, Supervised Fine-Tuning): 선생님이 학생에게 문제와 그에 대한 정확한 정답이 적힌 교과서를 주고, 학생이 풀이 과정을 암기하도록 강요합니다.
RL (강화 학습, Reinforcement Learning): 학생은 게임에 투입되며, 오직 최종 정답을 맞혔을 때만 점수를 얻습니다. 이는 학생이 스스로 문제를 해결하는 새로운 방법들을 찾아내도록 독려합니다.

이 논문은 다음과 같이 질문합니다: 우리는 정말로 학생이 모든 책을 다 읽고 교과서를 다 암기할 때까지 기다렸다가 게임을 시작해야만 할까요?

연구진이 발견한 내용을 알기 쉽게 설명하면 다음과 같습니다:

1. 게임을 일찍 시작할 수 있습니다

표준 규칙은 "게임을 주기 전에 학생의 훈련이 완전히 끝날 때까지 기다려라"라고 말합니다. 연구진은 학생이 첫 몇 장의 챕터를 읽고 있는 중에도(사전 학습 초기 단계) 게임(RL)을 주는 실험을 했습니다.

결과: 놀랍게도 잘 작동했습니다! 학생이 책의 아주 작은 부분만을 읽었을 때조차, 게임을 하는 것이 단순히 책을 더 많이 읽는 것보다 수학 문제를 훨씬 더 잘 풀도록 도왔습니다. 사실, 게임을 일찍 시작하는 것은 끝까지 기다렸다가 "읽기 → 암기하기 → 놀기"라는 전체 과정을 거치는 것만큼이나 효과적이었습니다.

2. 교과서가 없을 때 "게임"이 더 효과적입니다

보통 "암기" 단계(SFT)는 정답이 적힌 교과서를 필요로 합니다. 하지만 만약 교과서가 충분하지 않다면 어떻게 될까요?

발견된 사실: 문제를 푸는 방법이 한두 개뿐이라면 "암기" 단계는 실패합니다. 하지만 "게임"(RL)은 번창합니다. 학생은 완벽한 답안지 없이도 스스로 탐구하고 해결책을 찾아내는 법을 배웁니다. 정답 예시가 부족할 때 게임은 훨씬 더 강력한 스승이 됩니다.

3. 비밀 재료는 학생의 크기가 아니라 "책의 종류"입니다

사람들은 흔히 "학생이 더 커지면(더 강력해지면), 더 잘 배울 것이다"라고 생각합니다. 연구진은 학생을 더 크게 만들어 이 점을 테스트했습니다.

반전: 학생을 더 크게 만드는 것은 게임을 더 빨리 배우게 하지 못했습니다. 하지만 초기 읽기 단계에서 수학 책을 더 많이 주는 것은 도움이 되었습니다.
교훈: 학생이 수학을 잘하게 만들고 싶다면, 초기에 수학 이야기를 먹여주세요. 학생의 뇌가 얼마나 큰가보다 무엇을 읽느냐 하는 콘텐츠가 더 중요합니다.

4. "날카롭게 만들기"의 신화 vs "확장하기"

최근 하나의 논쟁이 있습니다: "게임"(RL)이 기존의 답변을 더 날카롭고 자신감 있게 만드는 것뿐인가요, 아니면 실제로 새로운 사고방식을 가르치는 것인가요?

기존의 관점: 많은 이들이 RL이 단지 학생을 "날카롭게" 만들 뿐이며, 더 똑똑하게 만드는 것이 아니라 확신만 갖게 한다고 생각했습니다.
새로운 발견: 연구진은 "날카롭게 만드는" 효과가 사실 "암기" 단계(SFT) 때문에 발생한다는 것을 발견했습니다. 교과서를 먼저 암기하도록 강요하면, 학생은 탐구를 멈추게 됩니다.
진정한 마법: 만약 교과서를 먼저 암기하지 않고 직접 게임을 하게 둔다면, 학생은 실제로 사고를 확장합니다. 그들은 다양한 경로를 시도하며 이전에 알지 못했던 새로운 해결책을 발견합니다. "암기" 단계가 학생의 창의성을 제한하는 것이지, 게임 자체가 아닙니다.

5. "슈퍼 학생" 레시피

연구진은 두 세계의 장점을 결합했습니다. "암기 후 놀기" 대신, 학생이 두 가지를 동시에 하도록 했습니다.

작동 방식: 학생이 문제를 풀고 있다고 상상해 보세요. 뇌의 한 부분은 교과서를 확인하고(SFT), 다른 한 부분은 새로운 아이디어를 실험합니다(RL). 이들은 두 부분의 조언을 평균 내어 뇌를 업데이트합니다.
결과: 이 "슈퍼 학생"(병렬 평균화)은 문제를 푸는 데 가장 뛰어났습니다. 그들은 누구보다 정답을 더 자주 맞혔으며, 교과서를 암기하기만 했던 학생들과 달리 일반적인 대화(같은 다른 능력)를 하는 법을 잊어버리지 않았습니다.

핵심 요약

기다리지 마세요: 강화 학습(게임)은 모델의 생애 아주 초기, 즉 "읽기" 단계가 끝나기 전이라도 사용할 수 있습니다.
데이터가 크기보다 중요합니다: 사전 학습 중에 수학과 같은 특정 유형의 데이터를 먹이는 것이 모델을 단순히 크게 만드는 것보다 더 중요합니다.
RL은 악당이 아닙니다: RL은 모델의 일반적인 기술을 망치거나 단순히 "날카롭게" 만드는 것이 아닙니다. 그러한 부정적인 효과는 "암기"(SFT) 단계에서 옵니다. RL은 실제로 모델이 탐구하고 새로운 해결책을 찾도록 돕습니다.
함께 하세요: 최상의 결과는 "암기"와 "놀기" 단계를 차례대로 하는 것이 아니라 동시에 섞어서 진행할 때 나타납니다.

요약하자면, 이 논문은 강화 학습을 맨 마지막 단계의 최종 다듬기 과정으로 취급하는 것을 멈춰야 한다고 제안합니다. 대신, 이를 훈련 과정의 훨씬 더 이른 시점에 엮어 넣고 다른 방법들과 혼합함으로써 더 똑똑하고 유능한 모델을 얻을 수 있습니다.

기술 요약: 사전 학습 중의 RL 탐색 (RL Excursions during Pre-Training)

문제 정의

대규모 언어 모델(LLM)의 표준 학습 파이프라인은 일반적으로 강화 학습(RL)을 광범위한 차기 토큰 예측(NTP) 사전 학습 및 지도 미세 조정(SFT) 이후에 적용되는 사후 학습 단계로 제한합니다. 이러한 순차적 접근 방식은 두 가지 근본적인 질문을 제기합니다:

시기: RL을 적용하기 위해 반드시 사전 학습이 끝날 때까지 기다려야 하는가, 아니면 더 일찍 적용하는 것이 효과적일 수 있는가?
메커니즘: RL은 본질적으로 모델의 기존 출력 분포를 "날카롭게(sharpen)" 만드는가(탐색을 제한함), 아니면 능력을 확장시키는가? 최근 문헌은 RL이 주로 분포를 날카롭게 만든다고 제안하지만, 이것이 RL 목적 함수 자체의 특성인지 아니면 표준 SFT→RL 파이프라인의 결과물인지는 불분명합니다.

나아가, RL이 사전 학습에서 물려받은 일반적인 능력을 저하시키는지에 대해서도 논쟁이 있습니다.

방법론

저자들은 RL의 효과를 표준 학습 체계로부터 분리하기 위해 대규모의 통제된 연구를 수행합니다.

모델 및 데이터: 저자들은 고품질의 추론 중심 코퍼스(DOLMino mix, 50B 토큰)를 바탕으로 1B 파라미터 모델(OLMo2 아키텍처 기반)을 처음부터 사전 학습합니다. 또한 4B 모델과 수학 데이터가 추가된 60B 토큰으로 학습된 1B 모델에 대해서도 실험합니다.
체크포인트: 최종 모델을 기다리는 대신, 사전 학습 과정 전체(4B에서 50B 토큰까지)에서 체크포인트를 저장합니다.
학습 파이프라인: 각 체크포인트 $M_t$ $M_{t}$ 에 대해 네 가지 뚜렷한 사후 학습 전략을 적용합니다:
1. 직접 RL ( $M^R_t$ ): 사전 SFT 없이 베이스 체크포인트에 직접 RL(구체적으로 검증 가능한 보상을 사용하는 GRPO)을 적용합니다.
2. SFT ( $M^{SFT}_t$ ): 문제당 단 하나의 정답(ground-truth) 솔루션을 사용하는 지도 미세 조정입니다.
3. SFT-Gold ( $M^{SFT-Gold}_t$ ): 문제당 사용 가능한 모든 정답 솔루션을 사용하는 SFT입니다(현실에서는 구현하기 어려운 설정임).
4. 표준 파이프라인 ( $M^{SFT \to RL}_t$ ): SFT 후 RL을 적용하는 방식으로, 현재 업계의 표준을 나타냅니다.
5. 병렬 평균화 ( $M^{Parallel}_t$ ): 동일한 파라미터 스냅샷으로부터 RL과 SFT의 그래디언트를 병렬로 계산하고 이를 평균하여 가중치를 업데이트하는 제안된 방법입니다.
평가: 성능은 GSM8K(초등 수준) 및 MATH(경시대회 수준)에 대해 pass@k 메트릭( $k=1, 8, 32$ )을 사용하여 측정됩니다. 일반적인 능력은 6개의 비수학 벤치마크(예: LAMBADA, HellaSwag)를 통해 평가됩니다.

주요 기여 및 결과

1. RL은 사전 학습 초기에 효과적이다

RL이 고도로 유능한 베이스 모델을 필요로 한다는 가정과 달리, 저자들은 RL이 놀라울 정도로 이른 시기에 효과적이라는 것을 발견했습니다.

조기 이득: 직접 RL은 Chinchilla 최적 토큰 수에 훨씬 도달하기 전인, 단 4B 사전 학습 토큰 시점부터 GSM8K 성능을 개선합니다.
경쟁력: 10B 토큰 시점에서 직접 RL은 정답 추론 경로(reasoning traces)를 전혀 본 적이 없음에도 불구하고, pass@1 및 pass@32에서 표준 SFT→RL 파이프라인의 성능과 대등한 수준에 도달합니다.
데이터 희소성: 정답 데몬스트레이션이 부족할 때(프롬프트당 단 하나의 솔루션), RL은 SFT보다 성능이 월등히 높습니다. SFT는 여러 개의 고품질 솔루션이 제공되는 경우(SFT-Gold)에만 RL을 앞지르는데, 이는 실제 환경에서는 거의 충족되지 않는 조건입니다.

2. 사전 학습 데이터 구성 > 모델 규모

더 어려운 추론 작업(MATH 데이터셋)의 경우, RL의 효과는 모델 규모보다 사전 학습 데이터의 구성에 더 의존합니다.

데이터 스케일링: 사전 학습 믹스에 타겟팅된 수학 중심 데이터를 추가하는 것(토큰을 50B에서 60B로 증가)은 직접 RL이 얻을 수 있는 이득을 크게 높입니다.
모델 스케일링: 모델 크기를 1B에서 4B로 키우는 것은 베이스 모델의 절대적인 성능을 향상시키지만, RL이 제공하는 상대적인 이득을 실질적으로 개선하지는 못합니다.
진단: 테스트 세트에 대한 베이스 모델의 pass@k 정확도는 RL 학습이 다운스트림 이득을 가져올지 여부를 예측하는 경량 예측 지표 역할을 합니다.

3. RL은 분포를 확장하는가, 날카롭게 만드는가

본 논문은 RL이 본질적으로 분포를 날카롭게 만든다는 주장에 이의를 제 제기합니다.

확장: 베이스 체크포인트에 직접 적용될 때, RL은 모델의 분포를 확장하며 pass@1과 pass@32를 모두 개선합니다. 모델은 온-폴리시(on-policy) 학습을 통해 새로운 추론 경로를 발견합니다.
날카로워짐의 인위적 현상: 최근 연구에서 관찰된 "날카로워짐"(pass@1은 개선되나 pass@32는 저하됨) 현상은 RL이 SFT 다음에 올 때만 발생합니다. 저자들은 SFT가 정답 솔루션에 모델을 노출시켜 탐색을 제한하기 때문에, 이후의 RL이 새로운 경로를 발견하기보다는 기존 경로를 단순히 정교화하는 데 그친다고 가설을 세웁니다.

4. 일반적 능력의 보존

SFT 저하: SFT는 여러 벤치마크에서 일반적인(비수학) 능력을 4~8% 포인트 지속적으로 저하시킵니다.
RL 보존: 직접 RL은 일반적인 능력을 거의 변화시키지 않습니다.
병렬 평균화: 제안된 병렬 평균화 방법( $M^{Parallel}_t$ )은 두 방식의 장점을 결-합합니다. 이는 가장 강력한 pass@32 점수를 달성하는 동시에(표준 파이프라인을 능가함) 일반적인 능력을 보존하여, SFT 기반 체계에서 나타나는 퇴보를 피합니다.

의의

본 논문은 RL에 대한 많은 가정들(예: 성숙한 베이스 모델이 필요하다, 본질적으로 분포를 날카롭게 만든다, 또는 일반적 능력을 저하시킨다)이 RL 목적 함수 자체의 고유한 특성이 아니라, 현재의 SFT→RL 학습 체계에서 발생하는 인위적인 결과물이라고 주장합니다.

저자들은 다음과 같이 결론짓습니다:

실행 가능성: RL을 사전 학습 파이프라인에 더 일찍 도입하는 것은 실행 가능하며 종종 더 바람직합니다.
데이터 레버: 타겟팅된 사전 학습 데이터 구성이 모델 스케일링보다 RL 효과를 높이는 더 강력한 레버입니다.
목적 함수의 시너지: RL과 SFT 목적 함수는 상호 보완적입니다. 병렬 평균화 방식은 두 목적 함수를 결합함으로써 일반 지능을 희생하지 않고도 우수한 추론 능력(pass@32)을 얻을 수 있음을 보여줍니다.

이 연구는 RL을 단순한 최종 사후 학습 단계가 아니라, 사전 학습 및 미세 조정 과정 전반에 걸쳐 통합된 일급(first-class) 학습 목적으로 취급해야 한다는 패러다임의 전환을 시사합니다.