🤖 machine learning

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

이 논문은 기존의 혼합 정책(mixed-policy) 최적화 방식들이 DeepSpeed와 OpenRLHF의 구현 버그로 인해 잘못된 기준점(baseline)을 사용해 왔음을 지적하며, 버그를 수정한 표준적인 'SFT 후 RL(SFT-then-RL)' 방식이 혼합 방식보다 수학적 추론 성능에서 훨씬 더 우수함을 입증했습니다.

원저자: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍎 제목: "잘못된 기초 체력 테스트가 만든 가짜 우승자"

1. 배경: AI를 가르치는 두 가지 방법

AI에게 수학 문제를 풀게 하는 방법에는 크게 두 가지가 있습니다.

방법 A (SFT-then-RL): "교과서 먼저, 그다음 실전 연습"
먼저 정답이 적힌 완벽한 교과서(SFT)를 달달 외우게 해서 기초를 다진 뒤, 그다음 실전 문제(RL)를 풀며 스스로 깨우치게 하는 방식입니다. (정석 코스)
방법 B (Mixed-Policy): "교과서와 실전을 동시에!"
교과서도 보고 문제도 풀면서, 두 가지를 한꺼번에 섞어서 배우는 방식입니다. 최근 많은 연구자들이 "이게 더 효율적이고 똑똑하다!"라며 이 방식을 밀고 있었습니다.

2. 사건의 발단: "가짜 챔피언의 등장"

최근 여러 연구 논문들이 **"방법 B(섞어서 배우기)가 방법 A(정석 코스)보다 훨씬 뛰어나다!"**라고 발표했습니다. 마치 "교과서 따로 공부하는 건 구식이야, 실전과 병행해야 천재가 돼!"라고 주장하는 것과 같았죠.

3. 반전: "범인은 바로 '고장 난 체력 측정기'였다!"

그런데 이 논문의 저자들은 의구심을 품었습니다. "정말 방법 B가 좋은 걸까, 아니면 방법 A가 너무 못 나온 걸까?" 조사해 보니 충격적인 사실이 밝혀졌습니다.

방법 A(정석 코스)를 테스트할 때 사용한 '측정 도구(학습 프레임워크)'에 치명적인 버그(오류)가 있었던 것입니다!

이 상황을 운동선수 선발 과정에 비유해 볼게요.

상황: 아주 유능한 선수를 뽑기 위해 '기초 체력 테스트'를 합니다.
문제 발생: 그런데 테스트 기계(DeepSpeed, OpenRLHF 등)가 고장 나 있었습니다. 선수가 100미터를 달렸는데, 기계가 첫 10미터만 기록하고 나머지 90미터는 아예 무시해 버린 것입니다.
결과: 정석대로 공부한 선수(방법 A)들은 기계 오류 때문에 실력이 형편없게 측정되었습니다. 반면, '섞어서 배우는 방식(방법 B)'은 다른 기계를 사용했기 때문에 제대로 측정되었죠.
착각: 사람들은 "와! 기초 체력 테스트(SFT)는 별로인데, 실전 위주로 훈련한 선수(Mixed-Policy)가 훨씬 대단하네!"라고 잘못된 결론을 내린 것입니다.

4. 결론: "기초가 튼튼해야 진짜 실력이 나온다"

저자들이 고장 난 기계를 고쳐서(버그 수정) 다시 제대로 테스트해 보니 결과는 완전히 뒤집혔습니다.

정석 코스의 승리: 고장 난 기계를 고쳐서 '교과서 먼저 공부하고 실전 연습(SFT-then-RL)'을 시켰더니, 기존의 모든 '섞어서 배우는 방식'을 압도하는 성적이 나왔습니다.
가성비 최고: 심지어 정석 코스는 실전 연습을 아주 조금만 해도(50단계만 해도), 섞어서 배우는 방식보다 훨씬 똑똑하고 효율적이었습니다.
기초의 중요성: 특히 수학 지식이 전혀 없는 모델(Llama-3.1)에게는, 기초(SFT)를 제대로 잡아주는 것이 얼마나 중요한지 증명되었습니다.

💡 요약하자면?

**"최근 AI 학계에서 '섞어서 배우는 게 최고'라고 떠들었던 건, 사실 기초 학습 도구에 버그가 있어서 기초 실력이 낮게 측정되었기 때문이었다. 도구를 고쳐서 다시 해보니, 역시 '기초부터 탄탄히 다지고 실전에 나가는 정석 방식'이 가장 빠르고 강력했다!"**는 이야기입니다.

[기술 요약] LLM 추론을 위한 SFT-then-RL 방식의 우수성 입증

1. 문제 배경 (Problem)

최근 대규모 언어 모델(LLM)의 수학적/과학적 추론 능력을 높이기 위해, 지도 학습(SFT)과 강화 학습(RL) 신호를 혼합하거나 교차하여 사용하는 **'혼합 정책(Mixed-Policy) 최적화 방법론'**들이 다수 발표되었습니다. 이 방법론들은 기존의 표준 방식인 'SFT 후 RL(SFT-then-RL)' 파이프라인보다 성능이 뛰어나다고 주장해 왔습니다.

하지만 본 논문은 이러한 기존 연구들의 성능 향상 주장이 실제 방법론의 혁신 때문이 아니라, 비교 대상이 된 SFT 베이스라인(Baseline)이 프레임워크의 버그로 인해 비정상적으로 낮게 측정되었기 때문이라는 점을 지적합니다.

2. 발견된 핵심 버그 (Methodology: Bug Identification)

저자들은 널리 사용되는 오픈소스 학습 프레임워크에서 SFT 성능을 심각하게 저하시키는 두 가지 결정적인 버그를 찾아냈습니다.

DeepSpeed의 CPU-Offloaded Optimizer 버그:
- 현상: 메모리 절약을 위해 옵티마이저를 CPU로 오프로딩할 때, 그래디언트 누적(Gradient Accumulation) 과정에서 첫 번째 마이크로 배치(micro-batch)의 그래디언트만 옵티마이저에 전달되고, 중간 배치들의 그래디언트는 무시되는 버그입니다.
- 영향: TRL, OpenRLHF, Llama-Factory 등 많은 프레임워크가 이 영향을 받으며, SFT 학습이 제대로 이루어지지 않게 만듭니다.
OpenRLHF의 Loss Aggregation 버그:
- 현상: 배치 내의 토큰 수 차이를 고려하지 않고, 각 미니 배치별 평균 손실(loss)을 다시 평균 내는 '평균의 평균(mean-of-means)' 방식을 사용하여 토큰별 정확한 가중치를 반영하지 못하는 버그입니다.
- 영향: 학습의 안정성을 해치고 SFT 성능을 추가적으로 저하시킵니다.

3. 주요 기여 (Key Contributions)

버그 수정 및 베이스라인 재정립: 위 두 가지 버그를 수정하여 올바른 SFT 베이스라인을 구축했습니다.
SFT-then-RL의 우수성 입증: 수정된 베이스라인을 기준으로 비교했을 때, 표준적인 SFT 후 RL 방식이 기존의 모든 혼합 정책 방법론보다 뛰어난 성능을 보임을 증명했습니다.
효율성 증명: SFT가 모델에 충분한 지식을 미리 주입(Bootstrapping)하기 때문에, RL 단계를 매우 짧게(예: 50단계) 가져가더라도 혼합 정책 방식보다 더 적은 연산량(FLOPs)으로 더 높은 성능을 낼 수 있음을 보여주었습니다.

4. 실험 결과 (Results)

실험은 Qwen2.5-Math-7B와 Llama-3.1-8B 모델을 대상으로 진행되었습니다.

Qwen2.5-Math-7B 결과:
- 수정된 SFT $\rightarrow$ RL 파이프라인은 수학 벤치마크에서 기존 최상위 혼합 정책 방법론(SRFT)보다 +3.8점 높은 점수를 기록했습니다.
- 버그가 있는 SFT는 점수가 매우 낮았으나, 버그 수정만으로도 성능이 급격히 상승했습니다 (Table 2 참조).
Llama-3.1-8B 결과:
- 결과는 더욱 극명했습니다. 수정된 SFT $\rightarrow$ RL 방식은 기존 혼합 정책 방법론들보다 무려 +22.2점 높은 성능을 보였습니다.
- 이는 수학적 지식이 부족한 일반 모델(Llama)일수록, RL 이전에 강력한 SFT를 통해 지식을 먼저 주입하는 것이 얼마나 중요한지를 시사합니다.
학습 효율성: 단 50회의 RL 단계만 수행한 변형 모델이 훨씬 더 많은 연산을 사용하는 혼합 정책 모델들보다 우수한 성능을 보였습니다.

5. 연구의 의의 (Significance)

연구 신뢰성 제고: 많은 최신 논문들이 프레임워크의 '침묵하는 버그(Silent bugs)'로 인해 잘못된 결론을 내리고 있었음을 경고하며, 프레임워크 간 교차 검증(Cross-framework validation)의 중요성을 강조했습니다.
패러다임의 재확인: 혼합 정책이라는 복잡한 방식보다, **"강력한 SFT로 지식을 먼저 학습시키고(Bootstrapping), 이후 RL로 추론 전략을 정교화한다"**는 전통적인 2단계 파이프라인이 훨씬 더 효율적이고 강력한 전략임을 입증했습니다.
실무적 가이드라인: LLM 추론 모델을 학습시킬 때, RL 단계에서 모델이 정답을 맞히기 어려워하는(Sparse reward) 문제를 해결하기 위해 혼합 정책을 쓰기보다는, 고품질의 SFT를 통해 RL이 작동할 수 있는 '기초 체력'을 먼저 길러주는 것이 핵심임을 보여주었습니다.