대부분의 AI 연구자들은 모델을 훈련시킬 때, **학습률 (Learning Rate)**이라는 것을 사용합니다. 이는 요리사가 재료를 섞을 때의 **'손맛 (힘)'**이나 **'교습 속도'**라고 생각하시면 됩니다.
기존 방식 (Decay-based, 예: Cosine Decay):
상황: 요리사가 처음에는 재료를 빠르게 섞다가, 요리가 거의 끝날수록 손맛을 아주 천천히 줄여서 마지막에는 거의 움직이지 않게 합니다.
목적: "이 요리를 완벽하게 완성하자!" (예: 원재료의 맛을 최대한 끌어올려서 훈련 중 점수를 높이는 것).
결과: 요리 자체는 아주 맛있게 완성됩니다. 하지만 이 요리사가 **다른 나라의 요리 (새로운 작업)**를 배우려 할 때, 이미 굳어진 손맛 때문에 새로운 레시피를 배우기 힘들어집니다.
이 논문이 제안하는 방식 (WSO - Warmup-Stable-Only):
상황: 요리사가 처음에는 빠르게 섞다가, 중반부터 끝까지 일정한 힘으로 계속 섞습니다. 마지막까지 속도를 줄이지 않습니다.
목적: "이 요리를 완벽하게 완성하는 것보다, 다른 요리도 잘 만들 수 있는 유연한 손맛을 기르자!"
결과: 훈련 중에는 기존 방식보다 조금 덜 완벽해 보일 수 있습니다. 하지만 새로운 레시피 (새로운 작업) 를 배우는 속도가 훨씬 빠르고 잘합니다.
📝 이 논문이 발견한 놀라운 사실
연구진은 10 억 개 (1B) 와 80 억 개 (8B) 파라미터의 모델을 실험해 보았습니다.
훈련 중 (Pre-training): 학습 속도를 줄이는 기존 방식이 점수 (손실 함수) 가 더 낮아져서 "더 잘했다"고 평가받았습니다.
실제 적용 후 (Supervised Fine-Tuning, SFT): 하지만 새로운 작업을 배우게 했을 때, 학습 속도를 줄이지 않은 (WSO) 모델이 훨씬 더 잘했습니다.
왜 그럴까요?
기존 방식 (속도 줄임): 모델이 **너무 딱딱하게 굳어버린 상태 (Sharpen Minima)**로 끝납니다. 마치 발이 꽁꽁 얼어붙은 사람처럼, 새로운 길을 걷기 어렵습니다.
새로운 방식 (WSO): 모델이 **부드럽고 유연한 상태 (Flat Minima)**로 끝납니다. 마치 발이 따뜻한 사람처럼, 새로운 길 (새로운 작업) 로 쉽게 발을 옮길 수 있습니다.
🏋️♂️ 더 큰 비유: "마라톤 선수"
기존 방식: 마지막 1km 에서 숨을 죽이고 천천히 걸어가며 기록을 단축하려 합니다. (훈련 중 기록은 좋음) 하지만 경기가 끝난 후 다른 종목 (예: 농구) 을 하라고 하면 몸이 굳어서 못 합니다.
새로운 방식 (WSO): 끝까지 일정한 페이스로 달립니다. 마지막 기록은 조금 뒤쳐질 수 있지만, 경기가 끝난 후에도 몸이 유연해서 다른 스포츠도 잘할 수 있습니다.
💡 이 연구가 우리에게 주는 교훈
훈련 점수만 믿지 마세요: "훈련할 때 점수가 제일 좋은 모델"이 "실제 쓰임새 (새로운 작업) 가 좋은 모델"은 아닙니다.
유연함이 핵심: AI 를 개발할 때, 특정 작업에 딱 맞게 끝까지 다듬기보다, 어떤 상황에도 잘 적응할 수 있도록 유연하게 훈련시키는 것이 더 중요합니다.
실천 가이드: 앞으로 AI 모델을 만들 때는, 마지막까지 학습 속도를 줄이지 않고 일정하게 유지하는 WSO 방식을 사용하면, 나중에 더 다양한 일을 잘 해내는 모델을 만들 수 있습니다.
🚀 결론
이 논문은 **"완벽한 훈련 점수보다, 새로운 상황에 잘 적응하는 유연함이 진짜 실력이다"**라고 말합니다. 마치 요리사가 다양한 요리를 잘 만들 수 있도록, AI 도 새로운 일을 배우기 쉽게 만들어주는 것이 더 중요하다는 것을 증명했습니다.
이제 AI 개발자들은 "훈련 점수"에 집착하기보다, **"이 모델이 나중에 얼마나 잘 적응할까?"**를 더 중요하게 생각하게 될 것입니다.
논문 요약: 학습률 감쇠 없이 사전 학습된 LLM 은 감독 미세 조정 (SFT) 을 향상시킨다
이 논문은 대규모 언어 모델 (LLM) 의 사전 학습 (Pre-training) 과정에서 학습률 (Learning Rate, LR) 스케줄링이 최종적인 감독 미세 조정 (Supervised Fine-Tuning, SFT) 성능에 미치는 영향을 조사한 연구입니다. 기존에 널리 사용되어 온 학습률 감쇠 (Decay) 전략이 오히려 하류 작업 (Downstream tasks) 적응력을 저해할 수 있음을 실증적으로 증명하고, 이를 해결하기 위한 새로운 전략을 제안합니다.
1. 연구 배경 및 문제 제기
기존 관행: 현재 LLM 사전 학습에서는 Cosine 감쇠, Linear 감쇠, 또는 Warmup-Stable-Decay (WSD) 와 같은 학습률 감쇠 스케줄러가 표준으로 사용되고 있습니다. 이러한 방법들은 사전 학습 단계에서의 손실 (Loss) 을 최소화하는 데 최적화되어 있습니다.
문제점: 그러나 사전 학습 단계에서 최적의 성능을 내는 모델이 반드시 SFT 이후의 실제 응용 성능 (Instruction following, Truthfulness 등) 이 뛰어난 것은 아닙니다. 최근 연구들 (Sun & Dredze, 2025; Springer et al., 2025) 은 강력한 사전 학습 성능이 SFT 성능을 보장하지 않음을 지적했습니다.
핵심 질문: 사전 학습 성능을 높이기 위해 학습률을 감쇠시키는 것이, 실제로 SFT 를 거친 후의 모델 적응성 (Adaptability) 에 해를 끼치고 있는 것은 아닐까?
2. 방법론 (Methodology)
저자들은 학습률 감쇠를 제거한 Warmup-Stable-Only (WSO) 스케줄러를 제안하고 이를 다양한 실험 설정에서 검증했습니다.
WSO (Warmup-Stable-Only):
기존 WSD (Warmup-Stable-Decay) 의 '감쇠 (Decay)' 단계를 완전히 제거한 방식입니다.
Warmup 단계 이후 학습률 (LR) 을 전체 사전 학습 기간 동안 일정하게 유지하며, 끝까지 감쇠시키지 않습니다 (αpre=1.0).
실험 설정:
모델 크기: Llama 3 아키텍처 기반의 1B 및 8B 파라미터 모델.
학습 단계:
2 단계 설정: 사전 학습 → SFT.
3 단계 설정: 사전 학습 → 중간 학습 (Mid-training) → SFT. (최신 OLMo 2 등 트렌드 반영)
과도 학습 (Over-training): Chinchilla 최적화 기준보다 훨씬 많은 토큰 (2T 토큰) 으로 학습하여 일반성 검증.
비교 대상: WSO 와 비교하기 위해 WSD, Cosine, Linear 스케줄러를 다양한 최소 학습률 계수 (αpre∈{0.0,0.1,1.0}) 로 실험했습니다.
분석 도구:
손실 지형 (Loss Landscape) 분석: Hessian 행렬의 Trace 를 사용하여 모델이 수렴한 지점의 '날카로움 (Sharpness)'을 측정했습니다. 평평한 minima(Flat minima) 는 적응력이 좋다는 이론에 기반합니다.
3. 주요 결과 (Key Results)
3.1 성능 역전 현상 (Performance Inversion)
사전 학습 단계: 학습률 감쇠를 적용한 스케줄러 (WSD, Cosine, Linear) 가 WSO 보다 **더 낮은 검증 손실 (Validation Loss)**과 더 좋은 Zero-shot 벤치마크 점수를 기록했습니다. 이는 기존 연구 결과와 일치합니다.
SFT 이후 단계: 놀랍게도 WSO 로 사전 학습된 모델이 모든 SFT 벤치마크 (AlpacaEval, TruthfulQA, MMLU 등) 에서 일관되게 가장 높은 성능을 보였습니다.
특히 1B 및 8B 모델 모두에서 WSO 가 감쇠 기반 스케줄러보다 SFT 평균 점수가 더 높았습니다.
이는 "사전 학습 손실이 낮을수록 SFT 성능이 좋다"는 통념이 틀릴 수 있음을 시사합니다.
3.2 다양한 학습 regimes 에서의 유효성
중간 학습 (Mid-training): 사전 학습뿐만 아니라 중간 학습 단계에서도 학습률 감쇠를 적용하지 않는 (WSO 방식 유지) 것이 SFT 성능 향상에 기여했습니다.
과도 학습 (Over-training): 2T 토큰이라는 거대한 데이터 규모에서도 동일한 경향이 관찰되었습니다. WSO 는 중간 지표에서는 뒤처질 수 있으나, 최종 SFT 성능에서는 우위를 점했습니다.
3.3 손실 지형 분석 (Loss Landscape Analysis)
Sharpness 측정: 학습률 감쇠를 적용한 모델은 수렴 시 **날카로운 최소값 (Sharp Minima)**에 위치하는 반면, WSO 모델은 **평평한 최소값 (Flat Minima)**에 위치하는 것으로 확인되었습니다.
상관관계: 사전 학습 단계의 Sharpness 와 SFT 성능 사이에는 **강한 음의 상관관계 (Pearson r = -0.709)**가 있었습니다. 즉, 손실 지형이 평평할수록 (Sharpness 가 낮을수록) SFT 후의 적응력이 뛰어났습니다.
해석: WSO 는 모델이 평평한 영역에 머무르게 하여, SFT 과정에서의 파라미터 업데이트 시 성능 변동이 적고 새로운 데이터에 더 유연하게 적응할 수 있게 합니다.
4. 주요 기여 (Contributions)
체계적 증명: 1B 및 8B 모델과 다양한 벤치마크를 통해, WSO 가 감쇠 기반 스케줄러보다 SFT 이후 하류 작업에서 일관되게 우월한 성능을 낸다는 것을 실증했습니다.
확장성 검증: 중간 학습 (Mid-training) 과 과도 학습 (Over-training) 환경에서도 WSO 의 효과가 유효함을 보여주어, 현대적인 LLM 학습 파이프라인 전반에 적용 가능함을 입증했습니다.
이론적 통찰: 손실 지형 분석을 통해 WSO 가 '평평한 최소값'을 보존하여 모델의 적응성 (Adaptability) 을 향상시킨다는 메커니즘을 규명했습니다.
5. 의의 및 결론
이 연구는 LLM 개발 및 배포 전략에 중요한 시사점을 제공합니다.
학습률 스케줄링의 재고: 단순히 사전 학습 손실을 최소화하는 것이 최종 목표가 아니라, SFT 와 같은 후속 작업을 고려한 학습률 스케줄링이 필요함을 강조합니다.
실용적 가이드: 모델 개발자는 사전 학습 시 학습률 감쇠를 생략하거나 최소화하는 WSO 전략을 채택하여, 더 유연하고 하류 작업에 잘 적응하는 모델을 구축할 수 있습니다.
모델 배포: 연구진은 WSO 로 학습된 모델을 공개하여, 실제 응용 분야에서 더 나은 적응력을 발휘할 수 있도록 권장합니다.
결론적으로, **"학습률 감쇠 없이 사전 학습된 모델은 SFT 를 통해 더 뛰어난 성능을 발휘한다"**는 명제가 다양한 규모와 학습 조건에서 입증되었으며, 이는 LLM 학습 최적화 패러다임의 전환을 요구하는 중요한 발견입니다.