💬 NLP

Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training

본 논문은 소규모 프록시 모델에서 발견된 예측 가능한 스케일링 법칙과 주어진 체크포인트의 동등한 사전 학습 연산량을 활용하여, LLM 지속 사전 학습을 위한 최적의 하이퍼파라미터를 정량적으로 예측함으로써 성능을 유지하거나 개선하면서도 탐색 오버헤드를 최대 90%까지 줄이는 모델 불가지론적 프레임워크를 제안한다.

원저자: Yongwei Zhou, Juncheng Diao, Junlin Shang, Peiguang Li, Rongxiang Weng

게시일 2026-06-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yongwei Zhou, Juncheng Diao, Junlin Shang, Peiguang Li, Rongxiang Weng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 이미 일반적인 학교에서 수년간 공부를 마친, 매우 똑똑하고 박학다식한 학생(거대 언어 모델)이 있다고 상상해 보세요. 이제 당신은 이 학생을 고급 수학이나 코딩 같은 새로운 특정 기술을 배우기 위한 전문 부트캠프에 보내려고 합니다. 이 과정을 **계속 사전 학습(Continued Pre-training)**이라고 부릅니다.

가장 큰 문제는 그들을 어떻게 가르칠 것인가? 하는 점입니다.

과거에 교사(연구자)들은 적절한 교수 속도(학습률, Learning Rate)와 학급 규모(배치 크기, Batch Size)를 맞추기 위해 추측해야 했습니다. 그들은 하나의 조합이 작동하기를 바라며 수많은 조합을 시도했습니다. 이는 마치 바늘을 찾기 위해 바늘이 들어있는 건초더미 전체를 태워버리는 것과 같았습니다. 이는 비용이 많이 들고 느리며, 종종 학생이 혼란을 느끼거나 이미 알고 있던 것을 잊어버리게 만들었습니다.

이 논문은 이러한 추측 없이도 완벽한 교육 설정을 찾는 더 스마트한 방법을 제안합니다. 그 작동 방식은 다음과 같습니다.

1. 발견: "경험 법칙(Rule of Thumb)"이 존재한다

연구자들은 먼저 흥미로운 사실을 발견했습니다. 작은 "연습용" 학생(작은 모델)들을 이 새로운 자료로 학습시켰을 때, 예측 가능한 패턴을 발견한 것입니다.

비유: 자동차를 운전한다고 상상해 보세요. 짧은 여행(낮은 컴퓨팅 예산)을 한다면, 빠르게 달리되 자주 작은 방향 전환을 할 수 있습니다. 긴 여행(높은 컴퓨팅 예산)을 한다면, 더 느리게 달리되 더 넓고 부드럽게 방향을 틀 수 있습니다.
발견된 사실: 연구자들은 이 학습에 더 많은 "컴퓨팅 파워"(시간과 에너지)를 쏟아부을 계획을 세울수록, 최적의 학급 규모는 커지고, 최적의 교수 속도는 느려진다는 것을 발견했습니다. 이것은 무작위가 아닙니다. 중력처럼 엄격한 수학적 법칙을 따릅니다.

2. 문제: "블랙박스" 체크포인트

보통 모델을 처음부터 학습시킬 때는 0에서 시작합니다. 하지만 계속 사전 학습에서는 이미 많은 것을 알고 있는 모델에서 시작합니다.

비유: 학생을 교육 과정 중간에 데려온다고 상상해 보세요. 당신은 그 학생이 정확히 무엇을 알고 있는지, 혹은 얼마나 빨리 배우는지 알지 못합니다. 만약 그들을 완전히 새로운 아기처럼 대한다면(처음부터 시작한다면), 너무 빠르게 가르쳐서 그들이 무너질 수 있습니다. 만약 그들이 아무것도 모른다고 가정한다면, 시간을 낭비하게 됩니다.
과제: 이 학생이 학습 곡선(learning curve)의 정확히 어느 지점에 있는지 어떻게 측정하여 적절한 속도를 선택할 수 있을까요?

3. 해결책: "동등 학습(Equivalent Training)"

저자들은 **동등 사전 학습 컴퓨팅(Equivalent Pre-training Compute)**이라는 영리한 트릭을 발명했습니다.

비유: 대신 "이 학생이 학교를 몇 년 다녔는가?"라고 묻는 대신, "만약 이 학생이 0에서 시작하여 우리가 지금 가르치려는 이 새로운 자료만을 배웠다면, 현재 수준의 이해도에 도달하기 위해 얼마나 많은 일을 해야 했을까?"라고 묻습니다.
작동 방식: 그들은 학생의 현재 테스트 점수(검증 손실, validation loss)를 확인합니다. 그리고 다음의 공식을 사용합니다: "자, 처음부터 이 점수를 얻으려면, 당신은 X 시간 동안 공부했어야 합니다."
결과: 이제, 우리는 그 '이전의 가상 학습 시간'에 우리가 계획한 '새로운 학습 시간'을 더할 수 있습니다. 이를 통해 **총 유효 학습 시간(Total Effective Study Time)**을 얻게 됩니다.

4. 예측: 더 이상의 추측은 없다

"총 유효 학습 시간"을 알게 되면, 단계 1에서 발견한 "경험 법칙"(스케일링 법칙)을 사용합니다.

마법: 총 시간을 공식에 대입하면, 최적의 학급 규모와 교수 속도가 즉시 산출됩니다.
이점: 거대한, 똑똑한 학생을 대상으로 비싼 실험을 반복할 필요가 없습니다. 작은 연습용 모델을 바탕으로 한 약간의 수학 계산만 있으면 됩니다.

결과

이 논문은 80억 개의 파라미터를 가진 모델까지 테스트를 진행했습니다.

속도: 기존의 "추측하고 확인하는(guess and check)" 방식에 비해 컴퓨팅 비용을 최대 90% 절감했습니다.
성능: 이 예측된 설정으로 학습된 모델은 수동으로 최적의 설정을 추측하여 학습된 모델만큼 성능이 좋거나 오히려 더 뛰어났습니다.
안정성: 학습이 훨씬 안정적이었습니다. 즉, 모델이 "무너지거나" 기존에 알고 있던 것을 잊어버리지 않았습니다.

요약

이 논문을 AI 학습을 위한 GPS라고 생각하세요.

과거의 방식: 연료를 낭비하며 목적지에 도달하기를 바라며 정처 없이 운전하는 것.
새로운 방식: 현재 위치(모델의 현재 상태)를 확인하고, 이동해야 할 총 거리(동등 컴퓨팅)를 계산하면, GPS가 효율적으로 도착하기 위해 유지해야 할 정확한 속도와 차선을 즉시 알려주는 것.

이를 통해 연구자들은 단순한 추측 전문가가 되지 않고도, 훨씬 더 빠르고, 저렴하며, 신뢰할 수 있게 특화된 AI 모델을 학습시킬 수 있습니다.

기술 요약: LLM 지속적 사전 학습(Continued Pre-training)을 위한 최적 하이퍼파라미터의 예측 가능한 스케일링 법칙

문제 정의

지속적 사전 학습(Continued Pre-training, CPT)은 대규모 언어 모델(LLM)을 특정 도메인 애플리케이션에 적응시키기 위한 핵심 메커니즘으로, 처음부터 학습시키는 것에 비해 계산 효율적인 대안을 제공한다. 그러나 CPT의 효능은 하이퍼파라미터 설정, 특히 학습률(LR)과 배치 크기(B)에 매우 민감하다. 현재의 관행은 경험적인 휴리스틱이나 전수 그리드 탐색(grid search)에 크게 의존하고 있으며, 이는 계산 비용이 많이 들고, 학습 불안정성을 초래하기 쉬우며, 원칙적인 가이드가 부족하다.

두 가지 근본적인 과제가 스케일링 법칙을 CPT에 적용하는 데 걸림돌이 된다:

존재 및 특성 규명: 학습이 무작위 초기화로부터 시작되지 않을 때, 계산 예산(compute budget)과 최적의 하이퍼파라미터 사이에 예측 가능하고 단조로운 관계가 존재하는지 여부가 아직 검증되지 않았다.
초기 상태의 정량화: 처음부터 학습하는 것과 달리, CPT는 0이 아닌 최적화 상태에서 시작된다. 새로운 데이터 분포에 대한 사전 학습된 체크포인트의 진행 상황이라는 "블랙박스"적 특성 때문에, 이것이 전체 학습 과정에 기여하는 실질적인 정도를 정량화하기 어렵다.

방법론

저자들은 계산 예산과 최적 하이퍼파라미터 사이의 정량적 관계를 확립하여, 어떠한 체크포인트에 대해서도 제로샷(zero-shot) 예측을 가능하게 하는 2단계 모델 불가지론적(model-agnostic) 프레임워크를 제안한다.

1단계: 경험적 법칙 발견

저자들은 먼저 타겟 CPT 데이터 상에서 다양한 하이퍼파라미터 설정을 사용하여 소규모 프록시 모델(100M 및 500M 파라미터)을 학습시켜 스케일링 동작을 규명한다.

등-손실 곡선(Iso-Loss Curves): (배치 크기, 학습률) 평면에서 곡선을 구축하여 특정 검증 손실(validation loss)에 도ರ하기 위해 필요한 최소 계산량을 식별한다. 이 곡선의 꼭짓점들은 주어진 손실 수준에 대한 최적의 하이퍼파라미터 쌍 $(B_{opt}, LR_{opt})$ 을 정의한다.
함수 피팅(Functional Fitting): 최적의 하이퍼파라미터가 검증 손실에 대해 멱법칙(power-law) 추세를 따름을 관찰한다. 이들은 함수 $B_{opt} = f(L)$ 및 $LR_{opt} = g(L)$ 를 피팅한다.
계산-하이퍼파라미터 매핑: 이를 표준 손실-계산 스케일링 법칙( $L(C) = L_0 + \alpha C^{-\gamma}$ )과 결합하여, 총 계산 예산 $C$ 로부터 최적 하이퍼파라미터로의 직접적인 매핑을 도출한다:
$B_{opt}(C) = f(L_0 + \alpha \cdot C^{-\gamma})$
$LR_{opt}(C) = g(L_0 + \alpha \cdot C^{-\gamma})$

2단계: 상태 인지형 하이퍼파라미터 예측

임의의 체크포인트에 이 법칙들을 적용하기 위해, 저자들은 등가 사전 학습 계산량( $C_{pre}$ ) 개념을 도입한다.

정의: $C_{pre}$ 는 만약 체크포인트가 타겟 도메인에서 무작위 초기화로부터 학습되었다면, 현재의 검증 손실에 도달하기 위해 필요했을 이론적 계산 예산을 나타낸다.
계산: $C_{pre}$ 는 초기 검증 손실( $L_{init}$ )로부터 손실-계산 스케일링 법칙을 역산하여 계산된다:
$C_{pre} = \left( \frac{\alpha}{L_{init} - L_0} \right)^{1/\gamma}$
총 유효 계산량: CPT 실행을 위한 총 계산 예산은 상속된 상태와 계획된 예산의 합으로 정의된다: $C_{total} = C_{pre} + C_{cpt}$
예측: 도출된 스케일링 함수를 $C_{total}$ 에서 평가함으로써 최적의 하이퍼파라미터를 예측한다.

주요 기여

CPT를 위한 스케일링 법칙: 본 논문은 최적의 하이퍼파라미터가 무작위 초기화가 아닌 상태에서도 안정적이고 예측 가능한 스케일링 법칙을 따른다는 것을 경험적으로 입증하였다. 구체적으로, 최적 배치 크기는 계산 예산에 따라 단조 증가하는 반면, 최적 학습률은 감소한다.
등가 사전 학습 계산량( $C_{pre}$ ): 초기 체크포인트로부터 상속된 학습 상태를 공식적으로 정량화하기 위한 새로운 지표가 제안되었다. 이는 임의의 시작점을 연속적인 최적화 경로 상의 측정 가능한 좌표로 변환하여, 0이 아닌 초기화 문제를 해결한다.
효율적인 프레임워크: 저자들은 타겟 모델에 대한 시도 없이도 최적의 하이퍼파라미터를 예측하는 프레임워크를 검증하였으며, 이를 통해 전통적인 그리드 탐색 대비 하이퍼파라미터 탐색 오버헤드를 최대 90%까지 줄였다.

실험 결과

프레임워크는 일반 지식, 수학, 코드를 아우르는 55B 토큰 코퍼스를 사용하여 Dense-8B 및 MoE-3B 모델에 대해 평가되었다.

성능: 예측된 하이퍼파라미터로 학습된 모델은 다양한 벤치마크(MMLU, GSM8K, HumanEval 등)에서 피크 평균 점수(Dense-8B의 경우 51.3, MoE-3B의 경우 57.9)를 달성하며, 오프 타겟(off-target) 설정보다 우수한 성능을 보였다.
절제 연구(Ablation Studies):
- 학습률(Learning Rate): 지나치게 높은 학습률은 성능 붕괴(파괴적 망각)를 일으켰고, 낮은 학습률은 지식 습득 효율을 제한했다. 예측된 학습률은 이러한 요소들의 균형을 맞추었다.
- 배치 크기(Batch Size): 작은 배치는 불안정한 최적화를 초래했고, 지나치게 큰 배치는 그래디언트 업데이트 빈도를 낮추어 수렴을 방해했다. 예측된 배치 크기는 이러한 트레이드오프를 최적화했다.
효율성: 타겟 모델에 대한 그리드 탐색과 비교했을 때, 제안된 방법은 소규모 프록시 모델을 활용함으로써 Dense-8B의 경우 92.0%, MoE-3B의 경우 **73.1%**의 계산 비용을 절감하였다.
$C_{pre}$ 의 유효성: 절제 연구 결과, 초기 상태를 무시하거나(Variant A) 원시 사전 학습 토큰 수를 사용하는 것(Variant B)은 최적화되지 않은 하이퍼파라미터와 더 낮은 성능을 초래했다. 이는 $C_{pre}$ 가 도메인 변화를 효과적으로 보정함을 확인시켜 준다.

의의 및 주장

본 논문은 다양한 지속적 사전 학습 시나리오를 위한 원칙적이고 효율적인 방법론을 제공한다고 주장한다. 최적의 하이퍼파라미터가 무작위 초기화가 아닌 상태에서도 예측 가능한 스케일링 법칙을 따른다는 것을 입증함으로써, 본 연구는 비용이 많이 드는 휴리스틱과 그리드 탐색에 대한 실행 가능한 대안을 제시한다. $C_{pre}$ 의 도입은 사용자가 CPT를 단일 최적화 경로의 연장선으로 취급할 수 있게 하여, 모델의 생애 주기 중 어느 단계에서든 신뢰할 수 있는 하이퍼파라미터 예측을 가능하게 한다. 저자들은 이 프레임워크가 아키텍처 전반에 걸쳐 일반화되지만, 초거대 규모(70B+ 파라미터) 및 고도로 전문화된 도메인에서의 검증은 향후 연구 과제로 남아 있다고 언급하였다.