기술 요약: 과적합된 언어 모델의 재사용은 스케일링을 포화시킨다

문제 정의

대규모 언어 모델(LLM)을 처음부터 학습시키는 것은 계산 비용이 많이 들고 시간이 오래 걸립니다. 이를 완화하기 위해 연구자들은 모델 재사용(model reuse) 전략인 지속적 사전 학습(Continual Pretraining, CPT)(기본 모델을 새로운 도메인에 적응시킴) 및 모델 성장(Model Growth)(기존 파라미터를 재사용하여 모델 용량을 증가시킴)을 점점 더 많이 채택하고 있습니다. 유망한 전략임에도 불구하고, 과적합된(overtrained) 기본 모델(방대한 토큰 수로 학습된 모델)을 재사용할 때의 효과는 여전히 불분명합니다. 직관적으로, 과적합된 모델의 고도로 최적화된 파라미터는 새로운 데이터 분포에 적응하거나 용량을 확장할 때 효과적인 탐색을 방해하여 "가소성 상실(loss of plasticity)"이라는 현상을 초래할 수 있습니다. 본 논문은 이러한 재사용 전략의 스케일링 특성을 조사하여, 과적합이 2단계 사전 학습의 이점을 어떻게 제한하는지, 그리고 제한하는지를 규명합니다.

방법론

저자들은 다양한 모델 크기(15M ~ 1B 파라미터)와 데이터셋에 대해 450회 이상의 실행을 포함하는 광범위한 통제 실험을 수행했습니다.

• 실험 설정:

  • 아키텍처: SwiGLU 활성화 함수와 Rotary Position Embedding을 사용하는 디코더 전용 트랜스포머(LLaMA 스타일).
  • 2단계 학습:
    1. 1단계 (기본 모델): 일반적인 인터넷 데이터(Slimpajama-DC, CommonCrawl 일부)로 $D_1$ 토큰만큼 사전 학습.
    2. 2단계 (재사용):
       • CPT: 도메인 특화 데이터(Code: Stack/StarCoder; Math: OpenWebMath)로 추가 학습.
       • 모델 성장: 너비 확장(Width Expansion)(함수 보존 초기화 사용) 또는 깊이 쌓기(Depth-wise Stacking)(레이어 복사)를 통해 용량 증가.
  • 변수: 연구는 1단계 토큰 수($D_1$), 2단계 토크 수($D_2$), 모델 크기($N$)를 체계적으로 변화시켰습니다.
  • 학습 구성: 혼합 정밀도(bfloat16), AdamW 옵티마이저, Warmup-Stable-Decay(WSD) 학습률 스케줄.

• 스케일링 법칙 공식화:
  저자들은 2단계 이후의 검증 손실(validation loss)을 설명하는 함수 형태 $L(D_1, D_2)$를 찾고자 했습니다. 이들은 경험적 데이터에 대해 다음과 같은 몇 가지 가설을 테스트했습니다:

  1. 상호작용을 포함한 곱셈형: $L(D_1, D_2) = A D_1^{-\alpha_1} D_2^{-(\alpha_2 + \alpha_3 \log D_1)} + E$
  2. 가법형(Additive): $L(D_1, D_2) = A D_1^{-\alpha_1} + F D_2^{-\alpha_2} + E$
  3. 하이브리드형: $L(D_1, D_2) = (A D_1^{-\alpha_1} + F) D_2^{-\alpha_2} + E$
  4. 연속적 스케일링: $L(D_1, D_2) = A(D_1 + D_2)^{-\alpha} + E$ (데이터 연속성 가정)

  저자들은 Huber loss 최적화를 사용하여 이 형태들을 피팅하였으며, leave-one-out Root Mean Square Error(RMS)를 통해 평가했습니다.

주요 기여

1. 모델 재사용에 대한 경험적 스케일링 법칙: 본 논문은 2단계 토큰($D_2$)에 대한 스케일링 지수가 1단계 토큰 수($D_1$)가 증가함에 따라 로그 단위로 감소함을 입증합니다. 이는 스케일링 지수의 상호작용 항인 $\alpha_3 \log D_1$에 의해 포착됩니다.
2. 포화의 정량화: 저자들은 과적합된 기본 모델을 재사용할 때 스케일링 효율의 예측 가능한 포화가 발생함을 보여줍니다. $D_1$이 커질수록 추가적인 $D_2$ 토큰의 한계 이득은 크게 감소합니다.
3. 모델 크기와의 공동 스케일링: 스케일링 법칙을 모델 크기($N$)와 결동하여 확장함으로써, 더 큰 모델과 데이터셋에 대한 성능 외삽을 가능하게 합니다.
4. 메커니즘 및 이론적 분석:
   • 메커니즘적 분석: 그래디언트 노름(gradient norm) 분석을 통해, 과적합된 모델이 2단계 학습 중에 더 큰 그래디언트 노름을 보임을 밝혀냈습니다. 이는 최적화 난이도가 높고 손실 지형(loss landscape)이 더 가파름을 시사합니다.
   • 이론적 분석: 학습 곡선 이론과 최대 엔트로피 원리에 기반한 토이 모델을 제안하여, 1단계 학습에 의해 유효 분기 계수(effective branching factor)가 수정되는 트리 탐색으로서의 특징 발견(feature discovery)을 모델링함으로써 로그 포화 현상을 설명합니다.

주요 결과

• 최적 적합 모델: 상호작용 항을 포함한 곱셈형 스케일링 법칙(식 1)이 모든 데이터셋(Code, Math)과 방법(CPT, 모델 성장)에 대해 가법형, 하이브리드형 또는 연속적 스케일링 공식보다 일관되게 낮은 RMS 오차를 달 기록했습니다.
• 포화 효과:
  • 고정된 $D_1$에 대해, 손실은 $D_2$에 대해 멱법칙(power law)을 따릅니다.
  • 그러나 지수 $\alpha_{eff} = \alpha_2 - \alpha_3 \log D_1$은 $D_1$이 증가함에 따라 감소합니다.
  • 이는 고도로 과적합된 기본 모델의 경우, 추가적인 2단계 학습 토큰에 대한 수익이 점점 더 미미해짐을 의미합니다.
• 교차점(Crossover Point): 모델 재사용의 스케일링 법칙을 처음부터 학습하는 방식과 비교함으로써, 저자들은 "교차" 지점을 식별합니다. 작은 $D_2$에서는 모델 성장이 더 효율적입니다. 그러나 $D_2$가 증가함에 따라 재사용된 모델의 포화로 인해 "처음부터 학습"하는 방식이 결국 이를 능가하게 됩니다. 이 임계값은 초기 투자량($D_1$)과 모델 크기에 따라 달라집니다.
• 그래디언트 노름: 과적합된 모델은 재사용 시 더 큰 그래디언트 노름을 보이며, 이는 관찰된 포화에 대한 메커니즘적 설명(즉, 모델이 파라미터 공간의 매우 민감한 영역에 있음)을 제공합니다.
• 한계: 스케일링 법칙은 처음부터 학습하는 것이 더 우월해지는 이론적 교차점을 예측합니다. 그러나 극도로 큰 $D_2$(토큰-파라미터 비율 최대 2000배)에 대한 실험에서 데이터가 노이즈 플로어(noise floor)에 진입함에 따라, 더 큰 모델에 대한 교차점을 결정적으로 경험적으로 확인하는 데 한계가 있었습니다.

의의 및 주장

본 논문은 다단계 사전 학습의 트레이드오프를 정량화함으로써 효율적인 언어 모델 학습을 위한 실질적인 통찰을 제공한다고 주장합니다.

• 실무자를 위한 가이드: 도출된 스케일링 법칙은 기본 모델의 과적합 정도($D_1$) 대비 목표 학습 예산($D_2$)을 고려하여, 처음부터 학습할지 아니면 기본 모델을 재사용할지를 결정하는 데이터 기반 전략을 제공합니다. 만약 목표 학습 예산($D_2$)이 기본 모델의 과적합($D_1$)에 비해 특정 임계값을 초과한다면, 처음부터 학습하는 것이 계산적으로 더 최적일 수 있습니다.
• 근본적 트레이드오프: 이 연구는 근본적인 트레이드오프를 강조합니다: 기본 모델이 더 광범 de 사전 학습될수록, 추가적인 사전 학습의 이점은 줄어듭니다. 이는 어떤 사전 학습된 모델이든 항상 처음부터 학습하는 것보다 우월하다는 가설에 도전합니다.
• 범위: 저자들은 자신의 결과가 현재의 확장 가능한 학습 방법론(1B 파라미터까지)에 대해 견고함을 명시하면서도, 계산적 제약으로 인해 매우 큰 규모(교차점 이후)에서의 동작은 여전히 열린 문제임을 인정합니다. 저자들은 포화 효과를 제거했다고 주장하는 것이 아니라, 부정적인 결과를 완화하기 위해 이를 모델링하고 이해하고자 한 것입니다.

결론적으로, 모델 재사용은 유망한 전략이지만 그 효용은 기본 모델의 과적합 정도에 의해 제한되며, 이러한 포화는 특정 스케일링 법칙에 의해 조절되는 예측 가능하고 정량화 가능한 현상입니다.