기술 요약: 연산 및 데이터 최적화 사전 학습의 가교

1. 문제 정의

고전적인 사전 학습 스케일링 법칙(예: Kaplan et al., 2020; Hoffmann et al., 2022)은 신선한 사전 학습 데이터가 무제한이며 연산량에 따라 자유롭게 확장 가능하다는 가정하에 작동한다. 그러나 현재 분야는 연산 능력은 기하급수적으로 성장하는 반면, 고품질 사전 학습 데이터는 유한하고 정제 비용이 많이 드는 단계로 전환되고 있다. 이러한 "데이터 제약" 환경에서 실무자들은 고정된 코퍼스($D$)로부터 다중 에포크 반복(multi-epoch repetition), 패러프레이징(paraphrasing), 또는 증류(distillation)와 같은 전략을 통해 생성된 파생 토큰($D'$)에 추가적인 연산을 투입해야 한다.

본 연구가 다루는 핵심 질문은 다음과 같다: 크기 $N$인 모델이 고정된 코퍼스 $D$로 학습될 때, 추가적인 연산(파생 토큰 $D'$에 투입된 연산)이 사전 학습 손실(loss)을 얼마나 줄일 수 있는가? 기존의 법칙들은 데이터 공급이 제한된 상황에서 연산과 데이터 사이의 트레이드오프를 충분히 설명하지 못한다.

2. 방법론

CD-스케일링 프레임워크 (The Compute-Data (CD) Scaling Framework)

저자들은 다음 두 가지를 연결하는 통합 프레임워크인 CD-스케일링 법칙을 제안한다:

1. 연산 최적화 스케일링 ($L_{Chin}$): 데이터가 무제한인 경우 ($D' = 0$).
2. 데이터 최적화 스케일링 ($L_D$): 고정된 코퍼스 상에서 연산이 무제한인 경우 ($D' \to \infty$).

이 프레임워크의 핵심은 신선한 토큰 대비 파생 토큰의 가치를 정량화하는 토큰 유효성 함수(token effectiveness function), $\eta_{strat} \in [0, 1]$이다. 제안된 스케일링 법칙은 다음과 같다:

$$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$$

여기서:

• $N$: 모델 파라미터 수.
• $D$: 신선한 토큰 (1회 노출).
• $D'$: 파생 토큰.
• $\eta_{strat}$: 확장 전략(반복 또는 패러프레이징)에 따라 결정되는 유효성 계수.

실험 설정

• 아키텍처: OLMo3 (Olmo et al., 2025).
• 모델 크기: 14M ~ 600M 파라미터.
• 데이터: Dolma-3 코퍼스 (150B 토큰).
• 전략:
  1. 다중 에포크 반복 (Multi-epoch repetition): 코퍼스를 추가 에포크 동안 반복함.
  2. 패러프레이징 (Paraphrasing): 특정 스타일 혼합(질문, 수학, FAQ, 표)을 사용하여 SmolLM2-1.7B-Instruct로 문서를 재구성함.
• 피팅 (Fitting): 저자들은 신선한 데이터 크기($D$), 파생 토큰 예산($D'$), 그리고 하이퍼파라미터(학습률, 가중치 감쇠)를 탐색하여 스케일링 법칙 파라미터를 피팅한다. 이들은 1-에포크 스케일링 상수들이 주어진 상태에서 관찰된 손실을 재현하는 값을 찾음으로써 $\eta_{emp}$를 경험적으로 도출한다.

$\eta$의 파라미터 형태

경험적 분석 결과, $\eta$는 상수가 아니라 다음의 함수로서 감소한다:

1. 확장 비율 ($r = D'/D$): 파생 데이터가 더 많이 추가될수록 $\eta$는 감소한다.
2. **파라미터당 토큰 수 ($TPP = D/N$):** 모델 크기 대비 신선한 데이터가 적을수록$\eta$는 더 빠르게 감소한다.
3. 모델 크기 ($N$): 모델이 클수록 더 빨리 포화된다.

저자들은 유효 파생 데이터($\eta \cdot D'$)가 천장(ceiling) $R^*$로 수렴한다고 모델링한다. 채택된 함수 형태는 다음과 같다:
$$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$$
여기서 포화 천장 $R^*$는 $N$과 $TPP$에 의존하는 멱법칙(power law)을 따른다:
$$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$$

3. 주요 결과

1. 비상수적 유효성 (Non-Constant Effectiveness)

파생 토큰의 유효성은 결코 일정하지 않다. 이는 모델 크기, $TPP$비율, 그리고 파생 데이터의 양에 공동으로 의존한다. 코퍼스가 확장됨에 따라 ($D' \to \infty$), 유효 토큰 수$D_{eff} = D + \eta D'$는 포화된다.

2. 세 가지 운영 영역 (Three Operational Regimes)

CD-스케일링 법칙은 제약 조건에 따라 학습을 세 가지 영역으로 구분한다:

• 연산 제한 영역 (Compute-bound): 연산 최적화 프런티어($L_{Chin}$)와 데이터 최적화 프런티어($L_D$) 사이. 여기서는 $D'$에 대한 추가 연산이 손실을 크게 줄인다.
• 데이터 제한 영역 (Data-bound): $L_D$와 모델 제한 하한($L_N$) 사이. 파생 토큰은 이미 포화되었으며, 오직 신선한 데이터만이 손실을 더 줄일 수 있다.
• 모델 제한 영역 (Model-bound): 연산과 데이터가 모두 포화된 점근적 한계점; 오직 $N$을 증가시키는 것만이 도움이 된다.

"연산 제한" 영역은 모델 크기($N$)와 $TPP$가 커질수록 좁아지는데, 이는 더 큰 모델이나 데이터가 풍부한 모델에서 추가 연산의 수익 체감이 커짐을 나타낸다.

3. 전략 선택 및 최적화

• 소형 모델 ($N \lesssim 600M$) 및 낮은 데이터 예산: 패러프레이징이 반복보다 훨씬 효과적이다.
• 대형 모델 ($N \gtrsim 190M$) 및 높은 데이터 예산: 반복이 패러프레이징보다 우수하다.
• 에포크 권장 사항: "4-에포크 규칙"(Chinchilla에서 자주 인용됨)은 $1\times$ Chinchilla 데이터 규모 근처의 중간 규모 모델($\sim 3B$)에서만 유효하다. 모델이 더 크고 $TPP$가 높을수록 권장되는 에포크 수는 감소한다.
• 파레토 프런티어 (Pareto Frontier): 이 프레임워크는 Chinchilla의 연산 전용 최적화를 연산-데이터 공동 파레토 프런티어로 일반화하여, 최적의 연산-데이터 할당을 식별한다.

4. 다운스트림 전이 (Downstream Transfer)

검증 손실(validation loss)은 1-에포크, 반복, 또는 패러프레이징 중 어떤 방식으로 학습되었는지와 관계없이 다운스트림 능력(LM 태스크의 BPB 및 LAMBADA, SQuAD와 같은 벤치마크의 정확도로 측정)에 대한 충분 통계량으로 기능한다. 모든 전략은 검증 손실에 대해 플롯했을 때 단일 곡선으로 수렴한다.

4. 의의 및 주장

본 논문은 기존의 법칙들을 특수 사례로 복구하는 통합 프레임워크를 제공한다고 주장한다:

• $D' = 0$일 때 연산 최적화 스케일링이 복구된다.
• $R^*$가 상수인 특수 사례로서 데이터 제약 스케일링(Muennighoff et al., 2025)이 복구된다.
• $D' \to \infty$인 극한으로서 데이터 최적화 스케일링(Kim et al., 2025)이 복구된다.

실무적 시사점:

1. 자원 식별: 실무자는 자신의 학습 과정이 연산에 제한되어 있는지, 데이터에 제한되어 있는지, 혹은 모델 용량에 제한되어 있는지 판단할 수 있다.
2. 할당 전략: 이 법칙은 "Chinchilla" 휴리스틱을 넘어, 신선한 데이터와 파생 데이터 사이의 최적의 연산 분할을 제시한다.
3. 전략 가이드: 반복에서 패러프레이징으로 언제 전환해야 하는지, 혹은 수익이 포화되기 전까지 몇 번의 에포크나 패러프레이징 패스가 최적인지에 대한 데이터 기반 권장 사항을 제공한다.

5. 한계점

저자들은 다음과 같은 몇 가지 한계를 언급한다:

• 경험적 피팅: $\eta$ 함수는 1-에포크 피팅의 잔차를 흡수하므로, $\eta_{emp} > 1$이 될 가능성이 있다.
• 하이퍼파라미터 민감도: 학습률과 가중치 감쇠만을 조사하였으며, 다른 하이퍼파라미터(배치 크기, 시퀀스 길이)는 고정되었다.
• 컴퓨팅 비용: 이 법칙들을 확립하기 위해 250,000시간 이상의 H100 연산 시간이 필요했다.
• 범위: 본 연구는 소형 내지 중형 모델(최대 600M)에 집중되어 있으나, 이 법칙은 더 큰 규모로 외삽(extrapolate)될 수 있음을 검증하였다.
• 전략: 연구는 반복과 패러프레이징에 초점을 맞추고 있으며, 자기 증류(self-distillation)나 합성 구조 데이터와 같은 다른 전략은 아직 탐구되지 않았다.