기술 요약: 반복 학습을 통한 희소 언어 모델의 스케일링

문제 정의

최근 대규모 언어 모델(LLM)의 발전은 고품질 데이터가 풍부하다는 가정하에 성립되는 스케일링 법칙(scaling laws)에 크게 의존해 왔습니다. 그러나 고품질의 고유한 인간 데이터 공급량은 완만한 속도(연간 약 1.03배)로 증가하는 반면, 사전 학습 데이터 소비량은 가속화(연간 약 4배)되고 있습니다. 이러한 불일치는 모델이 한정된 고유 토큰으로 학습해야 하는 **데이터 제약 환경(data-constrained regime)**을 초래했으며, 이는 다중 에포크(multi-epoch) 학습(데이터 반복)을 필연적으로 요구합니다.

이러한 환경에서 표준적인 밀집(dense) 스케일링 법칙은 수확 체감의 법칙을 보입니다. 동일한 데이터를 반복하면 급격한 포화와 과적합이 발생하기 때문입니다. 기존 연구들은 데이터가 충분한 환경에서의 희소 스케일링(예: Mixture-of-Experts 또는 Dynamic Sparse Training)과, 데이터가 충분한 밀집 환경에서의 데이터 제약 스케일링을 탐구해 왔으나, **희소성(sparsity)**과 데이터 반복 사이의 상호작용은 아직 미개척 영역으로 남아 있습니다. 특히, 희소 최적화가 반복된 데이터의 포화 역학을 변화시키거나, 고유 데이터가 부족할 때 모델 용량, 데이터 재사용, 계산 비용 간의 트레이드오프를 개선할 수 있는지 여부는 불분번합니다.

방법론

저자들은 데이터 제약 조건 하에서의 **동적 희소 학습(Dynamic Sparse Training, DST)**에 대한 체계적인 경험적 연구를 수행합니다. 연구 방법론은 다음과 같습니다.

1. 실험 설정:

   • 모델: C4 데이터셋으로 학습된 LLaMA-2 계열 아키텍처.
   • 규모: 활성 파라미터 수($N$) 15M에서 960M까지를 다루며, 밀집 등가 크기는 최대 1.92B 파라미터에 달함 (7.68B까지 외삽을 통해 검증됨).
   • 희소도: 0%(밀집)에서 93.75%(16배 압축) 범위.
   • 데이터 예산: 고유 토큰 예산($U_d$) 0.52B, 1.3B, 2.6B 토큰.
   • 반복: 1, 2, 4, 8, 16 에포크 동안 학습하여 총 학습 토큰을 최대 41.6B까지 확장.
   • 알고리즘: 크기 기반 가지치기(magnitude pruning)와 무작위 재생장(random regrowth)을 사용하는 Sparse Evolutionary Training(SET) 알고리즘을 이용한 동적 희소 학습.

2. 스케일링 법칙 공식화:
   저자들은 Chinchilla 및 Muennighoff 등(2023)의 공식을 확장한 새로운 희소 데이터 제약 스케일링 법칙을 제안합니다. 손실 함수 $L$은 다음과 같이 모델링됩니다:
   $$L(N', D', S) = \frac{A}{(N')^\alpha} + \frac{B}{(D')^\beta} + E$$
   여기서:

   • $N'$와 $D'$는 각각 수확 체감을 고려한 유효(effective) 파라미터 및 데이터 수입니다.
   • $S$는 희소도 수준입니다.
   • 유효 데이터 크기 $D'$는 희소도에 따른 포화 임계값 $R^*_d(S)$를 포함합니다:
     $$D' = U_d + U_d R^*_d(S) \left(1 - e^{-R_d/R^*_d(S)}\right)$$
   • 포화 임계값 $R^*_d(S)$는 희소도의 함수로 모델링됩니다: $R^*_d(S) = R^*_d (1 + \lambda_1 S + \sigma_1 S^2)$.
   • 마찬가지로, 유효 파라미터 수 $N'$는 활성 파라미터와 밀집 등가 용량 사이의 트레이드오프를 모델링하기 위한 희소도 관련 인자를 포함합니다.

3. 분석:
   연구는 고정된 데이터 및 계산 예산 하에서 최적의 자원 배분(모델 크기 vs 학습 에포크)을 결정하기 위해 Iso-Loss 및 Iso-FLOPs 곡선을 분석합니다. 이들은 계산의 두 가지 정의인 희소 FLOPs(비제로 파라미터에 대한 연산)와 밀집 FLOPs(동등한 밀집 모델 학습 비용)를 구분합니다.

주요 기여 및 발견

1. 희소 데이터 제약 학습을 위한 새로운 스케일링 법칙

본 논문은 활성 파라미터, 고유 토큰, 데이터 반복 및 희소도를 변수로 하여 손실을 모델링함으로써, 계산 및 데이터 예산 전반에 걸쳐 성능을 정확하게 예측하는 스케일링 법칙을 도입했습니다.

• 검증: 이 모델은 홀드아웃 구성에서 0.914의 검증 $R^2$를 달성하였으며, 이는 해당 공식이 과적합 없이 희소 스케일링의 기저 구조를 포착하고 있음을 입증합니다.

2. 데이터 포화 지연

가장 중요한 경험적 발견은 희소성이 반복된 데이터의 포화를 지연시킨다는 점입니다.

• 메커니즘: 밀집 학습에서는 제한된 데이터에 대한 반복 노출이 빠르게 수확 체감으로 이어집니다. 반면, 희소 학습은 업데이트를 더 넓은 가중치 풀에 분산시켜, 동일한 데이터에 대해 개별 파라미터가 업데이트되는 빈도를 줄입니다.
• 정량적 영향: 데이터 포화 임계값 $R^*_d$는 희소도가 높아짐에 따라 증가하며, $S \approx 0.5$ 부근에서 정점에 도달합니다. $S=0$일 때 $R^*_d \approx 4.4$인 반면, $S=0.5$일 때 $R^*_d \approx 6.9$입니다. 이는 희소 모델이 성능이 정체되기 전까지 더 많은 데이터 반복을 견딜 수 있음을 의미하며, 다중 에포크 학습을 더욱 효과적으로 만듭니다.

3. 자원 배분 및 트레이드오프

연구는 데이터 제약 조건 하에서 희소 학습과 밀집 학습의 구별되는 최적 전략을 식별했습니다.

• 배분 이동: 밀집 학습에서는 추가 계산량을 모델 크기를 키우는 데 할당하는 것이 가장 좋습니다. 반면, 희소 학습(특히 중간 정도의 희소도에서)에서는 추가 계산량을 파라미터 수를 늘리는 것보다 **더 긴 학습(더 많은 에포크)**에 할당하는 것이 더 유리합니다.
• 파라미터 효율성: 희소 학습은 더 나은 파라미터 대비 토큰 비율을 달로합니다. 1.3B 토큰 예산의 경우, 희소 학습은 밀집 학습에 비해 약 3배 작은 파라미터 대비 토크 비율을 달성할 수 있어 추론 효율성을 높입니다.

4. 최적 희소도 수준

저자들은 두 가지 최적 희소도의 개념을 정의합니다.

• 손실 최적 희소도(Loss-Optimal Sparsity): 고정된 데이터 예산에 대해 검증 손실을 최소화하는 희소도입니다. 이는 다양한 데이터 규모에 대해 비교적 안정적이며 중간 수준($S \approx 0.45 - 0.5$)을 유지합니다.
• 계산 최적 희소도(Compute-Optimal Sparsity): 최적의 밀집 모델의 성능을 달성하면서 학습 계산량을 최소화하는 희소도입니다. 이 값은 데이터 규모에 따라 증가하며, 1.3B 토큰에서는 $S \approx 0.6$에서 13B~130B 토큰 규모에서는 $S \approx 0.7 - 0.75$로 이동합니다.
• 효율성 이득: 계산 최적 희소도에서 희소 모델은 밀집 모델의 정확도와 일치하면서도 약 8배에서 10배 적은 학습 FLOPs를 사용합니다.

의의 및 주장

본 논문은 데이터 제약 스케일링 환경에서 동적 희소 학습에 대한 최초의 체계적인 경험적 특성화를 제공한다고 주장합니다. 이 연구의 주요 의의는 희소성을 단순히 추론 효율성이나 모델 압축을 위한 도구가 아니라, 데이터가 주요 병목인 상황에서 스케일링 트레이드오프를 개선하는 메커니즘으로 재정의했다는 점에 있습니다.

주요 주장은 다음과 같습니다:

• 희소성은 모델 용량과 데이터 반복 사이의 상호작용을 근본적으로 변화시켜, 수확 체감이 발생하는 시점을 늦춥니다.
• 데이터가 부족한 상황에서는 최적의 전략이 "더 큰 모델"에서 "희소 모델에 대한 더 긴 학습"으로 전환됩니다.
• 제안된 스케일링 법칙은 향후 데이터 제약이 있는 사전 학습 시나리오에서 계산과 데이터를 할당하기 위한 예측 가능한 프레임워크를 제공합니다.

저자들은 실험이 아직 프런티어 LLM(7.68B 밀집 등가 파라미터 초과) 규모에 도달하지 못했다는 점과, 희소 구현의 하드웨어 수준 비효율성이 실제 속도 향상을 저해할 수 있다는 점을 언급하며 한계를 인정했습니다. 그러나 이들은 자신의 연구 결과가 데이터가 제한된 시대에 효율적인 LLM을 학습시키기 위한 기초적인 이해를 제공한다고 확언합니다.