기술적 요약: 데이터 제약 하 훈련을 위한 처방적 확장 법칙

문제 제기

대규모 언어 모델 (LLM) 의 훈련은 연산 능력보다 고품질 데이터의 가용성에 의해 점점 더 제약받고 있습니다. 원시 텍스트는 풍부하지만, 최첨단 파이프라인은 공격적인 품질 필터링, 큐레이션된 서브셋, 도메인 특화 말뭉치에 의존하여, 연산 예산이 종종 사용 가능한 고유 데이터의 양을 초과하는 병목 현상을 초래합니다. 이러한 영역에서 실무자들은 동일한 데이터로 여러 에포크에 걸쳐 모델을 훈련하는 경우가 많습니다.

기존의 확장 법칙, 특히 널리 채택된 치니치라 법칙 (Hoffmann et al., 2022) 은 모든 훈련 토큰이 고유하다고 가정합니다. 데이터 반복을 처리하기 위한 확장들, 예를 들어 Muennighoff et al. (2023) 의 유효 데이터 (effective-data) 공식은 체감 수익을 모델링하지만, 과적합으로 인해 손실이 증가하는 영역을 포착하지는 못합니다. 핵심적으로, 이러한 기존 모델들은 모델 크기와 반복 간의 상호작용을 명시적으로 고려하지 않습니다: 더 큰 모델은 더 작은 모델보다 반복된 데이터에서 더 빠르게 과적합됩니다. 이 상호작용을 모델링하지 않으면, 확장 법칙은 데이터 제약 환경에서 행동을 정확히 예측하거나 연산 최적 할당을 안내할 수 없습니다.

방법론

저자들은 가산 과적합 패널티를 통해 데이터 반복의 비용을 명시적으로 모델링하는 새로운 확장 법칙 공식을 제안합니다.

실험 설정

• 모델: 15M 에서 1B 파라미터까지 다양한 크기의 Llama 2 아키텍처 기반 디코더 전용 언어 모델 300 개 이상.
• 데이터: FineWeb 데이터셋 (Penedo et al., 2024) 으로 훈련.
• 그리드: 고유 데이터 예산 ($U_D$) 을 50M 에서 6B 토큰까지, 반복 횟수 ($R_D$) 를 0 에서 15 에포크까지 스윕 (sweep) 함.
• 정규화: 두 가지 가중치 감쇠 강도를 테스트함: 표준 ($\lambda = 0.1$) 과 강력 ($\lambda = 1.0$). 모든 다른 하이퍼파라미터는 일정하게 유지됨.
• 평가: 최종 검증 손실, 퍼플렉시티, 그리고 19 개 태스크에 걸친 OLMES 평가 스위트 (Gu et al., 2025) 를 통한 하류 성능.

제안된 확장 법칙

저자들은 가산 패널티 항으로 치니치라 형태를 보강하는 확장 법칙 군을 유도합니다. 일반적인 형태는 다음과 같습니다:
$$L(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{(U_D \cdot (1 + R_D))^\beta} + \text{Penalty}(N, U_D, R_D)$$

여기서 패널티 항은 반복으로 인한 초과 손실을 포착합니다. 저자들은 형태의 "복잡성 사다리"를 제시합니다:

1. 1-파라미터 형태: 모델 크기와 고유 데이터의 비율로 스케일된 반복 횟수에 대한 선형 패널티: $P \cdot R_D \cdot \frac{N}{U_D}$.
2. 2-파라미터 형태: 용량 비율에 비선형 지수 $\kappa$를 도입: $P \cdot R_D \cdot (\frac{N}{U_D})^\kappa$.
3. 4-파라미터 형태: 반복 횟수에 초선형 지수 $\delta$를 추가하고 데이터 예산 지수 $\gamma$를 분리: $P \cdot R_D^\delta \cdot (\frac{N}{U_D^\gamma})^\kappa$.

이 공식은 반복된 토큰이 이중적인 역할을 수행한다고 가정합니다: 유용한 데이터로 작용하며 데이터 충분성 항을 계속 감소시키는 동시에, 모델 크기와 데이터 희소성에 의존하는 증가하는 과적합 비용을 수반합니다.

주요 결과

1. 우수한 적합도

제안된 가산 패널티 법칙은 반복 하에서 검증 손실을 예측할 때 기존 공식들 (치니치라 기준선 및 Muennighoff et al., 2023) 보다 현저히 우수한 성능을 보입니다.

• 기술적 적합: 가장 단순한 1-파라미터 가산 형태조차도 지수 감소 기준선 ($R^2_{multi} \approx 0.95$ 대 기준선의 $0.58$, 표준 연구 기준) 을 크게 능가합니다. 4-파라미터 형태는 거의 완벽한 적합 ($R^2 \approx 0.997$) 을 달성합니다.
• 일반화: 가산 패널티 형태는 홀드아웃된 Muennighoff et al. (2023) C4 데이터셋으로 일반화되어, 해당 데이터에서 그들의 자체 유효 데이터 공식들보다 우수한 성능을 보이며, 개선이 특정 훈련 설정의 인공물이 아님을 확인시킵니다.

2. 연산 최적 할당

새로운 확장 법칙은 데이터 제약 영역에서 연산을 할당하기 위해 이전 연구와 질적으로 다른 조언을 도출합니다:

• 이전 연구: 과적합을 무시한 치니치라 법칙은 연산이 증가함에 따라 항상 더 많은 반복을 권장합니다. Muennighoff et al. (2023) 의 법칙은 체감 수익을 권장하지만 반복을 중단하라고 제안하지는 않습니다.
• 본 연구: 제안된 법칙은 추가 반복이 역효과를 내는 연산 임계값을 식별합니다. 이 지점을 넘어서면 최적 전략은 추가 연산을 모델 용량(더 큰 $N$) 에 할당하면서 에포크 수($R_D$) 를 줄이는 것입니다. 이는 할당 프론티어의 "되돌림"을 생성합니다.

3. 처방적 검증

저자들은 고정된 연산 및 데이터 예산에 대해 각 법칙이 권장하는 특정 구성 (모델 크기와 에포크 수) 을 훈련함으로써 법칙의 권장 사항을 검증했습니다.

• 제안된 법칙이 권장한 구성은 테스트된 모든 예산에서 일관되게 최저 퍼플렉시티와 최상의 하류 성능 (OLMES BPB) 을 달성했습니다.
• 예를 들어, $2 \times 10^{19}$ FLOPs 의 연산 예산과 5 억 개의 고유 토큰에서, 제안된 법칙은 3 에포크로 훈련된 22 억 파라미터 모델을 권장하여, 치니치라 권장 사항 (6.7 억 파라미터, 10 에포크) 과 Muennighoff 권장 사항 (9.5 억 파라미터, 7 에포크) 보다 우수한 성능을 보였습니다.

4. 사례 연구: 가중치 감쇠

패널티 항의 단일 계수 $P$는 데이터 반복에 대한 구성의 강건성을 정량화합니다.

• 과적합 감소: 강력한 가중치 감쇠 ($\lambda = 1.0$) 는 표준 가중치 감쇠 ($\lambda = 0.1$) 에 비해 과적합 계수 $P$를 약 70% 감소시킵니다.
• 교차점: 강력한 가중치 감쇠는 단일 에포크 영역에서 "손실 프리미엄"을 부과하지만, 감소된 과적합 패널티는 고연산 예산에서 교차점을 생성합니다 ($U_D=250M$인 경우 $C \approx 3.2 \times 10^{18}$ FLOPs). 이 지점을 넘어서면 강력한 가중치 감쇠는 추가 연산의 생산적인 사용을 가능하게 하여 표준 설정보다 우수한 성능을 냅니다. 이는 데이터 제약 영역에서 최적의 가중치 감쇠가 표준 관행보다 한 자릿수 더 크다는 최근의 실증적 발견 (Kim et al., 2026) 에 대한 확장 법칙적 설명을 제공합니다.

의의 및 주장

본 논문은 치니치라의 "무한 데이터" 가정을 넘어선 데이터 제약 훈련을 위한 처방적 프레임워크를 제공한다고 주장합니다.

• 새로운 할당 조언: 주요 기여는 반복이 해로워지는 영역을 식별하여 최적 전략을 "더 많은 에포크"에서 "더 큰 모델"로 전환하는 것입니다.
• 정량화 가능한 강건성: 과적합을 단일 계수로 격리함으로써, 법칙은 exhaustive 하이퍼파라미터 스윕 없이 훈련 구성 (예: 다른 정규화 강도) 을 직접 비교할 수 있게 합니다.
• 실무적 지침: 저자들은 고정된 데이터 예산을 가진 실무자들에게는 데이터를 반복하는 것이 역효과를 내는 특정 연산 수준이 존재한다고 주장합니다. 그들은 이 임계값과 이에 상응하는 최적 모델 크기를 결정하는 구체적인 방법을 제공합니다.
• 겸손함: 저자들은 한계를 인정하며, 적합된 지수들은 1B 파라미터와 16 에포크까지 검증되었으며, 법칙은 더블 디센트와 같은 현상을 포괄하지 않는다고 명시합니다. 또한 Muennighoff et al. (2023) 의 재분석은 할당 전략에 대한 그들의 불일치가 확장 물리학의 근본적인 모순이 아니라 이전 연구의 잘못 지정된 기준선에서 비롯되었음을 시사한다고 덧붙입니다.