🤖 machine learning

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

이 논문은 검증 및 다운스트림 성능을 향상시키기 위해 마스크 입력 정규화(Masked-Input Regularization, MIR)를 도입하고, 고전적인 법칙들이 실패하는 반복 학습 에포크 하에서의 모델 크기와 데이터 크기 간의 상호작용을 정확하게 포착하는 새로운 스케일링 법칙인 SoftQ를 제안함으로써 언어 모델 사전 학습의 데이터 제약 환경을 다룹니다.

원저자: Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생(AI 모델)에게 이야기를 쓰는 법을 가르치려 한다고 상상해 보세요. 과거의 규칙은 이랬습니다: "학생에게 독특한 책들이 가득한 거대한 도서관을 주고, 각 책을 정확히 한 번씩 읽게 하라." 이 방식은 도서관이 매우 방대했고, 학생이 모든 것을 한 번씩 읽을 수 있는 충분한 시간이 있었기에 효과적이었습니다.

하지만 이제 상황이 바뀌었습니다. 우리는 초당 수백만 권의 책을 읽을 수 있는 초고속 컴퓨터(연산 능력)를 보유하게 되었지만, 새로운 독창적인 책(자연어 데이터)의 공급은 고갈되어 가고 있습니다. 우리는 지금 "데이터는 부족하고 연산 능력은 풍부한" 세상에 처해 있습니다. 이제 학생은 한정된 작은 도서관의 책들을 여러 번 반복해서 읽으며 지식을 채워야 합니다.

문제는 이겁니다. 만약 학생이 똑같은 책을 계속해서 반복해서 읽게 만든다면, 학생은 글쓰는 법을 배우는 대신 책을 암기하기 시작할 것입니다. 학생은 언어의 규칙을 이해하는 대신, 본 적 있는 문구들을 그대로 따라 하는 앵무새가 될 것입니다. 이를 "과적합(overfitting)"이라고 부릅니다.

이 논문은 두 가지 주요 질문을 다룹니다:

어떻게 하면 학생이 단순히 암기하는 것을 막을 수 있을까? (규제화/Regularization)
학생의 뇌 크기와 도서관의 크기 사이의 균형을 맞추는 가장 좋은 방법은 무엇인가? (스케일링 법칙/Scaling Laws)

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. "흐릿한 안경" 기법 (마스크 입력 규제화/Masked-Input Regularization)

문제점:
학생이 같은 책을 10번째 읽을 때, 학생은 이야기의 의미를 배우는 대신 5페이지에 있는 특이한 글꼴이나 오타까지 통째로 외워버릴 수 있습니다. 학생에게는 의미에 집중하도록 강제하는 방법이 필요합니다.

해결책 (MIR):
저자들은 **마스크 입력 규제화(Masked-Input Regularization, MIR)**라는 기법을 시도했습니다. 학생이 책을 읽는 동안 "흐릿한 안경"을 씌우거나 "스크램블러(섞기 장치)"를 사용하는 것을 상상해 보세요.

학생이 문장을 읽을 때마다, 컴퓨터는 무작위로 몇 개의 단어를 숨겨서(masking) [MASK]로 바꿉니다.
학생은 문맥을 바탕으로 빠진 단어를 추측해야 합니다. 마치 "빈칸 채우기" 게임처럼 말이죠.
학생은 일반적인 독서와 이 과정을 병행하여 수행합니다.

결과:
이것은 스포츠 연습과 비슷합니다. 만약 당신이 완벽하고 평평한 경기장에서만 연습한다면, 바람이 불 때 대처하지 못할 수 있습니다. 하지만 "바람 기계(무작위 마스킹)"가 당신을 향해 바람을 일으키는 환경에서 연습한다면, 당신은 적응하는 법을 배우게 됩니다.

논문에 따르면, 학생이 이미 엄격한 훈련(암기를 방지하는 엄격한 코치와 같은 "강한 가중치 감쇠/strong weight decay")을 받고 있더라도, 이 "흐릿한 안경" 기법을 추가했을 때 훨씬 더 나은 성과를 보였습니다.
이 기법은 모델이 이상한 이름, 혼합된 언어, 혹은 깨진 텍스트와 같은 까다로운 상황을 훨씬 더 잘 처리하도록 도왔습니다.
성과: 저자들은 이 기법을 사용하는 것이 수학적으로 학생에게 1.3배 더 많은 독창적인 책을 읽게 하는 것과 동일한 가치가 있다고 계산했습니다. 이는 우리가 가진 한정된 도서관으로부터 더 많은 가치를 끌어내는 방법입니다.

2. "결합된" 성장 규칙 (SoftQ 스케일링 법칙)

과거의 규칙 (친칠라/Chinchilla):
이전에는 전문가들이 책의 수에 따라 학생의 뇌 크기를 어떻게 결정해야 하는지에 대한 공식(친칠라 법칙)을 가지고 있었습니다.

과거의 아이디어: "책의 수가 두 배가 되면, 뇌의 크기도 두 배가 되어야 한다." 이 방식은 뇌의 크기와 책의 수를 서로 별개로 더해지는 두 가지 요소로 취급했습니다.
결함: 이 공식은 항상 새로운 책을 얻을 수 있다는 가정하에 만들어졌습니다. 하지만 책이 고갈되어 가는 우리 세상에서는 이 공식이 무너집니다. 이 공식은 학생의 뇌가 작든 크든, 책이 부족해서 생기는 불이익이 동일할 것이라고 예측했습니다.

새로운 규칙 (SoftQ):
저자들은 책이 한정된 세상에서는 뇌의 크기와 책의 수가 밀접하게 연결되어 있음을 깨달았습니다.

비유: 양동이(뇌)와 호스(데이터)를 상상해 보세요.
- 양동이가 아주 작다면, 호스가 아무리 커도 상관없습니다. 양동이는 금방 차버리고 남은 물은 그냥 넘쳐흐를 뿐입니다 (낭비되는 데이터).
- 양동이는 엄청나게 큰데 호스가 아주 작다면, 양동이는 대부분 비어 있게 됩니다 (낭비되는 뇌 용량).
- 호스가 작아서 생기는 "불이익"은 양동이가 커질수록 훨씬 더 심각해집니다. 거대한 양동이에 아주 작은 호스를 연결하는 것은 재앙입니다.

결과:
저자들은 SoftQ라고 불리는 새로운 공식을 제안했습니다.

기존의 공식과 달리, SoftQ는 모델이 커질수록 독창적인 데이터에 대한 필요성이 더 빠르게 증가한다는 점을 이해하고, 이 둘을 하나로 "결합"합니다.
테스트 결과, SoftQ는 특히 데이터가 제한적이고 모델이 동일한 데이터를 여러 번 반복해서 읽을 때, 기존의 친칠라 공식보다 모델의 성능을 훨씬 더 정확하게 예측했습니다.

"핵심 요약"

단순 반복 대신 섞어라: 한정된 데이터셋으로 학습해야 할 때는, 텍스트의 일부를 무작위로 숨기는 것(MIR)이 AI가 특정 문장을 외우는 대신 일반적인 규칙을 배우도록 강제합니다. 이는 교과서를 단순히 읽는 것이 아니라, 답을 가린 채 연습 문제를 풀며 시험 공부를 하는 것과 같습니다.
데이터가 부족할수록 크기가 중요하다: AI를 만드는 기존의 규칙은 "모델이 커지면 데이터와 상관없이 더 좋다"라고 말했습니다. 하지만 새로운 규칙(SoftQ)은 "모델을 더 크게 만들려면, 비례해서 훨씬 더 많은 독창적인 데이터가 필요하며, 그렇지 않으면 모델은 실패할 것"이라고 말합니다.
효율성: "섞기" 기법(MIR)과 새로운 "결합된" 공식(SoftQ)을 사용함으로써, 우리는 새로운 텍스트가 고갈되어 가는 상황에서도 더 나은 AI 모델을 구축할 수 있습니다.

이 논문이 말하지 않은 것:
이 논문은 이 기술이 즉각적으로 의료 진단을 해결하거나, 완벽한 고객 서비스 챗봇을 만들거나, 기후 변화를 해결할 것이라고 주장하지 않습니다. 이 논문은 오직 데이터가 부족할 때 이러한 모델을 얼마나 더 효율적으로 훈련할 것인가에 대한 수학적 측면에만 집중합니다. 결과는 14억 개의 파라미터를 가진 모델까지의 실험을 바탕으로 하고 있으며(오늘날 빅테크 기업들이 사용하는 거대 모델들에 비하면 작은 규모입니다), 이 원칙들은 더 큰 규모에도 적용될 수 있도록 설계되었습니다.

기술 요약: 데이터 제약적 언어 모델 사전 학습 (Data-Constrained Language Model Pretraining)

문제 정의

Chinchilla와 같은 거대 언어 모델(LLM) 사전 학습을 위한 고전적 스케일링 법칙(scaling laws)은 고유한 학습 데이터가 연산량에 따라 자유롭게 확장될 수 있다는 "데이터 풍부(abundant data)" 체제를 가정하여 작동한다. 이러한 법칙들은 고정된 연산 예산을 모델 파라미터와 학습 토큰 사이에 최적으로 배분하는 것을 목표로 하며, 일반적으로 코퍼스(corpus)를 단 한 번 통과(single pass)하는 것을 전제로 한다.

그러나 본 논문은 현재의 분야가 데이터 제약적, 연산 풍부(data-constrained, compute-rich) 체제로 이동하고 있다고 주장한다. 이 설정에서는 고품질의 자연어 데이터 공급은 고정되거나 제한되어 있는 반면, 학습 연산량은 계속해서 증가한다. 결과적으로, 학습 전략은 더 큰 모델을 활용하고 유한한 데이터셋에 대해 여러 에포크(multiple epochs, 반복 학습)를 수행할 수 있도록 적응해야 한다. 저자들은 현재의 이해도에 두 가지 중요한 격차를 식립한다:

정규화(Regularization): 연산량은 증가하지만 고유 데이터는 고정되어 있을 때, 모델이 어떻게 과적합(overfitting)을 피할 수 있는가? 강력한 가중치 감쇠(weight decay)가 도움이 된다는 것은 알려져 있지만, 확산 언어 모델(Diffusion Language Models, dLLMs)에서 사용되는 무작위 마스킹(random masking)과 같은 기법이 보완적인 이점을 제공할 수 있는지는 불분명하다.
스케일링 법칙(Scaling Laws): 고전적인 가법적 스케일링 법칙(additive scaling laws, 모델 크기와 데이터 크기를 분리하는 방식)이 이 체제의 손실 곡면(loss surface)을 정확하게 설명할 수 있는가? 저자들은 이러한 법칙들이 모델 용량과 제한된 고유 데이터 사이의 상호작용을 포착하지 못하기 때문에 잘못 설정(misspecified)되었다고 가설을 세운다.

방법론

1. 정규화: 마스크 입력 정규화 (Masked-Input Regularization, MIR)

정규화를 조사하기 위해, 저자들은 **마스크 입력 정규화(MIR)**를 도입한다. 이는 모델 구조나 추론 절차를 변경하지 않으면서 표준 자기회귀(autoregressive, AR) 사전 학습에 적용할 수 있는 최소한의 수정 사항이다.

메커니즘: 깨끗한 입력 시퀀스 $x$ 에 대해, 샘플링된 마스크 비율에 따라 토큰을 [MASK] 토큰으로 대체하여 무작위로 마스킹된 버전 $\hat{x}$ 를 생성한다.
목적 함수: 학습 손실은 마스킹된 시퀀스에 대한 보조 차기 토큰 예측(next-token prediction) 손실을 포함하도록 확장된다:
$L = L_{NTP}(x) + \lambda L_{NTP}(\hat{x})$
근거: 저자들은 무작위 마스킹이 정규화제 역할을 하여, 모델이 문맥 특화적인 노이즈를 암기하는 대신 일반화 가능한 예측 특징을 학습하도록 강제한다고 가설을 세운다. 이는 "강력하게 정규화된" AR 모델(높은 가중치 감쇠 사용)을 기준으로 비교 검증되며, 확산 언어 모델(dLLM)과도 비교된다.

2. 스케일링: SoftQ 법칙

스케일링 문제를 해결하기 위해, 저자들은 모델 크기( $N \in \{72M, \dots, 1.4B\}$ )와 고유 데이터 예산( $U \in \{100M, \dots, 400M\}$ )을 변화시키는 실험 그리드를 구축한다. 이들은 다음과 같은 몇 가지 스케일링 법칙을 평가한다:

Chinchilla: $L = E + A N^{-\alpha} + B U^{-\beta}$ 형태의 가법적 모델로, 데이터 예산 간의 손실 격차가 모델 크기와 독립적이라고 가정한다.
Muennighoff 스타일: 반복 학습에 따라 포화되는 유효 자원(effective resources)을 사용한다.
Quanta: 기술 학습(skill-learning) 관점에서 도출된 결합된 법칙이다.
SoftQ (제안됨): 모델 크기와 데이터 크기를 "소프트 병목(soft bottleneck)"을 통해 결합하는 5개 파라미터 스케일링 법칙이다:
$L_{SoftQ}(N, U) = E + \left( \frac{A}{N^\rho} + \frac{B}{U^{\rho/(1+\alpha)}} \right)^{\alpha/\rho}$
여기서 $\rho$ 는 파라미터 제한 체제와 데이터 제한 체제 사이의 전환을 얼마나 날카롭게 조절할지를 결정한다. $U \to \infty$ 일 때 파라미터 스케일링을 회복하며, $N \to \infty$ 일 때 데이터 스케일링을 회복한다.

주요 기여 및 결과

1. 정규화 관련 발견

가중치 감쇠 전이(Weight Decay Transfer): 저자들은 강력한 가중치 감쇠(AR에 최적화된)가 dLLM의 성능을 실질적으로 개선하여, AR 모델과 dLLM 모델 간의 검증 손실 격차를 줄인다는 것을 입증한다. 두 모델 모두 강력하게 정규화될 경우 성능이 유사해진다.
MIR의 효능: MIR은 강력한 가중치 감쇠 위에 더해지는 보완적인 정규화를 제공한다. DCLM 데이터셋(고유 토큰 100M)으로 학습된 72M에서 1.4B 모델 크기에 걸쳐, MIR은 강력한 가중치 감쇠만을 사용한 베이스라인보다 일관되게 낮은 검증 손실을 기록했다.
- 이 이점은 모델 크기가 커질수록 증가하며(72M에서 약 0.006 감소에서 1.4B에서 약 0.03 감소로), 이는 과잉 매개화된 모델이 마스킹 기반 정규화로부터 더 많은 혜//를 받는다는 이론적 직관과 일치한다.
- 다운스트림 이득: 1.4B 파라미터에서 MIR은 BoolQ에서 +10.2 포인트, SciQ에서 +2.2 포인트의 유의미한 다운스트림 성능 향상을 가져왔다.
- 일반화: 자연어 데이터에서만 하이퍼파라미터를 튜닝했음에도 불구하고, MIR의 이점은 코드 중심 데이터(Stack-V2)로도 전이되었다.
메커니즘 분석: 토큰 수준 분석 결과, MIR은 문맥이 노이즈가 많거나, 혼합 스크립트를 포함하거나, 희귀한 이름을 포함하는 "어려운(hard)" 토큰에서 가장 큰 도움을 주는 것으로 나타났다. 이는 MIR이 단순히 빈도 기반 예측이 아니라 로컬 접두사 문맥(local prefix context)에 대한 강건성을 개선함을 시사한다.

2. 스케일링 법칙 관련 발견

Chinchilla의 오설정(Misspecification): 실험 결과, 서로 다른 고유 데이터 예산 간의 검증 손실 격차는 모델 크기에 따라 커지는 것으로 나타났다. 모델 크기에 관계없이 데이터 예산 간의 손실 격이가 일정하다고 예측하는 가법적 Chinchilla 법칙은 이러한 "팬아웃(fan-out)" 동작을 포착하지 못한다.
SoftQ의 우수성: 모델과 데이터 크기를 명시적으로 결합한 제안된 SoftQ 법칙은 Chinchilla, Quanta, Muennighoff 스타일의 법칙보다 데이터 제약적 실험에 훨씬 더 잘 부합한다. SoftQ는 인샘플 적합(in-sample fit) 및 홀드아웃 외삽(held-out extrapolation, 작은 예산으로부터 400M 예산의 성능을 예측) 모두에서 더 낮은 RMSE와 MAE를 달성했다.
데이터 효율성 정량화: SoftQ를 기준으로 할 때, 저자들은 MIR의 성능 이득이 대략 1.3배의 고유 학습 데이터 양(특히 200M~400M 토큰 예산 범위 내에서)과 맞먹는다고 추정한다.

의의 및 주장

본 논문은 컴퓨팅 자원이 데이터 가용성보다 더 빠르게 확장됨에 따라 점점 더 중요해지고 있는 데이터 제약적, 연산 풍부 체제에 대한 기초적인 이해를 제공한다고 주장한다.

실용적 레시피: 저자들은 아키텍처 변경이나 추론 오버헤드 없이 자기회귀 사전 학습의 데이터 효율성을 높일 수 있는 실용적이고 오버헤드가 적은 레시피(MIR)를 제안한다.
이론적 교정: 저자들은 고전적인 가법적 스케일링 법칙이 데이터 제약적 체제에서는 불충분함을 입증하고, 고유 데이터가 결합 자원(binding resource)인 상황에서 손실 곡면을 더 정확하게 예측하는 SoftQ를 제안한다.
정규화와 스케일링의 상호작용: 이 연구는 정규화 전략(가중치 감쇠 및 마스킹과 같은)과 스케일링 법칙이 이 체제에서 깊게 얽혀 있음을 강조한다. 효과적인 스케일링을 위해서는 반복된 데이터에 대한 과적합을 방 지할 수 있도록 적절히 정규화된 모델이 필요하다.

저자들은 자신들의 실험이 1.4B 파라미터와 400M 고유 토큰으로 제한되어 있어 프런티어 규모의 사전 학습과는 규모 면에서 차이가 있음을 인정하며 겸허한 태도를 유지한다. 이들은 향후 연구에서 하이퍼파라미터 전이 레시피와 다양한 모델 아키텍처를 탐구할 것을 제안한다.