기술 요약: 데이터 제약적 언어 모델 사전 학습을 위한 데이터 증강 기법

1. 문제 정의

본 논문은 대규모 언어 모델(LLM) 개발에서 나타나는 "데이터는 제약적이지만 연산 자원은 풍부한(data-constrained, compute-abundant)" 새로운 국면을 다룹니다. 고품질 공개 인터넷 텍스트의 재고가 고갈됨에 따라, 업계는 연산 용량이 데이터 가용성을 앞지르는 한계에 직면하고 있습니다. 결과적으로, 모델은 고정된 코퍼스에 대해 멀티 에포크(multi-epoch) 학습을 수행해야 합니다.

저자들은 이 설정에서 발생하는 결정적인 실패 모드를 식별했습니다. 표준 자기회귀(autoregressive, AR) 사전 학습은 심각한 과적합(overfitting) 문제를 겪습니다. 실험 결과, 150M 파라미터 모델을 75M 토큰 코퍼스(Chinchilla 최적 예산보다 약 40배 적은 양)로 학습시켰을 때, 16 에포크에서 검증 손실(validation loss)이 최소치에 도달한 후 지속적으로 악화되었습니다. 이는 모델이 일반화에서 암기로 전환되었음을 나타냅니다. 확산 모델(diffusion models)이 더 강력한 대안으로 제안되기도 했으나, 현재 추론 비용, 동적 길이 생성, 인프라 성숙도 측면에서 실무적인 난관에 봉착해 있습니다. 본 논문은 더 즉각적인 해결책이 표준 AR 모델에 학습 시점의 데이터 증강을 통해 확산 스타일의 정규화(regularization)를 도입하는 것이라고 주장합니다.

2. 방법론

저자들은 모델 아키텍처나 손실 함수를 변경하지 않고, 학습 중에 모델에 제시되는 (입력, 레이블) 쌍을 수정하기 위해 설계된 세 가지 독립적인 카테고리의 데이터 증강 기법을 소개합니다. 평가 시에는 모든 증강이 비활성화되며, 모델은 표준적인 좌측-우측(L2R) 차기 토큰 예측 설정 하에 테스트됩니다.

카테고리 1: 토큰 수준 노이즈 (Token-Level Noise)

확산 모델의 노이즈 프로세스에서 영감을 얻은 이 카테고리는 입력 토큰을 오염시키되, 모델이 원래의 오염되지 않은 시퀀스를 예측하도록 요구합니다.

• 마스킹 (Masking): 일부 토큰을 특수 `` 토큰으로 대체합니다.
• 무작위 교체 (Random Replacement): 일부 토큰을 무작위로 추출된 어휘 토큰으로 대체합니다. 이는 마스킹보다 "의미론적으로 더 어려운" 신호를 생성하는데, 교체된 토큰이 그럴듯하지만 틀린 토큰이기 때문입니다.

카테고리 2: 시퀀스 순열 (Sequence Permutations)

이 카테고리는 예측 방향이나 구조를 변경하기 위해 학습 시퀀스의 순서를 재배치합니다.

• 우측-좌측 (Right-to-Left, R2L): 시퀀스를 역순으로 배치하고, 모델이 방향 토큰의 안내에 따라 역순으로 토큰을 예측하게 합니다.
• 중간 채우기 (Fill-in-the-Middle, FIM): 시퀀스를 접두사-접미사-중간(PSM) 또는 접미사-접두사-중간(SPM) 형식으로 재구성합니다. 모델은 접두사와 접미사가 주어졌을 때 중간 부분을 예측해야 합니다.

카테고리 3: 타겟 오프셋 예측 (Target Offset Prediction)

모델이 바로 다음 토큰($x_{t+1}$)을 예측하는 대신, 샘플링된 오프셋 $i \ge 1$에 있는 미래의 토큰 $x_{t+i}$를 예측하도록 학습합니다.

• 가중치 부여 방식 (Weighting Schemes): 저자들은 지평(horizon) $i$에 대한 균등 샘플링과 지수 감소 가중치 적용 방식을 탐구합니다. 지수 방식은 확률 질량을 작은 오프셋(대부분 $i=1$)에 집중시키면서도 가끔 더 큰 지평을 샘플링하여 암묵적인 커리큘럼 역할을 수행합니다.
• 메커니즘: 활성 오프셋을 나타내기 위해 특수 토큰 <next_i>를 앞에 붙입니다.

이 카테고리들은 순차적인 파이프라인 내에서 동시에 적용될 수 있습니다: 노이즈가 먼저 적용되고, 이어서 순열(활성화된 경우)이 적용되며, 마지막으로 방향/오프셋 토큰이 삽당됩니다.

3. 실험 설정

• 모델: Llama 아키텍처(20 레이어, 512 히든 사이즈) 기반의 150M 파라미터 인과적(causal) 언어 모델.
• 데이터셋: DCLM-RefinedWeb에서 추출한 75M 토큰.
• 학습 스케줄: Warmup-Stable-Decay (WSD) 학습률 스케줄. 절제 연구(Ablation studies)는 주로 상대적 성능을 효율적으로 비교하기 위해 안정(stable) 단계에서 수행되었으며, 일부 실행은 견고성 확인을 위해 전체 감쇠(decay) 단계를 거쳤습니다.
• 지표: 주요 지표는 표준 L2R 차기 토큰 예측 하에서의 홀드아웃 검증 손실(held-out validation loss)입니다. 다섯 가지 다운스트림 벤치마크(HellaSwag, PIQA, ARC-Challenge, WinoGrande, COPA)에 대한 제로샷 정확도가 보완적 근거로 사용됩니다.

4. 주요 결과

개별 증강 성능

• 토큰 노이즈: 무작위 토큰 교체가 마스킹보다 일관되게 우수한 성능을 보였습니다. 가장 좋은 개별 방법은 15%의 무작위 교체였으며, 최소 검증 손실은 3.841(베이스라인 4.015 대비)을 기록했습니다. 15% 마스킹은 3.910을 기록했습니다. 낮은 비율(5%)은 정규화 효과가 적었고, 높은 비율(30%)은 수익 체감의 법칙을 보였습니다.
• 시퀀스 순열: 50% 혼합의 R2L이 효과적이었으나(최소 손실 3.910), FIM은 이득을 주지 못했으며(최소 손실 3.947, 베이스라인과 동일) 베이스라인과 동일한 속도로 과적합되었습니다. 저자들은 FIM의 실패 원인을 훈련 형식과 평가 설정 간의 분포 불일치로 돌렸습니다.
• 타겟 오프셋: $i \le 5$ 범위에 대한 지수 가중치 적용이 가장 강력한 개별 증강이었습니다(최소 손실 3.870). 균등 가중치는 이득을 주지 못했습니다. 제한된 균등 오프셋($i \le 2$)은 적절한 정규화를 제공했으나(3.890) 더 빨리 수렴했습니다.

조합 성능

연구 결과, 조합은 하이퍼파라미터와 상호작용 유형에 매우 민다는 것이 밝혀졌습니다:

• 시너지 (Synergy): R2L과 타겟 오프셋(지수형)을 결합했을 때 시너지가 발생하여, 최고의 개별 방법과 동일한 3.841의 최소 손실을 달いました.
• 간섭 (Interference): 토큰 노이즈와 타겟 오프셋을 결합하면 강한 간섭이 발생하여 최소 손실이 베이스라인 수준으로 상승했습니다(예: 무작위 15% + 오프셋 $i \le 5$ 지수형 결과 3.995). 저자들은 이를 토큰 노이즈가 오프셋 예측에 필요한 로컬 컨텍스트를 손상시키기 때문이라고 설명합니다.
• 최적 구성: 세 가지 카테고리를 정밀하게 튜닝하여 결합했을 때 최상의 결과가 나왔습니다. 구체적으로, 5%의 무작위 교체(15%가 아님)를 50%의 R2L 및 **오프셋 $i \le 5$ (지수형)**와 결합했을 때 전체 최적의 최소 검증 손실인 3.805를 달성했습니다. 이 구성은 베이스라인 대비 0.210의 손실을 줄였습니다.
• 견고성: 안정 단계에서 확립된 순위는 WSD 감쇠 단계 이후에도 유지되었습니다. 최적의 3개 카테기 조합은 감쇠 단계에서 3.792의 최소치에 도달했습니다.

다운스트림 일반화

모든 증강 모델은 다섯 가지 벤치마크의 제로샷 정확도에서 베이스라인을 능가했습니다. 최적의 3-카테고리 조합은 평균 정확도 **42.9%**를 달성했습니다(베이스라인 41.0% 대비). 검증 손실이 정확도 순위와 완벽하게 일치하지는 않았으나(150M 규모의 노이즈 때문으로 추정), 낮은 검증 손실이 일반적으로 더 나은 일반화로 이어진다는 경향성은 확인되었습니다.

5. 의의 및 주장

본 논문은 데이터 증강이 데이터 제약적 환경에서 AR 사전 학습의 데이터 비효율성을 완화할 수 있는 실행 가능하고 가벼운 전략임을 주장합니다. 핵심 요점은 다음과 같습니다:

1. 증강을 통한 정규화: 증-강 기법은 모델이 고정된 데이터를 반복해서 통과할 때 의미 있는 신호를 추출할 수 있게 하여, 표준 AR 학습에서 관찰되는 과적합 붕괴를 지연하거나 방지합니다.
2. 무작위 교체 > 마스킹: BERT 스타일의 관례와 달리, 무작위 토큰 교체가 더 우수한 정규화 도구입니다. 이는 명시적인 부재 신호(mask)를 주는 것보다 그럴듯하지만 틀린 토큰을 식별하게 하는 것이 더 어렵기 때문입니다.
3. 형식 보존: 콘텐츠는 유지하되 순서만 바꾸는 증강(R2L)이 평가 분포와 급격히 다른 형식을 만드는 증강(FIM)보다 더 효과적입니다.
4. 하이퍼파라미터 민감도: 조합의 성공 여부는 노이즈 비율에 크게 의존합니다. 높은 노이즈율(15%)은 오프셋 목적 함수를 방해하는 반면, 낮은 노이즈율(5%)은 상호 보완적인 정규화 역할을 합니다.
5. 실용성: 확산 모델과 달리, 이 접근 방식은 아키텍처 변경이나 새로운 추론 인프라를 요구하지 않으므로 현재의 LLM 학습 파이프라인에 즉시 적용 가능한 솔루션입니다.

저자들은 데이터 필터링이나 혼합 전략에 비해 LLM 사전 학습을 위한 데이터 증강이 상대적으로 덜 연구되었지만, 다가오는 데이터의 한계를 극복하기 위한 일류 기술로서 진지하게 다뤄져야 한다고 결론짓습니다.