Beyond Random Sampling: Efficient Language Model Pretraining via Curriculum Learning

기술 요약: 무작위 샘플링을 넘어: 커리큘럼 학습을 통한 효율적인 언어 모델 사전 학습

문제 정의

대규모 언어 모델(LLM)은 엄청난 계산 및 데이터 비용을 치르며 상당한 발전을 이루었습니다. 최근 연구들은 필터링, 재가중치 부여, 데이터 혼합 최적화를 통해 데이터 품질을 개선하는 데 집중해 왔으나, **학습 데이터의 순서(ordering)**는 대체로 간과되어 왔습니다. 단순한 개념에서 복잡한 개념으로 나아가는 인간의 학습 방식과 달리, LLM은 일반적으로 무작위로 샘플링된 데이터로 학습됩니다. 본 논문은 다음과 같은 미개척 질문을 다룹니다: LLM 사전 학습의 효율성과 성능을 향상시키기 위해 어떻게 효과적인 커리큘럼 학습(CL) 전략을 구축할 수 있는가?

방법론

저자들은 LLM 사전 학습에서 커리큘럼 학습을 체계적으로 조사한 첫 번째 연구로서, 세 가지 현실적인 학습 시나리오에 걸쳐 여섯 가지 난이도 지표를 사용하여 세 가지 뚜렷한 전략을 평가합니다.

1. 난이도 지표

초기 15개의 후보군으로부터 저자들은 언어적 및 정보 이론적 특성을 나타내는, 상관관계가 낮은 6개의 지표를 선정했습니다:

• 압축률 (Compression Ratio): 정보 밀도와 중복성을 측정합니다.
• 번식도 (Fertility): 토큰화 복잡도(단어당 서브워드 토큰 수)를 측정합니다.
• Flesch 가독성 지수 (Flesch Reading Ease): 텍스트의 가독성과 이해 용이성을 포착합니다.
• MTLD (텍스트 어휘 다양도 측정): 텍스트 길이에 강건하게 어휘적 풍부함을 포착합니다.
• 토큰 수 (Number of Tokens): 토큰 수준에서의 시퀀스 길이입니다.
• 퍼플렉서티 (Perplexity): 언어적 불확실성을 반영하는 모델 중심적 지표입니다.

2. 커리큘럼 전략

본 연구는 세 가지 순서 지정 방식을 평가합니다:

• 바닐라 커리큘럼 학습 (Vanilla Curriculum Learning): 고정된 데이터셋을 쉬운 것에서 어려운 것으로 엄격하게 정렬합니다 (시나리오 1: 제한된 데이터).
• 페이싱 기반 샘플링 (Pacing-Based Sampling): 페이싱 함수(선형, 이차 함수, 역 이차 함수)를 사용하여 시간 경과에 따른 난이도 분포를 제어하며 대규모 데이터 풀에서 샘플링합니다 (시나리오 2: 무제한 데이터).
• 인터리브 커리큘럼 (Interleaved Curricula): 점진적인 구조를 유지하면서 각 학습 세그먼트 내에서 난이도 수준을 혼합합니다 (시나리오 2).

3. 실험 설정

• 모델: LLaMA3.2 아키텍처를 기반으로 한 디코더 전용 언어 모델 (0.5B, 1B, 3B 파라미터).
• 데이터셋: CulturaX의 영어 서브셋 (사전 정제 및 중복 제거 완료).
• 시나리오:
  1. 제한된 데이터: 10B 토큰의 고정된 데이터셋으로 학습.
  2. 무제한 데이터: 페이싱을 사용하여 더 큰 풀에서 최대 10B 토큰까지 샘플링.
  3. 지속적 학습 (Continual Training): CL을 웜업 단계로 사용한 후 추가 데이터(최대 100B 토큰)에 대해 무작위 샘플링 수행.
• 평가: 상식 추론, 언어 이해, 독해력, 세계 지식을 다루는 8개의 벤치마크 (0-shot 평가).

주요 결과

1. 수렴 가속화

커리큘럼 학습은 초기 및 중기 학습 단계에서 일관되게 수렴을 가속화합니다. 커리큘럼으로 학습된 모델은 무작위 샘플링 베이스라인에 비해 18–45% 더 빠르게(학습 스텝 기준) 베이스라인 성능에 도달했습니다.

• 효과적인 지표: MTLD, 토큰 수, 압축률이 가장 효과적인 신호였습니다.
• 페이싱: 언어적 풍부성 지표(압축률, MTLD, 번식도)에는 선형 페이싱이 가장 잘 작동했으며, Flesch 가독성 지수와 토큰 수에는 이차 함수 페이싱이 가장 좋은 결과를 냈습니다.

2. 웜업을 통한 지속적인 성능 향상

핵심적인 발견은 커리큘럼 학습을 표준 무작위 샘플링 전의 웜업 전략으로 사용할 때 지속적인 개선이 이루어진다는 점입니다.

• CL(예: MTLD 또는 Flesch 가독성 지수 사용)로 학습된 모델을 무작위 샘플링으로 계속 학습시키면, 순수 무작위 베이스라인보다 성능 우위를 유지합니다.
• 이 "웜업" 접근 방식은 최종 성능을 베이스라인 대비 최대 **3.5%**까지 향상시켰습니다.
• 이러한 이점은 100B 토큰까지 규모를 키웠을 때도 유효했으며, 웜업 모델은 약 3.1%의 개선을 달려 성취했습니다.

3. 지표별 관찰 사항

• 퍼플렉서티: 놀랍게도 퍼플렉서티에 따른 순서 지정은 초기에 강한 이득을 보였으나, 후기 단계에서는 저하되었습니다. 이는 고-퍼플렉서티 샘플이 노이즈가 많거나 품질이 낮기 때문일 가능성이 큽니다.
• Flesch 가독성 지수: 특히 이차 함수 페이싱과 함께, 수렴의 징후 없이 지속적인 개선을 보이는 독특한 패턴을 보였습니다.
• 인터리브 학습: 압축률과 토큰 수에 대해서만 일관된 이점을 보였으며, 다른 지표들은 베이스라인과 비슷하거나 약간 낮은 성능을 보였습니다.

4. 강건성 및 확장성

• 어블레이션 (Ablation): CL의 이점이 우연이 아니라 여러 실행에 걸쳐 강건하다는 것이 확인되었습니다.
• 순서 지정 vs 필터링: 데이터 선택과 데이터 순서 지정의 효과를 분리한 실험 결과, 초기 단계의 CL 데이터가 필터 역할을 하기도 하지만, 순서 지정 그 자체가 단순히 "좋은" 데이터를 선택하는 것 이상의 추가적인 이점을 제공한다는 것을 보여주었습니다.
• 규모: 결과는 더 큰 모델(1B 및 3B 파라미터)과 더 큰 데이터셋(최대 100B 토큰)에서도 일반화되었습니다.

의의 및 주장

본 논문은 데이터 순서 지정이 LLM 사전 학습의 효율성을 높이기 위해 기존의 데이터 선택 방법(필터링이나 프루닝 등)과 결별된, 실용적이고 직교적인 메커니즘이라고 주장합니다.

• 낮은 오버헤드: 이 접근 방식은 무시할 수 있는 수준의 계산 오버헤드를 도입합니다. 난이도 지표는 가볍고, 모델 독립적이며, 효율적으로 사전 계산될 수 있습니다 (10B 토큰에 대해 단 몇 달러와 몇 분의 시간만 소요).
• 실용적 메커니즘: "웜업" 전략이 가장 강건하고 실용적인 설정으로 강조되며, 모델 아키텍처나 학습 알고리즘을 변경하지 않고도 더 빠른 학습과 향상된 최종 성능을 모두 달성할 수 있는 간단한 방법을 제공합니다.
• 일반화 가능성: 결과는 구조화된 학습(쉬운 것에서 어려운 것으로)이 대규모 데이터셋에서도 유익하다는 점을 시사하며, 거대 데이터셋에서는 무작위 샘플링이 최적이라는 가설에 도전합니다.

저자들은 커리큘럼 학습이 데이터 및 계산 효율적인 LLM 개발을 강화하는 "단순하면서도 강력한 메커니즘"을 제공하며, 이는 더 확장 가능한 모델 학습의 길을 열어준다고 결론짓습니다. 또한 디코더 전용 영어 모델에 집중했다는 점과 정적인 난이도 점수를 사용했다는 한계를 언급하며, 향-적응형(adaptive), 모델 인식형(model-aware) 커리큘럼을 탐구하는 것이 향후 과제임을 시사했습니다.