How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 전구 (Pretraining) 데이터는 웹 크롤링 데이터를 기반으로 하지만, 사용 가능한 고품질 데이터의 고갈과 데이터의 질적 한계에 직면해 있습니다. 이를 해결하기 위해 생성형 AI 를 활용한 합성 데이터 (Synthetic Data) 가 새로운 대안으로 부상했으나, 다음과 같은 체계적인 연구가 부재했습니다:

• 설계 공간의 불명확성: 재작성 (Rephrasing) 전략, 생성기 모델 (Generator Model), 소스 데이터 (Source Data) 의 조합에 따른 체계적인 비교 분석이 부족함.
• 경험적 접근의 한계: 기존 연구들은 특정 방법론 (예: Q&A 생성, 요약 등) 만을 고립적으로 평가하여, 어떤 요소가 실제 성능 향상에 결정적인지 명확하지 않음.
• 비용 대비 효율성: 대규모 모델을 사용하여 합성 데이터를 생성하는 과정에서 발생하는 막대한 연산 비용과 실제 성능 향상 간의 트레이드오프가 불명확함.

2. 방법론 (Methodology)

저자들은 전구 데이터를 생성하는 파이프라인의 세 가지 핵심 축을 체계적으로 분석하기 위해 통제된 실험 (Controlled Experiments) 을 수행했습니다. 총 1 조 (1 Trillion) 토큰 이상을 생성하여 실험했습니다.

• 실험 프레임워크:
  • 재작성 전략 (Rephrasing Strategy): 기존 8 가지 프롬프트 (Nemotron-CC, REWIRE, BeyondWeb 등) 와 새로운 4 가지 교육적 구조화 프롬프트를 비교했습니다.
    • 새로운 구조화 포맷: 수학 문제 (Math), FAQ, 표 (Table), 튜토리얼 (Tutorial).
  • 생성기 모델 (Generator Model):
    • 규모: 135M 에서 27B 파라미터까지 다양한 크기 (Gemma 3, SmolLM2 등) 를 테스트하여 스케일링 법칙을 분석.
    • 아키텍처: 약 1B 파라미터 크기의 6 가지 모델 패밀리 (Gemma, Llama, Qwen, Granite, Falcon, SmolLM2) 를 비교.
  • 데이터 구성 (Data Composition):
    • 소스 데이터 (Dsource): DCLM, Cosmopedia, FineWeb (고품질/저품질) 등 원본 웹 텍스트의 품질이 결과에 미치는 영향.
    • 혼합 데이터 (Mix-in Data): 합성 데이터와 원본 웹 데이터를 혼합하는 비율 및 원본 데이터의 품질이 최종 모델 성능에 미치는 영향.
  • 평가: 12 개의 벤치마크 (ARC, MMLU, SQuAD, GSM8K 등) 를 통해 전구된 1.2B 파라미터 모델의 성능을 측정했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

A. 재작성 프롬프트의 중요성 (Dominant Factor)

• 구조화된 교육적 포맷의 우위: 단순한 재작성 (Paraphrasing) 보다 Math, FAQ, Table, Tutorial과 같은 구조화된 교육적 포맷이 전구 성능을 가장 크게 향상시켰습니다.
  • 특히 Math 포맷은 DCLM 베이스라인 대비 1.54 포인트, 기존 최상위 프롬프트 (Diverse QA Pairs) 보다도 0.73 포인트 더 높은 성능을 기록했습니다.
• 결론: 프롬프트 설계가 성능을 결정하는 가장 지배적인 요소입니다.

B. 생성기 모델의 규모 (Model Scale)

• 1B 파라미터의 포화점: 생성기 모델의 크기를 1B 이상으로 늘리는 것은 대부분의 프롬프트에서 추가적인 성능 향상을 가져오지 못했습니다.
  • 1B 모델 (Gemma 3 1B, SmolLM2 1.7B) 이 27B 모델보다 오히려 더 좋은 성능을 보이거나 동등한 결과를 보였습니다.
  • 복잡한 프롬프트 (Guided Rewrite) 의 경우 4B 모델에서 소폭의 향상이 있었으나, 일반적인 구조화 프롬프트에서는 큰 모델이 불필요했습니다.
• 아키텍처의 영향: SmolLM2 1.7B 가 다른 모델 패밀리보다 우수한 성능을 보였는데, 이는instruction-tuning 데이터에 '재작성 (Rewrite)' 작업이 포함되어 있어 구조적 변환에 특화되어 있기 때문으로 분석되었습니다.

C. 데이터 품질과 혼합 (Data Quality & Mixing)

• 혼합 데이터의 필수성: 합성 데이터만으로는 학습이 불가능하며, 반드시 원본 웹 데이터 (Mix-in Data) 와 혼합되어야 합니다. 순수 합성 데이터는 자연어 이해 (NLU) 능력과 상식 추론을 저하시켜 '모델 붕괴 (Model Collapse)' 위험이 있습니다.
• 소스 데이터의 상대적 중요성: 고품질의 Mix-in 데이터를 사용한다면, 소스 데이터 (원본 웹 텍스트) 의 품질이 낮더라도 합성 과정을 통해 고품질 학습 토큰으로 '업사이클링 (Up-cycling)'이 가능했습니다. 즉, Mix-in 데이터의 선택이 소스 데이터의 품질보다 더 중요합니다.

D. 출력 다양성 (Output Diversity)

• 템플릿 붕괴 (Template Collapse) 현상: 모델이 너무 완벽하게 지시 사항을 따를 경우 (예: Qwen 3), 출력의 구조가 획일화되어 학습 신호가 포화되는 현상이 발생했습니다.
• 다양성의 가치: SmolLM2 는 지시 준수율은 낮았으나 (완전한 해답 제공 비율 68%), 출력 길이와 구조의 다양성이 높았으며, 이로 인해 더 나은 전구 성능을 달성했습니다. 즉, 형식적 일관성보다 출력의 다양성이 더 중요합니다.

4. 결과: FINEPHRASE 데이터셋 (Results)

위 연구 결과를 바탕으로 FINEPHRASE라는 4860 억 토큰 규모의 오픈 소스 합성 데이터셋을 구축했습니다.

• 구성: SmolLM2 1.7B 모델을 사용하여 FineWeb 데이터를 Math, FAQ, Table, Tutorial 포맷으로 재작성.
• 성능: 기존 모든 합성 데이터 베이스라인 (Nemotron-HQ-Synth, REWIRE 등) 을 압도하며, DCLM 과 같은 고품질 웹 데이터 베이스라인보다도 높은 성능을 기록했습니다.
• 비용 효율성:
  • 기존 방법 (REWIRE 등) 대비 최대 30 배의 생성 비용 절감.
  • GPU 시간 대비 토큰 생성량 (Throughput) 이 기존 대비 30 배 향상.
  • 4860 억 토큰 생성에 약 14,700 GPU 시간 소요 (REWIRE 의 4000 억 토큰 생성에 소요된 35 만 GPU 시간 대비 압도적 효율).

5. 의의 및 결론 (Significance)

이 논문은 합성 데이터 생성의 "블루프린트"를 제시합니다.

1. 비용 효율성 극대화: 거대 모델을 사용할 필요 없이, **적은 규모의 모델 (1B~1.7B)**과 잘 설계된 구조화 프롬프트를 결합하는 것이 가장 효율적인 전략임을 증명했습니다.
2. 데이터 전략의 전환: 소스 데이터의 품질에 매달리기보다, Mix-in 데이터 (원본 웹 데이터) 의 품질을 확보하고 합성 데이터를 효과적으로 혼합하는 전략이 중요합니다.
3. 실용적 기여: FINEPHRASE 데이터셋과 생성 프레임워크를 공개하여 연구 커뮤니티가 고품질의 합성 데이터를 저비용으로 활용할 수 있는 기반을 마련했습니다.

요약하자면, **"합성 데이터의 질은 생성 모델의 크기가 아니라 프롬프트의 구조적 설계와 데이터 혼합 전략에 의해 결정된다"**는 것이 이 논문의 핵심 메시지입니다.