daVinci-LLM:Towards the Science of Pretraining

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 생태계는 투명성의 계층 구조로 나뉘어 있습니다.

• 상업적 폐쇄성: ChatGPT, Claude, Gemini 등 상업적 모델은 API 만 제공하며, 학습 데이터 구성, 혼합 비율, 훈련 역학 등 핵심적인 사전 학습 (Pretraining) 세부 사항이 공개되지 않습니다.
• 학계의 한계: OLMo 와 같은 오픈 웨이트 모델은 투명성을 제공하지만, 대규모 사전 학습에 필요한 계산 자원 (Compute) 이 부족하여 체계적인 실험 (수백 개의 ablation study 등) 을 수행하기 어렵습니다.
• 핵심 모순: "사전 학습 단계가 모델의 능력 상한선 (Capability Ceiling) 을 결정함"에도 불구하고, 이 단계는 상업적 압력과 자원 부족으로 인해 체계적으로 연구되지 못하고 있습니다. 후속 학습 (Post-training) 은 사전 학습의 기반을 근본적으로 극복하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 산업 규모의 계산 자원과 학문적 연구의 자유를 결합하여 daVinci-LLM을 개발했습니다. 이는 30 억 파라미터 (3B) 모델이지만, 8 조 토큰 (8T tokens) 에 걸쳐 체계적으로 학습되었습니다.

가. 데이터 다윈주의 (Data Darwinism Framework)

데이터 처리의 깊이를 체계적으로 분류하기 위해 L0-L9 taxonomy를 도입했습니다.

• L0-L2: 데이터 수집, 형식 정규화, 규칙 기반 필터링.
• L3: 경량 모델 기반 필터링 (품질 점수화).
• L4: 생성적 정제 (Generative Refinement). LLM 을 사용하여 노이즈 제거, 구조 재구성, 논리적 흐름 명확화 (예: 수학 문제의 단계별 풀이 명시).
• L5: 인지적 완성 (Cognitive Completion). 암시적 추론을 명시적 단계로 변환하거나, 도메인 특화 QA(질문 - 답변) 를 합성하여 새로운 추론 체인을 생성.
• 데이터 구성: 일반 웹 텍스트, 코드, 과학 (수학 포함), QA 로 구성되며, 각 소스는 해당 Darwin Level 로 표기되어 처리 깊이가 투명하게 공개됩니다.

나. 적응형 커리큘럼 학습 (Adaptive Curriculum Training)

단순한 토큰 소비가 아닌, 모델의 능력 성숙도에 따라 데이터 전략을 변경하는 2 단계 학습을 수행했습니다.

1. Stage 1 (기초 확립, 6T 토큰):
   • 1-1 단계: 광범위한 웹 텍스트 (Common Crawl) 를 기반으로 언어 유창성과 기초 지식 확립.
   • 1-2 단계: 일반 지식의 포화 (Saturation) 를 감지하고, 추론 능력이 여전히 성장하는 코드와 과학 데이터의 비율을 증가시켜 추론 능력을 강화.
2. Stage 2 (추론 능력 향상, 2T 토큰):
   • 2-1 단계: 구조화된 QA 데이터, 정제된 과학 데이터, 코드를 균형 있게 혼합 (각 30% 수준) 하여 과적합 방지 및 안정성 확보.
   • 2-2 단계: 안정적인 기반 위에 QA 데이터 비율을 70% 로 대폭 증대시켜 고차원적 추론 능력을 집중적으로 강화.

다. 체계적 실험 (Systematic Exploration)

• 200 개 이상의 통제된 Ablation Study를 수행하여 데이터 처리 깊이, 훈련 역학, 데이터 혼합 비율, 평가 프로토콜의 영향을 검증했습니다.
• 완전 개방 (Fully-Open): 모델 가중치뿐만 아니라 중간 체크포인트, 전체 학습 로그, 데이터 처리 파이프라인, 실패한 실험 결과까지 모두 공개했습니다.

3. 주요 기여 (Key Contributions)

1. 데이터 처리 깊이의 과학적 증명: 단순한 데이터 양의 확장 (Volume Scaling) 대신, **데이터 처리 깊이 (Processing Depth)**가 모델 능력에 결정적임을 입증했습니다. 특히 L4(정제) 와 L5(합성) 단계의 데이터가 복잡한 추론 능력 향상에 필수적임을 보였습니다.
2. 적응형 훈련 역학: 일반 지식은 초기에 포화되지만, 코드와 과학 추론은 장기 학습이 필요함을 발견했습니다. 이에 따라 데이터 혼합 비율을 동적으로 조정하고, 추후에는 단순 텍스트 비율 조정에서 구조화된 QA 데이터 도입으로 전략을 전환하는 것이 효과적임을 증명했습니다.
3. 혼합 설계의 균형: 추론 데이터의 집중 (Intensification) 과 일반 능력 보존 (Preservation) 사이의 긴장 관계를 해결하기 위해, 초기에는 균형 잡힌 혼합을 유지하다가 기반이 마련된 후 집중적으로 강화하는 점진적 전략을 제시했습니다.
4. 평가 프로토콜의 중요성: PPL(Perplexity) 기반 평가와 생성 (Generative) 기반 평가는 서로 다른 능력을 측정하며, QA 데이터가 풍부한 모델은 생성 평가에서 더 큰 우위를 보일 수 있음을 지적했습니다.

4. 결과 (Results)

• 성능: daVinci-LLM-3B(30 억 파라미터) 는 OLMo-3-7B(70 억 파라미터) 와 동급의 전반적인 성능을 달성했습니다.
• 세부 벤치마크:
  • 수학 (MATH): 62.8 점 (OLMo-3 7B 대비 +23 점 이상 우위).
  • 코드 생성: 55.99 점 (7B 모델과 동급).
  • 과학 추론: 48.30 점 (7B 모델 우위).
  • 일반 지식: 7B 모델과 비교 가능한 수준 유지 (catastrophic forgetting 없음).
• 효율성: 3B 모델이 7B 모델의 성능을 따라잡은 것은 데이터 양의 단순 증가가 아닌, 데이터 품질과 훈련 전략의 최적화가 가능함을 보여줍니다.

5. 의의 (Significance)

• 사전 학습의 과학화: 사전 학습을 '직관 (Intuition)'에 의존하는 공학이 아닌, **체계적이고 검증 가능한 과학 (Science)**으로 전환하는 모델을 제시했습니다.
• 투명성과 재현성: 산업계와 학계의 간극을 메우며, 연구 커뮤니티가 데이터 처리, 훈련 전략, 실패 사례를 바탕으로 누적된 지식을 쌓을 수 있는 인프라를 제공합니다.
• 미래 방향: 데이터의 '양'보다 '처리 깊이'와 '적응형 전략'이 모델 성능 향상의 핵심 열쇠임을 보여주어, 향후 더 효율적인 모델 개발을 위한 방향성을 제시합니다.

이 논문은 daVinci-LLM을 통해 오픈 소스 생태계에서 처음으로 산업 수준의 규모와 학문적 엄밀함을 결합한 사전 학습의 완전한 투명성을 실현했다는 점에서 큰 의의를 가집니다.