논문 개요

이 논문은 프론티어급 대규모 언어 모델 (LLM) 이 뛰어난 추론 및 수학 능력을 보여주고 있음에도 불구하고, 원시 (raw) 과학 데이터 소스로부터 도메인 특화 과학 언어 모델을 실제로 훈련시키는 과정이 충분히 문서화되어 있지 않다는 문제의식에서 출발합니다. 저자는 13.6 억 (1.36B) 파라미터 규모의 과학 언어 모델을 원시 arXiv LaTeX 소스 (수학, 컴퓨터 과학, 이론 물리학) 로부터 직접 훈련시킨 엔드 - 투 - 엔드 사례 연구를 제시합니다.

1. 연구 문제 (Problem)

• 데이터 처리의 불투명성: 기존 공개된 LLM 시스템들은 대부분 대규모 큐레이션된 코퍼스나 비공개 전처리 파이프라인에 의존하며, 오픈 액세스 과학 데이터 (arXiv) 로부터 직접 모델을 구축하는 구체적인 공학적 과정은 부족합니다.
• 과학 텍스트의 고유한 도전 과제: arXiv 데이터는 이질적인 LaTeX 아카이브, 다중 파일 프로젝트 구조, 커스텀 매크로, 심볼 중심의 내용, 일관성 없는 메타데이터 등을 포함하고 있어, 단순한 텍스트 처리로는 훈련이 어렵습니다.
• 제한된 컴퓨팅 자원: 소규모 연구자나 제한된 예산 (예: 2 개의 A100 GPU) 을 가진 연구자들이 도메인 특화 모델을 훈련할 때 겪는 실질적인 병목 현상과 최적화 전략에 대한 정보가 부족합니다.

2. 방법론 (Methodology)

A. 데이터 파이프라인 및 전처리

• 소스: 수학, CS, 물리학 등 특정 카테고리 (math, cs, hep-th 등) 의 arXiv LaTeX 소스.
• 필터링 전략:
  • 메타데이터 필터링: 2000 년 이후 논문만 선별, 철회 (withdrawn) 된 논문 제거, 2,000 자 미만 문서 제거.
  • 언어 감지: 비영어권 문서 제거 (심볼로 인한 오검출 가능성 존재).
  • 아카이브 검증: 손상된 tar 파일 제거.
  • LaTeX 정제: 그림, 참조, 비의미적 명령어 제거 및 수식 보존.
  • 중복 제거: 해시 기반 정밀 중복 제거 및 유사도 기반 근사 중복 제거.
• 데이터 믹스: 정제된 arXiv (80GB) 를 주력으로 사용하며, OpenWebMath, StackExchange, MathInstruct 등을 후속 훈련 (Post-training) 에 활용하여 추론 및 대화 능력을 조정했습니다.

B. 토크나이저 (Tokenization) 전략

• 문제: 일반 웹 텍스트용 토크나이저는 수학적 기호와 LaTeX 구조를 과도하게 분할 (fragmentation) 하여 효율성을 떨어뜨립니다.
• 해결: LLaMA 호환 SentencePiece 토크나이저 (어휘 크기 약 102,400) 를 채택했습니다.
  • 도메인 특화 토크나이저를 직접 훈련하는 것보다, 기존 LLaMA 토크나이저의 안정성과 임베딩 초기화 이점을 우선시했습니다.
  • 결과적으로 200GB 의 정제된 데이터에서 521.8 억 (52.18B) 토큰을 추출했습니다.

C. 모델 아키텍처

• 구조: LLaMA 기반의 Dense Decoder-only Transformer.
• 스펙: 13.6 억 파라미터, Hidden dimension 2048, 24 레이어, 16 어텐션 헤드, RoPE, SiLU 활성화 함수, bfloat16 정밀도.
• 선택 이유: MoE(Mixture-of-Experts) 보다 훈련 안정성, 결정론적 컴퓨팅, 제한된 GPU 환경 (2xA100) 에서의 효율적인 확장성을 위해 Dense 구조를 선택했습니다.

D. 훈련 전략

• 하드웨어: 2 개의 NVIDIA A100 (80GB) GPU.
• 커리큘럼 학습 (Curriculum Learning):
  1. 단어 Warm-up: 초록, 서론, 결론 위주 훈련 (언어 유창성 확보).
  2. 심볼 통합: 전체 LaTeX 본문 및 수식 포함 (구조적 추론 적응).
  3. 혼합: 설명 텍스트와 수식 혼합.
• 최적화: AdamW, ZeRO Stage 2, Gradient Checkpointing, Gradient Accumulation 사용.

3. 주요 기여 (Key Contributions)

1. 재현 가능한 파이프라인: 원시 arXiv LaTeX 소스로부터 과학 코퍼스를 구축하는 엔드 - 투 - 엔드 파이프라인 공개.
2. 데이터 수율 (Yield) 분석: 메타데이터 필터링 및 추출 실패로 인한 데이터 손실에 대한 정량적 분석.
3. 토크나이저 통찰: 수학 및 심볼이 풍부한 코퍼스를 위한 토크나이저 설계에 대한 실용적 인사이트 제공.
4. 훈련 안정성 분석: 24 회 실험을 통해 데이터 규모 (20GB vs 200GB), 학습률, 하드웨어 병목이 훈련 동역학에 미치는 영향을 상세히 기록.

4. 결과 (Results)

• 데이터 규모의 영향:
  • 소규모 데이터 (20GB): 훈련 손실이 불안정하게 진동하고 수렴이 느림 (과적합 및 노이즈 심함).
  • 전체 데이터 (200GB): 손실이 매끄럽게 감소하고 안정적이며, 전형적인 Transformer 의 긴 꼬리 (long-tail) 수렴 행동 관찰.
• 성능: 최종 검증 손실 (Validation Loss) 은 약 1.438로, Perplexity 약 4.2를 기록하여 과학 코퍼스 적응력이 우수함을 입증.
• 하드웨어 효율성: GPU 사용률 95% 이상 유지, I/O 병목 현상이 초기에는 컴퓨팅 능력보다 더 큰 제약 요인으로 작용함을 확인.
• 과적합 부재: 훈련 손실과 검증 손실의 발산이 관찰되지 않아, 제한된 훈련 기간 내에서는 과적합이 발생하지 않음.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 엔지니어링의 중요성: 소규모 모델 훈련에서 아키텍처 변경보다 데이터 전처리, 필터링, 토크나이저 설계가 모델 성능에 더 큰 영향을 미칠 수 있음을 강조합니다.
• 제한된 자원 환경의 실용적 가이드: 2 개의 A100 GPU 와 같은 제한된 컴퓨팅 자원으로도 도메인 특화 모델을 성공적으로 훈련할 수 있음을 증명하며, 중규모 연구자들에게 구체적인 엔지니어링 가이드를 제공합니다.
• 투명성: 대규모 모델의 비공개 파이프라인과 달리, 데이터 손실, 병목 현상, 실패 사례를 포함한 투명한 보고를 통해 과학적 언어 모델 연구의 재현성을 높이는 데 기여합니다.
• 한계: 현재 모델은 지시 (Instruction) 추종 능력이 없으며 (후속 훈련 필요), 긴 문맥 (Long-context) 훈련이 제한되었고, 특정 과학 도메인에만 편향되어 있습니다.

이 논문은 "새로운 아키텍처 제안"보다는 **"제한된 환경에서 과학적 언어 모델을 어떻게 효과적으로 훈련시키는가"**에 대한 공학적, 실증적 기록으로서의 가치가 큽니다.