Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

이 논문은 공개된 데이터를 체계적으로 재작성하여 생성한 오픈 라이선스 데이터셋 (SwallowCode 와 SwallowMath) 을 통해 LLM 의 코드 및 수학 추론 성능을 획기적으로 향상시키는 '변환 및 유지 (transform-and-retain)' 방법론을 제안하고 그 유효성을 입증합니다.

핵심

이 논문은 **"대형 인공지능 (LLM) 이 수학이나 코딩을 잘하려면, 무엇을 배웠느냐가 가장 중요하다"**는 사실을 증명하고, 그 '배움의 재료'를 어떻게 더 훌륭하게 다듬을 수 있는지 보여주는 연구입니다.

기존의 AI 는 인터넷에서 무작위로 긁어온 방대한 양의 데이터로 학습했는데, 이 데이터에는 오류가 많거나, 불필요한 잡음이 섞여 있거나, 설명이 부실한 것들이 많았습니다. 마치 요리사가 식자재 장터에서 낡고 상한 채소를 골라내지 않고 그대로 요리에 섞어 넣은 것과 비슷하죠.

저자들은 이 문제를 해결하기 위해 **SwallowCode(코드용)**와 **SwallowMath(수학용)**라는 두 가지 새로운 '고급 식자재 세트'를 만들었습니다. 핵심 아이디어는 **"나쁜 데이터를 버리는 게 아니라, AI 가 직접 수정하고 다듬어서 더 좋은 데이터로 만드는 것"**입니다.

이 과정을 일상적인 비유로 설명해 드릴게요.

---

1. SwallowCode: 코딩 실력을 키우는 '명품 요리 교실'

기존의 코드 데이터 (The-Stack-v2) 는 마치 초보 요리사들이 만든 레시피 노트와 같았습니다. 재료가 부족하거나, 계량법이 엉망이거나, 심지어 요리할 수 없는 재료 (오류) 가 섞여 있었죠.

저자들은 이 노트를 다음과 같은 4 단계 과정을 거쳐 '명품 레시피'로 바꿨습니다.

1. 식중독 검사 (문법 오류 제거): 요리할 수 없는 재료 (문법 오류가 있는 코드) 를 먼저 골라냅니다.
2. 위생 점검 (스타일 필터링): 재료가 너무 더럽거나 (불필요한 주석), 조리법이 엉망인 것 (pylint 도구로 검사) 을 걸러냅니다.
3. 요리사 선생님의 첨삭 (스타일 가이드): AI 가 레시피를 다시 써줍니다. "이 재료 이름은 너무 길어요, '양파'라고 적으세요", "이 과정은 설명을 더 자세히 적으세요"라고 Google 의 요리 규칙에 맞게 다듬어 줍니다.
4. 완벽한 레시피 완성 (자기완결성 최적화): 가장 중요한 단계입니다. "이 요리를 하려면 따로 다른 재료를 사와야 해요"라고 적힌 레시피를, 모든 재료가 한 장에 다 들어있는 완벽한 레시피로 바꿉니다. 또한, 비효율적인 조리법 (예: 100 번 반복해서 끓이기) 을 효율적인 방법 (한 번에 끓이기) 으로 고쳐줍니다.

결과: 이 '다듬어진 레시피'로 학습한 AI 는 기존에 낡은 레시피로 학습한 AI 보다 코딩 테스트 (HumanEval) 에서 17% 이상 더 높은 점수를 받았습니다. 즉, 같은 양의 공부를 해도 훨씬 더 똑똑해진 것입니다.

2. SwallowMath: 수학 문제를 푸는 '명쾌한 해설서'

수학 데이터 (Finemath-4+) 도 비슷했습니다. 문제와 답이 섞여 있고, 불필요한 웹사이트 헤더나 푸터가 붙어 있으며, 해설이 너무 길거나 생략된 경우가 많았습니다.

저자들은 AI 를 '수학 선생님'으로 시켜서 데이터를 다시 썼습니다.

• 불필요한 잡음 제거: 문제 옆에 붙은 "작성일: 2023 년", "개인정보 보호 정책" 같은 쓸모없는 글들을 지웁니다.
• 맥락 복원: "왜 이 공식을 썼지?"라고 궁금한 부분이 있으면, 그 이유를 자연스럽게 채워 넣습니다.
• 명쾌한 해설: "답은 5 입니다"라고만 적힌 것을, **"1 단계, 2 단계, 3 단계로 이렇게 계산했기 때문에 5 가 됩니다"**라고 차근차근 설명하는 형태로 바꿉니다.

결과: 이 '명쾌한 해설서'로 학습한 AI 는 수학 문제 (GSM8K, MATH) 를 풀 때 정확도가 12%~7% 이상 향상되었습니다.

3. 핵심 교훈: "버리지 말고, 다듬어라 (Transform-and-Retain)"

기존 연구들은 "나쁜 데이터는 아예 버려라 (Filtering)"라고 했습니다. 하지만 저자들은 **"나쁜 데이터도 다듬으면 보석이다"**라고 주장합니다.

• 비유: 쓰레기 더미에서 보석을 찾는 대신, 보석 광부 (AI) 가 직접 돌을 갈아서 보석으로 만드는 과정입니다.
• 효과: 같은 학습 시간 (500 억 토큰) 을 투자해도, 다듬어진 데이터로 학습한 AI 는 훨씬 더 높은 성과를 냅니다. 이는 마치 비싼 고급 식재료를 써서 같은 시간 동안 요리하면 훨씬 맛있는 요리가 나오는 것과 같습니다.

4. 왜 이 연구가 중요한가요?

지금까지 최고의 AI 모델들은 비공개 데이터를 사용해서 "우리가 무엇을 배웠는지"를 알려주지 않았습니다. 하지만 이 연구는 누구나 무료로 쓸 수 있는 '다듬어진 데이터'와 '다듬는 방법 (코드)'을 공개했습니다.

• 공정한 경쟁: 누구나 이 '명품 식자재'를 써서 똑똑한 AI 를 만들 수 있게 되었습니다.
• 재현 가능성: "어떻게 다듬었는지"를 모두 공개했기 때문에, 다른 연구자들도 이 방법을 따라 할 수 있습니다.

요약

이 논문은 **"AI 의 실력은 학습 데이터의 질에 달려 있다"**는 것을 증명하며, 나쁜 데이터를 AI 가 직접 수정하고 다듬어서 '명품 데이터'로 만드는 새로운 방법을 제시했습니다. 이는 코딩과 수학 분야에서 AI 의 능력을 획기적으로 끌어올린, 매우 실용적이고 혁신적인 연구입니다.

마치 낡은 옷을 버리는 대신, 재단사가 와서 옷을 다듬고 수선해서 명품으로 만든 것과 같습니다. 이제 누구나 그 '수선된 옷'을 입고 더 멋진 AI 를 만들 수 있게 된 것입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 프로그래밍 합성 및 수학적 추론 능력은 사전 학습 코퍼스 (corpus) 의 품질에 근본적으로 제한을 받습니다.

• 기존 데이터의 한계: The-Stack-v2(코드) 나 Finemath-4+(수학) 와 같은 기존 공개 데이터셋은 주로 웹 크롤링 기반의 규칙 추출이나 모델 기반 점수 매기기에 의존합니다. 이로 인해 노이즈가 많고, 중복되며, 스타일이 일관되지 않은 데이터가 포함되어 있습니다.
• 필터링의 비효율성: 기존 방법론 (예: Stack-Edu) 은 저품질 데이터를 '제거 (filtering)'하는 데 집중하여, 데이터의 양을 줄이고 잠재적 학습 기회를 상실하는 문제가 있었습니다.
• 데이터 품질 격차: Qwen3, DeepSeek-V3 등 최첨단 오픈 가중치 모델들의 사전 학습 데이터가 공개되지 않아, 오픈 커뮤니티는 고품질 데이터에 접근할 수 없어 '데이터 품질 격차'가 심화되고 있습니다.

2. 방법론 (Methodology)

저자들은 "필터링 (Filtering)"이 아닌 "변환 및 유지 (Transform-and-Retain)" 접근법을 제안합니다. 즉, 저품질 데이터를 버리는 대신 LLM 을 활용하여 재작성 (rewriting) 하여 고품질 데이터로 변환하는 파이프라인을 구축했습니다.

A. SwallowCode (코드 데이터셋)

The-Stack-v2 의 Python 스니펫을 기반으로 약 161 억 토큰 규모의 데이터셋을 구축하기 위해 4 단계 파이프라인을 적용했습니다.

1. 구문 검증 (Syntax Validation): Python 3.10 기준으로 컴파일되지 않는 코드를 제거합니다.
2. Lint 기반 필터링 (Pylint Filtering): pylint 를 사용하여 코딩 스타일 점수가 7.0 미만인 코드를 제거하고, 과도한 주석에 페널티를 부여합니다.
3. 스타일 가이드 코드 재작성 (SGCR, Style-Guided Code Rewriting): LLM(Llama-3.3-70B-Instruct) 을 사용하여 Google Python Style Guide 에 따라 변수명, 주석, 타입 힌트, 모듈화 등을 개선합니다.
4. 자기 완결성 최적화 재작성 (SCOR, Self-Contained Optimization Rewriting): 외부 의존성 제거, 비효율적인 알고리즘 최적화, 단순한 코드들을 교육적 가치가 있는 실행 가능한 예제로 변환하여 코드가 독립적으로 실행되도록 합니다.

B. SwallowMath (수학 데이터셋)

Finemath-4+ 를 기반으로 약 23 억 토큰 규모의 데이터셋을 구축했습니다.

• 재작성 프로세스: 웹 헤더/푸터 제거, 불필요한 메타데이터 삭제, 누락된 문맥 복원, 해설을 간결하고 단계별로 재구성하는 5 단계 LLM 프롬프트를 적용했습니다. 이는 코드 재작성의 자기 완결성 및 스타일 개선 개념을 수학 도메인에 적용한 것입니다.

C. 실험 설정

• 기저 모델: Llama-3.1-8B (Qwen2-7B 로도 검증).
• 학습 조건: 고정된 500 억 토큰 예산 하에 지속적인 사전 학습 (Continual Pre-training) 수행.
• 비교 대상: Stack-Edu, The-Stack-v2, CodeParrot-Clean 등 기존 오픈 코퍼스.
• 데이터 오염 방지: HumanEval, GSM8K 등 평가 벤치마크와의 정밀한 중복 제거 (Decontamination) 및 재작성 LLM 의 지식 컷오프 이후 데이터 오염 여부 검증 수행.

3. 주요 기여 (Key Contributions)

1. 오픈 라이선스 고품질 데이터셋 공개: Llama 3.3 Community License 하에 SwallowCode와 SwallowMath를 공개하여 오픈 커뮤니티의 데이터 접근성을 높였습니다.
2. Transform-and-Retain 패러다임: 데이터를 단순히 선별하는 것을 넘어, LLM 을 통해 저품질 데이터를 고품질로 '재작성'하는 새로운 데이터 큐레이션 방법론을 제시했습니다.
3. 재현성 확보: 데이터셋, 프롬프트, 체크포인트, 파이프라인 코드를 모두 공개하여 연구의 재현성을 보장합니다.
4. 범용성 입증: 코드뿐만 아니라 수학 도메인에서도 동일한 재작성 전략이 유효함을 입증했습니다.

4. 실험 결과 (Results)

500 억 토큰 학습 예산 하에서 Llama-3.1-8B 를 기반으로 한 실험 결과는 다음과 같습니다.

• 코드 성능 (SwallowCode):

  • HumanEval: Stack-Edu 대비 +17.0 포인트 향상 (Pass@1 기준).
  • HumanEval+: Stack-Edu 대비 +16.1 포인트 향상.
  • 기존 The-Stack-v2 나 Stack-Edu 를 사용한 모델보다 현저히 높은 성능을 기록했습니다.
  • Qwen2-7B 기반 실험에서도 HumanEval/HumanEval+ 에서 각각 +10.3 포인트 향상으로 모델 독립성을 입증했습니다.

• 수학 성능 (SwallowMath):

  • GSM8K: Finemath-4+ 대비 +12.4 포인트 향상.
  • MATH: Finemath-4+ 대비 +7.6 포인트 향상.

• Ablation Study (성분 분석):

  • 각 파이프라인 단계 (구문 필터링, Lint 필터링, SGCR, SCOR) 가 점진적으로 성능을 향상시켰으며, 특히 재작성 (Rewriting) 단계가 가장 큰 성능 향상을 가져왔습니다.
  • MBPP 벤치마크는 SGCR 의 스타일 강제 (snake_case 등) 로 인해 기존 벤치마크의 함수명과 불일치가 발생하여 성능이 저하되는 것을 확인하고, 본 연구의 평가에서 제외했습니다.

5. 의의 및 결론 (Significance)

• 데이터 효율성 증대: 동일한 학습 토큰 수 (500 억) 로도 재작성된 데이터를 사용하면 노이즈가 많은 데이터를 사용하는 것보다 훨씬 높은 성능을 달성할 수 있음을 입증했습니다. 이는 데이터 품질이 모델 성능의 핵심 요소임을 보여줍니다.
• 비용 대비 효과: 재작성 과정에 상당한 GPU 비용이 들지만, 학습 단계에서의 데이터 효율성 향상으로 인해 전체적인 비용 대비 성능 이득 (Cost-Benefit) 이 크다고 분석했습니다.
• 오픈 생태계 강화: 최첨단 모델의 비공개 데이터에 의존하지 않고도, 오픈 커뮤니티가 고품질의 재작성 데이터를 통해 경쟁력 있는 모델을 개발할 수 있는 길을 열었습니다.

이 논문은 LLM 의 성능 향상을 위해 모델 아키텍처의 변경보다는 데이터 품질의 재작성 (Rewriting) 에 집중해야 함을 강력하게 주장하며, 오픈 소스 생태계의 데이터 기반 발전에 중요한 이정표가 되는 연구입니다.