KletterMix: Climbing Toward High-Quality German Pretraining Data

기술 요약: KletterMix: 고품질 독일어 사전 학습 데이터를 향한 등반

문제 제기

고품질 사전 학습 데이터는 언어 모델 성능의 주요 결정 요인이다. 영어는 다양하고 방대하며 잘 문서화된 사전 학습 코퍼스(예: ClimbMix, Dolma)의 혜택을 입은 반면, 독일어 자원은 상대적으로 미비한 상태이다. 기존의 독일어 데이터셋은 종종 노이즈가 많은 웹 크롤링에서 파생되거나, 다국어 코퍼스의 하위 집합으로 포함되어 있으며, 통제된 학습 실험을 통한 문서화 및 검증이 제한적이다. 순수하게 독일어 웹 크롤링만으로는 공격적인 필터링(이 과정에서 유용한 롱테일 콘텐츠가 제거될 수 있음) 없이 최상급 영어 데이터셋의 소스 다양성, 혼합 설계 및 문서화 표준을 재현하기 어렵다. 또한, 독일어의 특수한 언어적 특징인 형태론, 복합어, 대문자 사용 및 지역적 변이를 고려할 때, 영어 중심의 데이터만으로 강력한 독일어 모델 동작이 나타날 것이라고 가정할 수 없다.

방법론

저자들은 최첨단 영어 사전 학습 믹스인 ClimbMix를 독일어로 번역하여 구축한 725B 토큰 규모의 독일어 사전 학습 및 어닐링(annealing) 코퍼스인 KletterMix를 소개한다. 구축 과정은 문서 경계, 메타데이터, 소스 구조 및 주제적 다양성을 보존하도록 설계된 5단계 파이프라인을 따른다:

1. 소스 레코드 정규화(Source-Record Normalization): 영어 소스는 문서 식별자, 텍스트 및 메타데이터(소스 클러스터, 위치, 대략적인 길이)를 포함하는 샤드(shard) 형태의 JSONL 파일로 저장된다. 이 구조는 파이프라인 전반에 걸쳐 유지된다.
2. 길이 인지형 라우팅(Length-Aware Routing): 가변적인 문서 길이를 효율적으로 처리하기 위해, 문서를 소스 길이에 따라 컨텍스트 버킷(짧음, 중간, 길음, 오버플로)으로 라우팅한다. 이를 통해 버킷별 소스 및 타겟 예산을 설정함으로써 패딩과 스케줄링 비효율성을 줄인다.
3. 문서 보존형 번역(Document-Preserving Translation):
   • 짧은 문서는 단일 패스로 번역된다.
   • 긴 문서는 문장 단위로 분할되어 청크(chunk) 단위로 탐욕적(greedily)으로 채워진다. 만약 문장이 청크 예산을 초과하면 토큰 단위로 분할된다.
   • 청크된 문서의 경우, 담화의 연속성과 용어 일관성을 유지하기 위해 청크 $t-1$의 번역 내용을 청크 $t$의 절단된 컨텍스트 윈도우(truncated context window)로 포함한다.
   • 동적 타겟 측 예산(dynamic target-side budgeting)이 사용된다. 여기서 최대 생성 길이는 독일어의 표면 길이 확장 경향을 수용하기 위해 소스 청크 길이로부터 유도된다 ($\ell_{max}^{tgt} = \min(L_{max}, \lceil \alpha\ell_{src} + \beta\rceil)$).
4. 확장 가능한 샤드 단위 실행(Scalable Shard-Wise Execution): 번역은 코퍼스의 서로 소(disjoint)인 하위 집합에 대해 병렬 워커(worker)들에 의해 수행된다. 워커들은 추적 가능성을 위해 원래의 식별자를 보존하며, 중단된 실행에 대한 재개 기능을 구현한다.
5. 품질 추정 및 필터링(Quality Estimation and Filtering):
   • 파일럿 서브셋(Pilot Subset): 코퍼스의 층화 추출된 샘플은 참조 없는 품질 추정 모델인 COMETKiwi를 사용하여 점수가 매겨지며, 이를 통해 고품질 레이블을 생성한다.
   • 프록시 학습(Proxy Training): 타겟 측 특징(독일어 텍스트)과 저렴한 메타데이터(예: GlotLID 언어 식별, 텍스트 형태, 반복 비율)만을 사용하여 COMETKiwi 점수를 예측하는 그래디언트 부스팅 회귀 모델을 학습시킨다.
   • 필터링(Filtering): 프록시 모델이 전체 코퍼스의 점수를 매긴다. 프록시 점수가 $\ge 0.50$, $\ge 0.55$, $\ge 0.60$인 문서를 유지함으로써 세 가지의 필터링된 12B 토큰 학습 분할(split)을 생성한다.

주요 기여

• KletterMix 데이터셋: 문서 수준의 구조, 메타데이터 및 혼합 설계를 보존하면서 고품질 영어 소스로부터 구축된 725B 토큰 규모의 독일어 코퍼스.
• 확장 가능한 번역 파이프라인: 길이 인지형 라우팅, 문서 보존형 청킹, 동적 예산 설정 및 샤드 단위 실행을 포함하는 사전 학습 데이터 번역 방법론.
• 품질 진단: COMETKiwi 기반 및 프록시 기반 품질 추정을 활용한 포괄적인 코퍼스 문서화와 함께, 길이 분포, 주제 범위 및 메타데이터 보존에 대한 분석.
• 경험적 검증: 기존 독일어 코퍼스(FineWeb2-DE 및 GermanWeb)와 비교하여 KletterMix의 사전 학습 및 어닐링 절제 실험(ablation)을 수행함.

결과

저자들은 매칭된 12B 토큰 학습 예산 하에서 Qwen3-0.6B 모델을 사용하여 KletterMix를 평가하였다.

• 학습 역학(Training Dynamics): KletterMix로 학습된 모델은 FineWeb2-DE 및 GermanWeb로 학습된 모델보다 낮은 학습 및 검증 손실(loss)을 달 achieved하였으며, 이는 개선된 샘플 효율성을 시사한다.
• 다운스트림 벤치마크: 독일어 벤치마크 세트(MMLU, PIQA, HellaSwag, ARC-Challenge)에서 KletterMix 변체들은 일반적으로 종합 점수(Core Avg)에서 베이스라인을 상회했다.
  • **필터링된 KletterMix (점수 $\ge 0.60$)**는 40.2의 가장 높은 Core Avg를 기록하며 FineWeb2-DE(38.3)와 GermanWeb(36.8)을 능가했다.
  • KletterMix는 HellaSwag(근거 기반 상식 추론)와 ARC-Challenge(과학 스타일 추론)에서 특히 강점을 보였으며, 이는 코퍼스가 일관된 설명 구조를 효과적으로 전달함을 시사한다.
  • 어닐링 실험: FineWeb2-DE로 사전 학습된 모델을 어닐링할 때, K3-KletterMix로 전환하는 것이 GermanWeb으로 전환하는 것(37.6)보다 더 높은 Core Avg(39.4)를 얻었으며, 이 이득은 HellaSwag와 ARC-C에 집중되었다.
• 품질 분석: 코퍼스 진단 결과, 소스와 일치하는 헤비 테일(heavy-tailed) 길이 분포가 나타났다. 그러나 롱 컨텍스트 버킷에서의 "하위 테일(lower tails)"(긴 영어 문서가 비정상적으로 짧은 독일어 번역으로 이어진 경우)이 식별되었으며, 이는 감사가 필요한 잠재적 실패 모드로 지목되었다.

의의 및 주장

본 논문은 신중하게 큐레이션된 번역 데이터가 독일어 사전 학습 데이터 생태계를 실질적으로 강화할 수 있다고 주장한다. KletterMix의 의의는 단순히 네이티브 독일어 데이터를 대체하는 데 있는 것이 아니라, 고품질 번역과 엄격한 검증을 통해 강력한 영어 코퍼스의 큐레이션 결정, 소스 다양성 및 혼합 구조를 독일어로 전이할 수 있음을 보여주는 데 있다.

저자들은 이 접근 방식이 단순한 표면 형태 이상의 것, 즉 **유용한 혼합 구조(useful mixture structure)**를 전이한다고 주장한다. 결과는 번역된 데이터가 사건 수준의 개연성이나 구성적 추론과 같이 구조화된 컨텍스트를 요구하는 영역에서 모델 능력을 향상시킬 수 있음을 시사한다. 그러나 저자들은 다음과 같은 한계를 인정하며 신중한 태도를 유지한다:

• 번역된 데이터는 영어 소스의 문화적, 지리적, 라이선스 편향을 물려받을 수 있다.
• 기계 번역은 아티팩트(번역투, 의미 드리프트)를 유발할 수 있으며 전문적인 문서에서 실패할 수 있다.
• 프록시 기반 필터링은 고정된 예산 학습을 위한 실용적인 순위 신호이지만, 보편적인 품질 법칙은 아니다(MMLU 성능이 더 엄격한 필터링에 따라 단조롭게 개선되지는 않았기 때문).
• 현재 결과는 특정 모델 크기(0.6B)와 토큰 예산에 국한되어 있으므로, 더 큰 모델과 더 넓은 벤치마크에 대한 향후 연구가 필요하다.

궁극적으로 KletterMix는 단순한 규모나 순수 네이티브 크롤링보다 문서화, 경험적 검증 및 데이터셋 구조의 보존을 우선시하는 비영어권 사전 학습을 위한 실질적인 경로를 제시한다.