Enhancing Multilingual LLM Pretraining with Model-Based Data Selection

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 성능은 훈련 데이터의 양뿐만 아니라 품질에 크게 의존합니다. 현재 영어 데이터에 대해서는 모델 기반 필터링 (Model-based Filtering) 기법이 활발히 연구되어 왔으나 (예: FineWeb-Edu, DCLM), 비영어권 언어 (다국어) 에 대한 연구는 상대적으로 부족합니다.

• 현황: 대부분의 다국어 데이터셋은 단순한 규칙 기반 (Rule-based) 휴리스틱 필터링이나 퍼플렉시티 (Perplexity) 기반 필터링에 의존하고 있습니다.
• 문제점: 이러한 접근 방식은 언어 간 성능 격차를 심화시킬 수 있으며, 특히 구조화되지 않거나 지식이 부족한 데이터를 선별하는 데 한계가 있습니다. 또한, "다국어의 저주 (Curse of Multilinguality)" 현상 (다국어 학습 시 특정 언어의 성능 저하) 을 완화하는 효과적인 데이터 선별 전략이 부족합니다.

2. 방법론 (Methodology)

저자들은 웹 규모의 다국어 데이터셋 (FineWeb-2) 을 대상으로 투명성, 단순성, 효율성을 갖춘 모델 기반 필터링 프레임워크를 개발했습니다. 핵심은 **구조화 (Structured)**되고 지식이 풍부한 (Knowledge-rich) 샘플을 식별하여 선별하는 것입니다.

A. 대표 샘플 선정 및 학습 데이터셋 구성 (Classifier Training Dataset)

필터링을 수행할 분류기 (Classifier) 를 훈련시키기 위해 다음과 같은 다국어 지식 기반 데이터셋들을 '대표 샘플 (Representative Samples)'로 선정했습니다:

• Aya Collection & Dataset: 다양한 언어와 태스크를 포괄하는 대규모 지시 (Instruction) 데이터.
• MMLU: 다양한 주제의 객관식 지식 질문 (다국어 번역 버전 포함).
• OpenAssistant-2: 사용자 - 어시스턴트 대화 데이터.
• Include-Base-44: 일반 및 지역 지식에 초점을 맞춘 객관식 문제.

이러한 데이터들을 기반으로 두 가지 구성을 만들었습니다:

• MKC: 고품질 데이터 (Include-Base-44, OpenAssistant-2, MMLU, Aya Dataset) 만 포함.
• MKC+: MKC 에 대규모이지만 품질 보장이 덜 된 Aya Collection 을 추가하여 규모 확장.

B. 모델 기반 필터링 기법

선정된 대표 샘플과 FineWeb-2 의 문서 간 유사성을 측정하여 점수를 부여하고, 상위 점수 문서만 선별하는 세 가지 방식을 비교했습니다.

1. FastText 기반 필터링 (FT): DCLM 에서 영감을 받아, 2-gram (중국어는 4-gram) 특징을 이용한 이진 분류기를 훈련. CPU 에서 병렬 처리가 가능하여 매우 효율적입니다.
2. Transformer 임베딩 기반 필터링 (MLP): XLM-RoBERTa (100 개 언어 지원, 279M 파라미터) 를 사용하여 문서의 임베딩을 추출한 후, 이를 입력으로 받는 단일 은닉층 MLP(Multi-Layer Perceptron) 를 훈련하여 분류.
3. 코사인 유사도 (Cosine Similarity, CS): 문서 임베딩과 대표 샘플 임베딩 간의 최대 코사인 유사도를 점수로 사용.

C. 실험 설정

• 기반 데이터: FineWeb-2 (1000 개 이상의 언어 포함).
• 모델: 1B 파라미터 Llama 모델.
• 훈련 토큰 수: 70B 및 119B 토큰.
• 평가 언어: 중국어, 독일어, 프랑스어, 아랍어, 덴마크어 (고급/저급 리소스 언어 대표).
• 평가 벤치마크: FineTasks, MMLU, ARC 등 다양한 언어별 벤치마크.

3. 주요 기여 (Key Contributions)

1. 통합 다국어 필터링 프레임워크: 다양한 언어 계열, 문자 체계, 리소스 가용성을 아우르는 투명한 모델 기반 필터링 프레임워크를 제시했습니다.
2. 효율적인 데이터 선별: 119B 토큰으로 훈련된 모델이 전체 데이터의 15% (약 15B~20B 토큰) 만 사용해도 FineWeb-2 전체 데이터로 훈련된 베이스라인과 동등하거나 더 나은 MMLU 점수를 달성함을 증명했습니다.
3. 다국어의 저주 완화: 필터링된 고품질 데이터로 훈련된 다국어 모델은 단일어 모델보다 더 나은 성능을 보이며, "다국어의 저주" 현상이 완화되거나 오히려 이점으로 작용함을 발견했습니다.
4. 오픈 소스 릴리스: 20 개 언어에 대해 정제된 사전 학습 데이터셋 (FineWeb2-HQ) 과 전체 코드베이스를 공개했습니다.

4. 실험 결과 (Results)

• 성능 비교: 제안한 MLP MKC+ 접근법이 모든 방법론 (FT, CS, 베이스라인) 중 가장 우수한 평균 랭크를 기록했습니다. 특히 고자원 언어 (중국어, 독일어, 프랑스어) 에서 FineWeb-2 베이스라인을 크게 앞섰습니다.
• 데이터 효율성:
  • 119B 토큰 훈련 시, 제안된 필터링 방법 (10% 데이터 유지) 은 약 20B 토큰 (전체의 약 16.7%) 만으로도 베이스라인 수준의 성능을 달성했습니다.
  • 이는 15% 의 토큰만으로도 베이스라인 성능을 달성할 수 있음을 의미합니다.
• 데이터 오염 (Contamination) 분석: 벤치마크 데이터가 훈련 세트에 섞여 있는지 확인하기 위해 13-gram 기반 오염 제거 (Decontamination) 를 수행했습니다. 오염 제거 후에도 제안된 방법론은 베이스라인보다 우월한 성능을 유지하여, 성능 향상이 단순한 데이터 오염 때문이 아님을 입증했습니다.
• 다국어 훈련 효과: 595B 토큰 (언어당 119B) 으로 훈련된 다국어 모델은 필터링된 데이터셋을 사용할 때, 단일어 모델보다 더 높은 성능을 보였습니다. 이는 고품질 데이터가 언어 간 전이 학습을 촉진하여 다국어의 저주를 극복했음을 시사합니다.
• 계산 비용: Transformer 임베딩 계산에는 약 4K H100 시간이 소요되었으나, 필터링 자체 (FastText, MLP 등) 는 CPU 에서 매우 저렴하고 병렬화 가능합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 다국어 LLM 의 성능 향상을 위해 데이터의 '양'보다 '질'이 중요함을 강력하게 증명했습니다.

• 일반화 가능성: 영어 중심이었던 모델 기반 필터링 기법을 다국어 환경으로 성공적으로 확장하여, 다양한 언어와 리소스 수준에서도 적용 가능함을 보였습니다.
• 실용성: FastText 기반의 경량화 방법과 Transformer 기반의 고정밀 방법을 모두 제공하여, 사용자의 컴퓨팅 자원 상황에 따라 유연하게 적용할 수 있는 길을 열었습니다.
• 공헌: 20 개 언어에 대한 고품질 데이터셋 (FineWeb2-HQ) 을 공개함으로써, 향후 다국어 언어 모델 연구의 기반을 마련하고, 데이터 선별의 투명성과 재현성을 높이는 데 기여했습니다.

결론적으로, 이 논문은 제한된 컴퓨팅 자원으로도 고품질의 다국어 LLM 을 훈련할 수 있는 효율적인 데이터 선별 전략을 제시하며, 다국어 AI 생태계의 불균형을 해소하는 데 중요한 이정표가 됩니다.