기술 요약: MixMinMatch – 다국어 사전 학습 데이터셋을 위한 교차 출처 합의(Cross-Source Agreement)

문제 정의

웹 스크래핑을 통해 대규모 언어 모델(LLM)을 위한 고품질 사전 학습 코퍼스를 구축하는 것은 계산적으로 매우 비용이 많이 들고 자원 집약적인 작업입니다. 비영어권 언어의 경우, 여러 연구 그룹이 독립적으로 웹을 크롤링하고 필터링하기 때문에 상당한 중복이 발생합니다. 이러한 중복은 전통적으로 자원 낭비라는 비효в율성으로 간주되어 왔으나, 저자들은 이것이 활용되지 않은 품질 신호(quality signal)라고 주장합니다.

본 논문이 다루는 핵심 문제는 다국어 데이터셋에서 저품질 텍스트를 필터링할 수 있는 계산 효율적이고 모델이 필요 없는(model-free) 방법이 부족하다는 점입니다. 기존 방식은 종종 값비싼 모델 기반 품질 분류기(모든 문서에 대해 추론 과정을 거쳐야 함)에 의존하거나, 다양한 스크립트와 형태론에 일반화되지 못하는 언어별 휴리스틱에 의존합니다. 또한, 표준적인 중복 제거(deduplication)는 계산량을 줄이기 위해 유사한 중복 항목을 제거하지만, 어떤 출처가 특정 콘텐츠를 유지했는지에 대한 귀중한 메타데이터는 버리게 됩니다.

방법론: MixMinMatch

저자들은 기존 웹 코퍼스의 중복성을 품질 필터로 활용하는 3단계 파이프라인인 MixMinMatch를 제안합니다. 이 방법은 서로 다른 연구 그룹의 독립적인 필터링 결정을 콘텐츠 품질에 대한 "투표자(voters)"들의 앙상블로 취급합니다.

1. Mix (혼합)

파이프라인은 대상 언어(예: 아랍어, 터키어, 힌디어)에 대해 기존의 공개 사전 학습 코퍼스들을 각 문서의 출처(provenance)를 보존하며 통합합니다. 각 문서는 텍스트 $x$와 해당 데이터셋을 나타내는 $s$의 튜플 $(x, s)$로 저장됩니다. 통합 전, 명백한 저품질 콘텐츠를 제거하기 위해 각 소스에 대해 언어별 품질 필터(예: 길이 제한, 스크립트 일관성, n-gram 반복 체크)를 독립적으로 적용합니다.

2. MinHash (민해시)

통합된 코퍼스는 MinHash와 지역 민감 해싱(Locality-Sensitive Hashing, LSH)을 사용하는 표준적인 근사 중복 탐지 과정을 거칩니다.

• 과정: 문서를 문자 $n$-gram 셔플(shingle, $n=5$)의 집합으로 변환합니다. MinHash 시그니처를 계산하고, 적어도 하나의 LSH 밴드에서 충돌하는 문서들은 후보 쌍으로 취급됩니다.
• 클러스터링: 추정된 자카드 유사도(Jaccard similarity)가 $\geq 0.8$인 쌍들을 Union-Find를 사용하여 클러스터링합니다.
• 중복 제거: 각 클러스터당 하나의 대표 문서만을 남깁니다.
• 핵심 통찰: 이 단계는 LLM 사전 학습에서 중복 학습을 피하기 위한 표준적인 관행입니다. MixMinMatch는 단순히 중복 제거된 결과물뿐만 아니라, 이 단계에서 생성된 클러스터 자체를 활용합니다.

3. Match (매칭)

이 단계는 중복 제거 과정으로부터 품질 신호를 추출합니다.

• 교차 출처 합의(Cross-Source Agreement): 각 근사 중복 클러스터에 대해, 해당 클러스터에 기여한 고유한 소스 데이터셋($s$)의 수를 계산합니다.
• 필터링: "Matched" 서브셋은 $|S(C_i)| \geq 2$인 클러스터의 대표 문서들만을 유지합니다. 즉, 어떤 문서가 적어도 두 개 이상의 서로 다른 소스 파이프라인에 의해 독립적으로 복구되었을 때만 유지됩니다.
• 효율성: 이 작업은 중복 제거 단계와 비교했을 때 계산 비용이 거의 들지 않습니다. 이는 기존 Union-Find 구조 내에서 소스 레이블을 세는 작업만 포함하므로, 추가적인 추론 패스나 모델 학습을 필요로 하지 않습니다.

주요 기여

1. 중복성에 대한 체계적 분석: 저자들은 주요 다국어 코퍼스(C4, CulturaX, HPLT 2.0, FineWeb-2 등) 간의 교차 출처 중복을 정량화하여, 독립적인 파이프라인 간에 수십억 개의 토큰이 공유되고 있음을 입증했습니다. 예를 들어, C4와 CulturaX는 아랍어에서 90억 개 이상의 근사 중복 토큰을 공유합니다.
2. MixMinMatch 알고리즘: 교차 출처 합의를 앙상블 필터로 재정의하는 새로운 방법을 제시합니다. 이는 이미 사전 학습 인프라에서 사용 중인 표준 MinHash 중복 제거 구조로부터 품질 신호를 "공짜로" 추출합니다.
3. 새로운 코퍼스 출시: 아랍어, 터키어, 힌디어를 위한 세 가지 새로운 다국어 사전 학습 데이터셋(AraMix, TurMix, HinMix)을 공개합니다. 여기에는 전체 MinHash 중복 제거 버전과 문서별 소스 수가 포함된 더 작은 규모의 고품질 "Matched" 서브셋이 포함됩니다.
4. 실증적 검증: 생성된 데이터셋이 단일 소스 베이스라인보다 우수한 성능을 보이는 것을 실험적으로 증명했습니다.

결과

저자들은 1.46B 파라미터 규모의 Llama 스타일 모델을 고정된 토큰 예산(29.36B 토큰)으로 사전 학습시키고, 언어별 벤치마크 제품군(FineTasks)에서 성능을 측정하여 생성된 데이터셋을 평가했습니다.

• 아랍어: AraMix-Matched 서브셋은 가장 우수한 단일 소스 베이스라인(ArabicWeb24, 0.154) 대비 0.161의 총점을 기록하며 4.5%의 상대적 개선을 달utation했습니다. 전체 AraMix-MinHash 혼합물(178B 토큰)은 베이스라인 성능(0.153)과 대등하면서도 4.3배 더 많은 고유 토큰을 제공했습니다.
• 터키어: TurMix-Matched는 FineWeb-2 터키어 베이스라인(0.194) 대비 0.204를 기록하며 5.5%의 상대적 개선을 달성했습니다.
• 힌디어: HinMix-MinHash가 가장 큰 이득을 보였는데, CulturaX-Hindi 베이스라인(0.080) 대비 11.6%(0.089) 향상된 성능을 보였습니다. Matched 서브셋 역시 베이스라인보다 높은 성능을 보였습니다.
• 절제 연구(Ablation Studies): 혼합물에서 "최고"의 단일 소스 베이스라인을 제거해도 이득이 사라지지 않았습니다. 예를 들어, FineWeb-2가 없는 TurMix-Matched가 여전히 FineWeb-2 베이스라인보다 높은 성능을 보였는데, 이는 품질 신호가 단순히 하나의 우수한 데이터셋으로부터 상속된 것이 아니라 나머지 소스들 간의 합의로부터 발생함을 확인시켜 줍니다.
• 모델 기반 필터링과의 비교: MixMinMatch는 모델이 없음에도 불구하고, 값비싼 모델 기반 품질 점수를 사용하여 필터링된 FineWeb2-HQ보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 기존 웹 코퍼스의 중복성이 낭비가 아닌 자원이라고 주장합니다. 저자들은 여러 필터링 파이프라인에 의해 독립적으로 유지된 콘텐츠가 품질의 강력한 지표이며, 이는 크라우드소싱의 상호 검토자 합의(inter-annotator agreement)나 머신러닝의 앙상블 방법과 유사하다고 주장합니다.

이 연구의 주요 의의는 교차 출처 합의가 무료이며 모델이 필요 없는 품질 필터로 기능함을 입증했다는 데 있습니다. 표준 중복 제거 단계(MinHash)를 합의를 식별하는 메커니즘으로 활용함으로써, 실무자들은 모든 문서에 대해 품질 분류기를 실행하는 계산적 오버헤드 없이 고품질 사전 학습 데이터셋을 구축할 수 있습니다. 저자들은 연구 커뮤니티가 매번 새로운 프로젝트를 처음부터 다시 크롤링하기보다는, 기존 데이터셋을 체계적으로 결합함으로써 추가적인 가치를 추출할 수 있다고 결론짓습니다.

본 논문은 직접적인 비교를 위해 실험이 1.46B 파라미터 모델에서 수행되었음을 언급하며 규모에 대해 겸허한 태도를 유지하지만, 데이터 품질 효과가 더 큰 규모에서도 지속되거나 증폭될 수 있음을 시사합니다. 또한 교차 출처 매칭이 다른 데이터 선택 방법의 대체재가 아니라 상호 보완적인 관계임을 인정합니다.