HPLT 3.0: 대규모 다국어 LLM 및 MT 를 위한 리소스 기술 요약

이 논문은 유럽 학술 컨소시엄인 HPLT (High-Performance Language Technologies) 가 개발한 HPLT 3.0을 소개합니다. 이는 거의 200 개 언어에 대한 오픈 소스, 초대규모, 고품질, 풍부하게 주석된 텍스트 데이터셋을 제공하는 지속적인 이니셔티브의 결과물입니다.

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 시대에 웹 데이터에서 고품질의 대규모 데이터셋을 "정제 (refining)"하는 과정은 종종 구글, 엔비디아, 휴깅페이스 등 대기업의 인프라와 기술력에 의존하고 있습니다. 또한, 이러한 작업들은 영어 중심적으로 이루어지는 경향이 있어, 소수 언어 (Low-resource languages) 와 유럽의 다양한 언어들이 적절한 자원을 확보하지 못해 디지털 격차가 심화되고 있습니다. 기존 데이터셋 (C4, FineWeb, MADLAD-400 등) 은 규모나 품질 면에서 한계가 있으며, 특히 비영어권 언어에 대한 포괄적인 평가 프레임워크와 고품질 병렬 코퍼스가 부족합니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 전처리 파이프라인

HPLT 3.0 은 기존 HPLT 2.0 파이프라인을 개선하고 확장하여 다음과 같은 단계를 거칩니다.

• 데이터 소스: 인터넷 아카이브 (Internet Archive) 의 'wide crawls'(2012-2020) 와 Common Crawl 의 스냅샷 (2014-2025) 을 결합하여 총 약 7.2 페타바이트의 원시 웹 아카이브 데이터를 확보했습니다.
• 텍스트 추출: Trafilatura 프레임워크를 사용하되, 추출 속도와 텍스트 회수율보다 추출 품질을 우선시하도록 하이퍼파라미터를 최적화했습니다.
• 언어 식별 (LID): OpenLID-v2 모델을 사용하여 언어를 식별하며, Flores+ 평가 세트와 정렬된 라벨을 사용하고, 비표준 표기법에 강건하도록 전처리 (공백 정규화, 소문자화 등) 를 단순화했습니다.
• 중복 제거 (Deduplication): MinHash 기반의 **글로벌 근사 중복 제거 (global near-deduplication)**를 대부분의 언어에 적용하여 데이터 다양성을 극대화했습니다. (영어, 러시아어, 중국어는 계산 효율성을 위해 크롤 단위 중복 제거만 적용).
• 주석 및 필터링:
  • Web Docs Scorer (WDS): 문서의 품질을 5~10 단계로 점수화하여 문서별 특성을 주석합니다.
  • 등록 (Register) 분류: 웹 문서의 장르 (뉴스, 블로그, 위키 등) 를 분류합니다.
  • 개인정보 및 유해 콘텐츠 제거: 성인 콘텐츠 플래그, PII(개인식별정보) 탐지, 비자연스러운 텍스트 (SEO 키워드 나열 등) 를 필터링합니다.
• 패키징: Zstandard 압축 JSONL 형식으로 패키징하여 50TB 규모의 데이터를 3,000 개 이상의 파일로 배포합니다.

2.2 평가 프레임워크 (HPLT-e)

• 9 개 유럽 언어 (카탈로니아어, 스페인어, 바스크어, 갈리시아어, 프랑스어, 노르웨이어, 체코어, 핀란드어, 우크라이나어) 에 대해 자동화된 대규모 다국어 평가 프레임워크를 구축했습니다.
• 127 개의 언어 이해 및 생성 태스크를 포함하며, 프롬프트 민감도를 줄이기 위해 각 태스크당 3~7 개의 인간 작성 프롬프트를 사용합니다.
• 모델 성능의 단조성 (monotonicity), 안정성, 무작위성 배제 등 7 가지 기준을 충족하는 태스크를 선별하여 사전 학습 데이터의 품질을 평가합니다.

2.3 모델 학습

• 단일 언어 인코더 (GPT-BERT): 약 60 개 언어에 대해 마스킹 및 인과적 언어 모델링을 결합한 GPT-BERT 아키텍처로 모델을 학습시켰습니다.
• 단일 언어 인코더 - 디코더 (T5-like): 57 개 언어에 대해 T5-base 아키텍처 기반의 모델을 학습시켜 생성 및 판별 작업 모두를 수행할 수 있는 모델을 제공했습니다.
• 병렬 데이터 마이닝: Bitextor 파이프라인을 사용하여 28 개 유럽 언어 쌍에 대해 문서 수준과 문장 수준의 병렬 코퍼스를 추출했습니다. 또한, 기계 번역을 통해 고품질 영어 문서를 소수 언어로 변환하여 합성 데이터를 생성했습니다.

3. 주요 기여 (Key Contributions)

1. HPLT 3.0 데이터셋: 약 30 조 토큰 규모의 초대규모 다국어 데이터셋으로, 이는 현재 공개된 LLM 사전 학습용 데이터 중 가장 큰 규모 중 하나입니다. 비영어권 언어 토큰이 전체의 약 50% 를 차지합니다.
2. 오픈 소스 파이프라인: 데이터 수집부터 필터링, 주석, 패키징까지 전 과정을 공개된 오픈 소스 도구로 제공합니다.
3. 다국어 평가 프레임워크 (HPLT-e): 프롬프트 민감도를 완화하고 정교한 정규화를 적용한 새로운 평가 체계와 9 개 언어에 대한 벤치마크를 제공합니다.
4. 사전 학습 모델: 60 개 언어의 GPT-BERT 모델과 57 개 언어의 T5-like 모델을 공개하여, 소수 언어 연구자들에게 고품질 베이스라인을 제공합니다.
5. 병렬 및 합성 데이터: 28 개 언어 쌍에 대한 문서 수준 병렬 코퍼스 (약 1820 억 단어) 와 기계 번역을 통한 합성 데이터셋을 공개했습니다.

4. 결과 (Results)

4.1 데이터 품질 및 통계

• HPLT 3.0 은 FineWeb, HPLT 2.0, MADLAD-400 대비 다국어 규모에서 2~5 배 더 큰 토큰 수를 보유하고 있습니다.
• 글로벌 중복 제거로 인해 고유 세그먼트 비율이 HPLT 2.0 대비 73% 로 크게 증가하여 텍스트 다양성이 향상되었습니다.
• 수동 검사를 통해 대부분의 언어에서 유해 콘텐츠 (포르노 등) 비율이 2% 미만이며, 언어 식별 오류가 낮은 것을 확인했습니다.

4.2 모델 성능 평가

• 사전 학습 데이터 비교: HPLT 3.0 으로 학습된 모델은 FineWeb 및 HPLT 2.0 대비 우수한 성능을 보였으며, MADLAD-400 과 유사하거나 일부 언어에서 더 나은 성과를 기록했습니다. 이는 데이터 정제 과정의 개선이 모델 성능 향상으로 이어졌음을 시사합니다.
• 품질 기반 샘플링: WDS 점수가 높은 (고품질) 문서만 샘플링하여 학습한 모델은 무작위 샘플링보다 성능이 좋았으나, 다양성이 부족해 전체 데이터를 사용한 것보다 항상 우월하지는 않았습니다.
• 언어 능력 평가 (MultiBLIMP): 학습된 GPT-BERT 및 T5 모델들은 기존 베이스라인 (mBERT, XLM-R, mT5) 을 대부분 압도하는 언어 능력 점수를 기록했습니다. 특히 T5 기반 모델들은 mT5-base 와 mT5-xxl 보다 NER 및 언어 능력 태스크에서 더 높은 성능을 보였습니다.

4.3 기계 번역 성능

• 추출된 병렬 데이터로 학습한 NMT 모델은 FLORES200 벤치마크에서 경쟁력 있는 BLEU 및 COMET 점수를 기록하여, 오픈 소스 병렬 데이터의 가치를 입증했습니다.

5. 의의 및 결론 (Significance)

HPLT 3.0 은 기업 중심의 대규모 데이터 구축을 **민주화 (democratizing)**하려는 유럽의 공공 자금 지원 프로젝트의 성과입니다.

• 투명성과 접근성: 모든 데이터, 모델, 도구, 평가 프레임워크가 오픈 소스 및 공개 라이선스 (CC0) 하에 제공되어 연구 커뮤니티의 재현성과 접근성을 보장합니다.
• 소수 언어 지원: 영어 중심의 LLM 생태계에서 소외되었던 200 개 언어에 대한 고품질 리소스를 제공하여 언어적, 문화적 다양성을 존중하는 AI 개발을 촉진합니다.
• 미래 지향성: HPLT 3.0 은 단순한 데이터 배포를 넘어, 데이터 품질 평가, 합성 데이터 생성, 윤리적 데이터 큐레이션 (개인정보 보호, 저작권 고려) 에 대한 체계적인 접근 방식을 제시합니다.

이 연구는 초대규모 LLM 연구에 있어 투명하고 공개적인 리소스와 프로세스의 중요성을 강조하며, 향후 HPLT 4.0 을 통해 더 많은 데이터와 정교한 품질 분류기를 제공할 예정입니다.