GPT-NL Public Corpus: A Permissively Licensed, Dutch-First Dataset for LLM Pre-training

논문 요약: GPT-NL Public Corpus

1. 문제 제기 (Problem)

• 네덜란드어 데이터 부족 및 저작권 문제: 대규모 언어 모델 (LLM) 학습에는 수조 개의 토큰이 필요하지만, 영어 외의 언어 (특히 네덜란드어) 에 대해서는 저작권을 준수하면서도 고품질의 방대한 데이터를 확보하기가 매우 어렵습니다.
• 기존 데이터의 한계: 웹 크롤링 기반 데이터 (Common Crawl 등) 는 규모는 크지만 품질이 낮고 (노이즈, 편향), 저작권 라이선스가 불명확하거나 상업적 이용이 제한되는 경우가 많습니다. 반면, 기존에 존재하는 네덜란드어 코퍼스는 규모가 작거나 상업적 재사용에 제약이 있습니다.
• 법적 불확실성: EU 의 AI 법 (AI Act) 및 저작권 관련 법규가 강화됨에 따라, LLM 학습에 사용할 수 있는 공개 데이터의 범위와 합법성이 중요한 이슈로 대두되었습니다.

2. 방법론 (Methodology)

저자들은 GPT-NL Public Corpus를 구축하기 위해 엄격한 가이드라인과 다단계 데이터 선별 및 평가 프로세스를 적용했습니다.

• 3 가지 핵심 가이드라인:

  1. 유용성 (Usefulness): 모델의 핵심 능력 향상에 기여해야 함.
  2. 합법성 (Lawfulness): 상업적 및 비상업적 용도 모두에 허용되는 라이선스 (CC-0, CC-BY, 퍼블릭 도메인) 만 포함. (CC-BY-SA, NC, ND 라이선스는 배제).
  3. 해악 및 편향 방지 (Harm & Bias): 차별적, 공격적, 또는 유해한 데이터를 최소화하기 위해 엄격하게 선별.

• 데이터 수집 및 생성 전략:

  • 수집된 데이터 (Collected Data): 네덜란드 및 벨기에의 정부 기관, 공공 기록 보관소, 사법 기관 (법원 판결), 연구소 (Naturalis, DANS-KNAW 등) 와 협력하여 공개된 데이터를 확보. (예: 시의회 회의록, 법률 문서, 역사적 아카이브).
  • 합성 데이터 (Synthetic Data):
    • Wikidata-Synth: CC-0 라이선스를 가진 Wikidata 의 구조화된 지식 그래프 (Triple) 를 네덜란드어 문장으로 변환하고, LLM(Phi-4) 을 통해 자연스러운 문장으로 다듬음.
    • YouTube-Commons-Synth: 영어/스페인어 YouTube 자막을 MADLAD-400 모델을 통해 네덜란드어로 번역하여 생성.
    • 주의: 생성된 데이터는 원천이 명확하고 (Type 1) LLM 에 의해 생성된 새로운 사실 (Type 2) 은 배제하여 할루시네이션과 데이터 유출 위험을 줄임.
  • 웹 크롤링 필터링 (C5): Common Crawl 의 Creative Commons Corpus(C5) 를 활용하되, 단순 문자 매칭이 아닌 HTML 구조 분석 (DOM 파싱) 을 통해 라이선스 메타데이터를 정밀하게 추출. 이후 도메인 단위 검증 및 수동 검증을 거쳐 라이선스가 명확한 데이터만 선별.
  • 기존 코퍼선 선별: Common Corpus 에서 라이선스 조건에 부합하는 6 개 컬렉션 (예: CC-OpenAlex, CC-German-PD 등) 을 선별하여 포함.

• 평가 및 정제 프로세스 (Evaluation & Curation):

  • 파이프라인: 정규화 (Normalization) → 언어 감지 (Language Detection) → 휴리스틱 필터링 (Heuristic Filtering) 과정을 거침.
  • 수동 검사: 필터링 임계값을 조정하기 위해 샘플 데이터를 언어별 (네덜란드어, 영어, 독일어, 프리지아어, 덴마크어) 및 휴리스틱 지표 (중복, 길이 등) 에 따라 분석.
  • 리스크 분석 (Risk Analysis): 데이터의 유해성, 편향성, 개인정보 포함 여부를 평가하여 모델 학습 시 업샘플링 (Upsampling) 비율을 결정. 고위험 데이터는 학습 비중을 낮춤.
  • 개인정보 제거: PII(개인식별정보) 를 자동 제거하고 수동 검증을 통해 오검출을 최소화.

3. 주요 기여 (Key Contributions)

• 최대 규모의 허가된 네덜란드어 코퍼스: 총 360 억 (36B) 개의 전처리된 네덜란드어 토큰을 포함하며, 이는 기존 LLM 학습 코퍼스에 존재하지 않는 고유한 데이터입니다.
• 다국어 및 코드 데이터 포함: 네덜란드어 외에도 약 2,070 억 (207B) 개의 영어, 2,320 억 (232B) 개의 코드, 480 억 (48B) 개의 독일어/덴마크어 토큰을 포함하여 저자원 언어 모델의 성능 향상을 도모.
• 완전한 라이선스 투명성: 모든 데이터가 CC-BY 라이선스 하에 재배포되며, 각 데이터셋의 출처, 라이선스, 잠재적 위험 수준에 대한 메타데이터를 공개하여 상업적 모델 개발의 법적 리스크를 해소.
• C5 도구 개발: 웹 크롤링 데이터에서 구조적으로 라이선스 메타데이터를 추출하고 필터링하는 오픈소스 도구 (C5) 를 개발 및 공개.

4. 결과 (Results)

• 데이터 구성 (Table 3 기준):
  • 네덜란드어: 364 억 토큰 (공공 기록, 아카이브, 합성 데이터 등 21 개 컬렉션).
  • 영어: 2,070 억 토큰 (공공 도메인 텍스트, 학술 논문 등).
  • 코드: 2,320 억 토큰 (GitHub 오픈소스 코드).
  • 기타 (독일어, 덴마크어 등): 480 억 토큰.
• 데이터 품질: 웹 크롤링 데이터의 경우, 전체 C5 데이터 중 라이선스가 명확히 확인된 도메인만 선별하여 약 3,700 만 단어로 축소 적용하여 신뢰성을 확보했습니다.
• 가용성: 전체 데이터셋은 Hugging Face Hub 에서 공개되어 있으며, GPT-NL 모델의 공개 버전 학습에 사용되었습니다.

5. 의의 및 중요성 (Significance)

• 네덜란드어 AI 생태계 활성화: 네덜란드어에 특화된 고품질, 합법적인 학습 데이터를 제공함으로써, 네덜란드어 성능이 낮은 다국어 모델에 의존하던 상황을 탈피하고 지역별 맞춤형 LLM 개발을 가능하게 함.
• 법적 준수 모델의 선구자: 저작권 및 AI 규제 (EU AI Act) 에 대한 선제적 대응을 통해, 상업적으로 안전하게 활용 가능한 LLM 개발의 표준을 제시함.
• 투명한 데이터 관행: 데이터의 출처, 라이선스, 편향 위험을 명시적으로 공개함으로써 LLM 학습 데이터의 투명성 (Transparency) 요구사항을 충족시킴.
• 연구 및 개발 지원: 네덜란드어 및 관련 언어 (프리지아어 등) 에 대한 연구와 개발을 위한 오픈 소스 인프라를 제공하여, 저자원 언어 분야의 기술 발전을 촉진함.

이 논문은 단순히 데이터를 모으는 것을 넘어, 법적, 윤리적, 기술적 기준을 모두 충족하는 고품질 코퍼스 구축 프로세스를 제시했다는 점에서 의의가 큽니다.