Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 발전은 방대한 양의 학습 데이터를 필요로 하지만, 기존 데이터셋은 다음과 같은 심각한 법적 및 윤리적 문제를 안고 있습니다.

• 저작권 및 법적 불확실성: 기존 웹 크롤링 데이터 (Common Crawl 등) 는 저작권이 있는 콘텐츠가 포함되어 있어, 저작권법 위반 소송 (예: NYT 대 OpenAI) 이 증가하고 있습니다.
• 데이터 접근성 제한: 저작권 소유자들의 반대와 기술적 차단 (robots.txt 등) 으로 인해 고품질 데이터의 크롤링이 어려워지고 있으며, 이는 오픈 소스 연구와 재현 가능한 연구의 위기를 초래했습니다.
• 데이터 품질 및 편향: 웹 기반 데이터는 저품질, 유해 콘텐츠 (Toxicity), 개인정보 (PII) 포함 문제가 있으며, 특히 다국어 및 저자원 언어에서의 데이터 품질이 낮습니다.
• 기존 오픈 데이터셋의 한계: 기존 오픈 데이터셋 (C4, ROOTS 등) 은 대부분 웹 크롤링에 의존하거나 영어 위주이며, 명확한 라이선스 하에 제공되지 않아 '완전한 개방성 (Fully Open)'을 보장하지 못합니다.

2. 방법론 (Methodology)

저자들은 Common Corpus라는 약 2 조 (2 Trillion) 토큰 규모의 완전히 개방된 (Fully Open) 데이터셋을 구축하기 위해 다음과 같은 체계적인 방법론을 적용했습니다.

A. 데이터 구성 (Data Composition)

Common Corpus 는 저작권이 만료되었거나 명확한 오픈 라이선스 (Creative Commons, Public Domain 등) 를 가진 6 가지 주요 컬렉션으로 구성됩니다.

1. Open Government: 금융 (SEC, WTO), 법률 (EU 법률, 미국 판례) 및 행정 데이터.
2. Open Culture: 도서관 (Library of Congress, Gallica 등) 과 문화 유산 기관에서 제공하는 고전 문학, 신문, 단행본 (1884 년 이전 출판물 위주).
3. Open Science: OpenAlex, arXiv, PubMed 등에서 수집된 과학 논문 및 학술 자료.
4. Open Code: Stack v1/v2 에서 추출된 600 개 이상의 프로그래밍 언어 코드.
5. Open Web: Wikipedia, Wikisource, YouTube Commons(CC-BY), StackExchange 등.
6. Open Semantic: Wikidata 의 전체 데이터를 자연어 문장으로 변환한 데이터.

B. 데이터 정제 및 큐레이션 (Cleaning & Curation)

다국어, 역사적 문서, OCR(광학 문자 인식) 오류가 포함된 데이터를 처리하기 위해 자체 개발한 도구들을 활용했습니다.

• Segmentext: OCR 아티팩트와 깨진 레이아웃을 처리하는 텍스트 분할 모델.
• OCR Quality Detection: OCRoscope(언어 식별 기반) 와 OCRerrcr(DeBERTa 기반) 를 통해 OCR 오류를 감지하고 품질을 평가.
• OCR Correction: OCRonos(Llama 3 기반) 를 사용하여 OCR 오류를 수정하거나 손상된 텍스트를 재구성.
• Toxicity Filtering: 역사적 텍스트의 현대적 윤리 기준 부합을 위해 다국어 유해 콘텐츠 분류기 Celadon 을 개발하여 필터링.
• PII Removal: Microsoft Presidio 를 활용하여 전화번호, 이메일, IP 주소 등 개인 식별 정보를 식별하고 가짜지만 현실적인 값으로 대체 (삭제 대신).
• Deduplication: 메타데이터 및 PDF 기반 중복 제거.

C. 모델 학습 및 평가

• 모델: Common Corpus 로 학습된 350M 파라미터 (PleIAs 350M) 와 1.2B 파라미터 (PleIAs 1.2B) 의 Llama 아키텍처 기반 모델 학습.
• 평가: MultiBLiMP(다국어 언어적 최소쌍), XStoryCloze, XCOPA 등 다양한 벤치마크를 통해 성능을 검증.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 윤리적 데이터셋: 약 2 조 토큰 규모로, 저작권 및 개인정보 보호 규정을 완전히 준수하는 가장 큰 오픈 소스 프리트레이닝 데이터셋을 공개했습니다.
2. 다국어 및 도메인 다양성: 영어뿐만 아니라 프랑스어, 독일어, 스페인어 등 고자원 언어부터 라틴어, 그리스어, 슬라브어 등 저자원 언어까지 50 개 이상의 언어를 포함하며, 웹 텍스트뿐만 아니라 법률, 금융, 과학, 코드, 문화유산 등 다양한 도메인을 아우릅니다.
3. 완전한 투명성과 재현성: 데이터의 출처 (Provenance), 라이선스, 처리 과정, 필터링 기준을 상세히 문서화하여 오픈 사이언스 인프라로서의 역할을 수행합니다.
4. 오픈 소스 도구 공개: 데이터 정제를 위해 개발한 Segmentext, OCRoscope, OCRonos, Celadon 등의 도구를 오픈 소스로 공개하여 다른 연구자들이 유사한 데이터셋 구축에 활용할 수 있도록 했습니다.

4. 결과 (Results)

• 성능 비교: Common Corpus 로 학습된 350M 및 1.2B 모델은 유사 크기의 다른 모델 (Gemma 3, XGLM, BLOOM, OLMo 등) 과 비교해 동등하거나 더 나은 성능을 보였습니다.
• 다국어 능력: 특히 MultiBLiMP 벤치마크에서 350M 모델이 1B~1.7B 크기의 다른 모델들보다 우수한 성능을 기록하며, 소규모 모델임에도 불구하고 다국어 이해도가 높음을 입증했습니다.
• 데이터 품질: 정제 과정을 거친 데이터는 코드 데이터의 높은 반복성, 법률 텍스트의 고정된 어휘 등 도메인 특성에 맞는 분포를 보이며, 유해 콘텐츠와 PII 가 효과적으로 제거된 것을 확인했습니다.

5. 의의 및 중요성 (Significance)

• 법적 리스크 해소: 오픈 소스 LLM 연구가 저작권 소송이나 법적 제재 없이 안전하게 진행될 수 있는 기반을 마련했습니다.
• 오픈 사이언스 인프라: UNESCO 가 정의한 '공유 연구 인프라'로서, AI 데이터의 독점적 장벽을 허물고 연구자와 개발자들이 공정하게 데이터에 접근할 수 있게 합니다.
• 미래 지향적 접근: 웹 크롤링에 의존하지 않고, 공공 영역 (Public Domain) 과 명확한 라이선스를 가진 데이터를 체계적으로 수집하고 정제하는 새로운 표준 (Best Practice) 을 제시했습니다.
• 다국어 및 저자원 언어 지원: 기존 데이터셋이 간과했던 저자원 언어와 역사적 문헌을 포함함으로써, 보다 포용적이고 다양한 언어 환경을 가진 LLM 개발을 가능하게 합니다.

이 논문은 LLM 개발이 법적, 윤리적 규정을 준수하면서도 고품질의 데이터를 기반으로 지속 가능하게 이루어질 수 있음을 증명하는 중요한 이정표로 평가됩니다.