SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark

기술 요약: SomaliWeb v1

문제 제기
소말리어는 약 2,500 만 명의 화자를 가진 주요 세계 언어이자 (뉴스, 디아스포라, 소셜 미디어 등) 활기찬 디지털 생태계를 보유하고 있음에도 불구하고, 전용되고 문서화된 단일 언어 사전 학습 코퍼스가 부재합니다. 기존 소말리어 텍스트는 다국어 분포 (예: HPLT v2, CC100, MADLAD-400, mC4) 내에 파편화되어 있거나, Hugging Face 에 문서화되지 않은 소규모 업로드 형태로 존재합니다. 이러한 인프라 격차는 실무자가 학습 데이터 품질을 감사 (audit) 하는 것을 불가능하게 만들고, 연구자들이 원시 다국어 덤프에서 코퍼스를 반복적으로 재추출하여 동일한 품질 문제를 재발견하도록 강요합니다. 더 나아가 소말리어에 특화되어 조정된 언어 식별 (LID) 을 위한 공개 벤치마크는 존재하지 않으며, 영어 중심 모델에서 저자원 언어가 겪는 "토큰화 세 (tokenization tax, 비효율적인 토큰 수)"를 해결하기 위한 매칭된 토크나이저도 출시되지 않았습니다.

방법론: 6 단계 파이프라인
저자들은 HPLT v2(som_Latn), CC100(so), 그리고 소말리어 위키백과 (2023-11-01 덤프) 의 세 가지 상류 소스를 집계하여 재현 가능한 6 단계 파이프라인을 통해 구축된 SomaliWeb v1을 제시합니다. 이 파이프라인은 초기 집계된 1,372,052 개의 문서 (5 억 8,800 만 토큰) 를 최종 코퍼스인 819,322 개의 문서 (3 억 300 만 토큰) 로 처리합니다.

1. 바이트 정확 중복 제거 (Byte-Exact Deduplication): 소문자 정규화 및 공백 축소 후 문서에 해시 (SHA-256) 를 적용합니다. 이는 원시 입력의 13.83% 를 제거하며, HPLT v2 만으로도 17.27% 의 바이트 정확 중복이 포함되어 있음을 드러냅니다.
2. 정규화 및 길이 필터링: ftfy 를 사용하여 모자이크 (mojibake) 를 수정하고, 유니코드 NFC 정규화를 적용하며, 공백을 축소하고 반복된 문자 실행을 제거하는 일련의 연산자가 적용됩니다. 50 단어 미만인 문서는 폐기됩니다. 이 단계는 생존한 HPLT 문서의 56.06% 에서 모자이크를 수정하고, 코퍼스의 8.65%(주로 짧은 문서) 를 제거합니다.
3. 언어 식별 (LID): langdetect 를 시드 (seed) 로 사용하여 소말리어가 상위 1 순위 예측이며 신뢰도가 $\ge$ 0.50 인 문서를 필터링합니다. GlotLID v3 를 이용한 2 차 통과로 방언을 태깅합니다. 이는 문서의 0.21% 를 제거하며, 대부분 영어 누출 (leakage) 입니다.
4. 근접 중복 제거: Locality Sensitive Hashing (LSH) 을 사용한 MinHash 가 워드 3-그램을 기반으로 근접 중복을 식별합니다. 후보는 정확한 자카드 유사도 ($\tau = 0.80$) 로 검증됩니다. 클러스터는 병합되어 가장 긴 문서가 유지됩니다. 이는 문서의 10.57%(113,896 개 문서) 를 제거합니다.
5. 품질 필터링: 문서들은 2,221 개의 소말리어 위키백과 기사로 구성된 깨끗한 시드 (seed) 에 대한 문자 5-그램 커버리지에 따라 점수가 매겨집니다. 커버리지 기준 하위 15% 의 문서는 폐기됩니다. 이 단계는 소스 품질의 비대칭성을 드러내는데, 위키백과는 20.61% 의 문서를 폐기하는 반면 CC100 은 5.76% 만 폐기합니다.
6. 배포 및 토크나이저: 최종 코퍼스는 셔플되어 95/5 비율로 (학습/검증) 분할되며, BPE-16K 토크나이저 학습에 사용됩니다.

주요 기여

• C1 (아티팩트): 동반 토크나이저와 전체 데이터셋 카드가 CC-BY-SA 4.0 하에 배포된 최초의 버전 관리되고 문서화된 단일 언어 소말리어 사전 학습 코퍼스 (819k 개 문서, ~3 억 300 만 토큰).
• C2 (벤치마크): 소말리어 전용 테스트 세트에서 세 가지 생산용 LID 도구 (langdetect, GlotLID v3, fastText lid.176) 에 대한 최초의 공개 병렬 벤치마크로, 클래스별 정밀도, 재현율, F1, 처리량을 95% 부트스트랩 신뢰 구간과 함께 제공합니다.
• C3 (측정): HPLT v2 의 "정제된" 소말리어 분포에 대한 정량적 감사로, 세 가지 구체적인 결함을 식별함: 17.3% 의 바이트 정확 중복, 56.1% 의 문서에 포함된 수정 가능한 모자이크, 그리고 바이트 고유 문서 간의 10.7% 의 근접 중복.
• C4 (도구): 정제된 코퍼스로 학습된 BPE-16K 토크나이저. 이는 GPT-4 의 cl100k_base 에 비해 FLORES-200 소말리어 devtest 에서 40.2% 더 높은 토큰 효율성 (단어당 더 적은 토큰) 을 달성하며, 30% 더 작은 학습 세트를 사용함에도 불구하고 원시 HPLT 코퍼스로 학습된 토크나이저의 비옥도 (fertility) 와 일치합니다.

결과

• 파이프라인 유지율: 파이프라인은 원시 집계 입력의 59.7% 를 유지합니다. 가장 큰 감소는 1 단계 (중복 제거) 와 5 단계 (품질 필터링) 에서 발생합니다.
• LID 성능: 200 행 테스트 세트에서 langdetect 가 가장 높은 소말리어 F1 점수 (0.884) 를 달성하여 GlotLID v3(0.829) 와 fastText lid.176(0.140) 을 능가했습니다. 특히 fastText 는 대부분의 소말리어 문서를 식별하지 못했습니다 (재현율 0.075), 반면 GlotLID 는 관련 있는 마야 마야 (Maay Maay) 방언 대신 오로모어 (Oromo), 풀풀데어 (Fulfulde) 와 같은 계통적으로 먼 라틴 문자 아프리카 언어들과 소말리어를 자주 혼동했습니다.
• 토크나이저 효율성: SomaliWeb v1 토크나이저는 FLORES-200 devtest 에 대해 35,867 개의 토큰을 생성하는 반면, cl100k_base 는 60,010 개의 토큰을 생성합니다. 이는 토큰 수의 1.67 배 감소를 의미하며, 추론 비용의 잠재적 감소와 토큰당 더 높은 정보 밀도를 시사합니다.
• 방언 커버리지: 최종 코퍼스에는 마야 마야 (ymm_Latn) 로 식별된 문서가 전혀 포함되어 있지 않으며, 이는 방언의 구전적 특성과 상류 소스 필터링 때문일 가능성이 높습니다. 코퍼스는 명시적으로 "표준 소말리어"로만 라벨링됩니다.

의의 및 주장
이 논문은 SomaliWeb v1 을 주로 하류 언어 모델링의 우월성 주장보다는 아티팩트에 대한 감사 (audit) 로 프레임합니다. 그 의의는 다음과 같습니다:

1. 재현성: 커뮤니티가 소말리어 데이터 큐레이션을 감사하고 반복할 수 있도록 문서화되고 비트 단위로 정확히 재현 가능한 파이프라인을 제공합니다.
2. 품질 인식: "사용 가능한" 다국어 데이터가 반드시 "깨끗한" 것은 아니며, HPLT v2 와 같은 주요 릴리스에도 중복, 모자이크와 같은 중대한 품질 결함이 지속됨을 보여줍니다.
3. 토큰화 효율성: 코퍼스 매칭 토크나이저가 더 큰 모델 아키텍처를 요구하지 않고도 소말리어의 토큰화 세를 현저히 줄일 수 있음을 확립합니다.
4. 미래 작업의 기반: 저자들은 하류 언어 모델의 퍼플렉시티 비교는 추후 릴리스 (v2) 로 미루어지며, 이는 다른 파이프라인 (예: CCNet) 에 대한 절제 연구 (ablation studies) 및 기준선 비교를 포함할 것이라고 명시적으로 밝힙니다.

이 작업은 그 주장이 겸손하며, 소말리어 특화 PII 제거 부재, 휴리스틱한 품질 필터의 성격, 작은 LID 테스트 세트의 크기, 비표준 방언의 배제와 같은 한계를 인정합니다. 이는 아프리카의 뿔 (Horn of Africa) 을 위한 견고한 NLP 인프라 구축을 위한 버전 관리된 노력의 첫걸음으로 자리매김합니다.