Wiki Dumps to Training Corpora: South Slavic Case

미하일로 스키릭 (Mihailo Škorić) 의 논문 "위키 덤프를 학습 말뭉치로: 남슬라브어 사례"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

남슬라브어군 (세르비아어, 크로아티아어, 슬로베니아어, 보스니아어, 마케도니아어, 불가리아어, 세르보크로아티아어) 은 영어나 독일어와 같은 주요 유럽 언어에 비해 대규모 자연어 처리 (NLP) 자원에서 현저히 부족하게 표현되어 있습니다. 이러한 부족은 해당 지역의 전문 언어 모델 개발과 다국어 학습 데이터 구축을 제한합니다.

위키미디어 프로젝트 (위키백과, 위키문헌, 위키책, 위키인용집, 위키뉴스) 는 방대한 양의 오픈 텍스트를 제공하지만, 원시 덤프는 즉시 학습에 사용할 수 없습니다. 여기에는 다음이 포함되어 있습니다:

• 위키 마크업: 자연어를 가리는 복잡한 구문, 템플릿, 링크, 메타데이터.
• 저품질/자동 생성 콘텐츠: 구조화된 데이터베이스에서 기계적으로 생성된 기사들이 상당 부분을 차지합니다. 이러한 기사들은 반복적인 패턴, 일반적인 문구, 높은 텍스트 중복성을 보이며, 이를 제거하지 않으면 통계적 분포를 왜곡하고 언어 모델 (LM) 의 성능을 저하시킬 수 있습니다.

2. 방법론

이 논문은 2026 년 4 월 1 일 자의 원시 위키미디어 덤프를 고품질이고 언어적으로 풍부한 말뭉치로 변환하는 2 단계 파이프라인을 제안합니다.

1 단계: 텍스트 추출 및 정제

이 단계는 정규 표현식과 mwparserfromhell 라이브러리를 결합하여 원시 XML 덤프를 구문 분석하고 자연어 텍스트를 분리하는 데 중점을 둡니다. 이 과정은 다음 5 가지 구체적인 단계를 포함합니다:

1. 초기 정제 및 구문 분석: 템플릿, 이미지, 구조 태그와 같은 일반적인 마크업 노이즈를 제거하여 구문 분석기의 입력을 단순화하는 정규식 처리를 수행합니다. 중첩된 템플릿과 지역화된 이미지 태그에 특히 주의를 기울입니다.
2. 카테고리 처리: 카테고리 태그는 별도의 메타데이터 목록으로 추출되어 본문에서 제거되어 비산문 요소가 말뭉치를 오염시키는 것을 방지합니다.
3. 마크업 제거: 파이프라인은 주석, 인수, 필수적이지 않은 템플릿을 제거합니다. 특히 시, 인용구와 같은 특정 템플릿은 형식 지시 사항을 폐기하면서 언어적 내용은 유지하도록 처리합니다.
4. 위키링크 및 표:
   • 링크: 링크는 가시 텍스트만 유지하도록 단순화됩니다 (예: [[Target|Visible]] → Visible).
   • 표: 복잡한 표 구조는 행별로 구문 분석됩니다. 시스템은 닫히지 않은 태그를 균형 있게 처리하고, 셀 내용을 추출하여 마크업 아티팩트 없이 정보를 보존하기 위해 일반 텍스트로 연결합니다.
5. 섹션 처리 및 정규화:
   • 일반 프로젝트: "참고문헌", "갤러리", "외부 링크"와 같은 섹션은 폐기됩니다.
   • 위키인용집: 논리가 반전되어 인용구가 포함된 섹션만 유지됩니다.
   • 제목: 문서 구조를 보존하기 위해 제목이 정규화되고 번호가 매겨집니다 (예: 1, 1.1).
6. 최종 정제: 마지막 처리 단계에서 잔여 HTML 유사 태그, 인터위키 링크, 매직 단어 (예: __TOC__) 를 제거하고 공백을 정규화하여 순수 텍스트 출력을 보장합니다.

2 단계: 필터링 (중복 제거)

기계적으로 생성된 저품질 기사의 문제를 해결하기 위해, 논문은 n-gram 기반 유사성 필터링 전략을 사용합니다:

1. 벡터 인코딩: 텍스트는 토큰화되고 정규화 (소문자화, 숫자 대체) 된 후 수치 벡터로 변환됩니다. 템플릿 패턴이 종종 나타나는 텍스트의 시작 부분에 초점을 맞추기 위해 2,000 단어 미만의 기사는 인코딩에 500 토큰까지만 사용됩니다.
2. 클러스터링: 기사는 추출된 카테고리에 따라 그룹화되어 관련 없는 주제 간 비교가 아닌 주제적으로 일관된 그룹 내에서 유사성 비교가 수행되도록 합니다. 계산 부하를 관리하기 위해 대규모 클러스터는 분할됩니다.
3. 유사성 점수화 (MinHashing):
   • 계산 비용이 많이 드는 자카드 유사도 대신, 시스템은 삼구 (trigram) 표현에 MinHashing을 사용하여 유사성을 근사화합니다.
   • 클러스터 내의 기사들은 쌍별로 비교됩니다. 일치하는 해시 위치의 비율을 기반으로 유사성 점수가 계산됩니다.
4. 컷오프 결정:
   • 각 기사에 대해 상위 3 개 유사성 점수의 평균을 계산합니다.
   • KneeLocator 알고리즘을 이러한 점수 분포에 적용하여 곡선의 "무릎"을 식별합니다. 이 점은 인간이 작성한 콘텐츠와 템플릿 생성/중복 콘텐츠를 구분하는 임계값으로 작용합니다.
   • 이 임계값을 초과하는 기사는 완전히 제거됩니다.

3. 주요 기여

• 포괄적인 다중 프로젝트 말뭉치: 이는 위키백과에만 의존하는 대신 7 개 언어에 걸쳐 5 개의 서로 다른 위키미디어 프로젝트 (위키백과, 위키문헌, 위키책, 위키인용집, 위키뉴스) 에서 데이터를 집계한 남슬라브 지역 최초의 시도입니다.
• 고급 필터링 파이프라인: 기존 자원의 중요한 공백을 해결하기 위해 남슬라브어에서 템플릿 생성 기사를 탐지하도록 특별히 조정된 MinHash 기반 중복 제거 구현.
• 언어 중립적 프레임워크: 남슬라브어에 초점을 맞추고 있지만, 방법론은 다른 언어 계열에도 일반화되도록 설계되었습니다.
• 공개된 방법론: 논문은 사용된 특정 정규식 패턴, 라이브러리 선택 (mwparserfromhell, gensim), 알고리즘적 매개변수를 상세히 기술하여 다른 연구자들을 위한 재현 가능한 청사진을 제공합니다.

4. 결과

이 연구는 2026 년 4 월 1 일 자 덤프를 처리하여 다음과 같은 결과를 도출했습니다:

• 데이터 양:
  • 세르비아어 (sr): 위키백과만으로도 약 1 억 3,400 만 단어의 가장 큰 데이터셋이며, 위키문헌 (2,100 만) 과 위키뉴스 (750 만) 에서도 상당한 기여를 받았습니다.
  • 슬로베니아어 (sl): 문학/역사 텍스트의 강력한 디지털화를 반영하여 위키백과 크기와 거의 비슷한 방대한 위키문헌 데이터셋 (6,140 만 단어) 을 가진 것으로 주목받았습니다.
  • 불가리아어 (bg): 5 개 프로젝트가 모두 활성화된 두 번째로 큰 위키백과 데이터셋 (~9,900 만 단어).
  • 세르보크로아티아어 (sh): 위키백과 (~5,000 만 단어) 로만 표현됨.
• 필터링 영향:
  • 필터링 과정은 중복을 제거하기 위해 말뭉치 크기를 크게 줄였습니다.
  • 세르비아어: 기사 수가 약 529,000 개에서 224,000 개로 거의 50% 감소하고 단어 수는 약 58% 감소하여 템플릿 콘텐츠의 높은 존재율을 나타냈습니다.
  • 보스니아어 (bs) 및 세르보크로아티아어 (sh): 또한 급격한 감소를 경험했습니다.
  • 불가리아어 (bg) 및 슬로베니아어 (sl): 자동화된 중복 수준이 낮음을 시사하며 대부분의 기사를 유지했습니다.
• 품질 개선:
  • 코사인 델타 거리 분석은 필터링된 말뭉치의 토큰 빈도 분포가 필터링되지 않은 위키백과 덤프에 비해 일반 언어 말뭉치 (SrpKor2013) 에 더 가까워졌음을 보여주었습니다. 이는 필터링이 템플릿 생성으로 인한 왜곡되고 반복적인 분포를 성공적으로 제거했음을 확인시켜 줍니다.

5. 의의

이 작업은 남슬라브어군을 연구하는 NLP 커뮤니티를 위한 기초 자원을 제공합니다. 정제되고 중복이 제거되며 언어적으로 다양한 말뭉치를 제공함으로써, 이 논문은 다음을 가능하게 합니다:

• 이러한 소외된 언어에 대한 더 강력하고 정확한 대규모 언어 모델 (LLM) 학습.
• 남슬라브어군 전반에 걸친 비교 언어학 연구 촉진.
• 원시 웹 데이터를 고품질 학습 세트로 변환하기 위해 체계적인 정제와 공격적인 중복 제거가 필수적임을 입증하여, 모델이 실제 언어 사용 대신 "보일러플레이트" 패턴을 학습하는 것을 방지.
• 다른 저자원 언어에도 적용 가능한 확장 가능하고 재현 가능한 파이프라인 제공.