The Growing Gains and Pains of Iterative Web Corpora Crawling: Insights from South Slavic CLASSLA-web 2.0 Corpora

이 논문은 남슬라브어군 7 개 언어의 웹 코퍼스 (CLASSLA-web 2.0) 를 구축하여 어휘량을 대폭 확장하고 주제 라벨을 추가했으나, 2 년 만의 재크롤링에서도 콘텐츠의 80% 가 새로 생성되었음과 동시에 기계 생성 사이트의 증가로 인한 웹 콘텐츠의 질적 저하라는 새로운 과제를 드러냈음을 보고합니다.

핵심

📚 1. 도서관 사서의 모험: "인터넷이라는 거대한 바다"

연구자들은 남슬라브어권 국가들의 인터넷 (.si, .hr, .bg 등) 을 거대한 바다라고 상상했습니다. 2 년 전 (1.0 버전), 그들은 이 바다에서 물고기 (텍스트) 를 잡아서 거대한 **수족관 (데이터 모음집)**을 만들었습니다. 그 수족관은 이미 언어 연구자들에게 큰 인기를 끌었습니다.

하지만 연구자들은 "2 년이 지났으니 바다에는 새로운 물고기들이 많이 생겼을 거야!"라고 생각했습니다. 그래서 그들은 2 년 만에 다시 그 바다로 가서 (2.0 버전) 다시 물고기를 잡았습니다.

🎁 2. 놀라운 선물: "새로운 물고기 80%"

두 번째 수확을 해보니 정말 놀라운 일이 벌어졌습니다.

• 크기: 1.0 버전보다 약 1.5 배 더 큰 거대한 수족관이 되었습니다. (약 170 억 단어, 3,800 만 개의 텍스트!)
• 새로움: 가장 놀라운 점은 이전 수족관에 있던 물고기의 80% 가 사라지고, 완전히 새로운 물고기들로 채워졌다는 것입니다.
  • 비유: 2 년 전의 뉴스 기사를 모두 지우고, 그 자리에 완전히 새로운 뉴스만 채워 넣은 것과 같습니다. 인터넷은 정말 빠르게 변하고, 새로운 내용이 끊임없이 쏟아져 나온다는 뜻입니다.

🏷️ 3. 라벨링의 마법: "무엇에 대한 글일까?"

연구자들은 잡힌 텍스트 하나하나에 두 가지 라벨을 붙였습니다.

1. 장르 (Genre): 이 글이 뉴스인지, 포럼 글인지, 광고인지, 법률 문서인지 분류했습니다. (예: 모든 언어에서 뉴스가 가장 많았어요!)
2. 주제 (Topic): 뉴스라면 어떤 내용인지 분류했습니다. (예: 스포츠, 정치, 경제, 연예 등).
   • 결과: 남슬라브어권 인터넷의 뉴스는 거의 대부분 스포츠, 정치, 경제, 문화, 인간 이야기에 집중되어 있었습니다. 마치 전 세계 뉴스가 비슷한 주제를 다루는 것과 비슷하죠.

⚠️ 4. 아픔 (Pains): "로봇이 쓴 가짜 뉴스의 습격"

하지만 여기에는 어두운 그림자가 있었습니다. 연구자들이 인터넷을 다시 뒤져보니, 2 년 전보다 '나쁜' 사이트들이 훨씬 더 많이 잡혔습니다.

• 문제: AI 가 자동으로 글을 써서 만든 사이트나, 기계 번역으로 된 쓰레기 같은 글들이 급격히 늘어났습니다.
• 비유: 2 년 전에는 수족관에 진짜 물고기가 99% 였다면, 2 년 후에는 **가짜 플라스틱 물고기 (AI 생성 텍스트)**가 15% 나 차지하게 된 것입니다.
• 해결책: 연구자들은 이 가짜 물고기들을 걸러내기 위해 사람이 직접 가장 많이 나오는 사이트들을 하나하나 검사해야 했습니다. AI 가 글을 더 잘 쓸수록, 우리가 더 꼼꼼하게 걸러내야 한다는 교훈입니다.

📐 5. 빠른 예측법: "주소만 봐도 알 수 있을까?"

텍스트가 겹치는지 확인하려면 모든 글을 비교해야 하는데, 이는 거대한 도서관의 모든 책을 한 장씩 비교하는 것처럼 시간이 너무 오래 걸립니다.

• 발견: 연구자들은 "글의 내용이 겹치면, 그 글이 있던 웹사이트 주소 (URL) 도 겹칠 확률이 높다"는 사실을 발견했습니다.
• 해결책: 그래서 그들은 주소가 겹치는 비율만 봐도, 글이 겹치는 비율을 대략적으로 예측할 수 있는 공식을 만들었습니다.
  • 비유: 모든 책을 다 읽지 않아도, 책장 번호 (주소) 가 겹치는지 확인하는 것만으로도 "아, 이 책장은 거의 새로운 책들로 채워졌구나"라고 짐작할 수 있게 된 것입니다.

🎯 결론: "지속적인 수확이 필요하다"

이 논문은 우리에게 두 가지 중요한 메시지를 줍니다.

1. 인터넷은 빠르게 변한다: 2 년만 지나도 인터넷의 내용은 거의 새로 바뀝니다. 그래서 언어 데이터를 모으려면 2 년마다 다시 인터넷을 뒤져야 최신 데이터를 얻을 수 있습니다.
2. 품질 관리가 필수다: AI 가 글을 더 잘 쓰게 되면서 인터넷에는 '쓰레기'도 함께 늘어납니다. 그래서 사람의 손으로 꼼꼼하게 걸러내는 작업이 더 중요해졌습니다.

결론적으로, 이 연구는 남슬라브어권 언어를 위한 최신, 최대, 가장 깨끗한 언어 데이터 보물창고를 완성했고, 앞으로 어떻게 이 보물창고를 유지하고 확장할지에 대한 지도를 그려준 것입니다.

기술 요약

논문 요약: 남슬라브어권 iterative 웹 코퍼스 크롤링의 성과와 과제 (CLASSLA-web 2.0)

1. 연구 배경 및 문제 제기 (Problem)

• 저자원 언어의 데이터 부족: 자연어 처리 (NLP) 분야에서 저자원 언어 (Less-resourced languages) 를 위한 대규모 고품질 말뭉치 구축은 여전히 주요 과제입니다.
• 기존 방법의 한계: 기존 다국어 웹 코퍼스 (Common Crawl, OSCAR, mC4 등) 는 특정 남슬라브어 (세르비아어, 보스니아어, 몬테네그로어 등) 에 대해 언어 식별 오류가 발생하거나, 콘텐츠 양이 부족하며, 최근 생성형 AI 의 확산으로 인해 자동 생성되거나 저품질의 콘텐츠가 급증하는 문제가 있습니다.
• 필요성: 이러한 문제를 해결하기 위해 국가별 최상위 도메인 (TLD) 을 대상으로 한 체계적이고 반복적인 크롤링과 수동 검수가 필수적입니다.

2. 방법론 (Methodology)

이 연구는 CLASSLA-web 2.0 코퍼스 컬렉션을 구축하기 위해 다음과 같은 파이프라인을 적용했습니다.

• 크롤링 인프라:
  • 대상: 보스니아, 불가리아, 크로아티아, 마케도니아, 몬테네그로, 세르비아, 슬로베니아 등 7 개 남슬라브어 국가의 최상위 도메인 (TLD) 및 관련 일반 도메인 (.com 등).
  • 도구: MaCoCu 프로젝트의 크롤러 (SpiderLing 기반) 를 사용하여 대규모 웹 텍스트를 수집했습니다.
• 후처리 및 정제:
  • 언어 식별: 문서 및 문장 수준에서 trigram 분류기와 CLD2 를 사용했습니다. 특히 보스니아어, 크로아티아어, 몬테네그로어, 세르비아어 (HBS) 간의 모호성을 해결하기 위해 국가별 TLD 기반의 Naive Bayes 분류기를 추가로 활용했습니다.
  • 데이터 클리닝: jusText 를 이용한 보일러플레이트 제거, onion 도구를 통한 근접 중복 (near-duplicate) 제거, 인코딩 복구, 과도하게 짧은 문서 필터링 등을 수행했습니다.
  • 수동 검증: 각 코퍼스에서 가장 많은 텍스트를 제공하는 상위 도메인을 수동으로 검토하여 기계 번역, 자동 생성 텍스트, 심각한 인코딩 오류가 포함된 도메인을 제거했습니다.
• 주석 (Annotation) 추가:
  • 장르 (Genre) 및 주제 (Topic): X-GENRE 분류기를 통해 장르를, IPTC 뉴스 토픽 분류기를 통해 주제를 자동 주석했습니다. (특히 뉴스 장르 내 주제 분석에 중점)
  • 언어학적 주석: CLASSLA-Stanza 파이프라인을 사용하여 토큰화, 어근 추출 (lemmatization), 형태소 - 구문 주석을 수행했습니다.
• 버전 간 비교: 2021-2022 년에 수집된 CLASSLA-web 1.0 과 2024 년에 수집된 2.0 을 동일한 파이프라인으로 비교 분석하여 웹의 진화를 관찰했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 코퍼스 공개: 7 개 언어에 걸쳐 170 억 단어, 3,810 만 개 텍스트로 구성된 CLASSLA-web 2.0 코퍼스 컬렉션을 공개했습니다. 이는 이전 버전 (1.0) 보다 훨씬 큰 규모입니다.
2. 다층적 주석 제공: 기존 장르 주석에 더해 주제 (Topic) 주석을 추가하여 코퍼스 내 콘텐츠의 분포를 심층적으로 분석할 수 있는 기반을 마련했습니다.
3. 웹 진화 및 중첩도 분석: 2 년 간의 간격으로 반복 크롤링 시 콘텐츠 중첩도가 매우 낮음을 입증하고, URL 중첩도를 통해 콘텐츠 중첩도를 추정하는 선형 회귀 모델을 제안했습니다.
4. 웹 품질 저하 경고: 자동 생성 콘텐츠의 급증으로 인한 웹 품질 저하 현상을 정량화하고, 수동 도메인 검증의 중요성을 강조했습니다.

4. 주요 결과 (Results)

• 규모 성장: CLASSLA-web 2.0 은 1.0 대비 단어 수 기준 약 57%, 텍스트 수 기준 약 46% 증가했습니다. 특히 불가리아어와 몬테네그로어 코퍼스는 크기가 거의 두 배로 늘어났습니다.
• 낮은 콘텐츠 중첩 (Low Overlap):
  • 2 년 만에 크롤링한 두 버전 간 텍스트 중첩도는 **약 20%**에 불과했습니다. 즉, 2.0 버전의 텍스트 중 약 82% 가 1.0 에 없던 새로운 콘텐츠였습니다.
  • 이는 웹 콘텐츠가 매우 빠르게 순환 (Turnover) 한다는 것을 의미하며, 반복적인 크롤링이 저자원 언어를 위한 대규모 데이터 확보에 효과적임을 입증했습니다.
• URL 기반 중첩 추정: 텍스트 중복을 직접 탐지하는 것은 계산 비용이 높으므로, 공유된 URL 비율과 공유된 텍스트 비율 간의 강한 상관관계 (Pearson 상관계수 0.908) 를 발견했습니다. 이를 통해 URL 중첩도만으로도 콘텐츠 중첩도를 빠르게 추정할 수 있는 회귀 모델을 제시했습니다.
• 콘텐츠 품질 저하 (Growing Pains):
  • 2024 년 크롤링 (2.0) 에서 상위 250 개 도메인을 수동 검토한 결과, **15%**의 텍스트가 저품질 (기계 생성/번역) 도메인에서 유래한 것으로 확인되었습니다.
  • 반면, 2021-2022 년 크롤링 (1.0) 에서는 이러한 저품질 도메인의 비중이 **1%**에 불과했습니다. 이는 생성형 AI 의 확산으로 인한 웹 콘텐츠의 질적 저하를 시사합니다.
• 장르 및 주제 분포: 모든 남슬라브어 웹에서 뉴스 (News) 장르가 지배적 (보스니아, 마케도니아, 몬테네그로는 70% 이상) 이며, 주요 주제는 스포츠, 정치, 경제, 예술/문화, 인간 관심사 등 5 가지로 집중되어 있습니다.

5. 의의 및 결론 (Significance)

• 저자원 언어 NLP 의 발전: 반복적인 TLD 크롤링은 저자원 언어를 위한 대규모 고품질 데이터를 확보하는 가장 효과적인 방법 중 하나임을 재확인시켰습니다.
• 데이터 품질 관리의 중요성: 생성형 AI 의 보편화로 인해 웹 크롤링 시 수동 도메인 검증이 필수적인 단계가 되었음을 강조했습니다. 자동화된 파이프라인만으로는 저품질 데이터를 완전히 필터링하기 어렵습니다.
• 향후 방향: 2 년 주기의 반복 크롤링을 통해 지속적으로 업데이트되고 규모가 확대되는 코퍼스를 제공함으로써, 남슬라브어권 언어 기술 개발 및 언어학 연구에 기여할 것입니다.

이 논문은 단순히 데이터 양을 늘리는 것을 넘어, 웹 환경의 급격한 변화 (자동 생성 콘텐츠의 증가) 에 대응하기 위한 데이터 수집 및 정제 전략의 중요성을 제시한다는 점에서 의의가 깊습니다.