SiDiaC-v.2.0: Sinhala Diachronic Corpus Version 2.0

이 논문은 1800 년부터 1955 년까지의 출판 시기와 5 세기부터 20 세기까지의 집필 시기를 아우르는 185 개 문학 작품 24 만 4 천 단어로 구성된 시디아크 (SiDiaC-v.2.0) 를 소개하며, 이는 스리랑카 국립도서관 자료를 기반으로 OCR 및 정제 과정을 거쳐 생성된 가장 방대한 싱할라어 역사적 말뭉치임을 밝히고 있습니다.

핵심

🕰️ 1. 이 프로젝트는 무엇인가요? (시간 여행의 지도)

상상해 보세요. 1800 년부터 1955 년까지, 그리고 더 거슬러 올라가서 기원전 5 세기부터 20 세기까지 쓰인 책들이 한곳에 모여 있다고 가정해 봅시다.

• SiDiaC-v.1.0 (이전 버전): 연구팀이 이전에 만든 '시간 여행 지도'였는데, 책이 46 권밖에 없었고, 일부 페이지가 찢어지거나 글자가 섞여 있는 등 '결함'이 있었습니다. 마치 낡은 지도에 구멍이 뚫려 있는 것과 같죠.
• SiDiaC-v.2.0 (이번 버전): 이번에는 그 지도를 완벽하게 수리하고 확장했습니다. 책의 수는 46 권에서 185 권으로 늘었고, 총 단어 수는 약 24 만 개에 달합니다. 이는 싱할라어 역사 연구에 있어 지금까지 만들어진 가장 방대하고 정확한 데이터입니다.

🧹 2. 어떻게 만들었나요? (더러운 보물 정화하기)

이 책들은 스리랑카 국립 도서관의 디지털 아카이브에서 가져온 것들입니다. 하지만 오래된 책들은 마치 먼지 쌓인 보물함과 같아서, 바로 쓸 수 없었습니다. 연구팀은 다음과 같은 과정을 거쳤습니다.

1. 불필요한 것 제거 (필터링):
   • 저작권 문제가 있는 책이나, 싱할라어가 아닌 다른 언어 (팔리어, 산스크리트어, 영어) 로만 쓰인 책은 제외했습니다. 마치 보물상자에서 진짜 보물이 아닌 돌멩이나 쓰레기를 골라내는 과정입니다.
2. OCR (광학 문자 인식) 과 수정:
   • 책 내용을 컴퓨터가 읽을 수 있도록 스캔했습니다. 하지만 오래된 글씨는 컴퓨터가 잘 못 읽어서 "A"를 "B"로 잘못 읽거나, 줄이 끊긴 채로 인식하는 경우가 많았습니다.
   • 연구팀은 사람이 직접 하나하나 확인하며 이 오류들을 수정했습니다. 마치 고서적 복원 전문가가 낡은 종이를 조심스럽게 닦아내듯 말이죠.
3. 특수 마킹 (태그 달기):
   • 시 (詩) 에서는 운율을 맞추기 위해 단어를 잘라 쓰는 경우가 많습니다. 컴퓨터가 이를 혼동하지 않도록 <psi> 같은 특수 마킹을 넣어 "여기는 시의 운율 때문에 단어가 잘린 거야"라고 알려주었습니다.
   • 문장이 끝나는 곳에는 <eos> 마크를 넣어 문장 구분을 명확히 했습니다.

📚 3. 어떤 책들이 들어있나요? (다양한 장르의 사료)

이 시간 여행 지도에는 다양한 장르의 책들이 들어있습니다.

• 종교 (불교): 스리랑카 문화의 핵심인 불교 경전과 해설서들이 가장 많습니다.
• 시 (Poetry): 운율과 아름다움을 중시한 고전 시가들입니다.
• 역사, 의학, 언어: 과거의 지혜가 담긴 다양한 분야의 책들입니다.

이 책들은 **1800 년1955 년 (출판 연도)**과 **5 세기20 세기 (작성 연도)**라는 두 가지 시간 축을 가지고 있어, 언어가 어떻게 변해왔는지 추적할 수 있게 해줍니다.

🔍 4. 이 데이터로 무엇을 알 수 있나요? (언어의 진화 관찰)

연구팀은 이 거대한 데이터베이스를 이용해 단어들의 의미 변화를 분석했습니다. 마치 언어의 DNA 를 분석하는 것과 같습니다.

• 예시 1: "사 (Sathara)"라는 단어
  • 이 단어는 '4'라는 숫자, '기술', '도둑' 등 여러 뜻을 가집니다.
  • 분석 결과, 13~15 세기에는 '4'라는 숫자가 불교의 '4 가지 지혜'나 '4 지옥'과 연결되어 종교적 의미로 쓰인 반면, 19 세기에는 '도둑'이라는 뜻이 아주 드물게 등장했습니다.
• 예시 2: "마 (Maha)"라는 단어
  • '위대하다', '강하다', '크다'는 뜻을 가집니다.
  • 과거에는 '위대함'이나 '신성함'을 표현하는 데 많이 쓰였으나, 시간이 지나면서 '강함'이나 '크기'를 강조하는 의미로 쓰이는 빈도가 변했습니다.

이처럼 단어 주변의 다른 단어들이 어떻게 변했는지를 분석함으로써, 수백 년 전 사람들이 어떤 생각을 하고 살았는지, 언어가 어떻게 진화했는지 알 수 있습니다.

🌟 5. 왜 중요한가요? (저자원 언어의 등불)

싱할라어는 컴퓨터가 잘 이해하지 못하는 **'저자원 언어 (Low-resource language)'**로 분류됩니다. 영어나 중국어처럼 방대한 데이터가 없기 때문에 인공지능 (AI) 이 배우기 어려운 언어입니다.

이 프로젝트는 싱할라어 AI 가 과거를 이해하고 미래를 예측할 수 있는 튼튼한 기초를 닦아주었습니다. 마치 어두운 방에 전등을 켜듯, 이 데이터는 싱할라어 자연어 처리 (NLP) 연구자들에게 가장 중요한 등불이 될 것입니다.

💡 요약

SiDiaC-v.2.0은 단순히 책 185 권을 디지털로 옮긴 것이 아닙니다.
**"오래된 책들을 깨끗이 닦고, 오류를 고치고, 시간 순서대로 정리하여, 과거의 언어가 어떻게 살아 숨 쉬었는지 보여주는 거대한 시간 여행 지도"**를 완성한 것입니다. 이를 통해 우리는 과거의 지혜를 되살리고, 미래의 AI 가 우리 언어를 더 잘 이해하도록 돕게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

• 저자원 언어 (Low-resource Language) 의 한계: 스리랑카의 주요 언어인 싱할라어 (Sinhala) 는 자연어 처리 (NLP) 연구에 필요한 대규모 역사적 텍스트 코퍼스가 부족합니다. 기존에 존재하던 유일한 역사적 코퍼스인 SiDiaC-v.1.0 은 규모가 작고 (약 5 만 토큰), 다양한 한계를 가지고 있었습니다.
• 기존 코퍼스의 품질 문제 (SiDiaC-v.1.0 의 결함):
  • 데이터 필터링의 엄격함: 저작권 및 작성 연도 확인 문제로 인해 많은 문학 작품이 제외되어 데이터 양이 제한되었습니다.
  • OCR 및 포맷 오류: 스캔된 문서의 OCR 인식 오류 (문자/단어 누락, 삽입, 치환), 다단 (Multi-column) 텍스트 처리 실패, 페이지 번호 및 도장 포함, 잘못된 들여쓰기 등 포맷팅 문제가 해결되지 않았습니다.
  • 코드 믹싱 (Code-mixing) 문제: 싱할라어 텍스트 내에 팔리 (Pali), 산스크리트 (Sanskrit), 영어가 혼재되어 있어 순수 싱할라어 코퍼스로서의 대표성이 떨어졌습니다.
  • 시각적 요소 처리: 시가 (Poetry) 에서의 운율 표시를 위해 단어가 분리된 경우나, 주석 (Commentary) 이 원문과 섞인 경우의 연대기적 처리가 미흡했습니다.
  • 메타데이터 부족: 작성 연도 (Written Date) 와 발행 연도 (Issued Date) 를 명확히 구분하지 못해 역사적 언어 변화 분석에 한계가 있었습니다.

2. 방법론 (Methodology)

SiDiaC-v.2.0 은 SiDiaC-v.1.0 의 한계를 극복하고 규모와 품질을 대폭 향상시키기 위해 다음과 같은 체계적인 파이프라인을 구축했습니다.

• 데이터 수집 및 필터링 (Data Collection & Filtration):
  • 스리랑카 국립 도서관 (Natlib) 의 디지털 아카이브에서 233 권의 도서를 초기 후보로 선정했습니다.
  • 저작권 및 언어 필터링: 2003 년 지적재산권법 (저작권 보호 기간: 작가 사망 후 70 년) 을 준수하여 1955 년 이전에 출판된 작품 위주로 선별했습니다. 또한, 싱할라어만 포함된 텍스트로 필터링하여 팔리/산스크리트/영어만 포함된 18 권의 도서를 제외했습니다.
  • 최종 구성: 185 권의 문학 작품 (241,491 단어) 으로 구성되었습니다.
• 작성 연도 주석 (Written Date Annotation):
  • 단순 발행 연도뿐만 아니라, 저자의 생몰 연대나 문헌학적 연구를 바탕으로 실제 작성된 연도 (Written Date) 를 추정하여 주석했습니다. 이는 COHA(역사적 미국 영어 코퍼스) 의 방식을 참고하여 적용되었습니다.
  • 185 권 중 59 권 (67,005 단어) 에 대해 구체적인 작성 연도가 주석된 하위 집합 (Subset) 을 구성했습니다.
• OCR 및 텍스트 추출:
  • Google Document AI OCR 을 사용하여 텍스트를 추출했습니다. 이는 역사적 싱할라어의 현대화 (Text Modernisation) 및 형태소 분할 (Morpheme Segmentation) 기능이 뛰어나기 때문입니다.
• 후처리 (Post-processing) 및 정제:
  • 코드 믹싱 제거: 싱할라어 외의 언어 (팔리, 산스크리트, 영어) 가 포함된 부분을 수동으로 제거했습니다.
  • 특수 토큰 추가: 문장 종결을 위한 <eos> 토큰과, 시가에서 분리된 운율 부분을 표시하기 위해 단어 분할을 유지하면서도 원형 복구가 가능한 <psi> (Poetry Suffix Indicator) 토큰을 도입했습니다.
  • 오류 수정: OCR 로 인한 오타, 다단 텍스트를 단단 (Single-column) 형식으로 재배열, 페이지 번호/도장 제거, 들여쓰기 표준화 등을 수행했습니다.
  • 주석 처리: 원문과 주석이 섞인 텍스트의 경우, 원문의 작성 연도를 기준으로 하거나 주석의 연도를 별도로 처리하는 전략을 적용했습니다.
• 메타데이터 생성: 각 도서에 제목, 저자, 장르 (1 차: 소설/비소설, 2 차: 종교, 역사, 시, 언어, 의학 등), 발행/작성 연도, OCR 신뢰도 등을 포함한 JSON 메타데이터를 생성했습니다.

3. 주요 기여 (Key Contributions)

• 최대 규모의 싱할라 역사적 코퍼스: SiDiaC-v.2.0 은 현재까지 가장 큰 싱할라어 역사적 코퍼스로, 총 241,491 단어 (185 권) 를 포함하며, 작성 연도가 주석된 하위 집합은 67,005 단어입니다.
• 고급 텍스트 정제 및 특수 토큰 도입:
  • 역사적 텍스트의 고유한 특징 (시가 운율, 다단 레이아웃, 주석 혼재) 을 고려한 정교한 전처리 파이프라인을 제시했습니다.
  • <eos> 및 <psi> 같은 특수 토큰을 도입하여 문장 단위 분석과 시가 구조 보존을 동시에 가능하게 했습니다.
• 정교한 메타데이터 및 장르 분류:
  • 단순 발행 연도가 아닌 '작성 연도'를 기반으로 한 시계열 분석을 지원하며, 종교, 역사, 시 등 5 가지 세부 장르로 세분화하여 분류했습니다.
• 저자원 언어를 위한 벤치마크: 싱할라어와 같은 저자원 언어의 역사적 언어 변화 연구에 필요한 표준 데이터셋과 방법론을 제공합니다.

4. 결과 (Results)

• 데이터 규모 및 구성:
  • 총 185 권의 도서 중 비소설 (Non-Fiction) 135 권, 소설 (Fiction) 50 권으로 구성되었습니다.
  • 세부 장르별로는 **종교 (86 권)**와 **시 (54 권)**가 가장 많았으며, 이는 싱할라 문학 문화와 불교, 산스크리트 카비야 (Kavya) 전통의 밀접한 관계를 반영합니다.
• Bag-of-Words (BoW) 분석 결과:
  • 13 세기부터 20 세기까지의 텍스트를 대상으로 일관된 단어 (Consistent Words) 를 추출하여 BoW 분석을 수행했습니다.
  • 다의어 (Polysemy) 분석: 'සතර (sathara, 4/도둑/기술)'과 'මහ (maha, 위대함/강함/크다)'라는 두 단어를 중심으로 시대에 따른 의미 변화를 분석했습니다.
    • 예: 'සතර'은 13~15 세기에는 지옥 (Buddhism 의 4 지옥) 과 관련이 깊었으나, 19 세기에는 '도둑'의 의미로 사용된 흔적이 발견되었고, 20 세기에는 교육/지식 관련 단어가 빈번하게 등장하여 의미 확장을 보여주었습니다.
    • 예: 'මහ'는 1314 세기에는 '위대함/신성함'의 의미가 우세했으나, 1519 세기에는 사용이 감소했다가 20 세기에 '강함/위력'의 의미로 다시 부활하는 경향을 보였습니다.
• 품질 향상: SiDiaC-v.1.0 대비 오타 수정, 다단 텍스트 처리, 불필요한 요소 제거 등을 통해 텍스트의 품질과 분석 적합성이 크게 향상되었습니다.

5. 의의 (Significance)

• 역사적 언어학 연구의 기반 마련: 싱할라어의 수천 년에 걸친 언어 변화 (음운, 어휘, 의미 변화) 를 체계적으로 연구할 수 있는 최초의 포괄적인 데이터베이스를 구축했습니다.
• 저자원 언어 NLP 의 발전: 영어 등 고자원 언어에 비해 데이터가 부족한 싱할라어의 NLP 기술 (기계 번역, 텍스트 생성, 시계열 분석 등) 발전에 필수적인 인프라를 제공합니다.
• 문화유산의 디지털 보존: 스리랑카의 고전 문학, 종교 텍스트, 역사 기록을 디지털화하고 정제하여 미래 세대에 보존하고 접근성을 높였습니다.
• 방법론적 모델 제시: OCR 기반의 역사적 텍스트 코퍼스 구축 시 발생할 수 있는 다양한 문제 (코드 믹싱, 포맷 오류, 주석 처리 등) 를 해결하기 위한 구체적인 방법론을 제시하여, 다른 저자원 언어의 역사적 코퍼스 구축에도 참고할 수 있는 모델을 제공합니다.

이 논문은 SiDiaC-v.2.0 을 통해 싱할라어 NLP 연구의 새로운 지평을 열었으며, 특히 역사적 언어 변화 분석을 위한 고품질 데이터셋의 중요성을 강조하고 있습니다.