Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts

이 논문은 7 세기부터 2025 년까지 1,300 년의 역사와 6 개 언어를 아우르는 1770 만 건의 공개 도메인 텍스트로 구성된 '오픈 한국어 역사 코퍼스 (Open Korean Historical Corpus)'를 소개하고, 이를 통해 한국어의 문자 체계 변화와 어휘적 분화 등 주요 언어학적 변천을 정량적으로 분석하여 대규모 언어 모델 학습을 위한 기초 자원을 마련했다는 점을 강조합니다.

핵심

이 논문은 **"한국어의 1,300 년 역사를 한 번에 담은 거대한 디지털 도서관"**을 소개하는 이야기입니다.

상상해 보세요. 우리가 매일 쓰는 한국어는 마치 변신하는 요정과 같습니다. 옛날에는 한자 (漢字) 만 썼다가, 한글이 생기고는 한자와 한글을 섞어 썼다가, 지금은 거의 한글만 씁니다. 그런데 이 요정이 어떻게 변해 왔는지, 그 긴 여정을 기록한 책들이 흩어져 있거나, 너무 어렵거나, 아니면 아예 찾아볼 수 없었습니다.

이 연구팀은 **"그 흩어진 보물들을 모두 모아서, 누구나 무료로 볼 수 있는 거대한 책상 (Open Korean Historical Corpus)"**을 만들었습니다.

주요 내용을 쉬운 비유로 설명해 드릴게요.

1. 왜 이 도서관이 필요할까요? (문제 상황)

지금까지 컴퓨터가 한국어를 이해하는 방식은 **"현대인"**에게만 맞춰져 있었습니다.

• 비유: 컴퓨터가 한국어를 공부할 때, 2025 년의 뉴스만 읽게 했다면, 100 년 전이나 500 년 전에 사람들이 어떻게 글을 썼는지 전혀 모를 것입니다.
• 문제: 옛날 글 (한자, 이두, 한글과 한자가 섞인 글) 은 너무 어렵고, 데이터가 공개되지 않아서 컴퓨터가 공부할 수 없었습니다. 마치 **"고서적은 있지만, 그걸 읽을 안경이 없는 상태"**였던 것입니다.

2. 이 도서관에는 무엇이 있나요? (해결책)

연구팀은 19 개의 다른 도서관과 박물관에서 자료를 모았습니다.

• 규모: 1,300 년의 시간 (서기 7 세기~2025 년) 을 아우르는 1,770 만 개의 문서와 51 억 개의 단어가 들어 있습니다.
• 다양성:
  • 한자 (漢字): 옛날 왕조 시대의 기록.
  • 이두 (吏讀): 한자를 빌려와서 우리말 순서대로 쓴 독특한 방식 (옛날 한국인의 '번역기' 같은 것).
  • 혼용문 (한자 + 한글): 한글이 생긴 후 한참 동안 쓰인, 두 가지 글자가 섞인 글.
  • 북한 말: 남한과 다른 북한만의 고유한 표현들.
  • 일제 강점기 일본어: 식민지 시절의 기록.

이 모든 것을 누구나 무료로 다운로드하고 연구할 수 있게 (오픈 라이선스) 정리했습니다.

3. 이 도서관을 통해 무엇을 발견했나요? (주요 발견)

이 거대한 데이터를 컴퓨터로 분석하니, 한국어의 숨겨진 비밀들이 드러났습니다.

• 비유 1: 이두 (Idu) 의 몰락

  • 1860 년대까지만 해도 '이두'라는 독특한 글쓰기 방식이 아주 유행했습니다. 하지만 1894 년 갑오개혁 이후, 정부에서 한글 사용을 장려하자 순식간에 사라졌습니다. 마치 "옛날에 유행했던 특정 옷 스타일이 갑자기 사라진 것"처럼요.

• 비유 2: 한자에서 한글로의 급격한 전환

  • 우리는 "한글이 천천히 자리 잡았을 거"라고 생각하지만, 데이터는 1890 년경에 한자가 급격히 사라지고 한글이 폭발적으로 늘어났다고 말합니다. 마치 "눈이 녹듯이" 한자가 사라지고 한글로 채워진 것입니다. 1980 년대가 되면 글자의 93% 가 한글이 되었습니다.

• 비유 3: 남북한의 언어 차이

  • 남한과 북한은 70 년 이상 갈라져 살면서 언어가 달라졌습니다.
  • 비유: 남한의 컴퓨터가 북한의 뉴스를 읽으려 하면, **"모르는 단어가 너무 많아서 당황"**합니다. 북한은 외래어를 우리 식으로 다르게 적거나 (예: '도이췰란드' vs '독일'), 완전히 다른 단어를 쓰기 때문입니다. 이 차이를 분석하니, 현대 컴퓨터가 북한 글을 읽을 때 모르는 단어가 최대 51 배 더 많았습니다.

4. 이 도서관이 우리에게 주는 선물 (의의)

이 프로젝트는 단순히 옛날 글을 모은 것을 넘어, 미래의 인공지능 (AI) 을 더 똑똑하게 만드는 기초가 됩니다.

• 역사적 이해: AI 가 과거의 글을 읽으면, 한국 문화와 언어의 흐름을 더 깊이 이해하게 됩니다.
• 북한 말 이해: 남북 교류 시대에 북한 말을 잘 이해할 수 있는 AI 를 만들 수 있습니다.
• 공정한 접근: 누구나 이 데이터를 쓸 수 있게 되어, 연구의 문턱이 낮아졌습니다.

요약

이 논문은 **"한국어의 긴 역사를 한눈에 볼 수 있는 거대한 디지털 박물관"**을 세우고, 그곳에서 언어가 어떻게 변해 왔는지, 그리고 남북의 언어가 어떻게 달라졌는지를 과학적으로 증명했습니다. 이제 우리는 이 보물창고를 통해 과거의 지혜를 배우고, 더 똑똑한 AI 를 만들 수 있게 되었습니다.

기술 요약

논문 요약: 오픈 한국어 역사 말뭉치 (Open Korean Historical Corpus, OKHC)

1. 문제 제기 (Problem)

• 역사적 언어 자료의 부재: 한국어의 역사 (구어와 문어의 괴리, 한자에서 한글로의 전환 등) 는 자연어 처리 (NLP) 분야에서 거의 연구되지 않았습니다. 이는 접근 가능한 대규모 역사적 말뭉치가 없기 때문입니다.
• 접근성 및 라이선스 제약: 기존에 한국 정부가 구축한 세종말뭉치나 모두의 말뭉치와 같은 주요 코퍼스는 라이선스가 제한적 (상업적 이용 및 파생작품 제작 불가) 이어서 연구자들이 이를 활용하거나 재분배하는 데 큰 장벽이 있었습니다.
• 디지털화 및 수집의 어려움: 일부 기관이 문서를 디지털화하여 제공하더라도 다운로드 가능한 데이터셋 형태로 제공하지 않아, 연구자들이 개별적으로 웹사이트를 크롤링해야 하는 비효율성이 존재했습니다.
• 표기법 다양성 누락: 기존 NLP 연구는 현대 한글 텍스트에 집중되어 있어, 한자 - 한글 혼용문, 이두 (Idu), 고어 (중세/초기 근대 한국어) 등 다양한 표기법과 언어 변이가 포함된 시기를 충분히 반영하지 못했습니다.

2. 방법론 (Methodology)

저자들은 7 세기부터 2025 년까지의 1,300 년에 걸친 한국어 및 관련 언어의 역사적 변화를 포괄하는 대규모 오픈 라이선스 데이터셋을 구축했습니다.

• 데이터 수집 (Data Collection):

  • 소스: 19 개의 주요 기관 (국사편찬위원회, 국립중앙도서관, 한국학중앙연구원, 북한 KCNA 등) 의 디지털 아카이브에서 데이터를 수집했습니다.
  • 범위: 총 1,770 만 개의 문서, 51 억 토큰 (5.1 billion tokens), 63 억 자 (6.3 billion characters) 를 포함합니다.
  • 언어 및 표기법: 중세/초기 근대/현대 한국어, 북한 한국어, 고전 중국어 (한문), 일본어 (식민지 시대), 이두 (Idu), 한자 - 한글 혼용문 등을 포함합니다.
  • 수집 기간: 2025 년 5 월부터 10 월까지 웹 스크래핑 (BeautifulSoup, HTTPX, Selenium 등) 과 직접 다운로드를 통해 수행되었습니다.

• 전처리 (Preprocessing):

  • 정규화: 모든 문서에 NFKC 유니코드 정규화를 적용하여 호환성 변이를 해결하고, 불규칙한 공백과 제어 문자를 제거했습니다.
  • 청소 (Cleaning): 원문 텍스트를 분리하기 위해 현대어 번역본 제거, 메타데이터 오류 제거, 노이즈 비율이 높은 문서 필터링 등을 수행했습니다.
  • 언어 및 스크립트 식별: GlotLID 모델을 활용한 언어 식별과 한자/한글/가나 비율을 계산하는 문자 단위 분석을 결합하여, 소스 메타데이터와 규칙 기반 로직을 통해 최종 분류를 수행했습니다.

• 데이터 스키마:

  • JSON Lines 형식으로 배포되며, 각 문서는 고유 ID, 텍스트 내용, 출판 연도, 언어, 스크립트, 출처, 저작권 상태, 원본 URL 등을 포함하는 구조화된 메타데이터를 가집니다.

3. 주요 기여 (Key Contributions)

• 최초의 광범위한 오픈 라이선스 역사 말뭉치: 한국어의 역사적 단계를 포괄하는 최초의 공개 라이선스 (CC BY-NC 4.0) 데이터셋을 제공합니다.
• 다양한 표기법 및 언어의 통합: 이두 (Idu), 고어 한글, 한자 - 한글 혼용문 등 기존에 NLP 에서 소외되었던 표기법과 언어 변이를 체계적으로 포함했습니다.
• 북한 텍스트 포함: 북한 뉴스 (KCNA) 및 문학 작품을 포함하여 남북한의 언어적 분리를 연구할 수 있는 기반을 마련했습니다.
• 오픈 소스 코드: 데이터 수집 및 전처리 코드를 MIT 라이선스로 공개하여 재현성을 보장합니다.

4. 주요 결과 및 분석 (Results & Analysis)

이 말뭉치를 활용하여 한국어의 주요 언어적 변화를 정량적으로 분석했습니다.

• 이두 (Idu) 의 사용 추이:

  • 이두 사용은 1860 년대에 정점을 찍은 후 급격히 감소했습니다.
  • 특히 1894 년 갑오개혁 (공문서에 한글 사용 의무화) 과 1908 년 한자 - 한글 혼용문 선호 지시 이후 급감하여, 언어 정책이 이두의 쇠퇴에 결정적인 역할을 했음을 보여줍니다.

• 한자에서 한글로의 전환 (Diachronic Shift):

  • 1890 년대 이전까지 기록의 대부분은 고전 중국어 (한자) 만으로 작성되었습니다.
  • 1890 년경부터 급격한 전환이 시작되어, 1980 년대에는 한글이 문자의 93% 이상을 차지하게 되었습니다. 이는 점진적인 변화가 아니라 급격한 변혁이었음을 시사합니다.

• 북한 텍스트의 어휘적 편차 (Lexical Divergence):

  • 현대 한국어 토크나이저 (Tokenizer) 를 북한 뉴스에 적용했을 때, OOV (Out-of-Vocabulary) 비율이 최대 51 배까지 높게 나타났습니다.
  • 이는 북한이 차용어 표기법 (예: '도이췰란드' vs '독일') 과 고유 어휘 (예: '돐' vs '기념일') 에서 남한과 크게 다르기 때문입니다.
  • 주요 OOV 단어 분석을 통해 남북한의 언어적 단절이 NLP 모델의 성능에 미치는 영향을 정량화했습니다.

5. 의의 및 중요성 (Significance)

• NLP 연구의 기반 마련: 한국어 NLP 모델이 현대 한글뿐만 아니라 역사적 문헌과 다양한 표기법을 이해할 수 있도록 하는 사전 학습 (Pre-training) 코퍼스로 활용 가능합니다.
• 역사 언어학 및 디지털 인문학: 한국어의 진화 과정, 표기법 변화, 언어 정책의 효과를 정량적으로 분석할 수 있는 강력한 도구를 제공합니다.
• 저자원 언어 (Low-resource) 지원: 중세 한국어나 이두와 같이 데이터가 부족했던 영역에 대한 연구의 문을 엽니다.
• 법적 및 윤리적 준수: 저작권법, 국가보안법 (북한 자료 포함 시), 데이터베이스 권리를 준수하여 학술적 목적으로만 사용 가능한 형태로 배포되었습니다.

이 연구는 한국어 NLP 의 지평을 현대를 넘어 수천 년의 역사로 확장하며, 향후 대규모 언어 모델 (LLM) 이 한국어의 깊이 있는 역사적, 문화적 맥락을 이해하는 데 필수적인 자원이 될 것으로 기대됩니다.