SumTablets: A Transliteration Dataset of Sumerian Tablets

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 수메르어 (Sumerian) 는 세계 최초의 기록된 언어로, 고대 근동 문화 연구에 귀중한 자원이지만, 해독과 해석은 매우 어렵습니다. 수메르어는 고립어 (language isolate) 이며, 쐐기문자 (cuneiform) 는 문맥에 따라 다양한 발음 (polyvalent) 을 가질 수 있어, 학자들이 이를 라틴 문자로 변환하는 '전사 (transliteration)' 작업이 필수적입니다.
• 문제점:
  • 기존 디지털 아시리아학 프로젝트 (ETCSL, CDLI, Oracc 등) 를 통해 많은 전사 데이터가 온라인에 공개되었으나, 원본 쐐기문자 (Unicode glyphs) 와 전사된 텍스트가 쌍으로 매핑된 종합적이고 접근 가능한 데이터셋이 부재했습니다.
  • 이로 인해 현대 자연어 처리 (NLP) 기법, 특히 신경망 모델을 이용한 수메르어 전사 자동화 연구가 불가능했습니다.
  • 기존 데이터는 ASCII 기반이거나 구조적 정보가 누락되어 있어, 기계학습 모델 학습에 바로 활용하기 어려웠습니다.

2. 방법론 (Methodology)

가. SumTablets 데이터셋 구축

저자들은 91,606 개의 수메르어 점토 판 (tablets) 에 해당하는 6,970,407 개의 쐐기문자와 Oracc 에서 공개된 전사 데이터를 매칭하여 SumTablets를 구축했습니다.

1. 데이터 전처리 및 표준화:
   • Oracc 의 전사 데이터를 파싱하여 학술적 주석 (편집자의 추측 등) 을 제거하거나 특수 토큰으로 변환했습니다.
   • 텍스트의 구조적 정보 (줄바꿈, 행, 열, 손상된 부분 등) 를 보존하기 위해 특수 토큰 (<SURFACE>, \n, ..., <RULING>, <COLUMN>, <BLANK_SPACE>) 을 도입했습니다.
2. 전사 (Transliteration) 에서 글리프 (Glyph) 로의 역매핑:
   • 수메르어는 하나의 글자가 여러 발음 (reading) 을 가질 수 있으므로, 전사된 텍스트를 다시 원본 글자로 매핑하는 과정이 필요합니다.
   • ePSD2 (Electronic Pennsylvania Sumerian Dictionary) 와 OSL (Oracc Sign List) 의 사전 데이터를 활용하여 전사된 각 단어를 고유한 쐐기문자 (Unicode) 로 변환했습니다.
   • 매핑 성공률은 글자 읽기 (Reading) → 글자 이름 (Glyph Name) 99.93%, 글자 이름 → Unicode 99.96% 로 매우 높았습니다.
3. 데이터 분할:
   • 시대별 (Period) 및 장르별 (Genre) 편향을 고려하여 층화 추출 (stratified split) 을 수행했습니다.
   • 학습 (Train): 82,452 개, 검증 (Val): 4,577 개, 테스트 (Test): 4,577 개로 분할했습니다.

나. 전사 모델 개발 및 평가

두 가지 베이스라인 모델을 개발하여 성능을 비교했습니다.

1. 사전 기반 베이스라인 (Dictionary Baseline):
   • 각 쐐기문자의 가능한 읽기 (reading) 목록과 빈도수를 기반으로 확률적 샘플링을 수행하는 단순한 접근법입니다.
2. 신경망 베이스라인 (Neural Baseline):
   • 모델 아키텍처: 인코더 - 디코더 구조의 시퀀스 투 시퀀스 (Seq2Seq) 모델 사용.
   • 기반 모델: 100 개 이상의 언어로 사전 학습된 XLM-R (Transformer 기반) 을 활용.
   • 토크나이저: 수메르어 쐐기문자와 전사 텍스트에 맞춰 SentencePiece 토크나이저를 재학습 (Glyph tokenizer: 632 토큰, Transliteration tokenizer: 1024 토큰).
   • 학습 전략:
     1. 인코더를 Masked Language Modeling (MLM) 태스크로 50 에포크 미세 조정 (Fine-tuning).
     2. 인코더 가중치를 고정하고 디코더만 학습 (2 에포크).
     3. 인코더와 디코더 가중치를 모두 풀고 전체 모델을 학습 (4 에포크).
   • 데이터 불균형 해소: 학습 초기 2 에포크 동안 비행정 (non-administrative) 텍스트를 5 배, 이후 3 배 오버샘플링하여 행정 문서 편향을 보정.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 병렬 데이터셋 공개: 쐐기문자 (Unicode) 와 전사 텍스트가 쌍으로 매핑된 91,606 개의 수메르어 판 데이터를 포함한 SumTablets를 최초로 공개했습니다. (Hugging Face Dataset 및 GitHub 오픈소스 코드 제공).
2. 데이터 표준화: Oracc 의 비정형 데이터를 NLP 모델 학습에 최적화된 형식으로 표준화하고, 구조적 정보를 특수 토큰으로 보존했습니다.
3. 수메르어 전사 자동화 모델 개발: 수메르어 전사를 NLP 작업으로 정의하고, 대규모 다국어 모델을 적응시켜 자동 전사 모델을 개발한 첫 번째 연구입니다.
4. 벤치마크 설정: 전사 작업에 대한 표준 평가 지표 (chrF) 와 베이스라인 성능을 제시하여 향후 연구의 비교 기준을 마련했습니다.

4. 실험 결과 (Results)

• 평가 지표: 문자 단위 F-점수 (chrF, character-level F-score) 사용.
• 성능 비교:
  • 사전 기반 베이스라인: 평균 chrF 61.22
  • 신경망 (XLM-R) 모델: 평균 chrF 97.54
• 세부 분석:
  • 신경망 모델은 모든 시대와 장르에서 압도적인 성능을 보였습니다.
  • 장르별 차이: 행정 문서 (Administrative) 가 가장 높은 성능 (98.14) 을 보였고, 문학 (Literary) 이나 서신 (Letter) 등 덜 빈번한 장르는 성능이 다소 낮았으나 여전히 90% 이상을 유지했습니다.
  • 오류 원인: 고유명사 내의 음소 예측 어려움, 학자 간 전사 표기법 (예: 'saŋ' vs 'sag') 의 불일치 등이 주요 오류 원인이었습니다.

5. 의의 및 결론 (Significance)

• 학문적 의의: 수메르어는 저자원 (low-resource) 언어이자 고립어임에도 불구하고, 대규모 다국어 사전 학습 모델 (Pre-trained Multilingual Models) 을 적응시키면 매우 높은 정확도로 쐐기문자 전사가 가능함을 증명했습니다.
• 실용적 가치:
  • 아시리아학자 (Assyriologists) 가 직접 판을 하나씩 전사하는 번거로운 작업을 줄이고, 생성된 전사 결과를 검증하거나 기존 전사의 오류를 수정하는 데 집중할 수 있게 합니다.
  • 궁극적으로 수메르어 번역 파이프라인 개발의 핵심 단계로 작용합니다.
• 향후 연구: 이 데이터셋은 제로샷 (zero-shot) 및 퓨샷 (few-shot) 크로스링구얼 벤치마크로 활용되어, 언어 이해의 전이 (transfer) 연구에 새로운 길을 열 것으로 기대됩니다.

이 논문은 디지털 인문학과 NLP 의 융합을 통해 고대 언어 연구의 새로운 지평을 열고 있으며, SumTablets 데이터셋은 향후 수메르어 및 쐐기문자 연구의 핵심 인프라가 될 것입니다.