SumTablets: A Transliteration Dataset of Sumerian Tablets

この論文「SumTablets: A Transliteration Dataset of Sumerian Tablets」は、シュメール語の楔形文字（クネアフォーム）をラテン文字への転写（トランスリテレーション）するタスクを自然言語処理（NLP）の課題として定式化し、そのための大規模データセットと基線モデルを提案した研究です。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細にまとめます。

1. 問題定義 (Problem)

シュメール語は世界最古の文字言語であり、古代メソポタミアの文化や歴史を理解する上で不可欠ですが、以下の課題が存在していました。

• データの非構造化と欠如: 従来のデジタル・アッシリオリジ（楔形文字研究）プロジェクト（ETCSL, CDLI, Oracc など）では、大量の転写データ（ラテン文字）が公開されていますが、それらは「タブレットの画像」や「Unicode 化された楔形文字の Glyph（文字記号）」とペアになっていませんでした。
• NLP 手法の適用困難: 現代の NLP モデル（特に Transformer 系）を適用するには、入力（Glyph）と出力（転写）の対データが必要ですが、そのような標準化された大規模データセットが存在しなかったため、自動転写モデルの開発が進んでいませんでした。
• シュメール語の複雑性: 楔形文字は多価的（一つの Glyph に複数の読みが存在する）であり、文脈によって読みが異なります。また、シュメール語は孤立言語であり、低資源言語であるため、ゼロショットや少数ショットでの学習が困難です。

2. 手法 (Methodology)

データセット構築：SumTablets

著者らは、Oracc などの既存プロジェクトの転写データを基に、Glyph と転写のペアデータセット「SumTablets」を構築しました。

• データ規模: 91,606 枚のシュメール語タブレットからなる 6,970,407 個の Glyph と、それに対応する転写データ。
• 前処理プロセス:
  1. 正規化: Oracc の転写データをクリーニングし、編集者の推測（欠損部分の補完など）を除去、または特殊トークンで置換します。
  2. Glyph へのマッピング: 転写された読み（例：dug4）を、ePSD2（電子シュメール語辞書）や OSL（Oracc 記号リスト）の辞書を用いて、元の Unicode Glyph（例：𒅗）へ逆引きします。
  3. 構造化トークンの追加: テーブルの構造（表面、改行、欠損、列の区切りなど）を保持するため、<SURFACE>, \n, ..., <RULING> などの特殊トークンを Glyph と転写の両方に挿入します。
• データ分割: 学習用（90%）、検証用（5%）、テスト用（5%）に分割。時代（Period）とジャンル（Genre）で層化抽出を行い、偏りを調整しました。

モデルアプローチ

2 つのベースライン手法を比較評価しました。

1. 辞書ベースライン（Dictionary Baseline）:
   • 各 Glyph の可能な読みを辞書から取得し、出現頻度に基づいて重み付きサンプリングを行う単純なアプローチ。
2. ニューラルベースライン（Neural Baseline）:
   • モデル: 100 以上の言語で事前学習された多言語 Transformer モデル「XLM-R」を微調整（Fine-tuning）。
   • アーキテクチャ: エンコーダ - デコーダ構造（Sequence-to-Sequence）。
     • トークナイザ: Glyph 用と転写用の 2 つの SentencePiece トークナイザを独自に再学習（Glyph トークナイザは 632 語彙、転写用は 1024 語彙）。
     • 学習戦略:
       1. エンコーダを MLM（Masked Language Modeling）タスクで微調整し、Glyph の内部表現を強化。
       2. エンコーダの重みを固定したままデコーダを学習。
       3. エンコーダとデコーダの両方を同時に学習（アンフリーズ）。
   • 入力処理: 128 トークンを超えるタブレットは、改行単位でチャンクに分割して処理。

3. 主要な貢献 (Key Contributions)

1. SumTablets データセットの公開:
   • 初の、Glyph と転写の対データを含む大規模でアクセスしやすいデータセット（Hugging Face Datasets で公開、CC BY 4.0 ライセンス）。
   • 構造的な情報（改行、欠損、表面など）を特殊トークンとして保持し、NLP モデルが文脈を学習しやすい形式に標準化。
2. 自動転写タスクの定式化と評価基準の確立:
   • シュメール語の転写を「シーケンス・ツー・シーケンス」変換タスクとして定義。
   • 評価指標として文字レベルの F スコア（chrF）を採用。
3. 高性能な転写モデルの実証:
   • 低資源かつ孤立言語であるシュメール語において、事前学習済み多言語モデルを適応させることで、極めて高い精度を達成することを示しました。
4. オープンソース化:
   • データセットの準備コードと学習済みモデルを GitHub で公開。

4. 結果 (Results)

テストセットにおける評価結果は以下の通りです（chrF スコア）：

• 辞書ベースライン: 61.22
  • 単純な辞書引きでは、文脈を考慮できないため精度に限界がありました。
• ニューラルベースライン（XLM-R 微調整）: 97.54
  • 圧倒的な精度向上を示しました。
  • ジャンル別: 行政文書（98.14）や王の碑文（95.15）などでは非常に高い精度を達成しましたが、文学や手紙など、データ量が少なく多様性が高いジャンルでは精度がやや低下しました（それでも 90 前後）。
  • 時代別: 全時代を通じて高い性能を示しましたが、データ量の少ない時代（ネオ・バビロニアなど）では若干のばらつきが見られました。

分析の知見:

• 行政文書は定型文が多いため学習しやすく、精度が高い。
• 固有名詞（人名など）の読みは、文脈による予測が難しく、誤りやすい傾向がある。
• 転写の表記揺れ（例：saŋ と sag のような発音記号の違い）がモデルの学習を妨げる要因となっている。

5. 意義と将来展望 (Significance)

• アッシリオリジの効率化: 専門家（アッシリオリスト）は、手作業で一枚ずつ転写するのではなく、モデルが生成した転写を迅速に検証・修正する作業に集中できるようになります。これにより、研究や翻訳の生産性が飛躍的に向上します。
• 低資源言語 NLP の進展: 孤立言語であり、かつ低資源であるシュメール語において、大規模多言語モデルが有効に機能することを示し、他の低資源言語や古代言語への応用可能性を開きました。
• 完全な翻訳パイプラインへの第一歩: 転写は、シュメール語を現代語に翻訳する完全なパイプライン構築における重要な第一段階です。
• 研究コミュニティへの貢献: 標準化されたデータセットと評価基準を提供することで、今後の NLP 研究のベンチマークとして機能し、分野全体の発展を加速させます。

総じて、この論文はデジタル・ヒューマニティーズと NLP の融合により、古代文明の解読プロセスを革新する可能性を強く示唆する画期的な研究です。