A Lemmatized Corpus of the Pali Canon with Critical Apparatus
本論文は、5つのテキスト伝統にわたる校訂装置、サンディ（連声）および韻律的変異への特化した処理、そしてこれまでこの低リソース言語では不可能であった高度な計算言語学的タスクを可能にする高網羅的なレマ化を備えた、160万トークンに及ぶパーリ・キャノン（パーリ仏典）のオープンアクセスかつレマ化されたコーパスを提示するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
言語は生き物ですが、古代のテクストの言葉は、しばしばガラスの向こう側に閉じ込められているかのように感じられます。サンスクリット語、ラテン語、ギリシャ語といった古代世界の古典言語を研究する学者にとって、コンピュータはこれらのテクストを解き明かすための強力なツールとなっています。これらのツールは、単語を数え、意味が時間の経過とともにどのように変化するかを追跡し、さらには文の中での単語間の文法的関係をマッピングすることさえできます。しかし、このデジタルな進歩には大きな隔たりが存在します。偉大な古典言語はコンピュータによって完全にマッピングされてきましたが、上座部仏教の聖典を保持するパーリ語は、その多くが取り残されてきました。膨大な量のテクストが存在するものの、単語が文の中での役割に応じてその形を絶えず変え、さらに言葉がしばしば混ざり合って真の意味を隠してしまうため、機械にとってそれらを読み解くことは困難なのです。単語を基本的な辞書形式へと分解する方法がなければ、コンピュータはそこに含まれる物語や哲学、あるいは歴史を理解することができません。
独立した学者であるダン・ジグモンドは、今、この隔たりに橋を架けました。彼は、パーリ・キャノン（パーリ語三蔵）の膨大で、レマ化（基本形化）されたコーパスを構築したのです。簡単に言えば、「レマ化」とは、テキスト内のあらゆる単語を取り出し、その元の、変化しない根源的な形を見つけ出すプロセスです。例えば、ある図書館のすべての本が、「run（走る）」という言葉が「running」「ran」「runs」「runner」として現れるようなコードで書かれており、コンピュータがこれらを全く異なる4つの単語として認識している状況を想像してみてください。レマ化とは、これらすべての変種が、実際にはすべて「run」という一つの単語であることをコンピュータに教える行為です。ジグモンドの仕事は、約160万語を含むパーリ・キャノン全体に対してこれを行うものです。これによって、彼は混沌とした古代のテクストの塊を、コンピュータがついに学習し分析できる構造化された検索可能なデータベースへと変貌させたのです。
パーリ語を扱う上での課題は、その言語が極めて複雑であることです。一つの名詞は、それが文の主語であるか、目的語であるか、あるいは所有を表しているかに応じて、数十もの異なる形で現れます。さらに、この言語は「サンディ（連声）」と呼ばれるプロセスを用いており、一つの句の終わりにある言葉が次の句の始まりにある言葉と滑らかに混ざり合い、文の流れをスムーズにするために綴りさえも変えてしまうことがよくあります。人間の読者にとってこれは自然なことですが、コンピュータにとっては、一つの認識不可能な文字列のように見えます。ジグモンドのプロジェクトは、これらすべての単語に対してこのパズルを解かなければなりませんでした。彼は単一のテクスト版に頼ったのではありません。代わりに、スリランカ、ビルマ、タイ、そしてヨーロッパの学術界の伝統を代表する、5つの異なる歴史的な経典版を集めました。これら5つのバージョンを並べて比較することで、彼は相違点を特定し、誤りを修正し、どの読みが最も正しい可能性が高いかを示す「クリティカル・アッパラタス（校訂装置）」、すなわち詳細な記録を作成することができたのです。
この膨大な努力の結果得られたデータセットでは、すべての単語の出現の99.78パーセントが、正常に特定され、その辞書的な根源へと紐付けられています。これは、これまでこのようなリソースが存在しなかった言語としては、驚異的なカバー率です。コンピュータが解決できなかった残りのごくわずかな単語は、主にテクストの詩の部分に見られる稀な詩的用語や、既存の辞書がまだ十分に記述していない複雑な複合語です。研究者は、これら未解決の単語の約半分は、単に辞書に追加される必要がある正当なパーリ語であり、残りは詩の韻律や地域による綴りの違いによって生じた変種であると考えています。この区別は非常に重要です。なぜなら、それは次にどこで作業を継続すべきかを正確に示してくれるからです。また、このプロジェクトにより、単語の数千もの異なる表面形態を一つの根源へと還元することで、全経典の語彙サイズが3倍以上に縮小することも明らかになりました。この削減により、以前は見えなかったテクスト内のパターンを見つけ出すための、現代的な統計的手法を用いることが可能になります。
この新しいリソースを用いることで、研究者は以前は不可能であったタスクを実行できるようになります。彼らは、語彙に基づいてテクストをグループ化し、経典の異なる部分が互いにどのように関連しているかを見ることができます。彼らはコンピュータにパーリ語の文法を理解させる訓練を行うことができ、それは最終的に、文の構造の地図のように、単語がどのように結びついているかを解析できるマシンへとつながる可能性があります。また、この作業は、パーリ語が進化した言語であるサンスクリット語との直接的な比較も可能にし、仏教の思想や言葉がどのように文化の移動とともに変化していったかを追跡することを学者に助けます。システム全体（構築に使用されたコードおよびデータ自体を含む）は公開されており、他の学者がそれを改善することを呼びかけています。このプロジェクトは、まだあらゆる文法的なタグを含んでいたり、すべての単語に対して人間による検証を行ったりしているわけではありませんが、これら古代のテクストに関する将来のあらゆるデジタル作業の基礎となる不可欠な土台を提供しています。それは、パーリ・キャノンを、単なる古い本の静的なコレクションから、現代の世界がようやく探索できる、ダイナミックで生きているデータセットへと変容させているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。