The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation

あなたは、ある謎を解こうとしている探偵だと想像してください。ただし、あなたの「事件現場」は犯罪現場ではなく、一つの「言語」です。この論文は、科学者が人間の言語の仕組みを理解するためのデジタルツールを構築する分野である、計算言語学の世界に生息しています。この謎を解くために、彼らは**有限状態モデル（finite-state model）**と呼ばれる特定の種類のツールを使用します。このモデルは、超整理された図書カードの目録や、駅の路線図のようなものだと考えてください。これは人間のように文章の意味を理解しようとするのではなく、単にある単語が特定のパターンに適合しているかどうかをチェックします。それはこう問いかけます。「この単語には、語幹（主要な部分）とタグ（末尾に付け加えられた小さな断片）があるか？」もしパターンが一致すれば、ツールは「了解！」と言います。一致しなければ、「これは知らないものだ」と言います。

なぜこれに注目するのでしょうか？ それは、多くの言語において、辞書や文法書は存在するものの、こうした「デジタルの地図」が存在しないからです。これらの地図がなければ、コンピュータはこれらの言語で翻訳、スペルチェック、あるいはテキストの検索を効果的に行うことができません。この論文が取り組んでいる問いは単純ですが、巧妙です。「言語の大部分は、これらのようなパターンの断片によって構成されているのか、それとも単なる膨大なユニークな単語のリストなのか？」 もし言語が主にパターンでできているなら、「地図」は小さく整然としたものになります。もし言語が主にユニークな単語でできているなら、「地図」は巨大なものになります。

---

ドゥンガ語の謎

中央アジアのコミュニティで話されているドゥンガ語を紹介しましょう。彼らは100年以上前にそこへ移住した人々です。ドゥンガ語は中国語の親戚ですが、一つ特徴があります。中国語の文字を使う代わりに、キリル文字（ロシア語で使用されるものと同じスクリプト）を使って表記するという点です。彼らは文字と、言葉を区別するのに役立つ音調（トーン）を捨ててしまったため、ドゥンガ語は、紙の上では多くの文字が全く同じに見える「ゲーム・オブ・グエス・フー（誰かな？）」のような状態になっています。

この論文の著者であるアントンとセルゲイは、ドーズの文法が実生活でどのように機能しているかを正確に把握するために、ドゥンガ語のデジタルな「地図」（有限状態解析器）を構築することにしました。彼らは新しいルールを発明したいのではなく、古い文法書にすでに書かれているルールを取り込み、言語を測定するための機能的な機械へと変えたいと考えたのです。彼らは、二つのダイアレクト（方言）である**甘粛（カンスー）版（標準的で文学的なバージョン）と陝西（シェンシー）**版のために、この地図を構築しました。

大いなる発見：小さな核と巨大な語彙

彼らが、三種類の異なるテキスト（百科事典、民話、宗教的物語）から得られた数千の文章に対して、作成した地図を実行したところ、驚くべきことが判明しました。

1. 「目に見えない」文法
多くの言語では、単語の形が絶えず変化します（例えば "walk" が "walked"、"walking"、"walks" になるように）。しかし、ドゥンガ語では、これは非常に稀にしか起こりません。著者たちの発見によれば、百科事典のテキストにおいて、実際に目に見える「タグ」が付着していた単語は、わずか9.3%でした。民話では13.4%、宗教的物語では**27.1%**でした。

• 比喩： ある都市を想像してみてください。建物の90%は、装飾のないプレーンなブロックです。ごく一部の建物だけに、特別な旗や装飾が付いています。ドゥンガ語の「文法」とは、これら数少ない「旗」のことなのです。ほとんどの場合、単語は変化することなく、そこにただ存在しています。

2. 「二つのクリティック（接辞）」による曖昧さ
変化する単語が非常に少ないため、いざ変化が起こると混乱を招くことがあります。著者たちは、ツールが認識した単語の78.1%が、たった一つの可能な意味しか持たないことを発見しました。これは非常に明確なシグナルです！ しかし、残りの混乱は、ほぼ完全に二つの小さな単語の断片（クリティック）、すなわち -di と -ni に集中していました。

• 比喩： 78%の確率で完璧に機能する信号機を想像してください。唯一混乱が生じるのは、ライトが「黄色」または「赤」で止まってしまい、それが「止まれ」を意味するのか「進め」を意味するのか誰も分からない時です。ドゥンガ語において、小さな断片 -di は「〜に属する」（属格）または「〜している最中」（進行形）を意味することができ、-ni は「〜の中に」（場所格）または「〜する予定である」（未来/プロスペクティブ）を意味することができます。コンピュータは文脈なしではその違いを判断できませんが、少なくとも混乱がどこにあるのかは把握しています。

3. 「閉じられた」核
最も重要な発見は、彼らの地図がどれほど「完全」であるかについてです。彼らはこう問いかけました。「コンピュータが単語を認識できなかったとき、それは文法ルールが欠けているからなのか、それとも単語自体が新しいからなのか？」
彼らは、コンピュータが扱えなかった単語の78%から95%の間が、単に辞書に載っていなかったものであることを発見しました。文法ルール自体は、実は「閉じられて」おり、完結していたのです。モデルに含まれていなかった要素（特定の稀な過去時制の習慣や特定の音の変化など）が失敗の原因となったのは、**せいぜい4.5%**でした。

• 比喩： あなたが動物園で動物を特定しようとしていると想像してください。あなたはライオン、トラ、クマを見分けるための完璧なガイドブックを持っています。もし見たこともない動物を見つけたとしたら、それはあなたのガイドブックにライオンの歩き方のルールが欠けているからではなく、単にあなたがまだ見たことがない新しい種である可能性が極めて高いのです。ドゥンガ語の「境界線（フロンティア）」は文法ではなく、語彙なのです。

数字が物語ること

著者たちは、自分たちのツールが正確に何を測定できるかを非常に慎重に評価しました。

• カバー率（Coverage）： 未知のテキストに対して地図をテストした際、ツールは**80–85%**の単語を正常に認識しました。
• 形態論の力： もし彼らが文法ルールなしで単なる単語リストだけを使用していたならば、67.4%の単語しか認識できなかったでしょう。文法ルール（形態論）を加えることで、その数字は72.6%に上昇しました。これは5.2ポイントの向上ですが、これは文法が「薄い（thin）」ものであることを証明しています。主役はルールではなく、単語のリストなのです。
• 正確性（Accuracy）： ツールが認識した単語については、正しい意味を見つける能力は非常に高かったものの、先述のトリッキーな -di と -ni の断片で時折行き詰まることがありました。

結論：未来への地図

本論文は、ドゥンガ語の「形態学的核（morphological core）」は**コンパクトであり、限られたカテゴリーにおいてのみ生産的であり、事実上、閉じている（完結している）**と結論付けています。文法は単純で完成しており、課題は単にすべての単語を学習することにあります。

著者たちは、誰でも利用できるように、自分たちの「地図」（解析器）、コード、およびテストを公開しました。彼らは、自分たちの仕事は書かれた書籍や辞書に基づいた一つの仮説であり、ネイティブスピーカーによる最終的な判定ではないことを認めています。彼らは、ネイティブスピーカーが間違いを修正できるように「ワークシート」も用意しました。これは、コンピュータがこのユニークな、キリル文字で書かれた言語をようやく理解できるようにするための、デジタルな基礎となる出発点なのです。開かれた境界線は、ゲームのルールではなく、プレイヤー自身なのです。