Measuring Grammatical Diversity from Small Corpora: Derivational Entropy Rates, Mean Length of Utterances, and Annotation Invariance

全体像：言語の「味わい」を数える

あなたが料理評論家で、あるシェフの料理の多様性を判断しようとしていると想像してください。あなたは、そのシェフの料理の小さなサンプル（「コーパス」）を持っています。あなたが知りたいのは、**「このシェフのメニューはどれほど多様か？」**ということです。単にパスタを作るだけなのか、それとも、多種多様なソースやスパイス、技法を駆り使った、広大で複雑なレパートリーを持っているのでしょうか？

言語学の研究者も、同じ問題に直面しています。彼らは、個人やグループの文法的多様性（あるいは「統語的複雑性」）を測定したいと考えています。その人は単純な文章を使うのか、それとも、複雑に組み合わされた入れ子構造の文章を編み出すのか？

問題は、通常、その人が話す内容の極めて小さなサンプル（日記の数ページや短い会話など）しか手に入らないことです。多様性を測定するための従来の手法は、データが限られているために、その少なさに惑わされて正しく機能しないことがよくあります。

本論文は、非常に小さなサンプルでも機能する、この多様性を測定するための新しい手法を紹介します。そして、驚くべき事実を明らかにしています。それは、**「文の長さこそが、実は複雑さの直接的な尺度である」**ということです。

---

旧来の手法 vs 新しい手法

「プロキシ（代理指標）」の問題

長い間、研究者は**平均発話長（MLU）**と呼ばれる単純なトリックを使用してきました。これは、単に一文に含まれる平均単語数を数えるものです。

• 比喩： シェフの腕前を、皿の大きさで判断することを想像してください。「わあ、この皿は大きい！きっと高度なテクニックを使っているに違いない！」
• 欠陥： 時には、巨大な皿に乗っているのがただの大きなサラダ（単純）であり、小さな皿に乗っているのが繊細で幾重にも重なったスフレ（複雑）であることもあります。研究者は、MLUは単なる「プロキシ（代理指標）」、つまり「通常はうまくいくが、本物ではない推測」だと考えていました。

「エントロピー」の問題

真の複雑さを測定するために、言語学者は**派生エントロピー（Derivational Entropy）**という概念を用います。

• 比喩： 「文法ツリー」を想像してください。あなたが言葉を発するたびに、そのツリーに枝が生えていきます。エントロピーは、そのツリーがどれほど多くの異なる方向に成長し得るかを測定します。エントロピーが高いということは、そのツリーが何百万通りもの異なる方向に成長できることを意味します（多様性が高い）。エントロピーが低いということは、数本の直線としてしか成長できないことを意味します（多様性が低い）。
• 欠陥： これを計算するには、膨大なデータが必要です。もし数文しか持っていない場合、数学的な計算が乱れ、バイアスがかかってしまいます。それは、レストランの料理を一つ見ただけで、その店のメニュー全体を推測しようとするようなものです。他のメニューを見逃して、「この店はこれしか出さない」と思い込んでしまうかもしれません。

---

大発見： 「エントロピー率」

本論文の著者は、上記の2つの概念の間の根本的な結びつきを発見しました。彼は、**文の長さ（MLU）と文法的多様性（エントロピー）は、単に関連しているだけでなく、数学的にロックされている（連動している）**ことを見出したのです。

彼は、この新しい尺度を**「派生エントロピー率（Derivational Entropy Rate）」**と呼んでいます。

• 比喩： 「複雑さ税（Complexity Tax）」を想像してください。
  • 文に単語を一つ追加するたびに、あなたは税金を支払っています。
  • 派生エントロピー率とは、その「税率」のことです。
  • 著者は、特定の種類の言語（アメリカ英語など）と、特定の分析方法（特定の文法規則集など）において、この「価格」が**一定（コンスタント）**であることを発見しました。
  • 文の平均的な長ささえ分かれば、正確な多様性を計算できます。多様性が分かれば、長さを計算できます。これらはコインの表裏のような関係なのです。

なぜこれが画期的なのか？
これは、「単純な」尺度（単語を数えること）が、もし特定の言語と分析スタイルにおける「税率（エントロピー率）」を知っていれば、実は完璧な複雑さの尺度になるということを意味しています。多様性を推測するために複雑な数学を用いる必要はありません。単に単語を数えればよいのです。

---

ツール： 「SITE」 （スムージング・スポンジ）

論文ではまた、SITE（Smoothed Induced Treebank Entropy）と呼ばれるツールも紹介しています。

• 問題： 非常に小さなサンプル（例えば50文）を持っている場合、標準的な数学ツールは「バイアス」を受けます。まだ全ての可能な文章のパターンを目にしていないため、多様性が実際よりも低いと判断してしまうのです。
• 解決策： SITEは、**「スマートなスポンジ」**のようなものです。データの小さく乾いたサンプルを取り込み、統計的な補正によって「浸透」させます。つまり、実際に起こり得たはずなのに、まだ目にしていない「空白」を埋めるのです。
• 結果： SITEは、標準的な文法であればわずか100文、依存文法であれば1,000文という非常に少ない文章数で、言語の真の多様性を正確に推測できます。従来のメソッドでは、同じ精度を得るために15,000文以上が必要でした。

---

「アノテーション不変性」の驚き

著者はこれを、2つの異なる言語分析手法でテストしました。

1. 句構造文法（CFG）： 文を、入れ子になった箱の集合（名詞句の中に動詞句がある、など）として見る方法。
2. 依存文法（DG）： 文を、単語間のつながりのネットワーク（単語Aが単語Bに接続している、など）として見る方法。

発見：
これら2つの手法は、文章の捉え方が全く異なりますが、派生エントロピー率はそれぞれのメソッド内で一定（コンスタント）でした。

• もし手法Aを使うなら、その「税率は $X$」となります。
• もし手法Bを使うなら、その「税率は $Y$」となります。
• しかし、一度手法を選んでしまえば、誰が何を話していようとも、その「税率」は変わりません。

これは、2つの異なるグループ（例：子供と大人）を比較する場合、両方に同じ分析手法を用いている限り、その結果を信頼できることを意味します。分析手法自体が、相対的な複雑さの順位を変えることはないのです。

---

「乱れた」データについてはどうなのか？

著者は、12世紀から21世紀までのテキストを含む、巨大で混沌とした歴史的コーパス（IcePaHC）を用いてテストを行いました。

• 結果： これら異なる時代や著者をすべて混ぜ合わせてしまうと、数学的な計算は崩壊します。「多様性」の数値は上下に激しく変動し、決して落ち着くことがありません。
• 教訓： これは、言語の「文法」が単一の静的なものではないことを示しています。文法は時間とともに、また著者によって変化します。このツール（SITE）は、**「おい、このデータは混ざりすぎていて、単一の数値として出すには不適切だ」**と教えてくれるほど賢いのです。
• しかし、単一の著者による、特定の時点のデータに絞って見れば、数学は完璧に機能し、多様性は速やかに収束します。

---

主張のまとめ

1. 長さ ＝ 多様性： 文の平均的な長さは、単なる推測ではありません。それは文法的な多様性の、根本的かつ理論的な尺度です。
2. 率は一定である： 特定の言語と特定の分析手法を用いる場合、「単語あたりの複雑さ（エントロピー率）」は固定された定数となります。
3. 小さなサンプルでも機能する： 新しい SITE メソッドを使用すれば、従来のメソッドが膨大なデータセットを必要としたのに対し、非常に小さなサンプル（わずか100文程度）からでも正確な多様性の測定が可能です。
4. 手法が重要である： 文法を分析する方法（例：箱の構造か、単語のネットワークか）を変えると数値自体は変わりますが、その手法内における「長さと多様性の関係」は一貫しています。
5. 均質性が鍵となる： これらの測定は、データが一定のソース（一人の話し手、一つの時代）に由来する場合にのみ機能します。もし全てを混ぜ合わせてしまうと、測定値は収束しませんが、これは「データがあまりに多様すぎて、一つのグループとして扱うには不適切である」という有用なシグナルとなります。

要するに、 誰かの言語がいかに複雑かを測定するために、スーパーコンピューターは必要ありません。彼らの単語を数え、その「ゲームのルール（アノテーションの形式）」を知っていれば、答えは出ます。そして、もし手元にあるサンプルが極めて小さい場合は、新しい「SITE」というスポンジを使えば、素早く正しい答えに辿り着けるのです。