An Information-Theoretic Approach to Identifying Formulaic Clusters in Textual Data

あなたは、巨大で古めかしい図書館の中で謎を解こうとしている探偵だと想像してください。この図書館は単にランダムな物語が詰まっているわけではありません。そこには、何千年もの歳月をかけて、何百人もの人々によって書かれ、編集され、書き写されてきたテキストのコレクションがあります。ある部分は、独特の声を持つ一人の著者によって書かれたものですが、他の部分は、まるでパッチワーク・キルトのように、異なるソースから継ぎ合わされたものです。課題は、仕立て屋たちに直接尋ねることなく、どのパッチがどの仕立て屋に属するのかをどうやって突き止めるかです。単に言葉を見るだけでは不十分かもしれません。なぜなら、書き手によっては異なる理由で同じ言葉を使うことがあるからです。あなたには、文章の「リズム」や「予測可能性」を測定する方法が必要です。

ここで、情報理論という科学の一分野が登場します。これは、次にくる単語に対して、あなたがどれほど「驚いたか」を測定する方法だと考えてください。もし、何が起こるかわからない物語を読んでいるなら、あなたは常に驚かされています。その場合、情報量は高く、文章は「緩い」あるいは「創造的」に感じられます。しかし、もしレシピや法的契約書を読んでいるなら、次にどの言葉が来るか正確に分かっています。「材料として、一杯の……」の次には、ほとんど常に「小麦粉」が続きます。この予測可能性は、情報のパターンが硬直しており反復的であるため、情報量が低いことを意味します。この論文において、著者たちはこの「驚き」（あるいはその欠如）という概念を用いて、古代のテキストの中に隠されたパターンを見つけ出そうとしています。彼らは、文章の「レシピのような」部分と「物語のような」部分を、言葉の予測のしやすさを測定するだけで、自動的に見分けることができるかどうかを検証したいと考えています。

探偵の新しい道具

著者であるギデオン・ヨッフェ、ヤイル・セゲヴ、バラク・ソバーは、新しいデジタルの拡大鏡を作り上げました。彼らはこれを**教師なし情報理論的アプローチ（unsupervised information-theoretic approach）**と呼んでいます。これを分解してみましょう。「教師なし（Unsupervised）」とは、コンピュータが何を探すべきかを教える先生を必要とせず、自力で見つけ出すことを意味します。「情報理論的（Information-theoretic）」とは、数学を用いて予測可能性を測定することを意味します。

彼らの主要なアイデアは単純ですが強力です。定型的なテキストは予測可能である、ということです。書き手が、長い家系図や宗教的な法律のような厳格な構造を使用する場合、彼らは同じフレーズを何度も何度も繰り返します。これらのフレーズは非常に頻繁に現れるため、非常に予測しやすくなります。情報理論の言葉を使えば、予測可能なものは自己情報量（self-information）が低い（驚きが少ない）のです。予測不能で創造的な物語は、自己情報量が高い（驚きが多い）のです。

チームは、テキストをスキャンして、異常に予測しやすい記述の塊を探すアルゴリズムを開発しました。それは単に推測するのではなく、確率モデルが目にする単語に対してどれほど「驚く」かを計算します。もしあるセクションが反復的な定型フレーズで満たされていれば、モデルは全く驚きません。そのため、スコアは低く保たれます。もしそのセクションが、荒々しく創造的な物語であれば、スコアは上がります。低スコアのセクションをグループ化することで、アルゴリズムは「定型的クラスター（formulaic clusters）」、つまり、異なる筆致や異なる目的で書かれたと感じられる部分を分離することができます。

古代テキストへのツールのテスト

彼らの新しいツールが実際に機能するかどうかを確認するために、著者たちはヘブライ語聖書、特に最初の3つの書物である創世記、出エジプト記、レビ記を用いてテストを行いました。これらの書物は、学者たちの間で「複合的」であることで有名です。つまり、異なるソースが織り交ぜられて作られていると考えられているのです。最も議論されている問題の一つは、非常に構造化され、律法的で、反復的なことで知られる**祭司資料（P）**を、他の物語部分からどのように分離するかという点です。

研究者たちは単に言葉を見たのではなく、言葉の構造を見ました。彼らはテキストを小さな塊（文や節のようなもの）に分解し、特定のパターンがどれくらいの頻度で現れるかを数えました。そして、アルゴリズムを実行して、テキストを自然に2つのグループに分けられるかどうかを確認しました。一つは非常に反復的（驚きが少ない）なグループであり、もう一つはより多様（驚きが多い）なグループです。

結果は以下の通りです：

• 創世記において： 彼らは、退屈で長い家系図のリストと、アブラハムやイサクの刺激的な物語の違いを調査しました。アルゴリズムは、家系図を高度に予測可能な、定型的なクラスターとして特定することに成功しました。これは理にかなっています。なぜなら、家族のリストは厳格で反復的なパターンに従いますが、物語はより流動的だからです。
• 出エジプト記において： 彼らは、**祭司（P）**のセクション（聖所を建設するための法律や宗教儀式を含む部分）と、非祭司的な物語部分との分離をテストしました。アルゴリズムは、伝統的な学者が長年信じてきた通り、これら2つの層を確実に分離しました。祭司の部分は、反復的な指示に満ちているため、「驚きが少ない」ゾーンとして現れました。
• レビ記において： これは最も難しいテストでした。レビ記は法律で満たされていますが、学者たちの間では、祭司資料（P）と、後の「聖潔規定（H）」という2つの異なる層が含まれているのではないかという議論があります。どちらも反復的ですが、微妙な違いがあります。著者たちは、適切な「レンズ」を通してテキストを見れば、彼らの手法がこれらを区別できることを見出しました。分析するテキストの塊のサイズ（チャンクサイズ）の設定によって、アルゴリズムは時として祭司の規則を最も反復的なものとして強調し、また別の時には聖潔規定を強調しました。これは、両者が定型的ではあるものの、異なるスケールで現れる異なる種類のパターンに従っていることを示唆しています。

彼らはどの程度確信しているのか？

著者たちは、自分たちの方法が聖書の謎を一度に解決したと主張するような慎重な態度は取っていません。代わりに、彼らの手法がこれらの違いを定量化する方法を示唆していることを示しています。

彼らは、制御された環境でパターンを見つけられることを確認するために、まずコンピュータで生成された偽のデータに対してアルゴリズムをテストしました。これらのシミュレーションにおいて、彼らの手法は、特にデータが疎（スパース）で高次元である場合（これはまさに古代のテキストの特徴です）、標準的なクラスタリングツール（k-meansやガウス混合モデルなど）よりも優れた成果を上げることが多いことが分かりました。

実際の聖書に適用した際、結果は有望でしたが、ニュアンスを含んでいました。出エジプト記において、彼らの手法は、試行したさまざまなパラメータ設定において、標準的なk-means法が30%であったのに対し、**68%**の割合で専門家の分類と一致しました。創世記では、k-meansが14.6%であったのに対し、40%のケースで一致しました。レビ記では、45.5%のケースで一致し、k-meansの29.8%と比較して高い数値となりました。

これらの数字は、情報理論的アプローチがこれらの隠れた層を見つけるための強力なツールであることを示唆していますが、あらゆる時に完璧に機能する魔法の杖ではありません。テキストの切り出し方（単語グループのサイズや節のウィンドウ）によって結果が変わるという事実は、これらのテキストの「定型的」な性質が複雑であることを物語っています。それは単一の要素ではなく、異なるスケールで現れるパターンの混合物なのです。

なぜこれが重要なのか

この論文は、単に本を分類する方法を提示しているだけではありません。それは、本を「聴く」ための新しい方法を提供しています。数学を用いて「驚き」を測定することで、著者たちはテキストのリズムが変化する場所を客観的に捉える手段を提供しています。もし物語が突然非常に予測可能になったとしたら、それは別の著者がペンを執ったか、あるいはテキストがテンプレートからコピーされた兆候かもしれません。

著者たちは、この手法が、ヘブライ語聖書のように、時間をかけて編集され、層を重ねられてきたテキストに対して特に有用であると結論づけています。これにより、研究者はどの言葉が重要かを事前に推測することなく、テキストの「構造的な足場」を見ることを可能にします。この手法は、誰が何を書いたかを正確に証明するものではありませんが、これらの古代の書物がどのように組み立てられたかについての伝統的な理論の多くを裏付ける、定量的な枠組みを提供しています。それは、文学分析という「芸術」を、パターンの「科学」へと変え、最も複雑な物語の中にさえ、構造と反復の指紋を見つけることができるのだと教えてくれます。それは、驚きの大きさを測定する方法を知っていれば、可能なのです。