Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

あなたは、巨大で古めかしい図書館の中で謎を解こうとしている探偵だと想像してください。その謎とは？、後の時代の作家たちが、どのようにして古い物語を密かに模倣したり、改変したり、あるいは囁き込んだりしたのかを突き止めることです。ラテン文学の世界では、これを「間テクスト性（インターテクスチュアリティ）」と呼びます。何世紀もの間、学者たちは何千もの埃をかぶった巻物を手作業で読み、ジェローム（キリスト教の修道士）のような作家が、ウェルギリウス（異教の詩人）の格好いいフレーズを密かに借りていることを見逃さないよう、記憶力に頼ってきました。

しかし、ここには問題があります。作家たちは単にコピー＆ペーストをしたわけではありませんでした。彼らは語順を変えたり、類義語に置き換えたり、あるいは参照箇所を非常に巧妙に隠したりしたため、単純な「この単語を探す」というツールでは見逃されてしまうのです。それは、曲のテンポや歌詞が少し変わってしまった状態で、いくつかの音を口ずさむだけで特定のプレイリスト内の曲を見つけ出そうとするようなものです。

ここに、この問題を解決するためにコンピュータ科学者とラテン語の専門家チームによって作られた新しいデジタルツール、Loci Similesが登場します。これは、図書館における巨大で超整理された「カンニングペーパー」のようなものです。

巨大な図書館とカンニングペッパー

チームは、約176,000個の小さなテキストの断片を含むデータセットを構築しました。これらを2つの山に分けました。

1. 「クエリ（検索）」の山： ジェローム、ラクタンティウス、ヴァレリウス・フラックススといった著者による、後の時代のテキスト。
2. 「ソース（出典）」の山： キケロ、ウェルギリウス、オウィディウス、ホラティウスといった古典派による、より早い時代のテキスト。

コンピュータツールが実際に学習できているかを確認するために、彼らは「グラウンド・トゥルース（正解）」となるカンニングペーパーを作成しました。このシートには、人間の専門家が真実であると検証した1,490の具体的なつながりが含まれています。これは、「ジェロームの本にあるこの文章は、間違いなくウェルギリウスの本のこの文章への目配せである」と専門家が答えた解答集のようなものです。

大いなるコンピュータ・レース

研究者たちは問いかけました。コンピュータは、古い手法の検索ツールよりも、これらの隠れたつながりを見つけることができるだろうか？

彼らは3種類のコンピュータモデルを使ってレースを行いました。

1. 「単語カウンター」（語彙モデル）： これらは正確な単語や単語の語幹を探します。これは、両方の本に全く同じ単語が現れるかどうかだけをチェックする司書のようなものです。
2. 「深く考える者」（高密度ニューラルモデル）： これらは高度なAIを使用して、たとえ言葉が異なっていても、文章の「意味」を理解します。これは、物語の「雰囲気」を理解する探偵のようなものです。
3. 「二段構えのチーム」（検索および再ランク付け）： このチームは、まず「単語カウンター」を使って容疑者のショートリストを確保し、次に「深く考える者」を使ってそれらを再確認します。

何が見つかったのか（プロットの急展開）

ここで物語は面白くなります。なぜなら、結果は誰もが予想していたものとは異なっていたからです。

1. 「深く考える者」は第一ラウンドでは勝てなかった。
意味を理解する洗練されたAIが、隠れた参照を見つけるのに最適だと思われがちです。しかし、論文はラテン語においては、古い手法の「単語カウンター」（特にレマ（基本形）を用いたBM25という手法）の方が、第一段階において実際により優れた仕事をしたことを示唆しています。

• 理由： ラテン語は、文法に基づいて変化する非常に複雑な語尾を持つ言語だからです。洗練されたAIはこれらの変化によって混乱することがありましたが、「単語カウンター」はそれらを剥ぎ取って核となる単語を見つけることに長けていました。
• 結果： 上位100個の候補を探す際、「単語カウンター」は直接的な逐語的コピー（逐語的参照）の約**78%**を見つけ出しました。高度なAIモデルも肉薄しましたが、これを打ち破ることはできませんでした。

2. 「深く考える者」は難しい課題のために必要である。
「単語カウンター」は正確なコピーを見つけるのには優れていましたが、アリュージョン（暗示）（言葉は全く異なるが意味が似ている、微妙なヒント）を見つけることには惨めに失敗しました。

• 問題： もしジェロームが、言葉は全く異なるものの、ウェルギリウスのような「感じ」を与える文章を書いた場合、「単語カウンター」には関連性がゼロに見えてしまいます。
• 解決策： 「深く考える者」（特にXLM-R Largeと呼ばれるモデル）は、こうした微妙で、重なりが少ないつながりを捉えることにずっと優れていました。これらは、「言葉は違っても、この二つの文章は同じ恐ろしい感情について語っている」ということを理解できたのです。

3. 勝利の戦略：二段構えのチーム。
論文は、この謎を解く最善の方法は、単一の探偵を選ぶことではなく、チームを使うことであると示唆しています。

• ステップ1： 「単語カウンター」を使用して図書館全体をスキャンし、すべてのクエリに対して最も可能性の高い容疑者上位100件を抽出する。
• ステップ2： そのショートリストを「深く考える者」に渡し、それらが真の参照なのか、単なる偶然なのかを判断させる。
• 結果： このチームによるアプローチは、真の隠れた参照の**63%を回収することに成功し、同時に人間が読む必要のあるリストを97%**削減しました。これは、100万本の針がある干し草の山を、1,900本の針が入った小さなバスケットへと変えるようなものであり、仕事を大幅に容易にします。

この論文が否定していること

著者たちは、何がうまく機能しないのかについても明確に述べています。

• 洗練されたAIだけを使うのでは不十分である： もし優れた最初のフィルターなしに「深く考える者」だけに頼ると、多くのつながりを見逃してしまいます。
• 単純な単語一致だけでは不十分である： もし正確な単語だけを探すのであれば、最も興味深い部分である微妙で巧妙な参照を見逃してしまいます。
• これは「解決済み」の問題ではない： 論文は、これらの微妙なつながりを見つけることは依然として「困難」であると明言しています。AIは優秀ですが、特に接続が短い場合や言葉が大きく異なる場合には、依然として間違いを犯します。

結論

この論文は、AIが古代文学を研究するための強力な新しいツールである一方で、すべてを一瞬で解決する魔法の杖ではないことを示唆しています。現在の最善のアプローチはハイブリッドなものです。シンプルで高速なツールを使用して検索範囲を絞り込み、その後にスマートでディープラーニングを用いたツールを使って最終的な判断を下すという方法です。

著者たちは、自分たちのデータセットが完璧ではないこと（存在するすべてのつながりを含んでいるわけではないこと）、そして何をもって「参照」と定義するかは人間にとっても難しいことであることを認めています。しかし、1,490の専門家による検証済み事例と、Loci Similesという新しいベンチマークによって、彼らは将来の研究者に対し、より優れたツールを構築するための強固な出発点を与えました。古代の図書館の謎はまだ解明の途中ですが、今や私たちはより優れた懐中電灯を手に入れたのです。