From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages

あなたは、中世オック語、中世カタルーニャ語、中世フランス語の 3 つの異なる中世言語で書かれた古代の書物群を読み解こうとしていると想像してください。これらは単なる現代言語の古いバージョンではなく、まるで荒々しく手つかずの親戚のようなものです。綴りはページによって変化します（「火」がfuocと書かれることもあればfocと書かれることもあります）、文法は複雑であり、それらを理解するのを助ける辞書や教師はほとんど存在しません。

この論文の目的は、これらの書物内のすべての単語にその「役割」（名詞、動詞、形容詞など）をラベル付けする方法をコンピュータに教えることです。このプロセスは**品詞タグ付け（POS タギング）**と呼ばれます。コンピュータが物語を真に理解したり、翻訳したり、その歴史を分析したりする前に、不可欠な第一歩です。

研究者たちは問いかけました：現代の「超賢明な」AI（大規模言語モデル、LLM）は、これまで使われてきた古い伝統的なツールよりも、この作業をより上手にこなせるでしょうか？

以下に、彼らの実験を簡単な比喩を用いて解説します。

1. 出場者たち

この研究は、2 種類の「タグ付け器」の間のレースを設定しました。

• 古参（従来のタグ付け器）： これらは規則を厳守する司書のようなものです。彼らは現代言語に基づいた厳格な規則書を持っています。彼らは単語の形状を見て既知のパターンと比較することで、単語の役割を推測しようとします。彼らは速く安価ですが、綴りが奇妙だったり単語が稀だったりすると、すぐに混乱してしまいます。
• 新参（LLM）： これらはほぼすべての書物を読み込んだ天才的な多言語話者のようです。彼らは規則に従うだけでなく、文脈を理解します。彼らは文を見て、綴りが奇妙であっても、その単語が何である可能性が高いかを「感じ取ることができます」。

2. 学習方法（AI をどのように教えたか）

研究者たちは AI に単に推測させるだけでなく、それを教えるさまざまな方法を試みました。

• ゼロショット（「冷ややかな読み」）： 彼らは AI に「あなたは専門家です。ここに単語があります、その役割を教えてください」というプロンプトを与え、例示は一切示さずに行いました。これは、観光客にフレーズブックも与えずにメニューを翻訳させるようなものです。
• フューショット（「カンニングペーパー」）： 彼らは AI にまず小さな例のリストを与えました（例：「この単語は名詞、この単語は動詞」）。これは、観光客が始める前にいくつかの重要なフレーズを手渡すようなものです。
• ファインチューニング（「徒弟制度」）： 彼らは AI を取り出し、中世のテキストに特化して訓練しました。これは、観光客を 1 ヶ月のインターンとして雇い、この特定の書物のみを研究させるようなものです。
• クロスリンガル転移（「言語家族の再会」）： これが最も興味深い部分です。彼らは AI を言語の混合で訓練しました。例えば、カタルーニャ語とオック語を一緒に教えてから、オック語でテストしました。これは、スペイン語とイタリア語を教えた後、言語が関連しているためポルトガル語をよりよく理解できるかどうかを確認するようなものです。

3. 結果：勝者は誰か？

結果は明確でしたが、いくつかの興味深い捻りがありました。

• AI の勝利： ほぼすべてのケースで、現代の AI（LLM）は古い規則ベースのツールを凌駕しました。「天才的な多言語話者」は、「規則を厳守する司書」よりも、散漫で奇妙な綴りをはるかにうまく処理しました。
• 学習が重要： AI は、単に推測するのではなく、実際にデータで訓練された場合（ファインチューニング）、最も良い結果を示しました。
• 言語混合の「ジャストサイズ」：
  • 最小かつ最も困難なデータセット（中世オック語）の場合： AI は3 つの言語すべてを一緒に学習したとき（三言語）に最もよく学びました。これは、難しいものを理解するために、学生がすべての関連する方言を聞く必要があるようなものです。
  • 医学テキスト（中世フランス語）の場合： AI はカタルーニャ語のみとペアになったとき（二言語）に最も良い結果を示しました。3 つ目の言語を追加すると、実際にはわずかに悪化しました。これは、フランス語を学ぶ学生にとって、時には 3 つ目の言語（例えばスペイン語）を追加することが役立ちますが、時には特定の小さなタスクに対して最も近い親戚（イタリア語/カタルーニャ語）に焦点を当てる方が効果的であるようなものです。

4. 勝利の「理由」

研究者たちは、AI が形容詞、副詞、代名詞など、意味と文脈を持つ単語を特定することに特に優れていることを発見しました。古いツールは硬直的な規則に依存しているため、これらに苦労しました。しかし、AI は文全体を見て、「ああ、この単語は名詞を説明しているので、これは形容詞に違いない」と言うことができました。たとえ綴りが奇妙であっても。

5. 注意点（限界）

この論文は、何をしなかったかについて正直に述べています。

• コスト： 「天才的な多言語話者」（巨大な AI モデル）は実行コストが高く、強力なコンピュータが必要です。古いツールは無料で高速です。
• データサイズ： データセットのサイズは非常に異なっていました（1 つは 2,000 語、もう 1 つは 59,000 語）。研究者たちは、AI がうまくいったのが言語のせいなのか、それとも単に学習するためのより多くのデータがあったからなのかを完全に分離できませんでした。
• 特異性： 彼らはこの 3 つの言語のみをテストしました。ロマンス語族に属さない他の古代言語でもこれが機能するかどうかは、まだわかりません。

結論

この論文は、散漫で古代の中世テキストを読み解くために、現代の AI が強力な新しいツールであることを実証しています。それは単に古い方法を置き換えるだけでなく、特に関連する言語を混ぜて教える場合、それを大幅に改善します。ただし、「万能な」戦略はありません。時にはすべての言語を混ぜる必要があり、時には特定のテキストに応じて 2 つの言語にのみ焦点を当てる必要があります。

歴史家やデジタル人文主義者にとって、これは私たちが以前はコンピュータでは処理しきれなかったほど散漫だった何千年もの文学を自動的に整理し、理解するためのより良いツールを構築できることを意味します。