Named Entity Recognition of Historical Texts via Large Language Model
本研究は、注釈付き訓練データが乏しい歴史的文書における固有表現認識に対し、ゼロショットおよびフューショット・プロンプティング戦略を活用する大規模言語モデルが、完全教師ありモデルには及ばないものの相当に強力な性能を達成しつつ、実用的かつ効率的な代替手段となり得ることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
18 世紀と 19 世紀の古びた、ほこりまみれの新聞や手書きの手紙の膨大な図書館があると想像してください。それらの文書の中から、特定の人物、都市、または組織への言及をすべて素早く見つけたいとします。これが**固有表現認識（NER）**の役割です。つまり、コンピュータに「ナポレオン」や「パリ」、「タイムズ紙」といった名前をテキストの塊の中から見つけ出し、ラベル付けさせることです。
問題は、これらの古い文書がコンピュータにとって悪夢のような存在だということです。それらは奇妙で古風な言語で書かれており、綴りが一定していません（「show」の代わりに「shew」など）。さらに、スキャン過程による誤字も満載です。コンピュータにこれを処理させるためには、通常、人間の専門家が何千ページもの文書を読み、すべての名前を手動でラベル付けする必要があります。これは高価で時間がかかり、専門家や資金が不足しているため、しばしば不可能です。
新しいアプローチ：「語るな、示せ」戦略
この論文は、大規模言語モデル（LLM）を用いてこの問題を解決する新しい方法を検証しています。LLM を、インターネット上のほぼすべてを読み込んだ超知的で博学なロボットだと考えてみてください。そのロボットに、高価なラベル付きデータが必要な過酷なトレーニング課程を強いる代わりに、研究者たちは異なるアプローチを試みました。それはプロンプトです。
彼らは、特定の業務の訓練を受けていない新人従業員のようにロボットを扱いました。ロボットに「カンニングペーパー」（プロンプト）を与え、作業を依頼したのです。彼らは主に 2 つの戦略をテストしました。
- ゼロショット（「盲目」テスト）： 単にロボットに「ここにテキストがある。人物と場所を見つけろ」と伝えました。例は示されませんでした。
- フューショット（「見せてくれ」テスト）： まず、作業の小さなサンプルをロボットに与えました。「ここに文がある：『ナポレオンはパリに行った。』この文において、『ナポレオン』は人物で、『パリ』は場所です。では、この新しい文を見て、同じように行いなさい」と伝えたのです。
実験：「1 つの例」の驚き
研究者たちは、ドイツ語、フランス語、英語、スウェーデン語、フィンランド語の 5 言語で書かれた歴史的文書のコレクションでこれをテストしました。彼らは、ロボットに 1 つ、3 つ、または 5 つの異なる数の例を与えることを試みました。また、それらの例を選ぶ方法も、ランダムに選ぶか、ロボットが読もうとしているテキストと非常に似ているものを選ぶかなど、様々に試みました。
彼らが発見したことを、いくつかの単純な比喩を用いて示します。
- 1 つの例が絶妙なポイントである： 驚くべきことに、ロボットにたった 1 つの例を与えることが、3 つや 5 つを与えるよりもうまく機能しました。これは、子供にゲームを説明するのと同じです。明確な例が 1 つあれば、それで十分な場合が多いのです。5 つの例を与えると、余計なノイズや指示の長さによって混乱するかもしれません。ロボットは、単一で明確な実演によって最もよくパフォーマンスを発揮しました。
- 例の選び方はあまり重要ではない： 研究者たちは、ターゲットのテキストと「全く同じ」（双子のような）例を選ぶことが、ランダムに選ぶことよりも役立つのかどうか疑問に思いました。しかし、実際にはあまり関係がないことがわかりました。例が完璧な一致であれ、単なるランダムなサンプルであれ、ロボットは単一の例から同じように学習しました。まるでロボットがそれほど賢いので、タスクとの類似度に関係なく、ほぼどのような単一の例からでもゲームの規則を推測できるかのようです。
- 「グループ投票」のトリック： AI は時として（コインを投げるように）予測不可能なことがあるため、研究者たちはロボットにタスクを 3 回実行させ、最も頻繁に現れた回答を採用しました（多数決）。これは委員会が合意形成をするようにわずかに役立ちましたが、改善は小さかったです。
結果：良好だが、完璧ではない
ロボットはそれなりの仕事をしました。例を全く与えられなかった場合と比較して、1 つでも例を与えれば、名前を見つける能力は大幅に向上しました。しかし、それでも人間が大量のラベル付きデータで数ヶ月間トレーニングした「ゴールドスタンダード」のシステムには及びませんでした。
- 例外： 1 つのデータセット（「Sonar」と呼ばれるドイツ語テキストのコレクション）では、ロボットは以前の最良の方法よりも良い結果を出しました。
- ギャップ： 他のほとんどのテキストについては、ロボットは依然として、手動トレーニングという重労働をこなしてきた専門家には及びませんでした。
結論
この論文は、古い歴史書を読ませるために、常に大規模な人間のラベル付けチームを必要とするわけではないことを証明しています。賢い AI を使い、たった 1 つの例を見せるだけで、驚くほど良い結果を得ることができます。
この「ワンショット」法はまだ完璧ではなく、最も正確で人間がトレーニングしたシステムに取って代わるものではありませんが、強力で無料、かつ迅速なツールです。これにより、研究者は膨大なトレーニングデータセットを作成する予算や時間がなくても、すぐに歴史的文書アーカイブの探索を開始できます。まるで、始める前に何を検索すべきかという簡単なリマインダーを必要とするだけで、古い本をあなたと一緒に読んでくれる頼もしいアシスタントがいるようなものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。