Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation
本論文は、生成的なデータ拡張を用いてTransformerベースのモデル、具体的にはXLM-RoBERTaをファインチューニングすることで、低リソースの前近代セルビア・キリル文字テキストにおける命名エンティティ認識の性能と汎化性能が大幅に向上することを実証し、約0.92のドメイン内F1スコアを達成するとともに、より広範な歴史研究のために50%の合成データで学習させた推奨モデルを確立するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
デジタル史の静かな片隅において、自然言語処理として知られるコンピュータサイエンスの専門分野が、過去を機械にとって読み取り可能なものにするために活動しています。この分野は、コンピュータに対し、人間の言語を単なる単語の羅列としてではなく、特定の名前（人、場所、集団）が明確な意味を持つ構造化されたシステムとして理解することを教えます。現代語の場合、この作業は驚くほど正確になっており、ソフトウェアがニュース記事やソーシャルメディアのフィードを瞬時にスキャンして、特定の都市や人物に関するあらゆる言及を抽出することを可能にしています。しかし、同じ技術も歴史的なテキストに直面すると、困難に直面します。これらの文書は、日常会話からは消え去った綴りや文法を使用していることが多く、また、現代の文章よりもはるかに少量しか存在しません。言語が稀少でデータが乏しいとき、今日のニュースで優れた能力を発揮するコンピュータは、数世紀前の言葉につまずいてしまうのです。これは、デジタルツールを用いてコレクションを探求したい歴史学者やアーカイブ管理者にとって、ソフトウェアが中世の憲章における王の名前と一般的な名詞を確実に区別できないという障壁を生み出しています。
研究チームは、高度なコンピュータモデルに、前近代のセルビア・キリル文字テキストにおける名前を認識させることを教えることで、この溝を埋めるべく乗り出しました。彼らは、特定の課題に焦点を当てました。それは、学習に使用した例とは綴り、スタイル、あるいは時代が異なる可能性のある、未見の文書に対しても、モデルを十分に堅牢にする方法です。これを行うために、彼らは「生成的データ拡張（generative data augmentation）」と呼ばれる手法を採用しました。歴史学者が何千もの新しい文書を手作業でラベル付けするという、遅くてコストのかかるプロセスを待つ代わりに、研究者たちは強力な人工知能に、新しい合成的な学習例を執筆させました。彼らは、このAIに対して中世の憲章や法的文書のスタイルを模倣するように誘導し、正しい名前や場所のラベルを備えた、本物のように見え、かつ響く、何千もの偽の文章を作成させました。そして、地域に特化したモデルと、多くの言語で訓練されたモデルという2種類の現代言語モデルをテストし、どちらが実データと合成データの混合物からより良く学習できるかを確認しました。
研究者たちは、14世紀の王室憲章や書簡を含む、本物の歴史的文書のコレクションから着手しました。これらのテキストは、人名、場所、または特定の集団への言及のあらゆる事例をマークした、専門家による丁寧なアノテーション（注釈付け）が施されています。このオリジナルのコレクションは、洗練されたコンピュータモデルを訓練するには限定的な量である、わずか3,000文強でした。この基礎を拡大するために、チームは生成AIシステムを使用して、元のテキストと同じパターンに従う新しい文章を作成しました。彼らは、合成された文章が全体の30パーセントを占めるもの、50パーセントを占めるもの、そして合成された例が元のデータセットのサイズを2倍にするものという、3つの異なるバージョンの学習データを作成しました。これにより、たとえ一部が人工的に生成されたものであっても、より多くの例をコンピュータに提供することが、歴史的な言語のニュアンスを理解する助けになるかどうかをテストすることができました。
チームがこれらのモデルを、訓練に使用したものと同じ種類の文書でテストしたとき、結果は目覚ましいものでした。実データと合成データの混合物、具体的には30パーセントの合成例を含むバージョンで訓練されたモデルは、高い精度を達成し、名前や場所の大部分を正しく識別しました。この性能は、異なる数学的構造に依存していた古いスタイルのコンピュータモデルよりも大幅に優れていました。しかし、真のテストは、研究者がモデルに対して、訓練には含まれていなかった全く新しい歴史的文書を読ませたときに訪れました。これらの新しいテキストには、1500年の遺言状、1778年にウィーンの教会で書かれた写本、そして14世紀半ばの王室憲章が含まれていました。これらの文書は異なる時代や記述スタイルを表しており、モデルが本当に言語を学習したのか、それとも単に訓練例を暗記しただけなのかを試すものでした。
結果は、合成データで訓練されたモデルが、古いシステムよりもはるかに適応力が高いことを示しました。50パーセントの合成データを使用したモデルは、すべての新しい文書において最も信頼性が高いことが証明され、最も古く、様式的に異なるテキストに直面しても高い精度を維持しました。30パーセントの合成データで訓練されたモデルは、見慣れたテキストにおいてわずかに優れた性能を示しましたが、50パーセントのバージョンは、未知のテキストに対してより一貫した処理を行いました。これは、適度な量の合成例を加えることが、コンピュータに言語のより柔軟な理解を構築させ、綴りや文脈が変化した場合でもパターンを認識できるようにすることを示唆しています。研究者たちは、モデルが人名を特定することには特に長けているものの、より稀少で多様な地名や集団の参照については、依然としてわずかに苦戦していることを見出しました。
本研究は、生成的な合成例を作成することは、コンピュータに歴史的テキストを読ませるための強力なツールであるが、単純な万能薬ではないと結論付けています。合成データの量は重要であり、少なすぎれば十分な助けにならず、多すぎればモデルを混乱させるノイズを導入する可能性があります。最良の結果は、合成データが実際の歴史的記録を圧倒することなく補完するという、バランスの取れたアプローチから得られました。訓練されたモデルと使用したデータを公開することで、研究者たちはデジタル・ヒューマニティーズのための新しいツールを提供しました。この取り組みは、適切な歴史的専門知識と現代の人工知能を組み合わせることで、何世紀にもわたる手書き文書の中に隠された名前や場所を解き明かし、過去を学者と好奇心旺盛な一般の人々の双方にとってより身近なものにできることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。