A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts

技術要約：歴史的テキストにおける命名エンティティ認識のための時間的融合戦略の研究

問題提起
歴史的テキストにおける命名エンティティ認識（NER）は、特有の課題である「時間的変動」に直面している。歴史的文書におけるエンティティは、時代とともにその表層形式、顕著性、および意味がドリフト（変遷）する。大規模言語モデル（LM）は一般的な自然言語処理（NLP）タスクを進展させてきたが、時間性、特に通時的な文脈に関する推論能力には依然として限界がある。既存の研究によれば、高度なモデルであっても方向性のバイアス、不適切な時間的較正、および時間的に固定された事実を保持することの困難さを示すことが指摘されている。さらに、時間的表現（例：時間ベクトル、時間グラフ）は他のタスクでは探索されているものの、NERのようなトークンレベルのタスクからは大きく乖離したままである。歴史的NERは、通時的ドリフト、OCRの劣化、および多言語的な変異によってさらに複雑化しているが、時間的メタデータをNERモデルに統合するためのアーキテクチャ戦略を体系的に比較した研究はほとんど存在しない。

手法
著者らは、歴史的NERを、入力がトークン列 $X$ と文書の出版年 $year$ で構成されるトークン分類タスクとして扱う。彼らはTransformerベースのアーキテクチャを採用し、明示的な年埋め込み（$y = \text{Emb}(year)$）を用いて時間情報を体系的に注入する。本研究では、2つのエンコーディング・モードを比較している：

1. 絶対モード（Absolute Mode）: 埋め込みインデックスが、出版年（例：1889年）に直接対応する。
2. 時間距離モード（Time-Distance Mode）: 埋め込みが、文書の出版年から固定された参照年（2025年）までの経過年数を表し、より新しい文書に対して低いインデックスを割り当てる。

核心となる貢献は、時間的融合戦略の比較であり、これらは早期融合（early fusion）（エンコーディングの前または最中に時間を注入する）と後期融合（late fusion）（エンコーダーの出力に対して時間を適用する）に分類される：

• ベースライン: 時間的融合なし。
• 早期融合:
  • クロスアテンション融合（Cross-Attention Fusion）: エンコーディングの前に、トークン埋め込みと年埋め込みの間のクロスアテンションを介して時間情報を注入する。
• 後期融合:
  • アダプター融合（Adapter Fusion）: 軽量なMLPが年埋め込みを処理し、その結果を各トークンの表現に加算する。
  • 結合融合（Concatenation Fusion）: 年の埋め込みを各トークンベクトルに結合し、元の次元数へと投影する。
  • 相対的時間融合（Relative Temporal Fusion）: 非線形エンコーダーが年埋め込みを相対的な表現へと変換し、特徴量ごとに線形モジュレーションを行うFiLMメカニズムにおいて使用される。
  • クロスアテンション融合（後期）: エンコーディング後のエンコーダー出力を用いて、クロスアテンションにより時間情報を融合させる。

実験設定
モデルは、出版年のメタデータを含むHIPE-2020データセットのフランス語およびドイツ語のサブセットを用いて評価された。これらのデータセットは幅広い時間範囲（フランス語：1798–2018年、ドイツ語：1798–1950年）をカバーしており、顕著なOCRノイズ（フランス語で約33%、ドイツ語で約43%）を含んでいる。著者らは、ベースモデルとして多言語的な歴史的BERTを使用し、主要な指標としてマイクロ平均F1スコアを用いてファインチューニングを行った。

主な結果

1. 性能向上: 後期融合戦略は、早期融合やベースラインと比較して、一貫してより堅牢で時間的に汎用性の高い性能を示した。これは、特に初期のノイズの多い時期（1800–1850年）や、構造的に複雑なエンティティ言及において顕著であった。
2. 時間モード: エンコーディング・モード（絶対モード vs 時間距離モード）の影響は、言語に依存していた。ドイツ語では、結合やアダプターを用いた戦略において、時間距離エンコーディングが顕著な利得（最大+3 F1）をもたらした。フランス語では結果は一貫性が低く、一部の戦略では絶対モードの方が優れた性能を示した。
3. エンティティの感受性: 後期融合戦略は、長いエンティティ（20文字以上）に対して安定または正の利得を示した。これは、後続の段階で時間信号を注入することが、複雑なエンティティに不可欠な表層的な区別の保持に役立つことを示唆している。
4. 時間の内部化: 推論時に真の文書年をランダムな年に置き換える線形プロービング実験により、後期融合モデルが潜在空間において時間信号を真に内部化していることが確認された。後期のクロスアテンション、アダプター、および結合戦略が最も高いプロービング精度を達成したのに対し、早期融合およびベースラインモデルは最小限の時間的エンコーディングしか示さなかった。
5. 統計的有意性: 時間的融合は一般に性能を向上させたが、その利得はしばしば微細であった。対検定（paired t-test）の結果、絶対的時間モードにおける後期のクロスアテンション戦略（$p = 0.041$）を除き、ほとんどの戦略は $p < 0.05$ の閾値において統計的に有意な改善を示さなかった。

意義と主張
本論文は、Transformerアーキテクチャにモジュール型の融合戦略を通じて構造的に時間を注入することで、言語や年代を横断して控えめながらも一貫した利得が得られると主張している。著者らは、後期融合が最も堅牢なアプローチであり、特にノイズの多い初期のデータや、場所のように時間的に変動しやすいエンティティ型の処理に適していることを強調している。

本研究は、この手法が生成能力の観点では新規ではないものの、通時的なコーパスに対する実用的かつ軽量な拡張機能を提供すると結論付けている。これは、現実世界の歴史的コーパスが（プライバシーや制限的なポリシーなどの）制約に直面し、大規模な生成型LLMの使用が困難な場合が多いという点で重要である。そのような文脈において、出版日のようなメタデータを活用する構造化された手法は、解釈可能なモデルのための重要な情報源であり続ける。著者らは、後期融合を採用し、特定の言語とセットアップに基づいて両方の時間エンコーディング・モードをテストし、ノイズの多い歴史的データに対するターゲットを絞った強化策として時間的融合を利用することを推奨している。

限界
著者らはいくつかの限界を認めている。本研究は年単位の粒度に限定されており（より細かい時間解像度は欠いている）、結果はHIPE-2020のフランス語およびドイツ語のサブセットに限定されている。また、プロービング分析は線形デコーダ可能性のみに焦点を当てており、評価は単一のバックボーンアーキテクチャの下での制御された条件下で行われた。したがって、メタデータが欠落している実世界のアプリケーションでは、異なる結果をもたらす可能性がある。