技術要約：外部知識を活用した、検索拡張大規模言語モデルによる歴史文書の復元

問題提起

『朝鮮王朝実録』（AJD）や『承政院日記』（JRS）といった歴史文書は、人類の知識の重要なアーカイブであるが、物理的な劣化により、文字が判読不能になったり損傷したりすることが頻繁にある。既存のMasked Language Modeling（MLM）に基づく復元手法は、局所的な文脈を効果的に利用できるものの、外部の歴史的知識を必要とする固有名詞（例：人名、地名、日付）の復元には苦慮している。さらに、従来のアプローチは、現実世界の文書における損傷分布と一致しない固定されたマスキング確率に依存することが多く、文脈依存的な固有表現を推論するために必要な外部データソースにアクセスする能力も欠いている。

手法

著者らは、歴史文書を復元するために、大規模言語モデル（LLM）と検索拡張生成（RAG）を組み合わせた新しいフレームワークである**ARI（Archive Restoration Intelligence）**を提案する。この手法は、主に以下の3つのコンポーネントで構成されている。

1. データセットの構築と分析:

   • 本研究では、漢文で書かれたAJDおよびJRSのコーパスを利用する。
   • 分析の結果、JRSにおける損傷文字の約44.8%が固有名詞であり、人名（PER）と地名（LOC）が最も頻度の高いカテゴリであることが明らかになった。
   • データセットは、訓練、検証、テストの各セットに分割される。極めて重要な点として、テストセットには、知識集約型の復元能力を具体的に評価するために、DRand（ランダムにマスクされた文字）とDNE（マスクされた固有名詞）が含まれている。

2. 検索拡張生成（RAG）フレームワーク:

   • メタデータの統合: 正しい歴史的文脈にモデルを接地させるため、時間的メタデータ（在位中の王、年、月、日）をプロンプトに統合する。
   • 検索戦略: 各入力文書に対し、システムは訓練コーパスから最も関連性の高い上位20件の文書を検索する。本研究では、ランダム選択、埋め込みベースの検索（Gemini Embedding）、および疎な検索（BM25）の3つの検索手法を評価した。漢字のロゴグラフ的な性質により、BM25が最も効果的であることが判明した。
   • 重複排除: バイアスを防ぎ、多様な文脈を確保するため、検索された文書に対して文字列類似度による重複排除を行う。多様性と関連性のバランスをとるための最適値として、80%の類似度閾値が特定された。
   • プロンプトエンジニアリング: フォーマットの例示を用いたfew-shotプロンプティングを採用し、JSON出力スキーマへの厳格な準拠を保証することで、フォーマットエラーを削減する。

3. モデルの訓練とファインチューニング:

   • ベースモデル: 著者らは、オープンソースのLLM、特にQwen3-32BおよびQwen3-8Bをファインチューニングし、ARI-32BおよびARI-8Bを作成した。
   • 訓練戦略: エポックごとにマスク位置を変化させる動的マスキング戦略を使用する。特筆すべきは、DNEデータセットに対する性能を高めるために、訓練データの25%において固有名詞のマスキングを優先させている点である。
   • ベースライン: 外部コンテキストにアクセスせずに復元タスクのためにゼロから訓練されたBERT-Resモデル（ModernBERT-largeに基づく）を、強力な非RAGベースラインとして用いる。

主な貢献

• 新しいフレームワーク: 歴史文書の復元に特化して設計されたRAGベースのフレームワークを導入し、LLMの暗黙的な知識と明示的な外部検索の間のギャップを埋めた。
• 固有名詞への焦点: 固有名詞の復元は一般的な文字の復元よりも著しく困難であり、外部知識を必要とすることを実証し、提案されたフレームワークがこれを効果的に解決することを示した。
• 包括的な評価: 本研究には、合成データセットを用いた広範な定量的評価と、実際の損傷した文書を用いた専門家による定性的評価が含まれている。
• リソースの提供: 将来的な古文献復元研究を促進するため、モデルとコードを公開している。

実験結果

• 固有名詞の復元性能: ARI-32Bは、固有名詞の復元において、BERT-Resベースラインおよび商用LLM（例：Gemini-2.5-Pro、Sonnet 4.5）の両方を大幅に上回る。例えば、DNEデータセットにおいて、ARI-32Bは固有名詞に対して**39.31%のTop-1精度を達成したが、これはBERT-Resの27.85%およびSonnet 4.5の30.26%**と比較して高い数値である。
• 一般的な文字の復元: 本モデルは、ランダムにマスクされた文字の復元においても優れた性能を示し、BERT-Resの**79.38%**に対し、**80.42%**の精度を達成した。
• 専門家による評価: 漢字文献および韓国史の専門家3名によるブラインド評価において、ARI-32Bは、BERT-Res（24.0% / 20.7%）およびGemini-2.5-Pro（30.0% / 27.3%）と比較して、最も高い**勝率（Win Ratio: 46.0%）およびTop-1精度（38.3%）**を記録した。専門家は、リストの上位に信頼できる候補を提示できるARI-32Bの能力が、探索コストを削減していると指摘した。
• 時間的ドメインシフト: モデルは中程度の時間的シフトに対しては堅牢性を維持しているが、訓練データよりも前の時代である『高麗史』（高麗王朝の記録）に適用した場合、性能の低下が見られ、通時的な言語変化の影響が浮き彫りとなった。

意義と主張

本論文は、ARIが専門家にとっての実用的なツールとなり、損傷箇所の復元に必要な時間と労力を大幅に削減することで、歴史記録の分析を加速させると主張している。RAGを通じて外部知識を活用することで、提案されたフレームワークは、従来のメソッドの限界であった文脈依存的な固有表現の推論という課題を効果的に緩和する。

著者らは、本研究を単なる韓国の歴史アーカイブのためのソリューションとしてだけでなく、低リソースの古代言語復元に適用可能な一般的なアプローチとして位置づけている。テキストのみのモダリティ（元の文書画像を除く）への依存や、入力長に関する計算上の制約などの限界を認めているが、提案されたフレームワークがデジタル・ヒューマニティーズおよび文書復元の分野において実質的な進歩をもたらすと断言している。