Approaches to Analysing Historical Newspapers Using LLMs

この論文「Approaches to Analysing Historical Newspapers Using LLMs（LLM を用いた歴史新聞の分析アプローチ）」は、20 世紀初頭のスロベニアの歴史新聞『Slovenec』と『Slovenski narod』を対象に、大規模言語モデル（LLM）と従来の人文科学的手法を融合させた混合研究法（Mixed Methods）を提案・検証したものです。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題設定 (Problem)

歴史新聞のデジタル人文科学（Digital Humanities）研究において、以下の課題が存在します。

• データの質と量: OCR（光学文字認識）によって処理された歴史資料はノイズが多く、大規模なコーパス（本研究では約 3 億トークン）を人手で分析することは不可能です。
• 既存手法の限界: 従来のトピックモデリングや辞書ベースの感情分析は、文脈のニュアンスや、特定の「集合的アイデンティティ（民族、地域、政治的グループなど）」に対する評価（ポジティブ/ネガティブ/ニュートラル）を、OCR 劣化テキストにおいて正確に捉えるのに限界があります。
• LLM の適用可能性: 現代の LLM は高性能ですが、スロベニア語という低リソース言語、かつ歴史的な文脈や OCR ノイズを含むデータに対して、どの程度信頼性を持って感情分析や意味分析を行えるかが不明確でした。

本研究は、**「OCR 劣化された歴史スロベニア語新聞において、LLM を用いて集合的アイデンティティに対するアスペクトレベルの感情分析を大規模に実行可能か、またその結果を人文科学的解釈とどう統合するか」**という問いに答えることを目的としています。

2. 手法 (Methodology)

本研究は、計算機科学的手法と人文科学的解釈を組み合わせる「混合研究法」を採用しています。

A. データセット

• コーパス: 1771 年〜1914 年のスロベニア語定期刊行物コーパス「sPeriodika」から抽出。
• 対象新聞:
  • 『Slovenec』（保守的・カトリック系、1873-1945）
  • 『Slovenski narod』（リベラル・進歩系、1868-1943）
  • 両者は政治的対立軸（教会と世俗主義、ドイツ化への態度など）が明確に異なります。
• 対象概念: 「集合的アイデンティティ」の辞書（名詞形と形容詞形）を構築し、民族、地域、国家などの言及を抽出しました。

B. 分析パイプライン

1. トピックモデリング:
   • BERTopic を使用し、段落レベルでトピックを抽出。
   • 自動クラスタリングの結果を基に、手動で 20 の主要テーマ（例：国家と民族、州行政、宗教実践など）に集約しました。
2. LLM によるアスペクトレベル感情分析:
   • タスク: 抽出された集合的アイデンティティの言及に対し、その文脈（前後 2 文を含む 5 文）における感情（ポジティブ、ネガティブ、ニュートラル）を分類する。
   • モデル評価: 4 つの指示追従型 LLM（GaMS3-12B-Instruct, Gemma-3-12B-IT, Llama-3.1-8B-Instruct, DeepSeek-R1-Distill-Qwen-7B）をスロベニア語でプロンプトし、人手で注釈されたテストセット（371 件）で比較評価しました。
   • 選定モデル: 性能が最も高かったGaMS3-12B-Instruct（スロベニア語に適応されたモデル）を大規模分析に採用しました。
3. エンティティグラフ可視化:
   • トピック、アイデンティティ、場所、感情をノードとし、共起関係をエッジとして undirected graph（無向グラフ）を構築しました。
   • ノードのサイズは「ニュートラル以外の感情の割合」を反映させ、ネットワーク構造からアイデンティティ間の関係を可視化しました。
4. 批判的談話分析（CDA）:
   • 計算機分析で特定されたパターン（ネットワークの接続や感情分布）に基づき、関連するテキストセグメントを抽出し、人文科学的な「近接読解（Close Reading）」と「批判的談話分析」を行い、ナラティブの構築プロセスを解釈しました。

3. 主要な貢献 (Key Contributions)

• 歴史 OCR テキストにおける LLM ベンチマーク: 歴史的スロベニア語新聞におけるアスペクトレベル感情分析のための LLM 評価基準を確立し、GaMS3-12B-Instruct が最も適していることを実証しました。
• 混合研究法の枠組み: 大規模な「遠隔読解（Distant Reading）」によるパターン発見と、質的な「近接読解」による文脈解釈を統合する具体的なワークフローを提示しました。
• スロベニア語 NLP の進展: 低リソース言語かつ歴史的変種を含むテキストにおける、指示追従型 LLM の性能と限界（特にニュートラル分類の高精度と、ポジティブ/ネガティブ分類の非対称性）を詳細に記述しました。
• 公開リソース: 分析に使用したアイデンティティ辞書、評価データセット、プロンプトを GitLab で公開し、再現性を担保しました。

4. 結果 (Results)

A. モデル性能の評価

• 全体精度: GaMS3-12B-Instruct が最高精度（0.695）と重み付き F1 スコア（0.708）を記録しました。
• クラスごとの性能:
  • ニュートラル: 非常に高い精度（F1=0.794）で検出可能。
  • ネガティブ: 感度は高い（Recall=0.750）が精度が低く（Precision=0.351）、ニュートラルな文を誤ってネガティブと判定する傾向がありました。
  • ポジティブ: 最も検出が困難（F1=0.343）。多くのポジティブ事例がニュートラルまたはネガティブとして誤分類されました。
• 文法・参照タイプによる影響:
  • 名詞形アイデンティティ（例：「ドイツ人」）よりも、形容詞形（例：「ドイツの」）の方が性能が良い傾向がありました。
  • 集団を直接指す参照（Group-referential）よりも、非集団参照（Non-group）の方が性能が安定していました。

B. 歴史的・談話分析の知見

• アイデンティティの感情分布:
  • ドイツ人（Nemci）: 両紙とも一貫してネガティブな感情で言及されており、当時のスロベニア - ドイツの民族対立を反映。
  • オーストリア人（Avstrijci）: 主にニュートラル。当時のスロベニア政治がオーストリア国家に支持的だったことを示唆。
  • チェコ人（Cehi）: 紙によって評価が分かれ、複雑な政治的コンテクスト（ボヘミアにおけるドイツ - チェコ対立など）が反映されていました。
  • 地域アイデンティティ（例：アドリア海沿岸など）: ほぼ 100% ニュートラルで記述されており、評価対象ではなく情報対象として扱われていました。
• ネットワーク分析:
  • 『Slovenec』は多様なアイデンティティと場所が複雑に絡み合うネットワークを示し、より多くのネガティブ感情を含んでいました。
  • 『Slovenski narod』はアイデンティティの言及がよりニュートラルで、ネットワークが単純化されていました。
• 談話戦略: 「他者化（Othering）」の戦略が顕著であり、特にドイツ人に対しては「敵」として、クロアチア人に対しては「兄弟」として描くなど、ナショナル・アイデンティティの構築に意図的な言説戦略が用いられていることが確認されました。

5. 意義と結論 (Significance and Conclusion)

• 技術的意義: 歴史資料の分析において、LLM は完全な自動化ツールではなく、**「解釈を支援するツール」**として機能すべきであることを示しました。特に、ニュートラルな分類は信頼できるが、ポジティブ/ネガティブの分類には注意深い解釈（人間の介入）が必要であるという重要な知見を提供しました。
• 学術的意義: 従来の歴史学研究が確認していたナショナリズムの分極化や、主要な歴史的出来事が公的議論に与えた影響を、データ駆動型アプローチで裏付けると同時に、個別の新聞の報道姿勢の違い（例：ドイツ人への言及のニュアンスの違い）といった微細な差異を浮き彫りにしました。
• 将来展望: 時系列名実体グラフ（Temporal Named Entity Graphs）を用いたアイデンティティの重要性や態度の変遷の追跡、およびトピックと言語的枠組みの深層分析への展開が予定されています。

総じて、この研究は、スケーラブルな計算手法と批判的解釈を組み合わせることで、ノイズの多い歴史資料から新たな文化的・政治的洞察を引き出す可能性を証明した画期的な試みです。