論文「TOWARDS THE AI HISTORIAN: AGENTIC INFORMATION EXTRACTION FROM PRIMARY SOURCES」の技術的サマリー

本論文は、歴史学研究における AI の活用を促進するため、オックスフォード大学などによって開発中の「AI 歴史家（AI Historian）」システム、Chronosの最初のモジュールを提案する技術進捗報告です。歴史資料（一次資料）の画像スキャンからデータを抽出する際、従来の固定されたパイプラインではなく、歴史学者が自然言語で対話しながらワークフローを構築・適応できる「エージェント型」の解決策を提供することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

歴史学研究における AI 導入の障壁は、既存の AI 科学者（AI Scientist）アプローチが歴史研究の特性に適合していない点にあります。

• 研究プロセスの非線形性: 歴史研究は仮説形成、資料批判、証拠解釈を反復する非線形的なプロセスであり、自然科学のような自動化された実験フローとは異なります。
• 資料の多様性と複雑さ: 手紙、税務台帳、特許登録簿など、一次資料のレイアウト、タイポグラフィ、略語、印刷品質は極めて多様です。固定された抽出パイプラインでは、これら多様な資料に対応できません。
• 技術的ハードル: 従来の VLM（Vision-Language Model）を用いた抽出には、カスタムパイプラインの構築に高度な技術的専門知識が必要であり、歴史学者自身がアクセス・利用可能な柔軟なソリューションが存在しませんでした。
• 既存アプローチの限界: 現在の AI 科学者は主に実証的な実験自動化に焦点を当てており、歴史資料からの証拠収集という特有の課題や、質的・量的な研究方法論の違いに対応できていません。

2. 手法とシステムアーキテクチャ (Methodology)

提案システム Chronos は、汎用的なコーディングエージェントフレームワーク「Pi」をベースに、歴史研究向けに特化したドメイン固有の拡張として実装されています。

システム構成

• ベースフレームワーク (Pi Agent):
  • 20 以上の LLM プロバイダー（Claude Opus 4.6, Gemini 3.1 Pro など）を統合し、モデル非依存（Model-agnostic）で動作します。
  • ローカルファイルシステムへのアクセス、セッション履歴の管理（分岐可能な JSONL ツリー）、カスタムツールの登録機能を提供します。
• Chronos 拡張機能:
  • ワークスペース管理: 資料（sources/、読み取り専用）、出力データ（data/）、エージェントの記憶（memory/）、再利用可能な手順（skills/）を厳密に分離したディレクトリ構造を採用。これにより、資料の改変防止とプロヴェナンス（出所）の明確化を図っています。
  • 対話型インターフェース: Visual Studio Code 内に統合され、歴史学者は自然言語でタスクを記述します。エージェントはこれを計算操作に変換します。
  • ページビューア: 資料の画像を直接表示し、エージェントの抽出結果を検証できます。

中核機能：「スキル（Skills）」による適応的ワークフロー

Chronos の最大の特徴は、コードではなく自然言語（Markdown ファイル）で定義された**「スキル」**を用いる点です。

• スキル（SKILL.md）: 歴史学者が研究助手に指示するレベルの詳細さで記述された手順書。YAML フロントマターで依存関係を定義し、スキル同士を連結してパイプラインを構築できます。
• 柔軟性: 特定の資料タイプ向けに開発されたスキルは、他の資料でも再利用可能（ポータブル）です。
• 対話による改善: 歴史学者とエージェントが対話し、エッジケースへの対応やドメイン知識の追加を通じてスキルを反復的に改良・保存できます。

抽出ワークフローの具体例

1. 範囲特定（Range-finder）: 目次やバイナリ検索を用いて、関心のあるページ範囲を特定し、歴史学者が境界を検証します。
2. プロンプト構築（Prompt-construction）: 資料の構造（略語表など）を分析し、VLM 用の抽出プロンプトをカスタマイズ。代表ページでテストし、歴史学者のフィードバックに基づいて修正します。
3. バッチ抽出（Batch extraction）: 承認後、並列処理で全ページを抽出。TSV 形式で出力し、コストとレイテンシーを最適化します。
4. マージとプロヴェナンス（Merge-batch-tsv）: 抽出結果を統合し、各行に元のページ ID を付与してデータセットを生成します。

3. 主要な貢献 (Key Contributions)

1. 初の AI 歴史家モジュールの公開: 歴史資料からの情報抽出を、歴史学者が自然言語で制御・適応できる最初の AI エージェントシステム「Chronos」を提案しました。
2. 固定パイプラインからの脱却: 資料の多様性に対応するため、事前定義されたパイプラインではなく、エージェントと対話しながらワークフローを構築・修正するアプローチを実現しました。
3. オープンソースとアクセシビリティ: コードとプロジェクトページを公開し、歴史研究者が自らの資料で利用可能にしました。技術的専門知識がなくても利用可能です。
4. プロヴェナンスと再現性の確保: 資料と出力の分離、スキルによる手順の明示的記録、ページ ID による追跡可能性など、学術的厳密性を保つための設計を実装しました。

4. 結果と現状 (Results)

• 実用性の実証: 都市案内書（City directories）や特許登録簿（Patent registers）などの実データを用いたワークフロー例を示し、エージェントがページ範囲の特定から抽出、マージまでを自律的に支援できることを確認しました。
• エラー検出と改善: エージェントは潜在的な問題（欠落ファイル、カラムの不整合など）を自律的に検知し、歴史学者に提示することでタスク精度を向上させることが示唆されています。
• コスト効率: TSV 形式の採用により、JSON 出力と比較して出力トークン数を最大 50% 削減し、大規模処理時のコストと遅延を低減しました。

5. 限界と課題 (Limitations)

• ハルシネーションとベンチマーク: 複雑な歴史資料（高密度な新聞、広大な表など）や低資源言語において、VLM は依然としてハルシネーションを起こす可能性があります。また、人間によるアノテーションも誤りを含むため、VLM と人間の性能を比較する厳密なベンチマークが不足しています。
• 主権とコスト: 高性能なモデル（Gemini 3.1 Pro, Claude Opus 4.6）は商用プロプライエタリモデルであり、データ主権（機密資料の外部送信）や経済的不平等（高額な利用料）の懸念があります。オープンソースモデルでも、歴史学者がローカルで実行するための計算リソースやエネルギーコストの壁が存在します。
• 倫理と整合性: AI が歴史解釈の基盤となるデータ構築を担うことへの哲学的懸念（AI の欺瞞的行動、目標の不一致、集合的知識の侵食など）が指摘されています。

6. 意義 (Significance)

本論文は、歴史学研究における AI 活用のパラダイムシフトを提案しています。

• 研究者の主体性の維持: AI を「ブラックボックス」として使うのではなく、歴史学者が自然言語でワークフローを設計・制御し、AI を「研究助手」として活用する新しい協働モデルを確立しました。
• 大規模デジタル人文科学の促進: 一次資料のデジタル化が進む中、そのデータを構造化して分析可能にするための実用的なインフラを提供し、計算機を用いた歴史研究の規模と速度を加速させる可能性があります。
• 学際的アプローチの先駆け: 計算科学、AI エージェント技術、歴史学の知見を統合し、将来的には自律的なエンドツーエンドの研究を行う「AI 歴史家」の実現に向けた重要な第一歩となります。

総じて、Chronos は技術的な自動化だけでなく、歴史学者の専門知識と AI の計算能力を統合し、研究の質と効率を高めるための実用的かつ倫理的配慮を伴うフレームワークとして位置づけられます。