BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation

この論文「BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation（科学出版エージェントにおける BibTeX 引用ハルシネーション：評価と軽減）」は、Web 検索機能を備えた大規模言語モデル（LLM）が科学論文の引用（BibTeX エントリ）を生成する際に発生する誤り（ハルシネーション）の実態を調査し、その軽減策を提案した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

科学出版において、LLM は文献レビューや原稿作成を自動化するエージェントとして利用され始めています。しかし、LLM は引用文献のメタデータ（著者、タイトル、DOI、巻号など）を生成する際、頻繁に誤った情報を生成します。

• 既存研究の限界: 過去の評価研究の多くは、Web 検索機能を持たないベースラインモデルを対象としており、現在の「検索付きエージェント」の実態を反映していません。また、手動による事後検証に依存しており、大規模な体系的な評価が不足していました。
• ハルシネーションの深刻さ: 引用ハルシネーションは、単なるテキストの誤りではなく、学術的な引用ネットワークやメトリクスを汚染する構造的な問題です。DOI や著者リストなどのフィールドは、出版データベースに対して決定的な正解が存在するため、その誤りは明確に検出可能です。

2. 手法とベンチマーク構築

本研究では、検索機能を備えた最先端モデルの性能を評価するために、厳密に設計されたベンチマークと評価パイプラインを構築しました。

• データセット（931 論文）:

  • 分野: 人工知能（AI）、医学、材料科学、量子コンピューターの 4 つの科学分野。
  • 引用レベル（3 つのティア）:
    1. Popular: 高引用（2010-2022 年）。パラメトリックメモリ（学習データ）に存在する可能性が高い。
    2. Low-citation: 低引用（2015-2025 年）。学習データに存在しない可能性が高い。
    3. Recent: 最新論文（2025-2026 年）。モデルの知識カットオフ後の論文。検索に依存する必要がある。
  • バージョン管理: 同一論文の arXiv プレプリント、会議 proceedings、ジャーナル版など、複数の引用可能なバージョンを考慮した「バージョン認識型」のグランドトゥルース（正解データ）を構築しました。

• 評価対象モデル:

  • Web 検索機能を有効化された 3 つの最先端モデル：GPT-5、Claude Sonnet 4.6、Gemini 3 Flash。
  • 各モデルに自然言語で論文の説明を与え、BibTeX エントリを生成させました（計 2,793 件の生成）。

• 評価指標と分類:

  • 9 つのフィールド（エントリタイプ、著者、タイトル、年、雑誌名、巻、号、ページ、DOI）について評価。
  • 6 段階のエラー分類: 正解 (C)、欠落 (M)、捏造 (F)、部分的な正解 (P)、置換 (S)、該当なし (X)。
  • 評価パイプライン:
    1. ステージ 1: 正規化ルールに基づく決定的なマッチング（C/M/X の判定）。
    2. ステージ 2: 曖昧なケースを LLM ジャッジ（Gemini 3.1 Flash Lite）が判定（P/S/F の判定）。
    3. ステージ 3: 人間によるサンプリングチェック（LLM ジャッジの精度検証）。

• 軽減ツール（clibib）:

  • Zotero Translation Server を介して DOI や arXiv ID から決定的に BibTeX を取得するオープンソースツール。
  • 生成されたエントリを、このツールで取得した権威あるレコードと比較・修正する「2 段階統合」アーキテクチャを提案しました。

3. 主要な結果

• 全体精度:

  • 検索機能を備えたモデルのフィールドレベルの正解率は**83.6%**でした。
  • しかし、**すべてのフィールドが完全に正しいエントリは 50.9%**に過ぎませんでした。
  • ティアによる格差: 人気論文（Popular）では 92.7% の精度でしたが、最新論文（Recent）では**65.0%**まで低下しました（27.7 ポイントの差）。これは、検索ツールが利用可能であっても、モデルが依然としてパラメトリックメモリに強く依存していることを示しています。

• エラーの共起パターン（2 つの失敗モード）:

  1. 一括置換（Wholesale Entry Substitution）: 著者、タイトル、雑誌名などの「アイデンティティフィールド」が同時に間違っており、全く異なる論文のメタデータを取得しているケース。
  2. 個別フィールドエラー: 正しい論文を特定しているが、ページ数や巻号などの数値フィールドに誤りがある、またはフォーマットが異なるケース。
  • 前者はデータベース検索で検出可能ですが、後者は正規化や部分的な修正で対応可能です。

• 軽減策（clibib）の効果:

  • 2 段階統合（検索と修正の分離）: 一度モデルに生成させ、その後 clibib で取得した正解データと照合して修正するアプローチ。
    • 全体精度が**83.6% → 91.5%**に向上（+8.0 ポイント）。
    • 完全に正しいエントリ率が**50.9% → 78.3%**に向上。
    • 既存の正解を壊す「回帰（Regression）」率はわずか**0.8%**でした。
  • 1 段階統合（ツールループ）: モデルが検索と生成を同時に行うアプローチと比較すると、2 段階の方が精度が高く、回帰率が低く抑えられました（0.8% vs 4.8%）。これは、統合アーキテクチャがモデルの能力そのもの以上に重要であることを示しています。

• モデル間比較:

  • Gemini 3 Flash が全体的に最も高精度（88.9%）でしたが、GPT-5 や Claude も検索機能により一定の性能を発揮しました。
  • 医学分野が最も難易度が高く、材料科学や量子コンピューティングが比較的高い精度を示しました。

4. 貢献と意義

1. 包括的なベンチマークの公開:

   • 4 分野、3 つの引用ティアにまたがる 931 論文のデータセットと、9 フィールド、6 分類のエラー分類体系を公開しました。これにより、検索付きエージェントの評価が可能になりました。

2. 現象の解明:

   • 検索ツールがあっても、モデルは「人気論文」では記憶に頼り、「最新・低引用論文」では検索に依存するが、その精度は依然として低いことを実証しました。
   • エラーが「一括置換」と「個別誤り」の 2 つのモードに構造的に分かれることを発見し、これに応じた検出・修正戦略の必要性を指摘しました。

3. 実用的な軽減ツールとアーキテクチャの提案:

   • clibib という軽量なツールと、それを活用する「2 段階統合（生成→検証・修正）」のアプローチが、ハルシネーションを劇的に減らす有効な手段であることを示しました。
   • 「検索と修正を分離する」ことが、単にツールを使うことよりも重要であるという知見は、他の構造化データ生成タスクにも応用可能です。

4. 学術的インパクト:

   • 生成された引用をそのまま使用せず、権威あるデータベース（CrossRef, DBLP など）による検証を必須とするべきだという提言を行いました。
   • 学術出版の信頼性を維持するために、LLM 生成コンテンツに対する事前検証（pre-ingestion verification）の重要性を強調しています。

結論

この研究は、Web 検索付き LLM が科学引用の生成において「部分的に有用だが、依然として信頼性には欠ける」現状を浮き彫りにしました。しかし、決定的なデータベース検索を組み合わせた「2 段階の検証・修正パイプライン」を導入することで、引用ハルシネーションを大幅に軽減し、実用的な精度（91.5%）を達成できることを実証しました。これは、AI 支援科学出版の信頼性を高めるための具体的な指針となります。