技術概要：CITECHECK

問題提起

大規模言語モデル（LLM）は、原稿作成やレポート生成を含む科学的ワークフローにますます統合されています。しかし、重大な信頼性の問題が持続しています。LLM は頻繁に「引用の幻覚」を生成します。これらはスタイル的に正当に見えるが、メタデータが破損している（著者、年、DOI の誤りなど）か、完全に存在しない論文を指す参照です。このような誤りは、科学的コミュニケーションの追跡可能性、帰属、再現性を損ないます。既存の検証手法は、多くの場合、モデルの内部パラメータ知識や単純なウェブ検索に依存しており、微妙なメタデータのドリフトと完全な捏造を区別するのに苦戦するか、構造化された学術的証拠に基づいた検証を行えていません。

手法：CITECHECK フレームワーク

CITECHECK は、LLM の内部知識に依存するのではなく、各参照を外部の学術的ソースに基づいて検証することで、引用の幻覚を検出するように設計されたハイブリッドフレームワークです。このシステムは、4 つの主要な段階からなる構造化されたパイプラインを通じて動作します。

1. メタデータ抽出

システムはまず、生の引用文字列を構造化フィールド（タイトル、著者、年、URL、DOI、arXiv ID）に解析します。標準的なパターンにはルールベースのパーサーを使用し、決定論的な抽出が失敗した場合にのみ LLM ベースのパーサーを呼び出します。このステップでは、妥当性を判断することなく、検索シグナルを生成します。

2. 候補検索カスケード

CITECHECK は、複数の外部ソースにわたるウォーターフォール型カスケードを使用して、引用に対応する実際の出版物の特定を試みます。

• 直接検索: arXiv 識別子が存在する場合、最初に arXiv での直接検索を実行します。
• 構造化 API: システムは、タイトルベースの検索を使用して CrossRef、Semantic Scholar、OpenAlex にクエリを実行します。
• ウェブ検索フォールバック: 構造化ソースが信頼できる一致を返さない場合、LLM 支援のウェブ検索がトリガーされます。
• 選択ロジック: 候補は、クリーニングされた引用タイトルと候補タイトル間の正規化されたレーベンシュタイン類似度に基づいて受け入れられ、追加の信頼度しきい値（例：CrossRef からのもの）および年ベースのランキングシグナルが適用されます。

3. 構造化 LLM 検証

候補出版物が取得されると、検証用 LLM が元の引用メタデータと取得した候補のメタデータを比較します。標準的な分類プロンプトとは異なり、検証器は以下のものを出力します。

• 一致の度合いを表す数値スコア（0–10）。
• 信頼度レベルと短い根拠。
• 具体的な不一致の特定。
  システムは、モデルのカテゴリラベル（一貫性がない場合がある）に依存するのではなく、較正された決定境界を可能にするために数値スコアを使用します。

4. しきい値設定とレビュアーパス

数値スコアは、検証セットで決定された固定しきい値（$\tau_M$ および$\tau_E$）を使用して、3 つのラベルにマッピングされます。

• EXACT（正確）: 引用は実際の出版物を忠実に記述している（$s \ge \tau_E$）。
• MINOR（軽微）: 意図された論文は存在するが、メタデータフィールドが破損している（$\tau_M \le s < \tau_E$）。
• MAJOR（重大）: 一致する出版物が存在しない、または候補が著しく異なる（$s < \tau_M$）。

「レビュアーパス」は、識別子（URL/arXiv ID）が実際の論文に解決するが、タイトル類似度が低い疑わしいケースに適用されます。2 番目の LLM ジャッジがこれらのケースを再評価し、引用テキストがソースを正確に記述していることを確認し、有効なリンクが捏造されたメタデータとペアになった場合の偽陽性を防止します。

データセット構築

フレームワークを評価するために、著者は物理学文献から抽出された 982 の引用からなるベンチマークを構築しました。これは 9 つのサブドメイン（例：天体物理学、凝縮系物理学、量子コンピューティング）をカバーしています。

• 制御された破損: データセットには、有効な引用、軽微な幻覚（論文のアイデンティティを維持しつつ著者や年などのメタデータが変更されたもの）、および重大な幻覚（トピック的に妥当なまま完全に捏造された参照）が含まれています。
• 生成: 破損は、転記エラー（軽微）と大幅な捏造（重大）をシミュレートするために、特定の温度設定で GPT-4o-mini を使用して生成されました。
• バランス: 最終的なベンチマークは、3 つのクラス間でほぼバランスが取れています（有効 36.25%、軽微 30.55%、重大 33.20%）。

結果

792 の引用からなるホールドアウトテストセットで評価したところ、CITECHECK は以下の結果を達成しました。

• 88.9% の精度
• 88.7 のマクロ F1

比較パフォーマンス:

• CITECHECK は、ゼロショットおよびフューショット設定の両方で、直接の LLM ベースライン（GPT-5.4、Claude Sonnet 4.6、Gemini 2.5 Flash）を上回りました。
• 最も強力なベースライン（ウェブ検索とフューショット例を備えた Claude Sonnet 4.6）を、マクロ F1 で 5.8 ポイント、精度で 5.7 ポイント上回りました。
• 注目すべきは、CITECHECK が検証段階でゼロショットを維持しながらこの成果を達成したことで、コンテキスト内監督やプロンプトのみよりも、検索に基づく検証の方が効果的であることを示しています。
• アブレーション研究: ウェブ検索フォールバックを削除するとマクロ F1 が 7.0 ポイント低下し、レビュアーパスを削除すると 4.0 ポイント低下しました。これは、微妙なメタデータのドリフトに対処するために、広範な検索とターゲット型のレビューの両方が必要であることを確認しました。

意義と主張

この論文は、信頼できる引用検証には、LLM の内部知識への依存から、学術的検索、構造化された LLM ベースの比較、および較正された決定ルールを組み合わせたパイプラインへの転換が必要であると主張しています。

著者が強調する主な教訓は以下の通りです。

1. 検索は不可欠である: 強力な LM でさえ、外部証拠にアクセスできないと幻覚を検出するのが困難です。ウェブ検索はベースラインのパフォーマンスを大幅に向上させますが、構造化された比較なしではそれだけでは不十分です。
2. プロンプトよりも構造化された比較: 検証を候補検索 followed by メタデータ比較として扱うことは、特に論文は存在するがメタデータが破損している「軽微」な幻覚において、直接のプロンプトよりも高い精度をもたらします。
3. 詳細な検出: このフレームワークは、正確な一致、軽微なメタデータエラー、および重大な捏造を成功裏に区別します。これは、二値の「実物対偽物」検出ではしばしば失われるニュアンスです。

著者は、CITECHECK が AI 生成の科学テキストのためのより広範な検証パイプラインの基盤を提供すると結論付けていますが、現在の焦点が物理学に限定されていること、および自然発生的な LLM 生成の書誌データと主張レベルの整合性に関する今後の研究の必要性については限界を認めています。